JP6599644B2 - Motion determination device, motion determination method, and motion determination program - Google Patents
Motion determination device, motion determination method, and motion determination program Download PDFInfo
- Publication number
- JP6599644B2 JP6599644B2 JP2015111260A JP2015111260A JP6599644B2 JP 6599644 B2 JP6599644 B2 JP 6599644B2 JP 2015111260 A JP2015111260 A JP 2015111260A JP 2015111260 A JP2015111260 A JP 2015111260A JP 6599644 B2 JP6599644 B2 JP 6599644B2
- Authority
- JP
- Japan
- Prior art keywords
- movement
- detection
- variation degree
- unit
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Image Analysis (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
この発明は、防犯カメラ等で撮像した動画像に撮像されているオブジェクトの動きが異常であるかどうかを判定する技術に関する。 The present invention relates to a technique for determining whether or not an object captured in a moving image captured by a security camera or the like is abnormal.
従来、空港、駅、ショッピングセンター、街角等、不特定多数の人が集まる様々な場所に防犯カメラが設置されている。 Conventionally, security cameras are installed in various places where an unspecified number of people gather, such as airports, stations, shopping centers, street corners, and the like.
また、防犯カメラで撮像した動画像を処理し、特異な行動をとった人を不審者として検出することが検討されている。例えば、カメラで撮像した動画像を処理し、撮像されている人の移動速度、移動方向、頭の高さ等を、その人の行動の特徴量として検出し、ここで検出した特徴量を用いて、その人が不審者であるかどうかを判定するものがある(特許文献1参照)。 In addition, it has been studied to process a moving image captured by a security camera and detect a person who has taken a specific action as a suspicious person. For example, a moving image picked up by a camera is processed, and the moving speed, moving direction, head height, etc. of the person being picked up are detected as feature quantities of the person's behavior, and the feature quantities detected here are used. Some of them determine whether or not the person is a suspicious person (see Patent Document 1).
なお、特許文献1は、防犯カメラではなく、車載カメラで撮像した動画像を処理するものである。 Note that Patent Document 1 processes a moving image captured by an in-vehicle camera, not a security camera.
しかしながら、特許文献1等に記載されている技術は、動画像に撮像されている人(以下、追跡対象者と言う。)の移動速度や移動方向を用いて、その追跡対象者の行動が特異であるかどうかを判定する構成である。追跡対象者の移動速度を得るには、実空間上における追跡対象者の移動量が必要になる。すなわち、追跡対象者の行動が特異であるかどうかを判定するには、実空間上における追跡対象者の移動量を算出するために、フレーム画像上における追跡対象者の位置を実空間上の位置に変換する必要がある。 However, the technique described in Patent Document 1 and the like uses a moving speed and a moving direction of a person (hereinafter, referred to as a tracking target person) captured in a moving image, and the behavior of the tracking target person is peculiar. It is the structure which determines whether it is. In order to obtain the movement speed of the tracking target person, the movement amount of the tracking target person in the real space is required. That is, in order to determine whether or not the behavior of the tracking target person is unique, in order to calculate the movement amount of the tracking target person in the real space, the position of the tracking target person in the frame image is set to the position in the real space. Need to be converted to
また、防犯カメラで撮像されるフレーム画像上の位置と、実空間上の位置と、を対応付ける変換パラメータは、防犯カメラのアングルによって変化する。また、防犯カメラは、設置後に、風や振動等の外力による影響でアングルが変化することがある。したがって、防犯カメラの設置時や、防犯カメラのアングルが変化したときに、変換パラメータの設定作業を行うことになるので、運用管理に人手やコストがかかる。 Also, the conversion parameter that associates the position on the frame image captured by the security camera with the position in the real space varies depending on the angle of the security camera. Moreover, the angle of the security camera may change after installation due to the influence of external forces such as wind and vibration. Therefore, when the security camera is installed or when the angle of the security camera changes, the conversion parameter setting work is performed, which requires manpower and cost for operation management.
なお、周知のように、実空間上における追跡対象者の移動量が同じであっても、フレーム画像上における追跡対象者の移動量は、カメラと追跡対象者との位置関係に応じて変化する。すなわち、フレーム画像上における追跡対象者の移動量から、実空間上における追跡対象者の移動量を直接算出することはできない。 As is well known, even if the movement amount of the tracking target person in the real space is the same, the movement amount of the tracking target person on the frame image changes according to the positional relationship between the camera and the tracking target person. . That is, the movement amount of the tracking target person in the real space cannot be directly calculated from the movement amount of the tracking target person on the frame image.
この発明の目的は、動画像に撮像されているオブジェクトの動きが特異であるかどうかの判定が簡単に行え、且つ、運用管理にかかる人手やコストを低減することができる技術を提供することにある。 An object of the present invention is to provide a technique capable of easily determining whether or not an object captured in a moving image is unusual and reducing manpower and cost for operation management. is there.
この発明の動き判定装置は、上記目的を達するために以下のように構成している。 In order to achieve the above object, the motion determination apparatus of the present invention is configured as follows.
動画像入力部には、対象エリアを撮像した動画像が入力される。動画像入力部に入力される動画像は、例えば防犯カメラで撮像した対象エリアの動画像である。 A moving image obtained by imaging the target area is input to the moving image input unit. The moving image input to the moving image input unit is, for example, a moving image of a target area captured by a security camera.
移動方向検出部は、動画像入力部に入力された動画像にかかるフレーム画像を処理し、撮像されているオブジェクトに対して定めた複数の検出領域毎に、フレーム画像上における移動方向を検出する。検出領域は、追跡対象者に重なる位置や、追跡対象者の周辺に設定する。例えば、対象領域をフレーム画像上における追跡対象者の全身を囲む矩形領域や、上半身を囲む矩形領域に設定する。そして、検出領域を、この対象領域をマトリクス状に分割した分割領域に設定する。これにより、1つのフレーム画像上に、複数の検出領域が設定される。 The moving direction detection unit processes a frame image applied to the moving image input to the moving image input unit, and detects a moving direction on the frame image for each of a plurality of detection areas defined for the object being picked up. . The detection area is set at a position overlapping the tracking target person or around the tracking target person. For example, the target area is set to a rectangular area surrounding the whole body of the tracking target person on the frame image or a rectangular area surrounding the upper body. Then, the detection area is set to a divided area obtained by dividing the target area into a matrix. Thereby, a plurality of detection areas are set on one frame image.
撮像タイミングが異なる2つのフレーム画像間における検出領域の移動方向θ(0≦θ<2π)は、一方のフレーム画像上における、この検出領域の位置(x1,y1)と、他方のフレーム画像上における、この検出領域の位置(x2,y2)とを用いて、
θ=arg tan((y2−y1)/(x2−x1))
により算出できる。
The moving direction θ (0 ≦ θ <2π) of the detection area between two frame images with different imaging timings is the position (x1, y1) of the detection area on one frame image and the other frame image. Using the position (x2, y2) of this detection area,
θ = arg tan ((y2-y1) / (x2-x1))
Can be calculated.
ばらつき度算出部は、オブジェクトに対して定めた複数の検出領域について、移動方向検出部が検出した移動方向のばらつき度を算出する。ここで算出するばらつき度は、各検出領域について検出した移動方向のヒストグラムのL0ノルムであってもよいし、各検出領域について検出した移動方向の分散δ2や標準偏差δであってもよい。 The variation degree calculation unit calculates the degree of variation in the movement direction detected by the movement direction detection unit for a plurality of detection regions defined for the object. The degree of variation calculated here may be the L0 norm of the histogram of the movement direction detected for each detection area, or may be the variance δ 2 or the standard deviation δ of the movement direction detected for each detection area.
判定部は、オブジェクトの動きが特異であるかどうかを、ばらつき度算出部が算出したばらつき度を用いて判定する。特異な動きをしている人と、特異な動きをしていない人とを比較すると、特異な動きをしている人は、特異な動きをしていない人に比べて身体の各部が動いている方向にばらつきがある。また、ここで言う特異な動きをしている人とは、走っている人、ふらついている人(酔ってふらついている人や、体調不良でふらついている人等)、争っている人(喧嘩している人)等である。 The determination unit determines whether or not the movement of the object is unique using the variation degree calculated by the variation degree calculation unit. Comparing a person with a peculiar movement with a person without a peculiar movement, a person with a peculiar movement moves each part of the body compared to a person who does not peculiar movement There are variations in the direction. In addition, people who have a specific movement here are people who are running, people who are staggered (people who are drunk and stray, people who are staggered due to poor physical condition, etc.) Etc.).
このように、この構成では、フレーム画像に撮像されているオブジェクトの実空間上の位置を用いることなく(実空間上におけるオブジェクトの移動速度を検出することなく、)、このオブジェクトの動きが特異であるかどうかどうかの判定が行える。したがって、動画像に撮像されているオブジェクトの動きが特異であるかどうかの判定が簡単に行え、且つ、運用管理にかかる人手やコストを低減することができる。 As described above, in this configuration, the movement of the object is unique without using the position of the object captured in the frame image in the real space (without detecting the moving speed of the object in the real space). It can be determined whether or not there is. Therefore, it is possible to easily determine whether or not the motion of the object captured in the moving image is unique, and to reduce manpower and cost for operation management.
また、オブジェクトに対して定めた複数の検出領域毎に、フレーム画像上における移動量を検出する移動量検出部と、オブジェクトに対して定めた複数の検出領域について、移動量検出部が検出した移動量からオブジェクトの移動特定値を算出する移動特定値算出部と、を備え、判定部が、オブジェクトの動きが特異であるかどうかを、ばらつき度算出部が算出した前記ばらつき度、および移動特定値算出部が算出した移動特定値を用いて判定する、構成にしてもよい。 In addition, for each of a plurality of detection areas defined for the object, a movement amount detection unit that detects a movement amount on the frame image, and a movement detected by the movement amount detection unit for the plurality of detection areas defined for the object A movement specific value calculation unit that calculates a movement specific value of the object from the amount, and the determination unit determines whether the movement of the object is singular, the variation degree calculated by the variation degree calculation unit, and the movement specific value You may make it the structure which determines using the movement specific value which the calculation part calculated.
この場合には、フレーム画像上におけるオブジェクトの移動量も加味して、オブジェクトの動きが特異であるかどうかの判定が行える。これにより、特異な動きをしている人として、走っている人を精度よく判定できる。 In this case, it is possible to determine whether or not the movement of the object is unique in consideration of the amount of movement of the object on the frame image. As a result, it is possible to accurately determine the person who is running as a person who is making a specific movement.
撮像タイミングが異なる2つのフレーム画像間における検出領域の移動量(フレーム画像上の移動量)は、一方のフレーム画像上における、この検出領域の位置(x1,y1)と、他方のフレーム画像上における、この検出領域の位置(x2,y2)とを用いて、
移動量=((x2−x1)2+(y2−y1)2)1/2
により算出できる。
The amount of movement of the detection region between two frame images with different imaging timings (the amount of movement on the frame image) is the position (x1, y1) of the detection region on one frame image and the other frame image. Using the position (x2, y2) of this detection area,
Movement amount = ((x2−x1) 2 + (y2−y1) 2 ) 1/2
Can be calculated.
また、移動特定値算出部が算出する移動特定値は、検出領域毎に検出されたフレーム画像上における移動量の最大値としてもよいし、平均値としてもよいし、中央値としてもよい。 In addition, the movement specific value calculated by the movement specific value calculation unit may be the maximum value of the movement amount on the frame image detected for each detection region, may be an average value, or may be a median value.
また、判定部は、例えば、ばらつき度と移動特定値とを乗じた値と、判定閾値と、の比較により、オブジェクトの動きが特異であるかどうかを判定する構成にしてもよい。この場合、判定閾値は、フレーム画像上におけるオブジェクトの移動方向に応じて決定するのが好ましい。 Further, the determination unit may be configured to determine whether or not the movement of the object is unique, for example, by comparing a value obtained by multiplying the degree of variation and the movement specific value with a determination threshold value. In this case, the determination threshold is preferably determined according to the moving direction of the object on the frame image.
この発明によれば、動画像に撮像されているオブジェクトの動きが特異であるかどうかの判定が簡単に行え、且つ、運用管理にかかる人手やコストを低減することができる。 According to the present invention, it is possible to easily determine whether or not the motion of an object captured in a moving image is peculiar, and to reduce manpower and cost for operation management.
以下、この発明の実施形態である動き判定装置について説明する。 Hereinafter, a motion determination apparatus according to an embodiment of the present invention will be described.
図1は、この例にかかる動き判定装置の主要部の構成を示すブロック図である。動き判定装置1は、動画像入力部2と、画像処理部3と、出力部4と、を備えている。この例にかかる動き判定装置1は、防犯カメラ等の撮像装置10で撮像した動画像を処理し、この動画像に撮像されている人(この発明で言うオブジェクトに相当する。)の動きが特異であるかどうかを判定するとともに、その判定結果を上位装置等に出力する。 FIG. 1 is a block diagram illustrating a configuration of a main part of a motion determination device according to this example. The motion determination device 1 includes a moving image input unit 2, an image processing unit 3, and an output unit 4. The motion determination device 1 according to this example processes a moving image captured by the imaging device 10 such as a security camera, and the motion of a person (corresponding to an object referred to in the present invention) captured in the moving image is unique. And the determination result is output to a higher-level device or the like.
なお、ここで言う、特異な動きをしている人とは、走っている人、ふらついている人(酔ってふらついている人や、体調不良でふらついている人等)、争っている人(喧嘩している人)等である。 In addition, the person who is moving here is a person who is running, a person who is swaying (a person who is drunk or swaying, a person who is swaying due to poor physical condition, etc.) Who are fighting).
動画像入力部2には、撮像装置10が接続されている。撮像装置10は、動画像を撮像するビデオカメラである。撮像装置10は、例えば不特定多数の人が集まる場所(空港、駅、ショッピングセンター、街角等)に設置された防犯カメラである。撮像装置10は、撮像した動画像を動画像入力部2に入力する。すなわち、動画像入力部2には、撮像装置10が撮像した動画像にかかるフレーム画像が時系列に入力される。撮像装置10のフレームレートは、5〜30フレーム/sec程度のものでよい。撮像装置10の撮像エリアが、この発明で言う対象エリアに相当する。 An imaging device 10 is connected to the moving image input unit 2. The imaging device 10 is a video camera that captures moving images. The imaging device 10 is a security camera installed at a place (an airport, a station, a shopping center, a street corner, etc.) where, for example, an unspecified number of people gather. The imaging device 10 inputs the captured moving image to the moving image input unit 2. That is, a frame image related to a moving image captured by the imaging device 10 is input to the moving image input unit 2 in time series. The frame rate of the imaging device 10 may be about 5 to 30 frames / sec. The imaging area of the imaging device 10 corresponds to the target area referred to in the present invention.
なお、動画像入力部2は、USBメモリや、SDメモリカード、DVD、HD等のメディアに記録されている動画像ファイルを再生する再生装置を接続し、この再生装置で再生された再生画像(動画像ファイルの再生画像)を入力する構成であってもよい。このメディアには、例えば、撮像装置10が撮像した撮像エリアの動画像にかかる動画像ファイルが記録される。また、この例にかかる動き判定装置1が、入力された動画像ファイルを再生する機能を有する構成であってもよい。 The moving image input unit 2 is connected to a playback device that plays back a moving image file recorded on a medium such as a USB memory, an SD memory card, a DVD, or an HD, and a playback image ( The playback image of the moving image file) may be input. For example, a moving image file relating to a moving image of an imaging area captured by the imaging device 10 is recorded on the medium. Moreover, the structure which has the function to reproduce | regenerate the input moving image file may be sufficient as the motion determination apparatus 1 concerning this example.
画像処理部3は、動画像入力部2に入力された動画像にかかるフレーム画像を処理し、撮像されている人の移動を追跡する処理や、この追跡した人の動きが特異であるかどうかを判定する処理等を行う。これらの処理の詳細については、後述する。 The image processing unit 3 processes a frame image applied to the moving image input to the moving image input unit 2 to track the movement of the person being imaged, and whether or not the movement of the tracked person is unique The process etc. which determine are performed. Details of these processes will be described later.
この画像処理部3が、この発明にかかる動き判定方法を実行するコンピュータを備える。また、この発明にかかる動き判定プログラムは、画像処理部3が備えるコンピュータにインストールされる。 The image processing unit 3 includes a computer that executes the motion determination method according to the present invention. The motion determination program according to the present invention is installed in a computer included in the image processing unit 3.
なお、画像処理部3は、動画像入力部2に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として処理してもよいし、動画像入力部2に入力された動画像にかかるフレーム画像の中から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理してもよい(ここで抽出しなかったフレーム画像については後述する処理を行わない。)。また、この処理対象フレーム画像を抽出する間隔は、動画像入力部2に入力された動画像のフレームレートに応じて定めればよく、時間間隔で設定してもよいし、フレーム間隔で設定してもよい。 Note that the image processing unit 3 may process all frame images related to the moving image input to the moving image input unit 2 as processing target frame images, or the moving image input to the moving image input unit 2 Of these frame images, frame images extracted at a predetermined interval may be processed as processing target frame images (frame images not extracted here are not subjected to processing described later). The interval for extracting the processing target frame image may be determined according to the frame rate of the moving image input to the moving image input unit 2, and may be set at a time interval or a frame interval. May be.
出力部4は、画像処理部3における判定結果を出力する。例えば、出力部4は、画像処理部3において動きが特異であると判定された人の有無を上位装置に通知する。上位装置は、例えば、画像処理部3において動きが特異であると判定された人がいることが通知されると、動きが特異である人が検出されたことを報知する構成である。この報知は、表示灯の点灯や、スピーカからの音声メッセージの送出等で行えばよい。また、出力部4は、動画像入力部2に入力されている動画像を、接続されている表示装置(不図示)に表示する構成であってもよい。この場合、動き判定装置1は、画像処理部3によって検出された動きが特異である人を強調表示する映像信号を出力部4から出力する構成にすればよい。 The output unit 4 outputs the determination result in the image processing unit 3. For example, the output unit 4 notifies the host device of the presence or absence of a person whose movement is determined to be unique by the image processing unit 3. For example, when the image processing unit 3 is notified that there is a person whose motion is unique, the host device is configured to notify that a person whose motion is unique has been detected. This notification may be performed by turning on an indicator lamp, sending a voice message from a speaker, or the like. The output unit 4 may be configured to display a moving image input to the moving image input unit 2 on a connected display device (not shown). In this case, the motion determination apparatus 1 may be configured to output from the output unit 4 a video signal that highlights a person whose motion detected by the image processing unit 3 is unique.
次に、画像処理部3の機能構成について説明する。図2は、画像処理部の機能構成を示すブロック図である。画像処理部3は、オブジェクト追跡機能部31と、検出領域設定機能部32と、移動方向検出機能部33と、ばらつき度算出機能部34と、移動量検出機能部35と、移動特定値算出機能部36と、判定値算出機能部37と、判定閾値決定機能部38と、判定機能部39と、を有する。 Next, the functional configuration of the image processing unit 3 will be described. FIG. 2 is a block diagram illustrating a functional configuration of the image processing unit. The image processing unit 3 includes an object tracking function unit 31, a detection area setting function unit 32, a movement direction detection function unit 33, a variation degree calculation function unit 34, a movement amount detection function unit 35, and a movement specific value calculation function. Unit 36, determination value calculation function unit 37, determination threshold value determination function unit 38, and determination function unit 39.
オブジェクト追跡機能部31は、撮像装置10が撮像した動画像にかかるフレーム画像から抽出した処理対象フレーム画像毎に、その処理対象フレーム画像に撮像されている人を追跡対象者として検出する。上述したように、処理対象フレーム画像は、動画像入力部2に入力された動画像にかかる全てのフレーム画像であってもよいし、動画像入力部2に入力された動画像から予め定めた間隔で抽出したフレーム画像であってもよい。オブジェクト追跡機能部31は、例えば公知の背景差分方式により、処理対象フレーム画像に撮像されている追跡対象者を検出する。 The object tracking function unit 31 detects a person captured in the processing target frame image as a tracking target person for each processing target frame image extracted from the frame image of the moving image captured by the imaging device 10. As described above, the processing target frame image may be all frame images related to the moving image input to the moving image input unit 2 or may be determined in advance from the moving image input to the moving image input unit 2. Frame images extracted at intervals may be used. The object tracking function unit 31 detects a tracking target person captured in the processing target frame image by, for example, a known background difference method.
また、オブジェクト追跡機能部31は、時間的に連続する処理対象フレーム画像間で、撮像されている追跡対象者を対応付ける同定処理を行う。さらに、オブジェクト追跡機能部31は、追跡対象者の移動を追跡するためのオブジェクトマップを作成する。オブジェクトマップは、追跡対象者毎に、その追跡対象者を検出した処理対象フレーム画像と、その処理対象フレーム画像上における追跡対象者の位置(処理対象フレーム画像上における2次元座標(x、y))とを対応付けて登録したものである。オブジェクトマップに登録する追跡対象者の位置は、例えば、処理対象フレーム画像上における、追跡対象者の頭頂部の位置(オクルージョンによる影響を受けにくい位置)にすればよい。オブジェクト追跡機能部31が作成したオブジェクトマップから、処理対象フレーム画像上における追跡対象者の移動方向、および移動量が得られる。 Further, the object tracking function unit 31 performs an identification process for associating a captured tracking target person between temporally continuous processing target frame images. Further, the object tracking function unit 31 creates an object map for tracking the movement of the tracking target person. The object map includes, for each tracking target person, a processing target frame image in which the tracking target person is detected, and a position of the tracking target person on the processing target frame image (two-dimensional coordinates (x, y) on the processing target frame image). ) Are registered in association with each other. The position of the tracking target person registered in the object map may be, for example, the position of the top of the tracking target person on the processing target frame image (a position that is less susceptible to occlusion). From the object map created by the object tracking function unit 31, the movement direction and movement amount of the tracking target person on the processing target frame image can be obtained.
なお、オブジェクト追跡機能部31は、処理対象フレーム画像に撮像されている追跡対象者について、その追跡対象者の実空間上の位置を算出する必要はない。 The object tracking function unit 31 does not need to calculate the position of the tracking target person in the real space for the tracking target person captured in the processing target frame image.
検出領域設定機能部32は、オブジェクト追跡機能部31が検出した処理対象フレーム画像に撮像されている追跡対象者毎に、その追跡対象者に対して、移動方向を検出する検出領域を複数設定する。検出領域設定機能部32は、処理対象フレーム画像上に対象領域(矩形領域)を設定する。この対象領域は、追跡対象者毎に設定する。対象領域は、例えば、処理対象フレーム画像上における追跡対象者の全身を囲む領域にしてもよいし、上半身を囲む領域にしてもよい。対象領域を設定する手法については予め定めている。検出領域設定機能部32は、対象領域をマトリクス状に分割し、分割した各領域を検出領域に設定する。対象領域の分割数(縦方向、および横方向の分割数)は予め定めておけばよい。したがって、検出領域は、処理対象フレーム画像上における追跡対象者上や、その周辺に設定される。追跡対象者に対して設定する検出領域の総数は、後述する移動方向のばらつき度の算出が適正に行える数にすればよい。 The detection region setting function unit 32 sets a plurality of detection regions for detecting the moving direction for each tracking target person captured in the processing target frame image detected by the object tracking function unit 31. . The detection area setting function unit 32 sets a target area (rectangular area) on the processing target frame image. This target area is set for each tracking target person. For example, the target region may be a region surrounding the whole body of the tracking target person on the processing target frame image, or may be a region surrounding the upper body. A method for setting the target area is predetermined. The detection area setting function unit 32 divides the target area into a matrix and sets each divided area as a detection area. The number of divisions of the target region (the number of divisions in the vertical direction and the horizontal direction) may be determined in advance. Therefore, the detection area is set on the tracking target person on the processing target frame image or in the vicinity thereof. The total number of detection areas set for the tracking target person may be a number that can appropriately calculate the degree of variation in the moving direction, which will be described later.
なお、オブジェクト追跡機能部31によって作成されたオブジェクトマップから得られる追跡対象者の移動方向と、この追跡対象者に対して設定した各検出領域の移動方向とは一致するとは限らない。 It should be noted that the movement direction of the tracking target person obtained from the object map created by the object tracking function unit 31 and the movement direction of each detection area set for the tracking target person are not always the same.
移動方向検出機能部33は、追跡対象者毎に、その追跡対象者に対して設定した各検出領域の移動方向を検出する。検出領域の移動方向は、時間的に連続する2つの処理対象フレーム画像間において、この検出領域の位置が変化した方向(処理対象フレーム画像上の方向)である。移動方向は、例えば、図3に示すように、フレーム画像上における右向きの水平方向を0°とし、時計回りに設定した角度θ(0≦θ<360°)である。角度θの基準(0°とする方向)は、フレーム画像上における右向きの水平方向に限らず、任意に設定できる。また、角度θは、基準方向に対して。反時計回りに設定してもよい。 The movement direction detection function unit 33 detects the movement direction of each detection region set for the tracking target person for each tracking target person. The moving direction of the detection area is the direction in which the position of the detection area has changed between two temporally continuous processing target frame images (direction on the processing target frame image). For example, as shown in FIG. 3, the moving direction is an angle θ (0 ≦ θ <360 °) set clockwise with the rightward horizontal direction on the frame image being 0 °. The reference of the angle θ (direction to be 0 °) is not limited to the right horizontal direction on the frame image, and can be arbitrarily set. The angle θ is relative to the reference direction. You may set it counterclockwise.
移動方向検出機能部33は、公知のオプティカルフローにより、追跡対象者に対して設定した各検出領域移動方向を検出する。フレーム画像上における検出領域の移動方向θ(0≦θ<2π)は、前回の処理対象フレーム画像上における、この検出領域の位置(x1,y1)と、今回の処理対象フレーム画像上における、この検出領域の位置(x2,y2)とを用いて、
θ=arg tan((y2−y1)/(x2−x1))
により算出できる。
The movement direction detection function unit 33 detects each detection area movement direction set for the tracking target person by a known optical flow. The moving direction θ (0 ≦ θ <2π) of the detection area on the frame image is determined based on the position (x1, y1) of the detection area on the previous processing target frame image and the current processing target frame image. Using the position (x2, y2) of the detection area,
θ = arg tan ((y2-y1) / (x2-x1))
Can be calculated.
例えば、図4に示すように、追跡対象者が歩いている人である場合、この追跡対象者に対して設定した多くの検出領域で、移動方向がほぼ同じ方向になる。したがって、追跡対象者が歩いている人である場合、複数の検出領域について検出した移動方向のばらつきは比較的小さい。 For example, as shown in FIG. 4, when the tracking target person is a walking person, the movement directions are substantially the same in many detection regions set for the tracking target person. Therefore, when the tracking target person is a walking person, the variation in the moving direction detected for the plurality of detection regions is relatively small.
一方、図5に示すように、追跡対象者が走っている人である場合、この追跡対象者に対して設定した検出領域の移動方向がさまざまな方向である。これは、追跡対象者が、身体の各部を比較的激しく動かしているからである。したがって、追跡対象者が走っている人である場合、複数の検出領域について検出した移動方向のばらつきは比較的大きくなる。 On the other hand, as shown in FIG. 5, when the tracking target person is a running person, the movement direction of the detection area set for the tracking target person is various directions. This is because the person to be tracked moves each part of the body relatively intensely. Therefore, when the tracking target person is a running person, the variation in the moving direction detected for the plurality of detection areas is relatively large.
なお、走っている人だけでなく、ふらついている人(酔ってふらついている人や、体調不良でふらついている人等)、争っている人(喧嘩している人)等も身体の各部を比較的激しく動かしているので、複数の検出領域について検出した移動方向のばらつきは比較的大きくなる。また、図4、および図5に示す矢印は、一部の検出領域について検出された移動方向を便宜的に示したものであり、処理対象フレーム画像に撮像されているわけではない。 In addition to running people, people who are flirting (people who are drunk and flirting, people who are flirting due to poor physical condition, etc.), people who are fighting (people who are fighting), etc. Since the movement is relatively intense, the variation in the movement direction detected for the plurality of detection areas is relatively large. Moreover, the arrows shown in FIGS. 4 and 5 indicate the moving directions detected for some detection areas for convenience, and are not captured in the processing target frame image.
移動方向検出機能部33も、上記の説明から明らかなように、各検出領域の移動方向を検出する際に、追跡対象者の実空間上の位置を算出する必要はない。 As is apparent from the above description, the movement direction detection function unit 33 does not need to calculate the position of the tracking target person in the real space when detecting the movement direction of each detection region.
ばらつき度算出機能部34は、同じ処理対象フレーム画像において、追跡対象者毎に、その追跡対象者に対して設定した各検出領域の移動方向のばらつき度を算出する。この例では、追跡対象者の各検出領域の移動方向を10°間隔で区切った36次元のヒストグラムのL0ノルムをばらつき度として算出する。L0ノルムは、0でない次元の数である。すなわち、この例では、算出されるばらつき度は、1≦ばらつき度≦36、の範囲の整数になる。 The variation degree calculation function unit 34 calculates, for each tracking target person, the degree of variation in the movement direction of each detection region set for the tracking target person in the same processing target frame image. In this example, the L0 norm of a 36-dimensional histogram obtained by dividing the movement direction of each detection area of the tracking target person at 10 ° intervals is calculated as the degree of variation. The L0 norm is a non-zero dimension number. That is, in this example, the calculated variation degree is an integer in the range of 1 ≦ variation degree ≦ 36.
図6は、図4に示した、歩いている人について作成したヒストグラムの例である。また、図7は、図5に示した、走っている人について作成したヒストグラムの例である。歩いている人は、図6に示すように、検出領域の移動方向が180°を中心に集中している。一方、走っている人は、図7に示すように、検出領域の移動方向が図6に示す、歩いている人に比べてばらついている。図6に示すヒストグラムのL0ノルムは、14であり、図7に示すヒストグラムのL0ノルムは、25である。 FIG. 6 is an example of a histogram created for a walking person shown in FIG. FIG. 7 is an example of a histogram created for a running person shown in FIG. As shown in FIG. 6, the person walking is concentrated in the direction of movement of the detection area centering around 180 °. On the other hand, as shown in FIG. 7, the running person has a different movement direction of the detection region as compared to the walking person shown in FIG. The L0 norm of the histogram shown in FIG. 6 is 14, and the L0 norm of the histogram shown in FIG.
この例では、検出領域の移動方向を36次元に分割しているが、24次元(15°間隔)や72次元(5°間隔)等に分割してもよい。また、追跡対象者に対して設定する検出領域の総数は、次元数の数倍(1〜3倍)程度にすればよい。次元数、および検出領域の総数は、歩いている人と、走っている人との間で、各検出領域の移動方向のばらつき度の差が大きくなるように設定するのがよい。 In this example, the moving direction of the detection region is divided into 36 dimensions, but may be divided into 24 dimensions (15 ° intervals), 72 dimensions (5 ° intervals), and the like. Further, the total number of detection regions set for the tracking target person may be about several times (1 to 3 times) the number of dimensions. The number of dimensions and the total number of detection areas are preferably set so that the difference in the degree of variation in the movement direction of each detection area is large between a walking person and a running person.
分割する次元数を少なくしすぎると、1つの次元の範囲がひろくなるので、各検出領域の移動方向が特定の次元に集中しやすくなる。一方、分割する次元数を多くしすぎると、1つの次元の範囲がせまくなるので、各検出領域の移動方向が多くの次元に分散しやすくなる。したがって、分割する次元数は少なく過ぎても、多すぎても、歩いている人と、走っている人との間で、各検出領域の移動方向のばらつき度の差が小さくなる。 If the number of dimensions to be divided is too small, the range of one dimension becomes wide, and the movement direction of each detection region is easily concentrated on a specific dimension. On the other hand, if the number of dimensions to be divided is increased too much, the range of one dimension becomes small, and therefore the movement direction of each detection region is likely to be distributed over many dimensions. Therefore, even if the number of dimensions to be divided is too small or too large, the difference in the degree of variation in the movement direction of each detection region between the walking person and the running person becomes small.
移動量検出機能部35は、追跡対象者毎に、その追跡対象者に対して設定した各検出領域の移動量を検出する。検出領域の移動量は、時間的に連続する2つの処理対象フレーム画像間において、この検出領域の位置が変化した大きさ(処理対象フレーム画像上の大きさ)である。 The movement amount detection function unit 35 detects the movement amount of each detection area set for the tracking target person for each tracking target person. The amount of movement of the detection region is the amount of change in the position of the detection region between two temporally continuous processing target frame images (the size on the processing target frame image).
移動方向検出機能部33は、前回の処理対象フレーム画像と、今回の処理対象フレーム画像とにおいて、対応する検出領域の移動量を検出する。フレーム画像上における検出領域の移動量は、前回の処理対象フレーム画像上における、この検出領域の位置(x1,y1)と、今回の処理対象フレーム画像上における、この検出領域の位置(x2,y2)とを用いて、
移動量=((x2−x1)2+(y2−y1)2)1/2
により算出できる。
The movement direction detection function unit 33 detects the movement amount of the corresponding detection area in the previous process target frame image and the current process target frame image. The amount of movement of the detection area on the frame image is determined based on the position (x1, y1) of the detection area on the previous processing target frame image and the position (x2, y2) of the detection area on the current processing target frame image. ) And
Movement amount = ((x2−x1) 2 + (y2−y1) 2 ) 1/2
Can be calculated.
この例では、上述した移動方向検出機能部33が、各検出領域の移動方向を検出する際に、オプティカルフローを行うので、移動量検出機能部35は、移動方向検出機能部33にて行われたオプティカルフローの結果を利用して各検出領域の移動量を検出すればよい。すなわち、移動量検出機能部35は、オプティカルフローを行う必要は無い。 In this example, since the movement direction detection function unit 33 described above performs an optical flow when detecting the movement direction of each detection region, the movement amount detection function unit 35 is performed by the movement direction detection function unit 33. The amount of movement of each detection region may be detected using the result of the optical flow. That is, the movement amount detection function unit 35 does not need to perform an optical flow.
ただし、移動量検出機能部35においてオプティカルフローを行う構成であってもよい。この場合、移動方向検出機能部33は、移動量検出機能部35にて行われたオプティカルフローの結果を利用して各検出領域の移動方向を検出すればよい。すなわち、オプティカルフローは、移動方向検出機能部33、または移動量検出機能部35の一方で行えばよく、他方はその結果を利用すればよい。 However, the movement amount detection function unit 35 may perform an optical flow. In this case, the movement direction detection function unit 33 may detect the movement direction of each detection region using the result of the optical flow performed by the movement amount detection function unit 35. That is, the optical flow may be performed by one of the movement direction detection function unit 33 or the movement amount detection function unit 35, and the other may use the result.
移動量検出機能部35も、上述した説明から明らかなように、各検出領域の移動量を検出する際に、追跡対象者の実空間上の位置を算出する必要はない。 As is apparent from the above description, the movement amount detection function unit 35 does not need to calculate the position of the tracking target person in the real space when detecting the movement amount of each detection region.
移動特定値算出機能部36は、追跡対象者に対して設定した各検出領域について、移動量検出機能部35が検出した移動量に基づく移動特定値を算出する。この移動特定値は、この例では、各検出領域の移動量の平均値である。 The movement specific value calculation function unit 36 calculates a movement specific value based on the movement amount detected by the movement amount detection function unit 35 for each detection region set for the tracking target person. In this example, the movement specific value is an average value of the movement amount of each detection region.
なお、移動特定値は、各検出領域の移動量の最大値や中央値にしてもよい。 The movement specific value may be the maximum value or the median value of the movement amount of each detection region.
判定値算出機能部37は、ばらつき度算出機能部34が算出したばらつき度と、移動特定値算出機能部36が算出した移動特定値と用いて、判定値を算出する。この例では、判定値は、ばらつき度算出機能部34が算出したばらつき度と、移動特定値算出機能部36が算出した移動特定値とを乗じた値である。すなわち、
判定値=(移動特定値)×(ばらつき度)
である。
The determination value calculation function unit 37 calculates a determination value using the variation degree calculated by the variation degree calculation function unit 34 and the movement specific value calculated by the movement specific value calculation function unit 36. In this example, the determination value is a value obtained by multiplying the variation degree calculated by the variation degree calculation function unit 34 and the movement specific value calculated by the movement specific value calculation function unit 36. That is,
Judgment value = (movement specific value) x (variation)
It is.
なお、判定値は、上記以外の算出式で算出される値にしてもよい。 Note that the determination value may be a value calculated by a calculation formula other than the above.
判定閾値決定機能部38は、フレーム画像上における追跡対象者の移動方向(上述した各検出領域の移動方向ではない。)に基づいて決定する。フレーム画像上における追跡対象者の移動方向は、上述したように、オブジェクト追跡機能部31が作成したオブジェクトマップから得られる。この例では、
判定閾値=A×|cosα|+B
により算出した値に決定する。但し、A、Bは、予め定めた定数であり、αは、フレーム画像上における追跡対象者の移動方向である。フレーム画像上における追跡対象者の移動方向αも、図3に示したフレーム画像上における右向きの水平方向を0°とし、時計回りに設定した角度α(0≦α<360°)である。
The determination threshold value determination function unit 38 determines based on the moving direction of the tracking target person on the frame image (not the moving direction of each detection area described above). The moving direction of the tracking target person on the frame image is obtained from the object map created by the object tracking function unit 31 as described above. In this example,
Determination threshold = A × | cos α | + B
The value calculated by is determined. However, A and B are predetermined constants, and α is the movement direction of the tracking target person on the frame image. The moving direction α of the tracking target person on the frame image is also an angle α (0 ≦ α <360 °) set clockwise with the rightward horizontal direction on the frame image shown in FIG. 3 being 0 °.
フレーム画像上で横方向(図3で示した水平方向)に移動した追跡対象者と、フレーム画像上で縦方向に移動した追跡対象者とを比べると、これらの追跡対象者が実空間上において移動した移動量が同じである場合、フレーム画像上では横方向に移動した追跡対象者のほうが移動量が大きくなる。これは、フレーム画像上で縦方向に移動した追跡対象者のほうが消失点方向の移動成分が大きいからである。このことから、判定閾値決定機能部38によって決定される判定閾値は、フレーム画像上における追跡対象者の移動方向が縦方向に近づくにつれて(図3に示した、90°や270°に近づくにつれて)小さくなるようにしている。 When a tracking target person who moved in the horizontal direction (horizontal direction shown in FIG. 3) on the frame image is compared with a tracking target person who moved in the vertical direction on the frame image, these tracking target persons When the amount of movement is the same, the amount of movement is greater for the tracking target person who has moved in the horizontal direction on the frame image. This is because the tracking target person who moved in the vertical direction on the frame image has a larger moving component in the vanishing point direction. Therefore, the determination threshold value determined by the determination threshold value determination function unit 38 is as the moving direction of the tracking target person on the frame image approaches the vertical direction (as approaching 90 ° or 270 ° shown in FIG. 3). I try to make it smaller.
なお、判定閾値決定機能部38は、フレーム画像上における追跡対象者の移動方向が縦方向になるにつれて小さくなる条件を満たせば、他の算出式で判定閾値を算出する構成であってもよい。 Note that the determination threshold value determination function unit 38 may be configured to calculate the determination threshold value using another calculation formula as long as a condition that decreases as the moving direction of the tracking target person on the frame image becomes the vertical direction is satisfied.
判定機能部39は、判定値算出機能部37が算出した判定値と、判定閾値決定機能部38が決定した判定閾値とを比較し、判定値が判定閾値未満であれば、追跡対象者の動きは特異でないと判定し、反対に判定値が判定閾値以上であれば、追跡対象者の動きが特異であると判定する。 The determination function unit 39 compares the determination value calculated by the determination value calculation function unit 37 with the determination threshold determined by the determination threshold determination function unit 38. If the determination value is less than the determination threshold, the movement of the tracking target person Is determined to be non-singular, and if the determination value is equal to or greater than the determination threshold, it is determined that the movement of the person being tracked is peculiar.
図8は、動き判定装置の画像処理部の動作を示すフローチャートである。画像処理部3は、動画像入力部2に入力された動画像にかかるフレーム画像の中から、今回の処理対象フレーム画像を決定する(s1)。 FIG. 8 is a flowchart showing the operation of the image processing unit of the motion determination apparatus. The image processing unit 3 determines the current processing target frame image from the frame images related to the moving image input to the moving image input unit 2 (s1).
画像処理部3は、s1で決定した今回の処理対象フレーム画像を処理し、追跡対象者に対する追跡処理を行う(s2)。s2では、上述したオブジェクトマップの作成を行う。s2にかかる処理は、オブジェクト追跡機能部31が行う。 The image processing unit 3 processes the current processing target frame image determined in s1, and performs tracking processing for the tracking target person (s2). In s2, the object map described above is created. The object tracking function unit 31 performs the process related to s2.
画像処理部3は、追跡対象者毎に、その追跡対象者に対して検出領域を設定する(s3)。s3では、検出領域設定機能部32が、オプティカルフローによって移動ベクトルを検出する検出領域を設定している。この例では、検出領域設定機能部32は、処理対象フレーム画像に撮像されている追跡対象者毎に、その追跡対象者に対して、上半身を囲む矩形領域を対象領域として設定する。検出領域設定機能部32は、設定した対象領域をマトリクス状に分割し、分割した各領域を検出領域に設定する。 The image processing unit 3 sets a detection area for each tracking target person (s3). In s3, the detection area setting function unit 32 sets a detection area for detecting a movement vector by optical flow. In this example, the detection area setting function unit 32 sets, for each tracking target person captured in the processing target frame image, a rectangular area surrounding the upper body as the target area for the tracking target person. The detection area setting function unit 32 divides the set target area into a matrix and sets each divided area as a detection area.
画像処理部3は、追跡対象者毎に、その追跡対象者の移動特定値を算出するとともに(s4)、その追跡対象者の移動方向のばらつき度を算出する(s5)。s4、およびs5にかかる処理は、実行する順番が前後してもよいし、並列的に行われてもよい。s4にかかる処理は、移動量検出機能部35、および移動特定値算出機能部が行う。また、s5にかかる処理は、移動方向検出機能部33、およびばらつき度算出機能部34が行う。 For each tracking target person, the image processing unit 3 calculates the movement specific value of the tracking target person (s4) and calculates the degree of variation in the movement direction of the tracking target person (s5). The processes according to s4 and s5 may be executed in order or may be performed in parallel. The process related to s4 is performed by the movement amount detection function unit 35 and the movement specific value calculation function unit. Further, the processing related to s5 is performed by the movement direction detection function unit 33 and the variation degree calculation function unit 34.
なお、各検出領域の移動ベクトルを検出するオプティカルフローにかかる処理は、s4、およびs5にかかる処理に先立って行われる。このオプティカルフローにかかる処理は、移動量検出機能部35、または移動方向検出機能部33の一方が行う。 The process related to the optical flow for detecting the movement vector of each detection area is performed prior to the processes related to s4 and s5. One of the movement amount detection function unit 35 and the movement direction detection function unit 33 performs the process related to the optical flow.
s4では、追跡対象者毎に、その追跡対象者に対して設定されている各検出領域の移動量を検出し、その平均値をその追跡対象者の移動特定値として算出する。また、s5では、追跡対象者毎に、その追跡対象者に対して設定されている各検出領域の移動方向を検出し、図6や図7に示したヒストグラムのL0ノルムをその追跡対象者の移動方向のばらつき度として算出する。 In s4, the movement amount of each detection area set for the tracking target person is detected for each tracking target person, and the average value is calculated as the movement specific value of the tracking target person. In s5, the movement direction of each detection region set for the tracking target person is detected for each tracking target person, and the L0 norm of the histogram shown in FIGS. Calculated as the degree of variation in the moving direction.
また、画像処理部3は、追跡対象者毎に、s4で算出した移動特定値と、s5で算出したばらつき度と、を用いて判定値を算出する(s6)。s6で算出する判定値は、s4で算出した移動特定値と、s5で算出したばらつき度と、を乗じた値である。s6にかかる処理は、判定値算出機能部37が行う。 The image processing unit 3 calculates a determination value for each tracking target person using the movement specific value calculated in s4 and the variation degree calculated in s5 (s6). The determination value calculated in s6 is a value obtained by multiplying the movement specific value calculated in s4 and the variation degree calculated in s5. The determination value calculation function unit 37 performs the process related to s6.
画像処理部3は、追跡対象者毎に、その追跡対象者に対する判定閾値を決定する(s7)。判定閾値は、上述したように、フレーム画像上における追跡対象者の移動方向に応じて決定される。このs7にかかる処理は、上述したs2〜s6にかかる処理と並列的におこってもよいし、s2〜s6のいずれかの処理を開始する前に実行してもよい。s7にかかる処理は、判定閾値決定機能部38が行う。 The image processing unit 3 determines a determination threshold for each tracking target person for each tracking target person (s7). As described above, the determination threshold is determined according to the movement direction of the tracking target person on the frame image. The process related to s7 may be performed in parallel with the process related to s2 to s6 described above, or may be executed before starting any of the processes of s2 to s6. The determination threshold value determination function unit 38 performs the process related to s7.
画像処理部3は、追跡対象者毎に、その追跡対象者についてs6で算出した判定値と、s7で算出した判定閾値と、を比較し、その追跡対象者の行動が特異であるかどうかを判定する判定処理を行う(s8)。s8にかかる処理は、判定機能部39が行う。s8では、追跡対象者毎に、その追跡対象者についてs6で算出した判定値が、s7で算出した判定閾値未満であれば、行動が特異でないと判定し、s7で算出した判定閾値以上であれば、行動が特異であると判定する。 For each tracking target person, the image processing unit 3 compares the determination value calculated in s6 for the tracking target person with the determination threshold calculated in s7, and determines whether the behavior of the tracking target person is unique. A determination process for determining is performed (s8). The determination function unit 39 performs the process related to s8. In s8, if the determination value calculated in s6 for each tracking target person is less than the determination threshold value calculated in s7, it is determined that the action is not unique and the determination threshold value calculated in s7 is greater than or equal to the determination threshold value. For example, it is determined that the behavior is unique.
画像処理部3は、s8で、少なくとも1人の追跡対象者について行動が特異であると判定すると、行動が特異である追跡対象者が存在している旨の判定結果を出力する(s9、s11)。反対に、画像処理部3は、s8で、全ての追跡対象者について行動が特異でないと判定すると、行動が特異である追跡対象者が存在していない旨の判定結果を出力する(s9、s10)。 If the image processing unit 3 determines in s8 that the behavior is unique for at least one tracking target person, the image processing unit 3 outputs a determination result indicating that there is a tracking target person whose behavior is unique (s9, s11). ). On the other hand, when the image processing unit 3 determines in s8 that the behavior is not unique for all the tracking target persons, the image processing unit 3 outputs a determination result indicating that there is no tracking target person whose behavior is unique (s9, s10). ).
このように、この例にかかる動き判定装置1は、入力された動画像にかかるフレーム画像に撮像されている追跡対象者について、実空間上の位置を算出することなく、この追跡対象者の行動が得意であるかどうかを判定することができる。したがって、入力された動画像に撮像されている追跡対象者(オブジェクト)の動きが特異であるかどうかの判定が簡単に行え、且つ、運用管理にかかる人手やコストを低減することができる。 As described above, the motion determination apparatus 1 according to this example does not calculate the position in the real space for the tracking target person captured in the frame image related to the input moving image, and the behavior of the tracking target person is calculated. Can be determined whether or not. Therefore, it is possible to easily determine whether or not the movement of the tracking target person (object) captured in the input moving image is peculiar, and to reduce the manpower and cost for operation management.
また、上記の例では、s5で算出する移動方向のばらつき度は、各検出領域の移動方向のL0ノルムとしたが、各検出領域の移動方向の分散δ2や標準偏差δにしてもよい。 In the above example, the variation degree of the movement direction calculated in s5 is the L0 norm of the movement direction of each detection area, but may be a variance δ 2 or a standard deviation δ of the movement direction of each detection area.
また、s6で算出する判定値は、s5で算出した各検出領域の移動方向のばらつき度にしてもよい。このようにすれば、各検出領域について移動量を検出する構成が不要になるので、処理負荷の低減が図れるとともに、動き判定装置1本体のコストダウンが図れる。 The determination value calculated in s6 may be the degree of variation in the movement direction of each detection region calculated in s5. This eliminates the need for detecting the amount of movement for each detection region, so that the processing load can be reduced and the cost of the main body of the motion determination apparatus 1 can be reduced.
また、s7で算出する判定閾値は、予め設定した固定値にしてもよい。このようにすれば、追跡対象者毎に判定閾値を算出する構成が不要になるので、処理負荷の低減が図れるとともに、動き判定装置1本体のコストダウンが図れる。 Further, the determination threshold value calculated in s7 may be a preset fixed value. In this way, the configuration for calculating the determination threshold value for each person to be tracked becomes unnecessary, so that the processing load can be reduced and the cost of the main body of the motion determination device 1 can be reduced.
1…動き判定装置
2…動画像入力部
3…画像処理部
4…出力部
10…撮像装置
31…オブジェクト追跡機能部
32…検出領域設定機能部
33…移動方向検出機能部
34…ばらつき度算出機能部
35…移動量検出機能部
36…移動特定値算出機能部
37…判定値算出機能部
38…判定閾値決定機能部
39…判定機能部
DESCRIPTION OF SYMBOLS 1 ... Motion determination apparatus 2 ... Moving image input part 3 ... Image processing part 4 ... Output part 10 ... Imaging device 31 ... Object tracking function part 32 ... Detection area setting function part 33 ... Moving direction detection function part 34 ... Variability calculation function Unit 35 ... Movement amount detection function unit 36 ... Movement specific value calculation function unit 37 ... Determination value calculation function unit 38 ... Determination threshold value determination function unit 39 ... Determination function unit
Claims (9)
前記動画像入力部に入力された動画像にかかるフレーム画像を処理し、撮像されているオブジェクトに対して定めた複数の検出領域毎に、フレーム画像上における移動方向を検出する移動方向検出部と、
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出部が検出した移動方向のばらつき度を算出するばらつき度算出部と、
前記オブジェクトの動きが特異であるかどうかを、前記ばらつき度算出部が算出した前記ばらつき度を用いて判定する判定部と、を備え、
前記ばらつき度算出部は、前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出部が検出した移動方向のヒストグラムのL0ノルムを、前記ばらつき度として算出する、動き判定装置。 A moving image input unit for inputting a moving image obtained by imaging the target area;
A moving direction detection unit that processes a frame image related to the moving image input to the moving image input unit and detects a moving direction on the frame image for each of a plurality of detection regions defined for the object being imaged; ,
A variation degree calculation unit that calculates a variation degree of the movement direction detected by the movement direction detection unit for the plurality of detection regions defined for the object;
Whether the movement of the object is singular, Bei give a, a determination unit by using the variation degree of the variation degree calculating unit is calculated,
The variation degree calculating unit calculates a L0 norm of a moving direction histogram detected by the moving direction detection unit as the degree of variation for the plurality of detection regions defined for the object .
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動量検出部が検出した移動量から前記オブジェクトの移動特定値を算出する移動特定値算出部と、を備え、
前記判定部は、前記オブジェクトの動きが特異であるかどうかを、前記ばらつき度算出部が算出した前記ばらつき度、および前記移動特定値算出部が算出した前記移動特定値を用いて判定する、請求項1に記載の動き判定装置。 A movement amount detection unit that detects a movement amount on a frame image for each of the plurality of detection regions defined for the object;
A movement specific value calculation unit that calculates a movement specific value of the object from the movement amount detected by the movement amount detection unit for the plurality of detection areas defined for the object;
The determination unit determines whether or not the movement of the object is unique using the variation degree calculated by the variation degree calculation unit and the movement specific value calculated by the movement specific value calculation unit. Item 2. The motion determination device according to Item 1.
前記動画像入力部に入力された動画像にかかるフレーム画像を処理し、撮像されているオブジェクトに対して定めた複数の検出領域毎に、フレーム画像上における移動方向を検出する移動方向検出部と、A moving direction detection unit that processes a frame image related to the moving image input to the moving image input unit and detects a moving direction on the frame image for each of a plurality of detection regions defined for the object being imaged; ,
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出部が検出した移動方向のばらつき度を算出するばらつき度算出部と、A variation degree calculation unit that calculates a variation degree of the movement direction detected by the movement direction detection unit for the plurality of detection regions defined for the object;
前記オブジェクトに対して定めた複数の前記検出領域毎に、フレーム画像上における移動量を検出する移動量検出部と、A movement amount detection unit that detects a movement amount on a frame image for each of the plurality of detection regions defined for the object;
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動量検出部が検出した移動量から前記オブジェクトの移動特定値を算出する移動特定値算出部と、A movement specific value calculation unit that calculates a movement specific value of the object from the movement amount detected by the movement amount detection unit for the plurality of detection areas defined for the object;
前記オブジェクトの動きが特異であるかどうかを、前記ばらつき度算出部が算出した前記ばらつき度と、前記移動特定値算出部が算出した前記移動特定値とを乗じた判定値と、判定閾値との比較により判定する判定部と、A determination value obtained by multiplying the variation degree calculated by the variation degree calculation unit by the movement specific value calculated by the movement specific value calculation unit, and a determination threshold value, whether or not the movement of the object is peculiar. A determination unit for determination by comparison;
フレーム画像上における前記オブジェクトの移動方向に応じて前記判定閾値を決定する判定閾値決定部と、を備えた動き判定装置。A determination threshold value determining unit configured to determine the determination threshold value according to a moving direction of the object on a frame image;
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出ステップで検出した移動方向のばらつき度を算出するばらつき度算出ステップと、
前記オブジェクトの動きが特異であるかどうかを、前記ばらつき度算出ステップで算出した前記ばらつき度を用いて判定する判定ステップと、を備え、
前記ばらつき度算出ステップは、前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出ステップで検出した移動方向のヒストグラムのL0ノルムを、前記ばらつき度として算出するステップである、動き判定方法。 A frame image related to a moving image obtained by imaging the target area input to the moving image input unit is processed, and a moving direction on the frame image is detected for each of a plurality of detection areas defined for the object being imaged. A moving direction detection step;
A variation degree calculating step for calculating a variation degree of the movement direction detected in the movement direction detection step for the plurality of detection regions defined for the object;
A determination step of determining whether or not the movement of the object is peculiar using the variation degree calculated in the variation degree calculation step ,
The variation degree calculating step is a step of calculating the L0 norm of the moving direction histogram detected in the moving direction detecting step as the degree of variation for the plurality of detection regions defined for the object. Method.
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出ステップで検出した移動方向のばらつき度を算出するばらつき度算出ステップと、A variation degree calculating step for calculating a variation degree of the movement direction detected in the movement direction detection step for the plurality of detection regions defined for the object;
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出ステップで検出した移動方向のばらつき度を算出するばらつき度算出ステップと、A variation degree calculating step for calculating a variation degree of the movement direction detected in the movement direction detection step for the plurality of detection regions defined for the object;
前記オブジェクトに対して定めた複数の前記検出領域毎に、フレーム画像上における移動量を検出する移動量検出ステップと、A movement amount detecting step for detecting a movement amount on a frame image for each of the plurality of detection regions defined for the object;
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動量検出ステップで検出した移動量から前記オブジェクトの移動特定値を算出する移動特定値算出ステップと、A movement specific value calculation step for calculating a movement specific value of the object from the movement amount detected in the movement amount detection step for the plurality of detection regions defined for the object;
前記オブジェクトの動きが特異であるかどうかを、前記ばらつき度算出ステップで算出した前記ばらつき度と、前記移動特定値算出ステップで算出した前記移動特定値とを乗じた判定値と、判定閾値との比較により判定する判定ステップと、A determination value obtained by multiplying the variation degree calculated in the variation degree calculation step by the movement specific value calculated in the movement specific value calculation step, and a determination threshold value, whether the movement of the object is peculiar. A determination step for determining by comparison;
フレーム画像上における前記オブジェクトの移動方向に応じて前記判定閾値を決定する判定閾値決定ステップと、を備えた動き判定方法。And a determination threshold value determining step for determining the determination threshold value according to the moving direction of the object on the frame image.
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出ステップで検出した移動方向のばらつき度を算出するばらつき度算出ステップと、
前記オブジェクトの動きが特異であるかどうかを、前記ばらつき度算出ステップで算出した前記ばらつき度を用いて判定する判定ステップと、をコンピュータに実行させ、
前記ばらつき度算出ステップは、前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出ステップで検出した移動方向のヒストグラムのL0ノルムを、前記ばらつき度として算出するステップである、動き判定プログラム。 A frame image related to a moving image obtained by imaging the target area input to the moving image input unit is processed, and a moving direction on the frame image is detected for each of a plurality of detection areas defined for the object being imaged. A moving direction detection step;
A variation degree calculating step for calculating a variation degree of the movement direction detected in the movement direction detection step for the plurality of detection regions defined for the object;
Determining whether or not the movement of the object is peculiar using the variation degree calculated in the variation degree calculation step, and causing the computer to execute
The variation degree calculating step is a step of calculating the L0 norm of the moving direction histogram detected in the moving direction detecting step as the degree of variation for the plurality of detection regions defined for the object. program.
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出ステップで検出した移動方向のばらつき度を算出するばらつき度算出ステップと、A variation degree calculating step for calculating a variation degree of the movement direction detected in the movement direction detection step for the plurality of detection regions defined for the object;
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動方向検出ステップで検出した移動方向のばらつき度を算出するばらつき度算出ステップと、A variation degree calculating step for calculating a variation degree of the movement direction detected in the movement direction detection step for the plurality of detection regions defined for the object;
前記オブジェクトに対して定めた複数の前記検出領域毎に、フレーム画像上における移動量を検出する移動量検出ステップと、A movement amount detecting step for detecting a movement amount on a frame image for each of the plurality of detection areas defined for the object;
前記オブジェクトに対して定めた複数の前記検出領域について、前記移動量検出ステップで検出した移動量から前記オブジェクトの移動特定値を算出する移動特定値算出ステップと、A movement specific value calculation step for calculating a movement specific value of the object from the movement amount detected in the movement amount detection step for the plurality of detection regions defined for the object;
前記オブジェクトの動きが特異であるかどうかを、前記ばらつき度算出ステップで算出した前記ばらつき度と、前記移動特定値算出ステップで算出した前記移動特定値とを乗じた判定値と、判定閾値との比較により判定する判定ステップと、A determination value obtained by multiplying the variation degree calculated in the variation degree calculation step by the movement specific value calculated in the movement specific value calculation step, and a determination threshold value, whether the movement of the object is peculiar. A determination step for determining by comparison;
フレーム画像上における前記オブジェクトの移動方向に応じて前記判定閾値を決定する判定閾値決定ステップと、をコンピュータに実行させる動き判定プログラム。A motion determination program for causing a computer to execute a determination threshold value determining step of determining the determination threshold value according to a moving direction of the object on a frame image.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510187574.9A CN106157328B (en) | 2015-04-20 | 2015-04-20 | Move decision maker, movement determination method |
CN201510187574.9 | 2015-04-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016207185A JP2016207185A (en) | 2016-12-08 |
JP6599644B2 true JP6599644B2 (en) | 2019-10-30 |
Family
ID=57487163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015111260A Active JP6599644B2 (en) | 2015-04-20 | 2015-06-01 | Motion determination device, motion determination method, and motion determination program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6599644B2 (en) |
CN (1) | CN106157328B (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6863728B2 (en) * | 2016-12-14 | 2021-04-21 | 株式会社デンソーテン | Driving support device and driving support method |
JP7242309B2 (en) * | 2019-01-16 | 2023-03-20 | キヤノン株式会社 | Image processing device, image processing method and program |
CN113099173A (en) * | 2021-03-25 | 2021-07-09 | 湖南桥康智能科技有限公司 | Intelligent network camera with object displacement measurement and calculation functions |
CN114821795B (en) * | 2022-05-05 | 2022-10-28 | 北京容联易通信息技术有限公司 | Personnel running detection and early warning method and system based on ReiD technology |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070063304A (en) * | 2005-12-14 | 2007-06-19 | 삼성전자주식회사 | Motion estimator and motion estimating method |
JP4811184B2 (en) * | 2006-08-04 | 2011-11-09 | 株式会社日立製作所 | Image monitoring device |
WO2013021767A1 (en) * | 2011-08-10 | 2013-02-14 | 富士フイルム株式会社 | Device and method for detecting moving objects |
JP5978639B2 (en) * | 2012-02-06 | 2016-08-24 | ソニー株式会社 | Image processing apparatus, image processing method, program, and recording medium |
CN102930248A (en) * | 2012-10-22 | 2013-02-13 | 中国计量学院 | Crowd abnormal behavior detection method based on machine learning |
-
2015
- 2015-04-20 CN CN201510187574.9A patent/CN106157328B/en active Active
- 2015-06-01 JP JP2015111260A patent/JP6599644B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016207185A (en) | 2016-12-08 |
CN106157328B (en) | 2019-05-03 |
CN106157328A (en) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101593187B1 (en) | Device and method surveiling innormal behavior using 3d image information | |
KR101299237B1 (en) | Apparatus and method for detecting object using PTZ camera | |
US8498444B2 (en) | Blob representation in video processing | |
JP2022166067A (en) | Information processing system, information processing method and program | |
JP5885398B2 (en) | Image processing apparatus and image processing method | |
JP6233624B2 (en) | Information processing system, information processing method, and program | |
JP6599644B2 (en) | Motion determination device, motion determination method, and motion determination program | |
JP5754990B2 (en) | Information processing apparatus, information processing method, and program | |
TWI438702B (en) | Method for setting dynamic enviromental image borders and method for instantly determining the content of staff member activities | |
US20150317514A1 (en) | Image processing apparatus and method of processing image | |
KR20150002038A (en) | Method of Real-Time Vehicle Recognition and Tracking Using Kalman Filter and Clustering Algorithm Based on Haar-like Feature and Adaboost | |
CN111382637B (en) | Pedestrian detection tracking method, device, terminal equipment and medium | |
JP2014056494A (en) | Image processor, object detection method, and object detection program | |
US11948363B2 (en) | Person detection device and person detection method | |
KR20150051630A (en) | Apparatus and method for detecting terrorism using irregular motion of peoples | |
JP2015194915A (en) | Moving body tracking apparatus, moving body tracking method, moving body tracking system, and camera | |
KR101542206B1 (en) | Method and system for tracking with extraction object using coarse to fine techniques | |
KR101640527B1 (en) | Method and Apparatus for Monitoring Video for Estimating Size of Single Object | |
JP2019096062A (en) | Object tracking device, object tracking method, and object tracking program | |
JP2018197945A (en) | Obstacle detection apparatus and obstacle detection method | |
KR101646580B1 (en) | Device and method for detecting/tracking low-body part | |
JP5935617B2 (en) | Image processing apparatus, moving body state determination method, and moving body state determination program | |
JP6163732B2 (en) | Image processing apparatus, program, and method | |
KR101669885B1 (en) | method of detecting pedestrian collision and IoT apparatus thereof | |
JP2018151940A (en) | Obstacle detection device and obstacle detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150603 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191003 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6599644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |