WO2021181790A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2021181790A1
WO2021181790A1 PCT/JP2020/047021 JP2020047021W WO2021181790A1 WO 2021181790 A1 WO2021181790 A1 WO 2021181790A1 JP 2020047021 W JP2020047021 W JP 2020047021W WO 2021181790 A1 WO2021181790 A1 WO 2021181790A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
moving
movement information
comparison
moving body
Prior art date
Application number
PCT/JP2020/047021
Other languages
English (en)
French (fr)
Inventor
郁奈 辻
昂志 太田
小林　剛
俊文 岸田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US17/908,039 priority Critical patent/US20230082044A1/en
Priority to DE112020006877.3T priority patent/DE112020006877T5/de
Priority to CN202080097874.7A priority patent/CN115210759A/zh
Publication of WO2021181790A1 publication Critical patent/WO2021181790A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to a technique for detecting abnormal movement of a moving object in an image captured by a camera.
  • IP camera In monitoring using a network camera (IP camera), it is required to detect a moving object showing abnormal movement based on an image taken by a network camera installed in a building and notify a user such as an administrator. There is.
  • Patent Document 1 shows an abnormal motion when an motion vector between frames of an image captured by a camera is calculated and an motion vector representing an abnormal motion defined in advance for each block of an image is detected.
  • a technique for notifying a moving object is disclosed.
  • Patent Document 2 parameters related to the living behavior of the observed person by the camera are stored in a database, and parameters related to the occurrence of living behavior estimated by using a motion sensor or an imaging element are compared with the parameters stored in the database. By doing so, a technique for determining the abnormal behavior of the observed person is disclosed.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for detecting an abnormal movement of a moving object in an image by suppressing the load of image processing on the image captured by the camera.
  • the present invention adopts the following configuration.
  • the first aspect of the present invention is an image acquisition means for acquiring images captured by a camera in time series, a storage means for accumulating time-series movement information of a moving object in the captured image, and the image acquisition means. Comparison between the calculation means for calculating the movement information of the moving body from the acquired time-series captured images, the movement information of the moving body calculated by the calculation means, and the movement information of the moving body accumulated by the storage means. Based on the comparison result of the movement information of the moving object by the means and the comparing means, the determining means for determining whether or not the moving object to be compared by the comparing means exhibits an abnormal movement, and the determination by the determining means. It is an image processing apparatus characterized by having an output means for outputting a result. As a result, various data for comparison with the movement information obtained from the captured image are not created in advance or such data is not used, so that the load of image processing is suppressed and a moving object showing abnormal movement can be obtained. Can be detected.
  • the movement information may include at least one of the movement amount of the moving body and the moving direction of the moving body.
  • the movement information may include at least one of the movement amount of the moving body and the moving direction of the moving body.
  • the calculation means may calculate the movement amount or at least one of the movement directions based on the difference in the pixel values between the plurality of captured images acquired by the image acquisition means in time series.
  • the movement amount and movement direction of the moving object can be calculated from the difference between the pixel values of the captured images of two adjacent frames, or from the average value of the pixel values of the captured images of three or more adjacent frames. Can be done.
  • the storage means may store any one of the range determined by the average value, the mode value, the median value, the minimum value and the maximum value of the movement amount. This makes it possible to flexibly select a criterion for comparison with the movement amount calculated from the captured image in order to detect a moving object showing abnormal movement according to the shooting environment of the camera.
  • the image processing device further includes a receiving means for receiving a user input regarding whether or not the moving object with respect to the determination result output by the output means exhibits an abnormal movement
  • the storage means is the receiving means.
  • it may be determined whether or not to update the movement information accumulated by the storage means using the movement information calculated by the calculation means.
  • the image processing device determines that a moving object showing normal movement shows abnormal movement, the movement information accumulated based on the feedback input by the user is updated to cause abnormal movement from the next time onward. It is possible to improve the detection accuracy of the moving object indicating.
  • the present invention includes an image processing method including at least a part of the above processing, a program for causing a computer to execute these methods, or a computer-readable record in which such a program is recorded non-temporarily. It can also be regarded as a medium.
  • the present invention it is possible to suppress the processing load of the image acquired by the camera and detect a moving object showing abnormal movement.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus to which the present invention is applied.
  • FIG. 2 is a block diagram showing a configuration example of a PC (image processing device) according to an embodiment.
  • FIG. 3 is a flowchart showing an example of a processing flow of a PC according to an embodiment.
  • FIG. 4 is a flowchart showing an example of a processing flow of a PC subroutine according to the embodiment.
  • FIG. 5A is a schematic diagram showing a specific example of the captured image according to the embodiment
  • FIGS. 5B and 5C are schematic views showing a specific example of the stationary data of the moving amount and the stationary data of the moving direction, respectively.
  • FIGS. 6A to 6C are schematic views showing a specific example of the movement of a suspicious person in the captured image according to the embodiment, and FIGS. 6D and 6E are movement amounts calculated from the captured images of FIGS. 6A to 6C. It is a schematic diagram which shows each specific example of a moving direction.
  • IP camera network camera
  • a user such as an administrator
  • IP camera IP camera
  • an enormous dictionary used for detecting the moving object from the captured image is used, which increases the load of image processing.
  • FIG. 1 is a block diagram showing a configuration example of an image processing device 100 to which the present invention is applied.
  • the image processing device 100 includes an image acquisition unit 101, an abnormality determination unit 102, and an output unit 103.
  • the image acquisition unit 101 acquires an image captured by the network camera.
  • the abnormality determination unit 102 executes the process described in detail in the following embodiment to detect a moving object showing abnormal movement with respect to the captured image. More specifically, the abnormality determination unit 102 calculates the moving amount and moving direction of the moving body based on the captured image, and identifies the moving body showing abnormal movement based on the calculated moving amount and moving direction.
  • the output unit 103 outputs a notification of a moving object indicating an abnormal movement identified by the abnormality determination unit 102.
  • the image processing apparatus 100 it is possible to accurately detect a moving object showing abnormal movement with respect to an image captured by a camera while suppressing the load of image processing in various usage environments.
  • FIG. 2 is a schematic diagram showing a rough configuration example of the image processing system according to the present embodiment.
  • the image processing system according to the present embodiment includes a PC 200 (personal computer; image processing device), a network camera 300, and a display device 400.
  • the PC 200 and the network camera 300 are connected to each other by wire or wirelessly, and the PC 200 and the display device 400 are connected to each other by wire or wirelessly.
  • the network camera 300 installed under the eaves of the entrance of the house images the entrance, the site of the house, the road adjacent to the site, and the like.
  • the network camera 300 acquires captured images of a plurality of frames and outputs the captured captured images to the PC 200.
  • the PC 200 identifies a moving object showing abnormal movement based on an image captured by the network camera 300, and outputs information about the identified moving object to the display device.
  • Examples of display devices include displays and information processing terminals (smartphones, etc.).
  • the PC 200 is a device separate from the network camera 300 and the display device 400, but the PC 200 may be integrally configured with the network camera 300 or the display device 400. Further, the installation location of the PC 200 is not particularly limited. For example, the PC 200 may be installed in the same place as the network camera 300. Further, the PC 200 may be a computer on the cloud.
  • the PC 200 has an input unit 210, a control unit 220, a storage unit 230, and an output unit 240.
  • the control unit 220 includes a moving body information acquisition unit 221, a reference value calculation unit 224, a comparison unit 225, and a determination unit 226.
  • the moving body information acquisition unit 221 has an inter-frame difference calculation unit 222 and a movement information calculation unit 223.
  • the input unit 210, the storage unit 230, the inter-frame difference calculation unit 222, the comparison unit 225, the determination unit 226, and the output unit 240 are the image acquisition means, storage means, calculation means, comparison means, determination means, and output means of the present invention, respectively. Corresponds to.
  • the input unit 210 acquires a frame constituting the moving image captured by the network camera 300 from the network camera 300 and outputs the frame to the control unit 220.
  • the network camera 300 does not have to be an optical camera, but may be a thermal camera or the like.
  • the control unit 220 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls each part in the PC 200 and performs various information processing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the moving object information acquisition unit 221 generates data accumulating the movements of the moving objects within the angle of view of the network camera 300 in time series as stationary data, and stores the generated stationary data in the storage unit 230. Further, the inter-frame difference calculation unit 222 of the moving body information acquisition unit 221 calculates the pixel difference amount between two or more adjacent frames of stationary data. Further, the movement information calculation unit 223 of the moving body information acquisition unit 221 calculates the moving amount and the moving direction of the moving body based on the pixel difference amount calculated by the inter-frame difference calculation unit 222.
  • the reference value calculation unit 224 determines the movement amount of the moving object based on the movement amount and the movement direction of the moving object calculated by the movement information calculation unit 223 and the movement amount and the movement direction indicated by the stationary data stored in the storage unit 230.
  • the range determined by the average value, the mode value, the median value, the minimum value and the maximum value, and the range determined by the average value, the mode value, the median value, the minimum value and the maximum value based on the angle of the moving direction of the moving body are calculated. Then, the reference value calculation unit 224 updates the stationary data stored in the storage unit 230 using the calculation result.
  • the comparison unit 225 compares the difference between the calculated movement amount and movement direction of the moving body and the moving amount and moving direction of the moving body included in the steady-state data with the threshold value for determining an abnormality.
  • the determination unit 226 determines a moving object showing an abnormal movement based on the comparison result by the comparison unit 225.
  • the storage unit 230 stores, in addition to the above-mentioned stationary data, a program executed by the control unit 220, various data used by the control unit 220, and the like.
  • the storage unit 230 is an auxiliary storage device such as a hard disk drive or a solid state drive.
  • the output unit 240 outputs to the display device 400 information for notifying the determination result of the moving object indicating the abnormal movement by the determination unit 226.
  • the determination result of the moving object by the determination unit 226 may be stored in the storage unit 230 and output from the output unit 240 to the display device 400 at an arbitrary timing.
  • FIG. 3 is a flowchart showing an example of the processing flow of the PC200.
  • the PC 200 executes the processing flow of FIG. 3 for each image acquired by the input unit 210.
  • the repetition cycle of the processing flow of FIG. 3 that is repeatedly executed by the PC 200 is not particularly limited, but in the present embodiment, it is assumed that the processing flow of FIG. 3 is repeated at the frame rate of imaging by the network camera 300.
  • the input unit 210 acquires the captured image captured by the network camera 300 from the network camera 300 (step S301).
  • the captured image acquired by the input unit 210 is temporarily stored in a RAM or the like in the PC 200. If the input unit 210 has acquired only one frame of captured images, the process of step S301 is repeated to acquire captured images for the number of frames required for the following processing.
  • the inter-frame difference calculation unit 222 of the moving object information acquisition unit 221 performs the image captured by the current (latest) frame and the captured image of the previous frame among the captured images of the plurality of frames acquired by the input unit 210.
  • the difference between the pixel values and the pixel values is calculated (step S302).
  • the number of frames used to calculate the difference there is no limit to the number of frames used to calculate the difference, but for the difference in the captured image of three or more frames, for example, the absolute value of the difference between the pixel values between two adjacent frames is calculated, and the average value thereof is calculated. Can be calculated as the difference between the pixel values.
  • the difference in pixel values between frames calculated by the frame-to-frame difference calculation unit 222 is temporarily stored in a RAM or the like in the PC 200. Further, the inter-frame difference calculation unit 222 calculates the amount of movement of the moving object by the following processing, so that the difference between the pixel values between the three frames (for example, between the current frame and the frames before and after the current frame) is calculated. If it has not been calculated, steps S301 and S302 are repeated to calculate the difference in pixel values between the frames.
  • the movement information calculation unit 223 calculates the movement amount and movement direction of the moving object in the captured image based on the difference in the pixel values between the plurality of frames calculated in step S302 (step S303).
  • a scalar value obtained from the difference in pixel values can be used as an example of the movement amount, and an angle can be used as an example of the movement direction. Since the identification of the moving body in the captured image and the calculation of the moving amount and the moving direction of the moving body can be performed by using a well-known technique, the details of the processing will not be described here.
  • FIG. 5A schematically shows an example of an image captured by the network camera 300.
  • the network camera 300 travels on the road 501 and the sidewalk 502 facing the house, the approach 504 that continues from the sidewalk 502 to the entrance 503 of the house, the person 505 standing at the entrance 503 of the house, and the road 501. Image the car 506 and the like.
  • FIG. 5 (B) and 5 (C) are diagrams schematically showing an example of stationary data accumulated in the present embodiment.
  • FIG. 5B is stationary data showing the amount of movement of the moving object in the captured image
  • FIG. 5C is stationary data showing the moving direction of the moving object in the captured image.
  • the stationary data is data representing the average moving amount and moving direction of the moving object for each pixel block in the captured image acquired by the network camera 300.
  • the size of the pixel block can be a block having an arbitrary number of pixels of one pixel to a plurality of pixels.
  • the magnitude of the movement amount according to the movement speed of the moving object is stored for each pixel block. For example, since a car travels on the road 501, the amount of movement of the block corresponding to the road 501 is large in the steady data. Further, since people come and go on the sidewalk 502 and the approach 504, the amount of movement of the block corresponding to the sidewalk 502 and the approach 504 is smaller than that of the block corresponding to the road 501 and larger than that of the other surrounding blocks.
  • a typical moving direction indicating the moving direction of the moving body is stored.
  • the moving directions of the blocks corresponding to the road 501 are stored so that the right direction or the left direction is arranged in a horizontal row.
  • the moving direction of the block corresponding to the approach 504 is stored in the vertical direction. Since the still life portion usually does not move the moving body in the captured image, the moving direction of the corresponding block is not stored (“N” in the figure).
  • step S304 the control unit 220 determines whether or not stationary data is stored in the storage unit 230.
  • the control unit 220 can determine whether or not the stationary data is accumulated by using the data size and the number of updates of the stationary data, a flag indicating that the stationary data is accumulated, and the like.
  • the control unit 220 determines that the steady data is accumulated (S304: YES)
  • the control unit 220 proceeds to the process in step S305.
  • the control unit 220 determines that the steady data is not accumulated (S304: NO)
  • the control unit 220 proceeds to the process in step S307.
  • step S401 the comparison unit 225 compares the moving amount and moving direction of the moving body calculated in step S303 with the moving amount and moving direction indicated by the stationary data stored in the storage unit 230, and compares the moving amount and moving direction in step S303. Calculate the deviation between the moving amount of the moving body and the stationary data in the moving direction calculated in.
  • step S402 the comparison unit 225 determines whether or not the deviations of the moving amount and the moving direction of the moving body calculated in step S305 are larger than the threshold value.
  • the comparison unit 225 determines that either the movement amount of the moving body or the deviation in the movement direction is larger than the threshold value (S305: YES)
  • the comparison unit 225 proceeds to the process in step S405.
  • the comparison unit 225 determines that both the moving amount and the moving direction of the moving body are equal to or less than the threshold value (S305: NO)
  • the process proceeds to step S405.
  • the comparison unit 225 notifies the user of a moving body determined in step S402 that the deviation of either the moving amount or the moving direction is larger than the threshold value, as a moving body showing abnormal movement.
  • the comparison unit 225 displays an image showing a moving object in the captured image, a message requesting the user to determine whether or not the moving object shows an abnormal movement, or the like via the output unit 240. Displayed on the device 400. Further, the comparison unit 225 may notify the moving object by using another notification method such as voice notification.
  • 6 (A) to 6 (C) show an example in which images captured by the network camera 300 are arranged in a time series (time t-1, t, t + 1).
  • time t-1, t, t + 1 it is assumed that the suspicious person 601 approaches the house where the network camera 300 is installed.
  • the movement amount of the pixel block overlapping with the range moved by the suspicious person 601 on the image by the processing of steps S302 and S303 is the moving amount of the pixel block in the other range. Calculated as a value greater than.
  • FIG. 6D shows an example of the movement amount calculated in this example.
  • the amount of movement of the shaded block in FIG. 6D is the amount of movement of the pixel block that overlaps the range in which the suspicious person 601 has moved on the image. Further, by the processing of steps S302 and S303 described above, the moving direction of the pixel block overlapping with the range moved by the suspicious person 601 on the image is calculated as shown in FIG. 6 (E).
  • the present embodiment it is possible to notify the user of a moving object showing an abnormal movement in the image based on the movement amount and the movement direction accumulated based on the image captured by the network camera. Since it is not necessary to perform image processing such as comparison using a huge amount of dictionary data and dictionary data used to determine a moving object showing abnormal movement, image processing is suppressed compared to the conventional method to detect a moving object showing abnormal movement. can do.
  • step S403 the user determines whether or not the moving object exhibits abnormal movement based on the moving object or message displayed on the display device 400, and operates an input device such as a mouse, keyboard, or microphone (not shown). Then, the determination result is input to the PC200.
  • an input device such as a mouse, keyboard, or microphone (not shown).
  • step S404 the determination unit 226 receives the determination result of the moving object input by the user in step S403 as a means for receiving the user input, and determines that the moving object shows an abnormal movement by the user (“abnormal”). If so, the process proceeds to step S405 (S404: YES), and if it is determined that the user is not a moving object showing abnormal movement (“no abnormality”), the process (S404: NO) proceeds to S406.
  • step S405 the determination unit 226 stores in the storage unit 230 the determination result that the moving object to be determined is a moving object showing an abnormal movement, and ends the process of this subroutine. Further, in step S406, the determination unit 226 stores in the storage unit 230 the determination result that the moving object to be determined is not a moving object showing an abnormal movement, and ends the process of this subroutine.
  • step S306 of FIG. 3 the control unit 220 determines whether or not the determination result by the determination unit 226 for the moving body whose movement amount and movement direction are calculated in step S303 is normal. If the determination result by the determination unit 226 is normal (S306: YES), the control unit 220 advances the process to S307. On the other hand, if the determination result by the determination unit 226 is abnormal (S306: NO), the control unit 220 returns the process to S301. In S307, the control unit 220 has the mode of the movement amount and the movement direction of each pixel from the data group in which the data of the movement amount and the movement direction calculated in step S303 and the stationary data stored in the storage unit 230 are combined. Select a value and update the steady data with the selected mode. The control unit 220 stores the updated stationary data in the storage unit 230.
  • the steady-state data is updated only when it is determined in the captured image that the moving body is not a moving body showing abnormal movement by the processing of steps S306 and S307, the data relating to the moving body not showing abnormal movement is updated. Is accumulated in the steady-state data. Further, when it is erroneously determined by the PC200 to show an abnormal movement by the processing of steps S403 to S406, the feedback by the user input is received and the steady data is updated assuming that there is no abnormality in the movement of the moving body.
  • the stationary data can be constructed as data indicating a more accurate determination criterion.
  • stationary data for detecting a moving object showing abnormal movement is accumulated based on the captured image input from the camera. Therefore, it is expected that the processing load of moving object detection by the image processing device of the present embodiment will be reduced as compared with the case where a huge amount of dictionary data is created and used in advance according to various usage environments as in the prior art. can.
  • the moving body when using the amount of movement of a moving body, it is detected that the moving body has moved to an area that normally does not enter (such as entering an exclusion zone), and when using the moving direction of the moving body, the direction is different from the usual direction.
  • a moving object such as reverse driving of a person or a car
  • the amount of movement of the moving object and the direction of movement are used, it is possible to detect a moving object that behaves differently than usual (such as prowling). ..
  • step S402 of the above embodiment when either the deviation of the movement amount or the deviation of the movement direction is larger than the threshold value, the user notification of the moving body showing an abnormal movement is performed, but instead of this, the user is notified.
  • the user notification may be performed.
  • the processing of steps S403 and S404 may be omitted, and it may be determined whether or not the moving body exhibits an abnormal movement in S405 and S406 based on the determination result of step S402.
  • An image acquisition means (210) that acquires images captured by a camera in chronological order, and A storage means (230) for accumulating time-series movement information of a moving object in the captured image, and A calculation means (222) for calculating movement information of a moving object from a time-series captured image acquired by the image acquisition means, and a calculation means (222).
  • a comparison means (225) for comparing the movement information of the moving body calculated by the calculation means with the movement information of the moving body accumulated by the storage means.
  • a determination means (226) for determining whether or not the moving object to be compared by the comparison means exhibits abnormal movement based on the comparison result of the movement information of the moving object by the comparison means.
  • An output means (240) that outputs a determination result by the determination means, and An image processing device characterized by having.
  • Image processing device 101 Image acquisition unit 102: Abnormality determination unit 103: Output unit 200: PC (image processing device) 210: Input unit 230: Storage unit 240: Output unit 220: Control unit 222: Inter-frame difference calculation unit 223: Movement information calculation unit 225: Comparison unit 226: Judgment unit

Abstract

画像処理装置が、カメラによって撮像された撮像画像を時系列で取得する画像取得手段と、前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積手段と、前記画像取得手段によって取得された時系列の撮像画像から、動体の移動情報を算出する算出手段と、前記算出手段によって算出された動体の移動情報と、前記蓄積手段によって蓄積された動体の移動情報とを比較する比較手段と、前記比較手段による動体の移動情報の比較結果に基づいて、前記比較手段による比較の対象となった動体が異常な動きを示すか否かを判定する判定手段と、前記判定手段による判定結果を出力する出力手段とを有する。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は、カメラの撮像画像において動体の異常な動きを検出する技術に関する。
　ネットワークカメラ（ＩＰカメラ）を利用した監視においては、建物に設置したネットワークカメラによって撮影された映像を基に異常な動きを示す動体を検出し、管理者などのユーザに通知することが求められている。
　このため、異常な動きを示す動体を自動的に判定する技術が提案されている。特許文献１には、カメラによって撮影された映像のフレーム間での動作ベクトルを算出し、画像のブロックごとにあらかじめ定義された、異常動作を表す動作ベクトルを検出した場合に、異常な動きを示す動体を通知する技術が開示されている。また、特許文献２には、カメラによる被観察者の生活行動に関するパラメータをデータベースに記憶し、人感センサや撮像素子を用いて推定される生活行動の生起に関するパラメータをデータベースに記憶したパラメータと比較することで、被観察者の異常行動を判定する技術が開示されている。
特開２０１５－１０００３１号公報 特開２００２－３５２３５２号公報
　しかしながら、従来技術では、ネットワークカメラを使用する個々の状況に応じた、異常動作や異常行動を定義するベクトルやパラメータなどのデータをあらかじめ作成する必要がある。また、従来技術を用いてさまざまな状況でも動体の異常な動きを精度よく検出するには、さまざまなバリエーションのデータを作成して使用する必要がある。この結果、ネットワークカメラの映像に対する画像処理や判定処理に伴う処理負荷が膨大になる可能性がある。
　本発明は上記実情に鑑みなされたものであって、カメラの撮像画像に対する画像処理の負荷を抑えて、画像内の動体の異常な動きを検出する技術を提供することを目的とする。
　上記目的を達成するために本発明は、以下の構成を採用する。
　本発明の第一側面は、カメラによって撮像された撮像画像を時系列で取得する画像取得手段と、前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積手段と、前記画像取得手段によって取得された時系列の撮像画像から、動体の移動情報を算出する算出手段と、前記算出手段によって算出された動体の移動情報と、前記蓄積手段によって蓄積された動体の移動情報とを比較する比較手段と、前記比較手段による動体の移動情報の比較結果に基づいて、前記比較手段による比較の対象となった動体が異常な動きを示すか否かを判定する判定手段と、前記判定手段による判定結果を出力する出力手段と、を有することを特徴とする画像処理装置である。これにより、撮像画像から得られる移動情報と比較するための種々のデータをあらかじめ作成したりそのようなデータを使用したりすることがないため画像処理の負荷を抑えて異常な動きを示す動体を検出することができる。
　また、前記移動情報は、動体の移動量と動体の移動方向の少なくとも一方を含んでもよい。これにより、例えば、動体の移動量を基に通常は進入しない領域に動体が移動したことを検出したり、動体の移動方向を基に通常とは異なる方向に動体が移動したことを検出したり、動体の移動量と移動方向とを基にうろつきなど通常とは異なる挙動を示す動体を検出したりすることができる。
　また、前記算出手段は、前記画像取得手段によって時系列で取得された複数の撮像画像間の画素値の差分を基に、前記移動量または前記移動方向の前記少なくとも一方を算出してもよい。これにより、動体の移動量や移動方向を、隣り合う２つのフレームの撮像画像の画素値の差分から算出したり、隣り合う３つ以上のフレームの撮像画像の画素値の差分の平均値から算出したりすることができる。
　また、前記移動情報が動体の移動量を含む場合、前記蓄積手段は、移動量の平均値、最頻値、中央値、最小値および最大値により決まる範囲のいずれかを蓄積してもよい。これにより、異常な動きを示す動体を検出するために撮像画像から算出される移動量と比較する基準を、カメラの撮影環境に応じて柔軟に選択することができる。
　また、上記の画像処理装置は、前記出力手段によって出力された前記判定結果に対する動体が異常な動きを示すか否かに関するユーザ入力を受け付ける受付手段をさらに有し、前記蓄積手段は、前記受付手段によって受け付けた前記ユーザ入力に応じて、前記算出手段によって算出された前記移動情報を用いて前記蓄積手段によって蓄積された前記移動情報を更新するか否かを決定してもよい。これにより、画像処理装置によって正常な動きを示す動体が異常な動きを示すと判定された場合に、ユーザ入力によるフィードバックを基に蓄積された移動情報を更新することで、次回以降の異常な動きを示す動体の検出精度を向上させることができる。
　なお、本発明は、上記処理の少なくとも一部を含む、画像処理方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、カメラによって取得された画像の処理負荷を抑えて異常な動きを示す動体を検出することができる。
図１は、本発明が適用された画像処理装置の構成例を示すブロック図である。 図２は、一実施形態に係るＰＣ（画像処理装置）の構成例を示すブロック図である。 図３は、一実施形態に係るＰＣの処理フロー例を示すフローチャートである。 図４は、一実施形態に係るＰＣのサブルーチンの処理フロー例を示すフローチャートである。 図５Ａは、一実施形態に係る撮像画像の具体例を示す模式図であり、図５Ｂと図５Ｃは、移動量の定常データと移動方向の定常データの具体例をそれぞれ示す模式図である。 図６Ａ～図６Ｃは、一実施形態に係る撮像画像における不審者の動きの具体例を示す模式図であり、図６Ｄと図６Ｅは、図６Ａ～図６Ｃの撮像画像から算出される移動量と移動方向の具体例をそれぞれ示す模式図である。
　＜適用例＞
　本発明の適用例について説明する。ネットワークカメラ（ＩＰカメラ）を利用した監視においては、建物に設置したネットワークカメラによって撮影された映像を基に異常な動きを示す動体を検出し、管理者などのユーザに通知することが求められている。しかしながら、従来技術では、種々の使用環境において異常な動きを示す動体の検出精度を維持するには、撮像画像から動体を検出するために用いられる膨大な辞書を使用するため、画像処理の負荷が増大する懸念がある。
　図１は、本発明が適用された画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、画像取得部１０１、異常判定部１０２、出力部１０３を有する。画像取得部１０１は、ネットワークカメラによる撮像画像を取得する。異常判定部１０２は、以下の実施形態において詳述する処理を実行して、撮像画像に対する異常な動きを示す動体の検出を行う。より具体的には、異常判定部１０２は、撮像画像を基に動体の移動量と移動方向を算出し、算出した移動量と移動方向を基に、異常な動きを示す動体を特定する。出力部１０３は、異常判定部１０２によって特定された異常な動きを示す動体の通知を出力する。
　本発明に係る画像処理装置１００によれば、さまざまな使用環境において画像処理の負荷を抑えつつカメラの撮像画像に対する異常な動きを示す動体を精度よく検出することができる。
　＜実施形態の説明＞
　本発明の一実施形態について説明する。図２は、本実施形態に係る画像処理システムの大まかな構成例を示す模式図である。本実施形態に係る画像処理システムは、ＰＣ２００（パーソナルコンピュータ；画像処理装置）、ネットワークカメラ３００、及び、表示装置４００を有する。ＰＣ２００とネットワークカメラ３００とは有線または無線で互いに接続されており、ＰＣ２００と表示装置４００は有線または無線で互いに接続されている。
　本実施形態では、一例として、家屋の玄関の軒下に設置されたネットワークカメラ３００によって玄関や家屋の敷地、敷地に隣接する道路などを撮像することを想定する。ネットワークカメラ３００は、複数フレームの撮像画像を取得し、取得した撮像画像をＰＣ２００に出力する。ＰＣ２００は、ネットワークカメラ３００による撮像画像に基づいて異常な動きを示す動体を特定し、特定した動体に関する情報を表示装置へ出力する。表示装置の一例としては、ディスプレイや情報処理端末（スマートフォンなど）が挙げられる。
　なお、本実施形態ではＰＣ２００がネットワークカメラ３００や表示装置４００とは別体の装置であるものとするが、ＰＣ２００はネットワークカメラ３００または表示装置４００と一体に構成されてもよい。また、ＰＣ２００の設置場所は特に限定されない。例えば、ＰＣ２００はネットワークカメラ３００と同じ場所に設置されてもよい。また、ＰＣ２００はクラウド上のコンピュータであってもよい。
　ＰＣ２００は、入力部２１０、制御部２２０、記憶部２３０、及び、出力部２４０を有する。制御部２２０は、動体情報取得部２２１、基準値算出部２２４、比較部２２５、及び、判定部２２６を有する。また、動体情報取得部２２１は、フレーム間差分算出部２２２、及び、移動情報算出部２２３を有する。入力部２１０、記憶部２３０、フレーム間差分算出部２２２、比較部２２５、判定部２２６、出力部２４０が、それぞれ本発明の画像取得手段、蓄積手段、算出手段、比較手段、判定手段、出力手段に対応する。
　入力部２１０は、ネットワークカメラ３００によって撮像された動画を構成するフレームをネットワークカメラ３００から取得して制御部２２０に出力する。また、ネットワークカメラ３００は、光学カメラでなくてもよく、サーマルカメラなどであってもよい。
　制御部２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などを含み、ＰＣ２００内の各部の制御や、各種情報処理などを行う。
　動体情報取得部２２１は、ネットワークカメラ３００の画角内の動体の時系列による動きを蓄積したデータを定常データとして生成し、生成した定常データを記憶部２３０に記憶する。また、動体情報取得部２２１のフレーム間差分算出部２２２は、定常データの隣接する２つ以上のフレーム間の画素差分量を算出する。また、動体情報取得部２２１の移動情報算出部２２３は、フレーム間差分算出部２２２によって算出された画素差分量を基に、動体の移動量および移動方向を算出する。
　基準値算出部２２４は、移動情報算出部２２３によって算出された動体の移動量および移動方向と記憶部２３０に蓄積されている定常データが示す移動量と移動方向を基に、動体の移動量の平均値、最頻値、中央値、最小値および最大値により決まる範囲や、動体の移動方向の角度に基づく平均値、最頻値、中央値、最小値および最大値により決まる範囲を算出する。そして、基準値算出部２２４は、算出結果を用いて記憶部２３０に記憶されている定常データを更新する。
　比較部２２５は、算出された動体の移動量および移動方向と定常データに含まれる動体の移動量および移動方向との差分を、異常と判定するための閾値と比較する。判定部２２６は、比較部２２５による比較結果を基に異常な動きを示す動体の判定を行う。
　記憶部２３０は、上記の定常データのほか、制御部２２０で実行されるプログラムや、制御部２２０で使用される各種データなどを記憶する。例えば、記憶部２３０は、ハードディスクドライブ、ソリッドステートドライブなどの補助記憶装置である。出力部２４０は、判定部２２６による異常な動きを示す動体の判定結果を通知する情報を、表示装置４００に出力する。なお、判定部２２６による動体の判定結果は、記憶部２３０に記憶されて、任意のタイミングで出力部２４０から表示装置４００に出力されてもよい。
　図３は、ＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、入力部２１０によって取得される画像ごとに図３の処理フローを実行する。ＰＣ２００によって繰り返し実行される図３の処理フローの繰り返し周期は特に限定されないが、本実施形態では、ネットワークカメラ３００による撮像のフレームレートで図３の処理フローが繰り返されるとする。
　まず、入力部２１０が、ネットワークカメラ３００によって撮像された撮像画像を、ネットワークカメラ３００から取得する（ステップＳ３０１）。入力部２１０が取得した撮像画像は、ＰＣ２００内のＲＡＭなどに一時的に記憶される。また、入力部２１０は、１フレーム分の撮像画像しか取得していない場合は、ステップＳ３０１の処理を繰り返して、以下の処理に必要なフレーム数分の撮像画像を取得する。
　次に、動体情報取得部２２１のフレーム間差分算出部２２２が、入力部２１０によって取得された複数フレームの撮像画像のうち現在の（最新の）フレームの撮像画像と１つ前のフレームの撮像画像との間の画素値の差分を算出する（ステップＳ３０２）。なお、差分の算出に用いるフレーム数に制限はないが、３つ以上のフレームの撮像画像における差分は、例えば隣接する２フレーム間の画素値の差分の絶対値をそれぞれ計算し、それらの平均値を画素値の差分として算出することができる。
　フレーム間差分算出部２２２が算出したフレーム間の画素値の差分は、ＰＣ２００内のＲＡＭなどに一時的に記憶される。また、フレーム間差分算出部２２２は、以下の処理で動体の移動量を算出するため、３つのフレーム間（例えば、現在のフレームとその前後のフレームとのそれぞれの間）の画素値の差分を算出していない場合は、ステップＳ３０１およびＳ３０２を繰り返して、各フレーム間の画素値の差分を算出する。
　次に、移動情報算出部２２３が、ステップＳ３０２で算出された複数フレーム間の画素値の差分を基に、撮像画像内の動体の移動量および移動方向を算出する（ステップＳ３０３）。移動量の一例としては画素値の差分から求まるスカラー値を、移動方向の一例としては角度を用いることができる。なお、撮像画像における動体の特定や、動体の移動量および移動方向の算出は、周知の技術を用いて行うことができるため、ここでは処理の詳細については説明を省略する。
　図５（Ａ）に、ネットワークカメラ３００による撮像画像の一例を模式的に示す。図５に示すように、ネットワークカメラ３００は、家屋に面する道路５０１や歩道５０２、歩道５０２から家屋の玄関口５０３まで続くアプローチ５０４、家屋の玄関口５０３に立つ人５０５、道路５０１を走行する車５０６などを撮像する。
　図５（Ｂ）、５（Ｃ）は、本実施形態において蓄積される定常データの一例を概略的に示す図である。図５（Ｂ）は、撮像画像内の動体の移動量を示す定常データであり、図５（Ｃ）は、撮像画像内の動体の移動方向を示す定常データである。定常データは、ネットワークカメラ３００が取得する撮像画像において、画素のブロックごとに動体の平均的な移動量および移動方向を表すデータである。なお、画素のブロックの大きさは１画素～複数画素の任意の画素数のブロックとすることができる。
　移動量の定常データでは、画素のブロックごとに動体の移動速度に応じた移動量の大きさが格納される。例えば、道路５０１は車が走行するため、定常データでは道路５０１に対応するブロックの移動量は大きくなる。また、歩道５０２やアプローチ５０４は人が往来するため、歩道５０２やアプローチ５０４に対応するブロックの移動量は、道路５０１に対応するブロックよりは小さく、他の周囲のブロックよりは大きくなる。
　また、移動方向の定常データでは、動体の移動方向を示す代表的な移動方向が格納される。例えば、道路５０１は車が走行する方向が決まっているため、図５Ａの撮像画像では、道路５０１に対応するブロックの移動方向は右方向または左方向が横一列に並ぶように格納される。また、アプローチ５０４は人が歩道５０２と玄関口５０４との間を移動するため、アプローチ５０４に対応するブロックの移動方向は上下方向が格納される。撮像画像内において静物部分は通常は動体の移動がないため、対応するブロックの移動方向は格納されていない（図中「Ｎ」）。
　再び図３のフローチャートの説明に戻る。ステップＳ３０４において、制御部２２０は、記憶部２３０に定常データが蓄積されているか否かを判定する。制御部２２０は、定常データのデータサイズや更新回数、定常データが蓄積されていることを示すフラグなどを用いて、定常データが蓄積されているか否かを判定することができる。制御部２２０は、定常データが蓄積されていると判定した場合は（Ｓ３０４：ＹＥＳ）、処理をステップＳ３０５に進める。一方、制御部２２０は、定常データが蓄積されていないと判定した場合は（Ｓ３０４：ＮＯ）、処理をステップＳ３０７に進める。
　ここで、ステップＳ３０５のサブルーチンの処理について、図４を参照しながら説明する。まず、ステップＳ４０１において、比較部２２５が、ステップＳ３０３で算出した動体の移動量および移動方向と、記憶部２３０に記憶されている定常データが示す移動量および移動方向とを比較して、ステップＳ３０３で算出した動体の移動量および移動方向の定常データとの偏差を算出する。
　次に、ステップＳ４０２において、比較部２２５は、ステップＳ３０５で算出された動体の移動量と移動方向のそれぞれの偏差が、閾値よりも大きいか否かを判定する。比較部２２５は、動体の移動量と移動方向の偏差のいずれかが閾値よりも大きいと判定した場合は（Ｓ３０５：ＹＥＳ）、処理をステップＳ４０５に進める。一方、比較部２２５は、動体の移動量と移動方向がいずれも閾値以下であると判定した場合は（Ｓ３０５：ＮＯ）、処理をステップＳ４０５に進める。
　ステップＳ４０３において、比較部２２５は、ステップＳ４０２において移動量と移動方向のいずれかの偏差が閾値よりも大きいと判定された動体を、異常な動きを示す動体とみなしてユーザに通知する。ユーザへの通知方法として、比較部２２５は、出力部２４０を介して、撮像画像内の動体を示す画像や、異常な動きを示す動体であるか否かの判定をユーザに求めるメッセージなどを表示装置４００に表示する。また、比較部２２５は、音声通知などその他の通知方法を用いて当該動体の通知を行ってもよい。
　ここで、上記の処理によって異常な動きを示す動体の撮像画像と移動量および移動方向との関係について、図６（Ａ）～図６（Ｅ）を参照しながら説明する。図６（Ａ）～図６（Ｃ）は、ネットワークカメラ３００による撮像画像を時系列（時刻ｔ－１、ｔ、ｔ＋１）に並べた例を示す。この例では、ネットワークカメラ３００が設置された家屋に不審者６０１が近づくことを想定する。これらネットワークカメラ３００の撮像画像は、上記のステップＳ３０２、Ｓ３０３の処理によって、画像上で不審者６０１が移動した範囲と重なる画素のブロックの移動量は、それ以外の範囲の画素のブロックの移動量よりも大きい値として算出される。図６（Ｄ）に、この例で算出される移動量の一例を示す。図６（Ｄ）の網掛け部分のブロックの移動量が、画像上で不審者６０１が移動した範囲と重なる画素のブロックの移動量である。また、上記のステップＳ３０２、Ｓ３０３の処理によって、画像上で不審者６０１が移動した範囲と重なる画素のブロックの移動方向が図６（Ｅ）のように算出される。
　そして、算出された図６（Ｄ）、図６（Ｅ）に示す移動量と移動方向と、それぞれの定常データ図５（Ｂ）、図５（Ｃ）に示す移動量と移動方向との偏差を求めることで、定常データの移動量との偏差が閾値よりも大きいブロックおよび移動方向との偏差が閾値よりも大きいブロックを、異常な動きを示す動体が存在するブロックとみなすことができる。移動量と移動方向に用いる閾値は、ブロックごとに異なる閾値が採用されてよく、閾値の大きさも適宜設定されてよい。
　このように、本実施形態によれば、ネットワークカメラの撮像画像を基に蓄積した移動量と移動方向を基に、画像内の異常な動きを示す動体をユーザに通知することができ、従来のように異常な動きを示す動体の判定に用いる膨大な辞書データや辞書データを用いた比較などの画像処理が不要となるため、従来に比べて画像処理を抑えて異常な動きを示す動体を検出することができる。
　ステップＳ４０３において、ユーザは、表示装置４００に表示される動体やメッセージなどを基に、異常な動きを示す動体であるか否かを判定し、図示しないマウスやキーボード、マイクなどの入力装置を操作して判定結果をＰＣ２００に入力する。
　次に、ステップＳ４０４において、判定部２２６は、ユーザ入力の受付手段としてステップＳ４０３においてユーザが入力した動体の判定結果を受け付け、ユーザが異常な動きを示す動体である（「異常あり」）と判定した場合は（Ｓ４０４：ＹＥＳ）処理をステップＳ４０５に進め、ユーザが異常な動きを示す動体ではない（「異常なし」）と判定した場合は（Ｓ４０４：ＮＯ）処理をＳ４０６に進める。
　ステップＳ４０５において、判定部２２６は、判定の対象となった動体が異常な動きを示す動体であるという判定結果を記憶部２３０に記憶して、本サブルーチンの処理を終了する。また、ステップＳ４０６において、判定部２２６は、判定の対象となった動体が異常な動きを示す動体ではないという判定結果を記憶部２３０に記憶して、本サブルーチンの処理を終了する。
　次に、図３のステップＳ３０６において、制御部２２０は、ステップＳ３０３において移動量および移動方向が算出された動体に対する判定部２２６による判定結果が異常なしであるか否かを判定する。制御部２２０は、判定部２２６による判定結果が異常なしである場合は（Ｓ３０６：ＹＥＳ）、処理をＳ３０７に進める。一方、制御部２２０は、判定部２２６による判定結果が異常ありである場合は（Ｓ３０６：ＮＯ）、処理をＳ３０１に戻す。Ｓ３０７において、制御部２２０は、ステップＳ３０３において算出した移動量および移動方向のデータと記憶部２３０に記憶されている定常データとを合わせたデータ群から、各画素の移動量および移動方向の最頻値を選択し、選択した最頻値で定常データを更新する。制御部２２０は、更新した定常データを記憶部２３０に記憶する。
　本実施形態では、ステップＳ３０６、Ｓ３０７の処理により、撮像画像において動体が異常な動作を示す動体ではないと判定された場合に限り定常データが更新されるため、異常な動作を示さない動体に関するデータが定常データに蓄積されていく。また、ステップＳ４０３～Ｓ４０６の処理により、ＰＣ２００によって異常な動きを示すと誤って判定された場合に、ユーザ入力によるフィードバックを受け付けて、動体の動きに異常がないとして定常データが更新される。このように、本実施形態によれば、定常データをより確度の高い判定基準を示すデータとして構築することができる。
　本実施形態の画像処理装置によれば、カメラから入力される撮像画像を基に、異常な動きを示す動体を検出するための定常データが蓄積される。このため、本実施形態の画像処理装置よる動体検出の処理負荷は、従来技術のように種々の使用環境に応じてあらかじめ膨大な辞書データを作成して使用する場合よりも軽減されることが期待できる。
　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記の各実施形態の構成および処理などは互いに組み合わせられてもよい。また、上記の実施形態では、動体の移動情報として動体の移動量と移動方向を用いることを想定しているが、移動量と移動方向の少なくとも一方を移動情報として用いてもよい。例えば、動体の移動量を用いる場合は、通常は進入しない領域に動体が移動したこと（立ち入り禁止区域内への進入など）を検出し、動体の移動方向を用いる場合は、通常とは異なる方向に動体が移動したこと（人や車の逆走など）を検出し、動体の移動量と移動方向とを用いる場合は、通常とは異なる挙動（うろつきなど）を示す動体を検出することができる。
　また、上記の実施形態のステップＳ４０２の判定では、移動量の偏差と移動方向の偏差のいずれかが閾値よりも大きい場合に、異常な動きを示す動体のユーザ通知を行うが、これに代えて、移動量の偏差と移動方向の偏差が共にそれぞれの閾値よりも大きい場合に、ユーザ通知を行ってもよい。また、上記の実施形態において、ステップＳ４０３、Ｓ４０４の処理を省略して、ステップＳ４０２の判定結果を基にＳ４０５、Ｓ４０６において異常な動きを示す動体であるか否かを決定してもよい。
　また、上記の実施形態において、撮像画像内の動体の検出処理に、周知の人体検出技術や一般物体認識技術を組み合わせることで、撮像画像における監視対象を人や物体だけに絞り込むことができる。これにより、撮像画像に写り込む樹木の揺れなど、監視対象とは無関係の動体の動きを排除できるため、異常な動きを示す動体の検出精度がさらに高まることが期待できる。
　＜付記１＞
　カメラによって撮像された撮像画像を時系列で取得する画像取得手段（２１０）と、
　前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積手段（２３０）と、
　前記画像取得手段によって取得された時系列の撮像画像から、動体の移動情報を算出する算出手段（２２２）と、
　前記算出手段によって算出された動体の移動情報と、前記蓄積手段によって蓄積された動体の移動情報とを比較する比較手段（２２５）と、
　前記比較手段による動体の移動情報の比較結果に基づいて、前記比較手段による比較の対象となった動体が異常な動きを示すか否かを判定する判定手段（２２６）と、
　前記判定手段による判定結果を出力する出力手段（２４０）と、
を有することを特徴とする画像処理装置。
　＜付記２＞
　カメラによって撮像された撮像画像を時系列で取得する画像取得ステップ（Ｓ３０１）と、
　前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積ステップ（Ｓ３０４、Ｓ３０７）と、
　前記画像取得ステップによって取得された時系列の撮像画像から、動体の移動情報を算出する算出ステップ（Ｓ３０３）と、
　前記算出ステップによって算出された動体の移動情報と、前記蓄積ステップによって蓄積された動体の移動情報とを比較する比較ステップ（Ｓ３０５）と、
　前記比較ステップによる動体の移動情報の比較結果に基づいて、前記比較ステップによる比較の対象となった動体が異常な動きを示すか否かを判定する判定ステップ（Ｓ４０２）と、
　前記判定ステップによる判定結果を出力する出力ステップ（Ｓ４０３）と、
を有することを特徴とする画像処理方法。
　１００：画像処理装置　１０１：画像取得部　１０２：異常判定部　１０３：出力部
　２００：ＰＣ（画像処理装置）
　２１０：入力部　２３０：記憶部　２４０：出力部
　２２０：制御部
　２２２：フレーム間差分算出部
　２２３：移動情報算出部
　２２５：比較部
　２２６：判定部

Claims (7)

  1. 　カメラによって撮像された撮像画像を時系列で取得する画像取得手段と、
    　前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積手段と、
    　前記画像取得手段によって取得された時系列の撮像画像から、動体の移動情報を算出する算出手段と、
    　前記算出手段によって算出された動体の移動情報と、前記蓄積手段によって蓄積された動体の移動情報とを比較する比較手段と、
    　前記比較手段による動体の移動情報の比較結果に基づいて、前記比較手段による比較の対象となった動体が異常な動きを示すか否かを判定する判定手段と、
    　前記判定手段による判定結果を出力する出力手段と、
    を有することを特徴とする画像処理装置。
  2. 　前記移動情報は、動体の移動量と動体の移動方向の少なくとも一方を含むことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記算出手段は、前記画像取得手段によって時系列で取得された複数の撮像画像間の画素値の差分を基に、前記移動量または前記移動方向の前記少なくとも一方を算出することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記移動情報が動体の移動量を含む場合、前記蓄積手段は、移動量の平均値、最頻値、中央値、最小値および最大値により決まる範囲のいずれかを蓄積することを特徴とする請求項２または３に記載の画像処理装置。
  5. 　前記出力手段によって出力された前記判定結果に対する動体が異常な動きを示すか否かに関するユーザ入力を受け付ける受付手段をさらに有し、
    　前記蓄積手段は、前記受付手段によって受け付けた前記ユーザ入力に応じて、前記算出手段によって算出された前記移動情報を用いて前記蓄積手段によって蓄積された前記移動情報を更新するか否かを決定する
    ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　カメラによって撮像された撮像画像を時系列で取得する画像取得ステップと、
    　前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積ステップと、
    　前記画像取得ステップによって取得された時系列の撮像画像から、動体の移動情報を算出する算出ステップと、
    　前記算出ステップによって算出された動体の移動情報と、前記蓄積ステップによって蓄積された動体の移動情報とを比較する比較ステップと、
    　前記比較ステップによる動体の移動情報の比較結果に基づいて、前記比較ステップによる比較の対象となった動体が異常な動きを示すか否かを判定する判定ステップと、
    　前記判定ステップによる判定結果を出力する出力ステップと、
    を有することを特徴とする画像処理方法。
  7. 　請求項６に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2020/047021 2020-03-12 2020-12-16 画像処理装置、画像処理方法およびプログラム WO2021181790A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/908,039 US20230082044A1 (en) 2020-03-12 2020-12-16 Image processing device, image processing method, and program
DE112020006877.3T DE112020006877T5 (de) 2020-03-12 2020-12-16 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und -programm
CN202080097874.7A CN115210759A (zh) 2020-03-12 2020-12-16 图像处理装置、图像处理方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-042659 2020-03-12
JP2020042659A JP2021144466A (ja) 2020-03-12 2020-03-12 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021181790A1 true WO2021181790A1 (ja) 2021-09-16

Family

ID=77671619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047021 WO2021181790A1 (ja) 2020-03-12 2020-12-16 画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20230082044A1 (ja)
JP (1) JP2021144466A (ja)
CN (1) CN115210759A (ja)
DE (1) DE112020006877T5 (ja)
WO (1) WO2021181790A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174738A1 (ja) * 2013-04-26 2014-10-30 日本電気株式会社 監視装置、監視方法および監視用プログラム
WO2016002408A1 (ja) * 2014-06-30 2016-01-07 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174738A1 (ja) * 2013-04-26 2014-10-30 日本電気株式会社 監視装置、監視方法および監視用プログラム
WO2016002408A1 (ja) * 2014-06-30 2016-01-07 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
DE112020006877T5 (de) 2023-01-12
CN115210759A (zh) 2022-10-18
JP2021144466A (ja) 2021-09-24
US20230082044A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
JP7428213B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP4966820B2 (ja) 混雑推定装置および方法
JP5644097B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5147761B2 (ja) 画像監視装置
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
JP6414066B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP2009266052A (ja) 異常行動検知装置
US20120020523A1 (en) Information creation device for estimating object position and information creation method and program for estimating object position
KR101758685B1 (ko) 카메라 템퍼링 감지 방법 및 시스템
KR101750094B1 (ko) 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
JP5155110B2 (ja) 監視装置
JP5147760B2 (ja) 画像監視装置
WO2017154655A1 (ja) 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラムを記憶する記憶媒体
CN107578595B (zh) 流动体分析装置
JP2009268005A (ja) 侵入物検知追跡装置
JP4610005B2 (ja) 画像処理による侵入物体検出装置および方法およびプログラム
WO2021181790A1 (ja) 画像処理装置、画像処理方法およびプログラム
KR20230004124A (ko) 영상 감시 시스템에서의 실시간 이상 상황 탐지 방법 및 장치
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
US20050128298A1 (en) Method for following at least one object in a scene
CN115719347A (zh) 行为识别方法、装置、电子设备及车辆
CN106355137B (zh) 检测反复游荡的方法和反复游荡检测装置
JP4675217B2 (ja) 追尾型監視システム
WO2020179638A1 (ja) 人検出装置および人検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924294

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20924294

Country of ref document: EP

Kind code of ref document: A1