WO2018139461A1 - 移動物体検出装置、移動物体検出方法及び記憶媒体 - Google Patents

移動物体検出装置、移動物体検出方法及び記憶媒体 Download PDF

Info

Publication number
WO2018139461A1
WO2018139461A1 PCT/JP2018/002013 JP2018002013W WO2018139461A1 WO 2018139461 A1 WO2018139461 A1 WO 2018139461A1 JP 2018002013 W JP2018002013 W JP 2018002013W WO 2018139461 A1 WO2018139461 A1 WO 2018139461A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
image
score
background
pixel
Prior art date
Application number
PCT/JP2018/002013
Other languages
English (en)
French (fr)
Inventor
賢吾 牧野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018564589A priority Critical patent/JP7151488B2/ja
Publication of WO2018139461A1 publication Critical patent/WO2018139461A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a technique for detecting a moving object, and more particularly to a technique for detecting a moving object in an image captured by a moving imaging apparatus.
  • a process of detecting a moving object is generally performed as a preceding process for performing an image recognition process and a tracking process of an object in the image.
  • cameras that can be mounted on wearable cameras and drones have become widespread. Therefore, there is a demand for detection of a moving object not only from a video obtained from a fixed surveillance camera but also from a video obtained by shooting while moving the camera as described above (hereinafter also referred to as a mobile camera video). It is growing.
  • Non-Patent Document 1 discloses a method for detecting a moving object from a moving camera image.
  • This method is a moving object detection method based on the statistical background subtraction method.
  • a background model based on the average value, variance, and age of pixel values is calculated for each region in which each frame included in a video is divided in a grid shape with a predetermined size.
  • the background model is updated based on pixel movement between frames. Then, the moving object is detected based on the difference between the latest frame in the video and the background model.
  • Patent Document 1 describes an example of a moving object detection device that detects a moving object.
  • the moving object detection device of Patent Literature 1 divides each time-series image input from a camera into a plurality of divided regions.
  • the moving object detection device calculates a motion between successive images for each divided region.
  • the moving object detection device detects a plurality of divided regions that move together as a background, and detects other than the background as a moving object.
  • Patent Document 2 describes an object detection device that detects a stationary target object and a moving target object from a moving image whose background changes.
  • the object detection device calculates the feature of each pixel of each image from the time-series image input from the camera, and accumulates the calculated feature.
  • the object detection apparatus determines the state of each pixel (hereinafter also referred to as a pixel state) to one of four pixel states based on the accumulated features.
  • the pixel state of the pattern is short-term stable state (static state), short-term unstable state (moving state), long-term stable state (continuous static state), and long-term unstable state. This is a four-pattern pixel state (continuous motion state).
  • the object detection apparatus adaptively switches the background model generation method for each pixel based on the determined pixel state.
  • the object detection device generates a background according to an adaptively switched generation method. Thereby, the object detection device can detect only the moving object without erroneous detection even if the background has continuous movement (for example, shaking of the tree, shaking of the water surface).
  • the background model is constructed from input time-series images and updated based on the motion.
  • An abnormal point that does not exist in the background model is detected as a moving object based on the difference between the background image indicated by the background model and the latest image.
  • the background model does not include information on the object. Therefore, such an object is erroneously detected as a moving object even though it is stationary.
  • the dispersion of the background model representing the background increases. Therefore, when the background model is compared with the latest image, even if the pixel is included in the moving object, the number of pixels that satisfy the background condition represented by the background model increases. As a result, the detection omission of the moving object increases.
  • the object detection device of Patent Document 1 detects a moving object based on the movement of each divided region.
  • the accuracy of the calculated motion of the divided region is lowered.
  • the accuracy of detecting the background is lowered.
  • the accuracy of detecting the moving object also decreases.
  • the object detection device of Patent Document 2 accumulates the features of each pixel in an input time-series image, and determines the pixel state based on the accumulated features.
  • the object detection apparatus adaptively switches the background model generation method based on the determined pixel state.
  • the object whose pixel value represents the luminance changes according to the movement of the camera. Therefore, when the camera moves, the pixel state of each pixel cannot be said to represent the nature of the brightness of the subject that is captured as the background.
  • all of the background model generation methods disclosed in Patent Document 2 are methods for generating a background model of a fixed background. Therefore, when the camera moves, that is, when the background is not fixed, a background model cannot be generated. Therefore, it is impossible to detect a moving object with high accuracy using the background model generated by the technique of Patent Document 2.
  • Patent Document 1 As described above, based on the techniques of Non-Patent Document 1, Patent Document 1, and Patent Document 2, it is not possible to accurately detect the background of a video shot by a moving camera. Therefore, it is impossible to accurately detect a moving object from an image captured by a moving camera.
  • One of the objects of the present invention is to provide a moving object detection device or the like that can improve the accuracy of detecting a moving object from an image taken by a moving camera.
  • a moving object detection device is a first moving object detection device based on a reception unit that receives an image captured by an imaging device provided in a moving body, and a motion of a pixel of an image included in the image.
  • First calculation means for calculating a score of the moving object
  • second background calculation means for calculating a second score of the moving object based on the background model updated based on the image and the movement of the pixel, and the image.
  • detecting means for detecting a moving object from the image based on the first score and the second score.
  • a moving object detection method receives a video imaged by an imaging device provided in a moving body, and obtains a first score of the moving object based on the movement of a pixel of an image included in the video image. And calculating a second score of the moving object based on the background model updated based on the image and the movement of the pixel and the image, and calculating the first score and the second score. Based on the above, a moving object is detected from the image.
  • a storage medium including a reception process for receiving a video image captured by an imaging device provided in a moving body, and a moving object based on a movement of a pixel of an image included in the video image.
  • a program for executing a process and a detection process for detecting a moving object from the image based on the first score and the second score is stored.
  • One embodiment of the present invention is also realized by a program stored in the storage medium.
  • the present invention has an effect that the accuracy of detecting a moving object from an image taken by a moving camera can be improved.
  • FIG. 1 is a block diagram showing a configuration of a moving object detection apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating an example of motion obtained in the process of the motion estimation unit according to the first embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating an input image and a calculated flow in the process until calculating the first score according to the first embodiment of the present invention.
  • FIG. 4 is a diagram schematically illustrating an example of a grid and a model according to the first embodiment of the present invention.
  • FIG. 5 is a diagram schematically illustrating the pixel values of the pixels included in the grid and the grid model thereof.
  • FIG. 6 is a diagram schematically illustrating an example of a criterion for determination regarding the integrated score.
  • FIG. 1 is a block diagram showing a configuration of a moving object detection apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating an example of motion obtained in the process of the motion estimation unit
  • FIG. 7 is a diagram schematically illustrating an example of a criterion for determination regarding the integrated score.
  • FIG. 8 is a diagram schematically illustrating an example of a criterion for determination regarding the integrated score.
  • FIG. 9 is a flowchart showing an example of the operation of the moving object detection device according to the first embodiment of the present invention.
  • FIG. 10 is a flowchart showing an example of the operation of the moving object detection process of the moving object detection device according to the first embodiment of the present invention.
  • FIG. 11 is a block diagram showing an example of the configuration of a moving object detection device according to the second embodiment of the present invention.
  • FIG. 12 is a flowchart showing an example of the operation of the moving object detection device according to the second embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of a hardware configuration of a computer that can realize the moving object detection device according to the embodiment of the present invention.
  • FIG. 14 is a diagram showing an example of an overall image of the first embodiment of the present invention.
  • FIG. 15 is a diagram illustrating an example of the configuration of an imaging apparatus according to a modification of the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of a moving object detection apparatus according to the first embodiment of the present invention.
  • the moving object detection device 10 includes a reception unit 11, a motion estimation unit 12, a first calculation unit 13, a background update unit 14, a second calculation unit 15, and a detection. Part 16 and output part 17.
  • the reception unit 11 receives time-series images obtained from the camera.
  • a time-series image represents, for example, continuous still images taken every predetermined time.
  • the format of the time-series image may be any format that can individually extract images included in the time-series image.
  • the format of the image may be any format that can be recognized by the moving object detection apparatus 10. In the following description, the time-series image is also expressed as a video.
  • a still image is also simply referred to as an image.
  • the camera may transmit the images included in the captured time-series images to the moving object detection device 10 in the order obtained.
  • the camera is, for example, a photographing device mounted on a moving body.
  • the moving body is, for example, a drone, a vehicle, a head mounted display, a portable terminal, or the like.
  • a movable mechanism may be incorporated in the camera. That is, the camera may be a moving body.
  • the moving body is not limited to these examples.
  • FIG. 14 is a diagram showing an example of the overall image of the present embodiment.
  • the moving object detection device 10 is communicably connected to the camera 20 via a communication network 30 by wireless communication, wired communication, or a combination of wireless communication and wired communication.
  • the camera 20 is mounted on the moving body 40.
  • an output device 60 such as a display may be connected to the moving object detection device 10.
  • the moving object detection device 10 may be connected to the terminal device 50 through the communication network 30, for example.
  • the terminal device 50 is a device having a function of displaying information on a received moving object.
  • the terminal device 50 may be a computer or a mobile terminal, for example.
  • the output unit 17 described later may transmit information of the detected moving object to the output device 60.
  • the output unit 17 may transmit information on the detected moving object to the terminal device 50.
  • the camera may include the moving object detection device 10.
  • the camera itself may operate as the moving object detection device 10. That is, a controller, a processor, or the like attached in the camera casing may operate as the moving object detection device 10.
  • a moving body may operate as the moving object detection device 10.
  • the camera is also referred to as a photographing device.
  • the reception unit 11 sends an image included in the received time-series image to the motion estimation unit 12 and the background update unit 14.
  • the reception unit 11 sends the images included in the time series image to the motion estimation unit 12 and the background update unit 14 in time series.
  • the moving object detection device 10 detects a moving object from, for example, the image sent out most recently (that is, last) among the images sent out by the reception unit 11.
  • the image from which the moving object is detected is also referred to as the latest image, the latest input image, and the target image.
  • the reception unit 11 receives images included in the time series image from the camera in the shooting order. And the reception part 11 sends out the image contained in a time series image to the motion estimation part 12 and the background update part 14 in the order of reception.
  • the reception unit 11 may hold a predetermined number of continuous images including the target image received from the camera.
  • the image held by the reception unit 11 may include an image taken before the target image.
  • the image held by the reception unit 11 may include an image taken after the target image.
  • the reception unit 11 may send the entire received time-series image to the motion estimation unit 12 and the background update unit 14.
  • the motion estimation unit 12 may select the target image from the time-series images, for example, in the order of the time series.
  • the motion estimation unit 12 may notify the background update unit 14 of the identifier of the selected target image.
  • Each unit of the moving object detection device 10 may perform processing assuming that the image selected as the target image is an image from which a moving object is detected.
  • the motion estimation unit 12 estimates the motion (for example, optical flow) at the representative point from the images included in the continuous images received by the reception unit 11.
  • the representative point is, for example, a predetermined pixel.
  • the first calculation unit 13 calculates, for example, the score of the moving object at the representative point (hereinafter also referred to as the first score) based on the estimated movement (for example, optical flow) at the representative point.
  • the score of the moving object indicates the degree of possibility that the pixel is included in the area of the moving object.
  • the background update unit 14 updates the background model based on the latest input image.
  • the background model represents background information in the latest input image. The background information will be described later.
  • the background update unit 14 transmits the latest input image and the updated background model to the second calculation unit 15.
  • the second calculator 15 calculates a score of the moving object (hereinafter also referred to as a second score) based on the received comparison result between the background model and the input image.
  • the detection unit 16 Based on the moving object score (first score) calculated by the first calculation unit 13 and the moving object score (second score) calculated by the second calculation unit 15, the detection unit 16 A moving object is detected from the input image. For example, the detection unit 16 may detect the moving object from the latest input image based on the first score, and may detect the moving object from the latest input image based on the second score. The detection unit 16 integrates the moving object detected based on the first score and the moving object detected based on the second score, and detects the integrated moving object as a final moving object. May be.
  • the output unit 17 outputs information on the detected moving object.
  • the output unit 17 may superimpose a display indicating the detected moving object region on the latest input image, and output the latest input image on which the moving object display is superimposed.
  • the output unit 17 may superimpose a display indicating a region other than the detected moving object region on the latest input image and output an input image on which a display indicating a region other than the moving object region is superimposed.
  • Various formats can be adopted as the format of the output moving object image.
  • the motion estimation unit 12 includes a representative point motion estimation unit 121, a background motion estimation unit 122, and a suppression unit 123.
  • the representative point motion estimation unit 121 calculates motions (eg, optical flows) of a plurality of representative points in the latest input image based on the latest input image and the reference image, for example.
  • the optical flow of the representative point is also referred to as a representative flow.
  • the reference image of the input image may be an input image before the input image.
  • the input image before the latest input image is, for example, a predetermined number of images before the latest input image in the time-series order in the above-described time-series image.
  • the input image before the latest input image is sent to the motion estimation unit 12 by the reception unit 11 before the latest input image.
  • the input image before the latest input image may be an image immediately before the latest input image in the time-series order in the time-series image.
  • the reference image may be an image after the latest input image in the time-series order in the time-series image.
  • the reception unit 11 may supply the latest input image and reference image to the representative point motion estimation unit 121 of the motion estimation unit 12.
  • the representative point motion estimator 121 may calculate a representative flow based on the received latest input image and reference image.
  • the background motion estimation unit 122 estimates the motion of the background region (background region optical flow) based on the representative flow.
  • the optical flow in the background area is also referred to as a background flow.
  • the suppression unit 123 suppresses the background flow component in the representative flow. For example, the suppression unit 123 subtracts the background flow from the representative flow to calculate an optical flow (local flow) obtained by removing the background flow component from the representative flow.
  • an optical flow obtained by canceling a background flow component from a representative flow is also referred to as a local flow.
  • the reception unit 11 receives time-series images obtained from the camera.
  • the time series image may be input to the reception unit 11 from a camera that has captured the time series image.
  • a storage device or server that stores time-series images may input the time-series images to the reception unit 11.
  • the reception unit 11 may read a time-series image stored in the storage device or the server.
  • the reception unit 11 may correct the received time-series image by image processing such as filter processing. Specifically, the reception unit 11 may perform the above-described correction on each of the images included in the received time series image.
  • the correction may be noise removal, for example.
  • the reception unit 11 may apply a 5 ⁇ 5 pixel size Gaussian filter to each image included in the time-series image, for example, after applying a 3 ⁇ 3 pixel size median filter to reduce noise. .
  • the reception unit 11 sends the received time-series image to the motion estimation unit 12 and the background update unit 14. Specifically, for example, the reception unit 11 sends the images included in the received time series image to the representative point motion estimation unit 121 of the motion estimation unit 12 and the background update unit 14 in time series order. May be.
  • the reception unit 11 may further send the time-series image to the second calculation unit 15.
  • the receiving unit 11 may send the time series image to the second calculating unit 15 via the background updating unit 14.
  • the receiving unit 11 may further send the time-series image to the output unit 17.
  • the reception unit 11 may send the time-series image to the output unit 17 via the motion estimation unit 12, the first calculation unit 13, and the detection unit 16.
  • the motion estimation unit 12 includes the representative point motion estimation unit 121, the background motion estimation unit 122, and the suppression unit 123.
  • FIG. 2 is a diagram schematically illustrating an example of motion obtained in the process of the motion estimation unit 12.
  • the representative point motion estimation unit 121 determines a representative point in the latest input image received from the reception unit 11, and estimates a reference image point corresponding to the determined representative point.
  • the representative point motion estimation unit 121 may calculate the motion from the point corresponding to the representative point to the representative point as an optical flow.
  • the representative point motion estimation unit 121 may calculate the motion from the representative point to the point corresponding to the representative point as an optical flow.
  • the representative point motion estimation unit 121 may determine a representative point according to a predetermined method. For example, the representative point motion estimation unit 121 may determine the representative points so that the representative points are arranged at predetermined intervals in the vertical direction and the horizontal direction, respectively.
  • the vertical spacing and the horizontal spacing may be different.
  • the representative point motion estimation unit 121 may determine a representative point so that the pixel at the end of the image does not become a representative point.
  • the representative point motion estimation unit 121 may use, for example, a central point of each region obtained by dividing the input image in the vertical direction and the horizontal direction at a predetermined cycle as the representative point.
  • the size of the input image is 1920 pixels ⁇ 1080 pixels
  • the input image associated with time T is the latest input image
  • the image associated with time T-1 is the reference image
  • the vertical period is 24 pixels.
  • the representative point motion estimation unit 121 determines a total of 2700 representative points having a horizontal period of 32 pixels and a vertical period of 24 pixels in the input image associated with the time T. . Then, the representative point motion estimation unit 121 calculates an optical flow (ie, representative flow) at the representative point with reference to the image associated with the time T-1.
  • the image associated with time T may be an image taken at time T, for example.
  • the image associated with the time T may be an image received by the motion estimation unit 12 at the time T, for example.
  • the image associated with time T may be an image taken after time T after a predetermined image (for example, the first image) included in the time-series image is taken.
  • An image P1 illustrated in FIG. 2 is an image associated with time T-1 (hereinafter referred to as frame T-1), and an image P2 is an image associated with time T (hereinafter referred to as frame T-1). Notation).
  • the image P3 represents an example of the result of the calculated representative flow.
  • the background motion estimation unit 122 is based on the representative flow on the assumption that the background area is dominant in each image included in the time-series image (for example, the area of the background area occupies a majority of the area of the input image). Thus, the optical flow in the background area is estimated. Specifically, the background motion estimation unit 122 calculates a transformation matrix that performs the motion represented by the representative flow to the representative point in the input image. In the description of the present embodiment, a matrix that performs a motion represented by a representative flow to a representative point in an input image is a transformation matrix. However, the background motion estimation unit 122 may calculate, as a transformation matrix, a matrix that performs the motion represented by the representative flow from the representative point in the input image.
  • the background motion estimation unit 122 obtains the coordinates (conversion coordinates) obtained by converting the coordinates of any one of the start point of the vector representing the representative flow and the end point of the vector using the conversion matrix.
  • the transformation matrix is estimated so as to approach one coordinate (reference coordinate).
  • the Euclidean distance can be applied as an index of the closeness between the converted coordinates and the reference coordinates.
  • the proximity index may be another distance.
  • the representative flow includes a vector representing motion at a plurality of representative points.
  • the representative point includes a representative point included in the area of the moving object.
  • the representative flow does not necessarily show an accurate movement due to the influence of noise or the like.
  • the background motion estimation unit 122 may estimate the transformation matrix so that the sum of the Euclidean distances between the transformed coordinates and the reference coordinates at a plurality of representative points becomes smaller.
  • the background motion estimation unit 122 may calculate the transformation matrix by a method that is not easily affected by the outlier. As described above, if the background area is dominant in the input image, the ratio of the flow derived from the background area to the representative flow increases. In this case, when the transformation matrix is calculated by a method that is not easily affected by the outlier, the flow derived from the region other than the background region corresponds to the outlier in the representative flow.
  • the background motion estimation unit 122 can calculate a transformation matrix that performs the motion represented by the flow derived from the background region.
  • the background motion estimation unit 122 estimates a background flow representing the background motion at the representative point based on the calculated transformation matrix.
  • the transformation matrix may be an affine transformation transformation matrix.
  • the transformation matrix may be a homography transformation matrix.
  • the background motion estimation unit 122 can estimate the transformation matrix based on the representative flow and the background flow based on the transformation matrix using, for example, the least square method.
  • the background motion estimator 122 employs an optimization calculation method that is not easily affected by outliers, such as a RANSAC (random sample consensus) algorithm or a least-median estimation method. Can reduce the effects of In this case, for example, the flow at the representative point included in the moving object region and the flow at the representative point in the vicinity of the moving object region are treated as outliers, so that the estimation accuracy of the background flow can be improved.
  • the RANSAC algorithm is a robust optimization method that is not easily affected by outliers. Therefore, under the above assumption, the optical flows of representative points in the area of the moving object and in the vicinity of the area of the moving object are not used as outliers in the optimization calculation. Then, optimization calculation is performed using only the optical flow of the representative points of the background area.
  • the transformation matrix calculated by the background motion estimation unit 122 associates the pixel of the frame T with the pixel of the frame T-1 corresponding to the pixel. In other words, this transformation matrix represents the transformation between the coordinates of the pixel of frame T and the coordinates of the pixel of frame T-1 corresponding to that pixel.
  • this conversion matrix converts the coordinates of the pixel in the frame T-1 into the coordinates of the pixel in the frame T. Therefore, based on this transformation matrix (specifically, by the inverse matrix of this transformation matrix), by transforming the coordinates of the representative point determined in the frame T, in the frame T-1 corresponding to the representative point
  • the coordinates of the points can be calculated.
  • the background motion estimation unit 122 calculates a vector from the point in the frame T-1 corresponding to the representative point determined in the frame T to the representative point corresponding to the point as the background flow at the representative point.
  • the calculated background flow represents a flow caused by the movement of the camera.
  • the background motion estimation unit 122 supplies the estimated transformation matrix to the background update unit 14 described in detail later.
  • the image P4 represents an example of a background flow estimated based on the image P3 representing the representative flow.
  • the background flow is different from the representative flow particularly in the area of the moving object and in the vicinity of the area of the moving object.
  • the suppression unit 123 calculates a local flow in which the background flow component estimated by the background motion estimation unit 122 is removed from the representative flow calculated by the representative point motion estimation unit 121. Specifically, the suppression unit 123 may calculate a vector obtained by removing the vector component representing the background flow from the vector representing the representative flow as the local flow vector. The suppression unit 123 may calculate, as a local flow, a vector obtained by subtracting the background flow vector from the representative flow vector at each representative point.
  • the image P5 represents an example of a local flow obtained by subtracting the background flow shown in the image P4 from the representative flow shown in the image P3. If the accuracy of the calculated background flow is high because the moving object moves differently from the background, the difference between the representative flow and the background flow in the background area is the difference between the representative flow and the background flow in the moving object area. Less than the difference.
  • the local flow near the moving object region and the moving object region has a remarkable length compared to the local flow in the background region. Further, the difference between the direction of the local flow in the area of the moving object and the vicinity of the area of the moving object and the direction of the local flow in the background area is also remarkable.
  • the suppression unit 123 calculates, in addition to the local flow at each representative point, the local flow at each pixel other than the representative point of the input image, for example, by interpolation. As a method of interpolation, a bilinear method, a bicubic method, or the like can be applied. The suppression unit 123 may calculate the local flow in each pixel other than the representative point of the input image by interpolation. The suppression unit 123 supplies the calculated local flow to the first calculation unit 13.
  • the first calculation unit 13 receives the local flow from the suppression unit 123, and based on the received local flow information (for example, the magnitude (movement amount) and direction of movement) of the moving object (that is, the above-mentioned).
  • the first score is calculated as follows.
  • the first calculation unit 13 may calculate the first score based only on the local flow in the latest input image.
  • the first calculator 13 may calculate the first score based on the local flow in the latest input image and the local flow in the past input image.
  • the image P5 in FIG. 2 represents an example of the calculated local flow.
  • the local flow is a flow generated by removing the background flow component from the representative flow.
  • the size of the local flow in the area of the moving object and the surrounding area is larger than the size of the local flow in the background area.
  • Patent Document 1 a method of detecting an object that moves differently from the background by removing the background flow component from the representative flow is known.
  • the size of the local flow in the background region may be larger than the size of other local flows in the background region.
  • the score in the area of the moving object is equal in the area where noise in the background area has occurred. Score may be calculated. However, it is not highly likely that equivalent noise will continuously occur in the same region. It is expected that the local flow caused by noise is not stably detected in successive images. For example, if the movement of a moving object does not change so rapidly that it greatly differs between successive frames of a moving image, it is expected that the local flow due to the moving object in successive frames is similar.
  • the first calculation unit 13 determines the similarity of local flows in successive images. You may calculate the score based on as a score of a moving object.
  • FIG. 3 is a diagram schematically illustrating an input image and a calculated flow in the process until the first score is calculated.
  • an image P6, an image P7, and an image P8 are an input image at time (T-2), an input image at time (T-1), and a time T input image.
  • the image P9 represents an image in which the representative flow calculated from the images P6 and P7 is superimposed on the image P7.
  • the image P10 represents an image in which the representative flow calculated from the images P7 and P8 is superimposed on the image P8.
  • the image P11 represents an image in which the local flow calculated based on the representative flow shown in the image P9 is superimposed on the image P7.
  • the image P12 is an image in which the local flow calculated based on the representative flow shown in the image P10 is superimposed on the image P8. Further, the transformation matrix between the image P6 and the image P7 calculated in the process of calculating the background flow is H t ⁇ 1, t ⁇ 2 , and the transformation matrix between the image P7 and the image P8 is Let H t, t ⁇ 1 . Like the image P11 and the image P12 shown in FIG. 9, the local flow of the area
  • the camera moves during shooting.
  • the background motion estimation unit 122 can calculate the angle difference between the same objects shown in a plurality of images even when the background is moving due to the movement of the camera. Use the calculated transformation matrix.
  • the pixel j of the image P11 and the pixel j of the image P12 are generally pixels on which different points are projected in the real-world three-dimensional space (three-dimensional coordinates). . It is necessary to calculate in the image P12 a pixel on which the same point as the point in the three-dimensional space projected on the pixel j of the image P11 is projected (that is, the corresponding pixel).
  • the first calculation unit 13 can calculate the coordinates of the corresponding pixel by performing coordinate conversion of the pixel using the conversion matrix described above.
  • the first calculation unit 13 may perform, for example, a conversion that matches the coordinates of the point of one image in the continuous image with the coordinates of the point of the other image corresponding to the point for the local flow.
  • the conversion is represented by a conversion matrix calculated in the process of calculating the background flow.
  • the 1st calculation part 13 should just convert with respect to a local flow with the conversion matrix computed in the process of calculating a background flow.
  • the 1st calculation part 13 may calculate the score based on the difference of the angle of the local flow after conversion of those images as a 1st score.
  • the first calculation unit 13 may calculate the first score according to a calculation method in which the score increases as the magnitude of the difference in the angle of the local flow (0 degrees to 180 degrees) decreases.
  • d ⁇ ′ is normalized so that the range of values is 0 to 1 by dividing the angle difference d ⁇ of the local flow by 180. It is a converted value.
  • the first calculation unit 13 may calculate an average value of scores M (denoted as score L) calculated from a predetermined number (for example, five) of images as the first score.
  • the magnitude of the difference in the angle of the local flow is randomly distributed between 0 degrees and 180 degrees, for example. Therefore, the score M is randomly distributed between 0 and 1, for example.
  • the score L which is an average value of the scores M, is distributed around 0.5.
  • the magnitude of the local flow angle difference is distributed around 0 degrees. Therefore, the score M is distributed around 1. Therefore, the score L is distributed around 1.
  • the background update unit 14 receives the transformation matrix from the background motion estimation unit 122 of the motion estimation unit 12. Similar to the technique described in Non-Patent Document 1, the background update unit 14 is based on a conversion matrix that represents conversion from, for example, the pixel coordinates of the immediately preceding input image to the pixel coordinates of the latest input image. Convert the background model.
  • the background model may include, for example, predetermined coordinates indicating a position in the image and a value indicating the characteristic of the luminance value of the background pixel at the position indicated by the coordinates.
  • the background model will be described later in detail.
  • the background update unit 14 may convert the background model, for example, by converting the coordinates included in the background model using the received conversion matrix.
  • the coordinates after conversion are not limited to integers.
  • the background update unit 14 calculates the luminance value of the background pixel at the position indicated by the coordinates determined in advance, for example, by interpolation from the converted coordinate and the value indicating the characteristic of the luminance value of the background pixel at the coordinate. What is necessary is just to calculate the characteristic. Background model conversion including coordinate conversion and calculation of luminance characteristic at a position indicated by a predetermined coordinate, for example, by interpolation may be referred to as “motion compensation” of the background model.
  • the background update unit 14 further reflects the new input image on the background model. That is, the background update unit 14 updates the background model based on the information about the new input image.
  • the background update unit 14 updates the characteristic of the luminance value included in the background model, for example, using the luminance value of the pixel of the new input image. More specifically, the background update unit 14 performs, for example, a weighted addition average of a value representing the feature included in the converted background model and a value representing the feature calculated from the new input image. To update the background model.
  • the background model is, for example, data representing the characteristics of the luminance value of the background at the position of each pixel of the latest input image.
  • the background model may be data including a model including, for example, an average value of luminance values and a distribution of luminance values for each pixel. That is, the background model may be data in which coordinates, an average value of luminance values, and a variance of luminance values are associated for each pixel.
  • the background model may include standard deviation instead of variance.
  • the background model may further include the number of data for each pixel. The number of data represents the number of luminance values used for calculating the average value of luminance values and the variance of luminance values.
  • the background update unit 14 may reflect the brightness value of the new input image on the average value and variance of the brightness values included in the background model.
  • the background update unit 14 may further add 1 to the number of data.
  • the background update unit 14 converts the background model by applying the motion compensation method for the background model described in Non-Patent Document 1. Also good.
  • the background update unit 14 may further update the background model by applying the background model update method described in Non-Patent Document 1.
  • the background model may include a model (for example, the above average value and variance) for each region (hereinafter referred to as a grid) in which an image is divided by a grid having a predetermined size.
  • the background model (specifically, the model included in the background model) may include a standard deviation instead of the variance.
  • the background update unit 14 may convert the background model according to the method for motion compensation of the background model described in Non-Patent Document 1.
  • the background update unit 14 may further update the background model according to the background model update method described in Non-Patent Document 1.
  • FIG. 4 is a diagram schematically illustrating an example of the above-described grid and model.
  • the size of the lattice (that is, the size of the grid) is G ⁇ G.
  • Grid i is a grid assigned number i. 4
  • the luminance values of the pixels of the background included in the grid i is the average value mu A, indicating that the standard deviation is distributed according to a Gaussian distribution with sigma A.
  • the horizontal axis represents the luminance value
  • the vertical axis represents the frequency.
  • the background model includes an average value and a standard deviation as a model of the grid i.
  • Such a model can be used to determine whether or not the luminance value of the pixel included in the grid i is abnormal. For example, when the luminance value of a pixel included in the grid i deviates from the model of the grid i, for example, the difference between the average value of the model of the grid i and the luminance value is larger than the standard deviation of the grid i. If larger, the pixel may be detected as an abnormal point.
  • FIG. 5 is a diagram schematically showing the luminance values of the pixels included in the grid and the grid model.
  • the grid i is an area of 4 pixels ⁇ 4 pixels.
  • One square of the grid represents one pixel.
  • the luminance value of the pixel represented by the white square represents a pixel that deviates from the model of grid i.
  • the horizontal axis represents the luminance value
  • the vertical axis represents the frequency.
  • the small circles shown in the graph indicate the distribution of luminance values of the pixels in the grid.
  • the background update unit 14 may generate the background model based on the latest input image, for example. .
  • the background update unit 14 may set the average value of the luminance values of the pixels of the latest input image corresponding to the pixel as the average value of the model of the pixels included in the background model.
  • the background update unit 14 may set zero as the variance of the pixel model included in the background model.
  • the second calculation unit 15 uses the background model updated by the background update unit 14 and the latest input image sent by the receiving unit 11 to score the moving object at each pixel of the latest input image (hereinafter referred to as the second model). (Also expressed as a score).
  • the second calculation unit 15 may calculate the following degree of abnormality as the score of the moving object.
  • the degree of abnormality is, for example, a value obtained by dividing the square d 2 of the difference between the average luminance value and the luminance value of the pixel of the input image by the variance V (hereinafter referred to as score A).
  • the second calculation unit 15 may calculate the score A as the second score for each pixel of the latest input image.
  • the background model is not limited to the above example.
  • the background model may be a model that represents the characteristic of the luminance value when the pixel is included in the background.
  • the second score is not limited to the above example.
  • the second score may be a value indicating a deviation between the luminance value of the pixel and the background model.
  • the detection unit 16 uses the latest input. Detect moving objects in the image. More specifically, the detection unit 16 determines whether each pixel of the latest input image is included in the area of the moving object based on the first score and the second score. The detection unit 16 may detect a connected region of pixels determined to be included in the moving object region as the moving object region.
  • the detection unit 16 may detect a moving object based on the first score, for example, using a threshold value (denoted as a first threshold value) for the first score. Specifically, for example, when the first score of the pixels included in the moving object is smaller than the first threshold, the detection unit 16 determines the connected region of the pixels whose first score is smaller than the first threshold, What is necessary is just to detect as a moving object. A region of the moving object detected based on the first score is referred to as a first region.
  • the detection unit 16 may further detect a moving object based on the second score, for example, using a threshold value (denoted as a second threshold value) for the second score.
  • the detection unit 16 determines the connected region of the pixels whose second score is smaller than the second threshold, What is necessary is just to detect as a moving object.
  • a region of the moving object detected based on the second score is referred to as a second region.
  • the detection unit 16 may integrate the first region and the second region, and detect a region where the first region and the second region are integrated as the region of the moving object.
  • the logical product of the first area and the second area (that is, the area included in both the first area and the second area) is an area where the first area and the second area are integrated. May be.
  • a logical sum of the first area and the second area (that is, an area included in at least one of the first area and the second area) is an area where the first area and the second area are integrated. There may be.
  • the other area based on the first area and the second area may be an area where the first area and the second area are integrated.
  • the detection unit 16 may integrate the first score and the second score, and detect the moving object based on the integrated score (hereinafter also referred to as an integrated score).
  • the integrated score may be a weighted linear sum of the first score and the second score.
  • the integrated score is, for example, the coordinates of a point (that is, coordinates (first score, first score) in a space where the vertical axis represents the first score and the horizontal axis represents the second score (hereinafter referred to as score space). 2))).
  • the detection unit 16 may determine that the pixel is included in the region of the moving object, for example, when the integrated score of the pixel satisfies the determination criterion regarding the integrated score.
  • the criterion for determination regarding the integrated score may be represented by an area in the score space, for example. For example, when the integrated score obtained by integrating the first score and the second score of the pixel is included in the area set in the score space, the detection unit 16 determines that the pixel is included in the area of the moving object. You may judge. And the detection part 16 may determine with the pixel not being contained in the area
  • FIG. 6 is a diagram schematically illustrating an example of a criterion for determination regarding the integrated score.
  • the detection unit 16 determines that the pixel is a moving object region. Is determined to be included.
  • FIG. 7 is a diagram schematically illustrating an example of a criterion for determination regarding the integrated score.
  • the detection unit 16 when the first score of a pixel is larger than the first threshold, the detection unit 16 includes the pixel in the area of the moving object regardless of the value of the second score of the pixel. Is determined. Furthermore, even when the second score of the pixel is larger than the second threshold, the detection unit 16 determines that the pixel is included in the region of the moving object regardless of the value of the first score of the pixel.
  • FIG. 8 is a diagram schematically illustrating an example of a criterion for determination regarding the integrated score.
  • the detection unit 16 determines that the pixel is a moving object region. It is determined that it is included.
  • the detection unit 16 determines that the pixel is not included in the region of the moving object. .
  • FIG. 9 is a flowchart showing an example of the operation of the moving object detection device 10 of the present embodiment.
  • the reception unit 11 starts receiving a time-series image obtained from the camera (step S101).
  • the reception part 11 should just start reception of a time series image, when an image is sent from a camera.
  • the reception unit 11 may start receiving time-series images in accordance with an instruction from the terminal device 50.
  • the accepting unit 11 receives an image included in the time series image (step S102).
  • the reception unit 11 sends the received image to the motion estimation unit 12 and the background update unit 14.
  • the moving object detection apparatus 10 performs a moving object detection process (step S103). The moving object detection process will be described in detail later.
  • the moving object detection device 10 repeats the operations after step S102.
  • the moving object detection device 10 ends the operation illustrated in FIG.
  • the reception unit 11 may end the reception of the time-series image when the transmission of the image from the camera is stopped.
  • the reception unit 11 may end the reception of the time-series image in accordance with an instruction from the terminal device 50.
  • FIG. 10 is a flowchart showing an example of the operation of the moving object detection process of the moving object detection device 10 of the present embodiment.
  • the background update unit 14 A model is generated (step S120). For example, when the background model does not exist, the background update unit 14 may determine that the received image is the first image in the time series image. For example, when the image that can be used as the reference image has not yet been received, the motion estimation unit 12 may determine that the received image is the first image in the time-series image. In that case, the motion estimation unit 12 may use the received image as a reference image to be compared with the next received image. Then, the moving object detection process ends the operation shown in FIG.
  • the moving object detection device 10 When the image selected by the reception unit 11 is not the first image in the time-series image (NO in step S111), the moving object detection device 10 performs the operation from step S112.
  • the representative point motion estimator 121 of the motion estimator 12 estimates the motion of a representative point whose position is determined in advance in the selected image, that is, the latest input image described above (step). S112).
  • the background motion estimation unit 122 of the motion estimation unit 12 estimates the background motion (step S113). That is, the background motion estimation unit 122 estimates a transformation matrix that associates two images with each other from the representative flow, and estimates a background flow based on the estimated transformation matrix (step S113).
  • the suppression part 123 of the motion estimation part 12 calculates a local flow by removing the component of a background flow from a representative flow (step S114).
  • the first calculation unit 13 calculates the score of the moving object (that is, the first score) based on the calculated local flow (step S115).
  • the background update unit 14 updates the background model based on the transformation matrix estimated by the background motion estimation unit 122 and the latest input image (step S116). Specifically, the background update unit 14 performs motion compensation on the background model using the transformation matrix, and further updates the background model by reflecting the latest image on the background model (step S116).
  • the second calculation unit 15 calculates the score of the moving object (that is, the second score) based on the updated background model and the latest input image (step S117).
  • the detection unit 16 detects a moving object based on the first score and the second score (step S118).
  • the detection unit 16 may integrate the first score and the second score, and detect the moving object based on the integrated score.
  • the output unit 17 outputs information on the detected moving object (step S119).
  • the output unit 17 may output the latest input image (hereinafter also referred to as an output image) showing the area of the moving object.
  • the output unit 17 may generate, as an output image, an image in which a display (for example, a graphic or the like) indicating the detected moving object region is superimposed on the latest input image.
  • the output unit 17 may generate, as an output image, an image in which at least one of the color and brightness of the detected moving object region in the latest input image is changed.
  • the output unit 17 may generate, as an output image, an image obtained by changing at least one of the color and brightness of a region other than the detected moving object region in the latest input image.
  • the moving object detection apparatus 10 complete
  • the reason is that the detection unit 16 detects a moving object based on the first score calculated by the first calculation unit 13 and the second score calculated by the second calculation unit 15.
  • the first score and the second score are different types of scores indicating the degree of possibility that the pixel is included in the moving object, in which the influence of the movement of the background due to the movement of the camera is reduced.
  • the detection unit 16 can reduce false detection and overdetection compared to the case of detecting the moving object based on one type of score. The accuracy of detecting a moving object is improved.
  • the present embodiment also has the following first to fourth effects.
  • the first effect is that false detection can be reduced even when a new stationary object appears due to a viewpoint change accompanying camera movement.
  • the second score based on the background model is a score based on the degree of abnormality of the luminance value with respect to the background model.
  • the first score based on the optical flow in the video is a score based on the actual movement of the object. Based on these two types of scores, the detection unit 16 can determine that a stationary object that has appeared due to a viewpoint change is “not a moving object because it is not actually moving even if it is abnormal”.
  • the second effect is that if the moving object is detected based only on the second score using the background model, the detection rate of the moving object can be improved even when the moving object cannot be detected because the background is complicated. Even when there are few points that deviate from the background model, an optical flow may be calculated between images included in the time-series image. If the optical flow can be calculated, even if there are few points that deviate from the background model among the points included in the region of the moving object, the detection unit 16 is “moving object because it is moving although the degree of abnormality is not high. Can be determined.
  • the third effect is that, when a moving object is detected based only on the first score using the optical flow, the erroneous detection of the moving object is reduced even if the detection error of the moving object occurs due to poor estimation accuracy of the optical flow. It can be done.
  • the detection unit 16 does not recognize that an abnormal object is clearly present even if a remarkable value is calculated as the optical flow. It can be determined that there is no. That is, in this case, the detection unit 16 can determine that there is no moving object.
  • the fourth effect is that only a moving object can be detected from an image taken by a moving camera.
  • the reason is that the suppression unit 123 removes the background motion component estimated based on the motion of the representative point from the motion of the representative point. Therefore, the suppression unit 123 can reduce the influence of the background movement caused by the movement of the camera on the movement of the entire image.
  • the background update unit 14 since the background update unit 14 performs motion compensation of the background model using a conversion matrix representing the motion of the background according to the movement of the camera, the background update unit 14 updates the background following the background motion caused by the movement of the camera. be able to.
  • FIG. 15 is a diagram illustrating an example of a configuration of an imaging device 20A according to a modification of the first embodiment of the present invention.
  • the imaging device 20A includes a moving object detection device 10, an imaging unit 21, a control unit 22, and a communication unit 23.
  • the imaging device 20A is connected to the terminal device 50 via the communication network 30 by, for example, wireless communication, wired communication, or a combination of wireless communication and wired communication.
  • the moving object detection device 10 is the same as the moving object detection device 10 of the first embodiment shown in FIG. Note that the imaging device 20A may not include the moving object detection device 10 as one device.
  • the imaging device 20A may include, for example, each unit of the moving object detection device 10 illustrated in FIG. In other words, the imaging device 20A may operate as described above as the moving object detection device 10 of the first embodiment.
  • the imaging unit 21 is a device that performs imaging and outputs a time-series image obtained by imaging.
  • the imaging unit 21 corresponds to the camera 20 in the first embodiment.
  • the communication unit 23 is an interface capable of communicating with a device such as the terminal device 50 connected to the communication network 30 by, for example, wireless communication.
  • the output unit 17 outputs information on the detected moving object to the terminal device 50 via the communication unit 23.
  • the moving unit 24 is, for example, a device attached to the photographing device 20A and capable of moving the photographing device 20A.
  • the moving unit 24 may be a moving body such as a drone or a robot.
  • the moving unit 24 may be a driving device that is included in the moving body and can move the moving body.
  • the control unit 22 is, for example, a controller that receives a movement instruction from the terminal device 50 via the communication unit 23 and controls the movement of the movement unit 24 in accordance with the received instruction.
  • the photographing apparatus 20A may not include the communication unit 23. In that case, the imaging device 20 ⁇ / b> A is not connected to the moving unit 24.
  • the imaging device 20A described above performs the same operation as the moving object detection device 10 of the first embodiment.
  • FIG. 11 is a block diagram illustrating an example of a configuration of a moving object detection device 10A according to the second exemplary embodiment of the present invention.
  • the moving object detection device 10 ⁇ / b> A includes a reception unit 11, a first calculation unit 13, a second calculation unit 15, and a detection unit 16.
  • the reception unit 11 receives a video image (that is, the above-described time-series image) captured by an imaging device provided in the moving body.
  • the first calculator 13 calculates a first score of the moving object based on the movement of the pixels of the image included in the video.
  • the second calculation unit 15 calculates a second score of the moving object based on the background model updated based on the image and the pixel motion and the image.
  • the detection unit 16 detects a moving object from the image based on the first score and the second score.
  • FIG. 12 is a flowchart showing an example of the operation of the moving object detection device 10A according to the present embodiment.
  • the receiving unit 11 receives a time-series image (step S201).
  • the first calculation unit 13 calculates a first score of the moving object based on the movement of the pixels of the image included in the time-series image (step S202).
  • the second calculation unit 15 calculates the second score of the moving object based on the background model updated based on the image and the pixel movement and the image (step S203).
  • the detection unit 16 detects a moving object from the image based on the first score and the second score (step S204).
  • Each of the moving object detection devices according to any of the above-described embodiments includes a memory loaded with a program read from a storage medium, and the program It can implement
  • the moving object detection apparatus according to the above-described embodiment can also be realized by dedicated hardware.
  • the moving object detection apparatus according to the above-described embodiment can also be realized by a combination of the above-described computer and dedicated hardware.
  • the moving object detection device can be realized by hardware such as a circuit configuration.
  • the circuit configuration may be, for example, a processor and a memory included in the computer. In that case, the program only needs to be loaded into the memory.
  • the program can be executed by a processor, and the computer may be operated as the moving object detection device of the above-described embodiment.
  • the circuit configuration may be, for example, a plurality of computers that are communicably connected.
  • the circuit configuration may be, for example, a circuit.
  • the circuit configuration may be, for example, a plurality of circuits that are communicably connected.
  • the circuit configuration may be a combination of one or more computers and one or more circuits that are communicably connected.
  • FIG. 13 is a diagram illustrating an example of a hardware configuration of a computer 1000 that can realize the moving object detection device 10 and the moving object detection device 10A.
  • a computer 1000 includes a processor 1001, a memory 1002, a storage device 1003, and an I / O (Input / Output) interface 1004.
  • the computer 1000 can access the storage medium 1005.
  • the memory 1002 and the storage device 1003 are storage devices such as a RAM (Random Access Memory) and a hard disk, for example.
  • the storage medium 1005 is, for example, a storage device such as a RAM or a hard disk, a ROM (Read Only Memory), or a portable storage medium.
  • the storage device 1003 may be the storage medium 1005.
  • the processor 1001 can read and write data and programs from and to the memory 1002 and the storage device 1003.
  • the processor 1001 can access an input device such as a camera, a server, a storage device, and an output device such as a display via the I / O interface 1004.
  • the processor 1001 can access the storage medium 1005.
  • the storage medium 1005 stores a program that causes the computer 1000 to operate as the moving object detection apparatus 10.
  • the storage medium 1005 may store a program that causes the computer 1000 to operate as the moving object detection device 10A.
  • the processor 1001 loads a program stored in the storage medium 1005 and causing the computer 1000 to operate as the moving object detection device 10 into the memory 1002. Then, when the processor 1001 executes the program loaded in the memory 1002, the computer 1000 operates as the moving object detection apparatus 10.
  • the processor 1001 loads a program stored in the storage medium 1005 that causes the computer 1000 to operate as the moving object detection device 10A into the memory 1002. Then, when the processor 1001 executes the program loaded in the memory 1002, the computer 1000 operates as the moving object detection device 10A.
  • the reception unit 11, the motion estimation unit 12, the first calculation unit 13, the background update unit 14, the second calculation unit 15, the detection unit 16, and the output unit 17 are loaded into the memory 1002.
  • This can be realized by a processor 1001 that executes a program for realizing the function.
  • the representative point motion estimation unit 121, the background motion estimation unit 122, and the suppression unit 123 can be realized by, for example, the processor 1001 that executes a program loaded on the memory 1002 and realizing the functions of these units.
  • a part or all of the reception unit 11, the motion estimation unit 12, the first calculation unit 13, the background update unit 14, the second calculation unit 15, the detection unit 16, and the output unit 17 realize the functions of these units. It can also be realized by a dedicated circuit.
  • some or all of the representative point motion estimation unit 121, the background motion estimation unit 122, and the suppression unit 123 can be realized by a dedicated circuit that implements the functions of these units.
  • a moving object detection apparatus comprising:
  • First motion estimation means for estimating a motion of a pixel included in the video
  • Second motion estimation means for estimating a background motion based on the pixel motion
  • Suppression means for estimating the suppression motion in which the background motion component is removed from the pixel motion
  • the first calculation means calculates the first score based on the suppression movement.
  • appendix 3 The moving object detection device according to appendix 1 or appendix 2, further comprising an update unit that updates the background model based on a conversion representing a background motion.
  • Appendix 4 The moving object according to any one of appendix 1 to appendix 3, wherein the first calculation means calculates the first score based on an angle of movement of the pixel between the images that are consecutive in the video. Detection device.
  • Appendix 7 The moving object detection method according to appendix 5 or appendix 6, wherein the background model is updated based on a transformation representing a background motion.
  • Appendix 8 The moving object detection method according to any one of appendix 5 to appendix 7, wherein the first score is calculated based on an angle of movement of the pixel between the images consecutive in the video.
  • the program is stored in a computer.
  • a first motion estimation process for estimating a motion of a pixel included in the video;
  • a second motion estimation process for estimating a background motion based on the pixel motion;
  • a suppression process for estimating a suppression motion in which the background motion component is removed from the pixel motion; Is executed further,
  • Appendix 11 The program is stored in a computer.
  • Appendix 12 The storage medium according to any one of appendix 9 to appendix 11, wherein the first calculation processing calculates the first score based on an angle of movement of the pixel between the images that are consecutive in the video. .
  • the present invention can be used for monitoring by video from a camera mounted on a drone.

Abstract

移動するカメラによって撮影された映像から移動物体を検出する精度を向上させることができる移動物体検出技術を提供する。　本発明の一態様に係る移動物体検出装置１０Ａは、移動体に設けられた撮像装置によって撮像された映像を受け取る受付部１１と、前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出部１３と、前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出部１５と、前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出部１６と、を備える。

Description

移動物体検出装置、移動物体検出方法及び記憶媒体
　本発明は、移動物体を検出する技術に関し、特に、移動する撮像装置によって撮像された映像において移動物体を検出する技術に関する。
　監視カメラから得られる映像の解析において、画像認識処理や画像中の物体の追跡処理を行う前段の処理として、移動物体を検出する処理が一般的に行われている。近年、ウェアラブルカメラやドローンに搭載できるカメラが普及してきている。そのため、固定された監視カメラから得られる映像だけでなく、上記のように、カメラが移動しながら撮影することで得られる映像（以下、移動カメラ映像とも表記）からの移動物体の検出の需要が高まっている。
　非特許文献１には、移動カメラ映像から移動物体を検出する方法が開示されている。この方法は、統計的背景差分法を基盤とする移動物体検出方法である。この方法では、映像が含む各フレームが所定のサイズで格子状に分割された領域ごとに、画素値の平均値、分散、Ageに基づく背景モデルが計算される。背景モデルは、フレーム間の画素の動きに基づいて更新される。そして、映像中の最新フレームと背景モデルとの差分に基づいて、移動物体の検出が行われる。
　また、特許文献１には、移動物体を検出する移動物体検出装置の例が記載されている。特許文献１の移動物体検出装置は、カメラから入力される時系列画像の各々を、複数の分割領域に分割する。移動物体検出装置は、分割領域毎に、連続する画像間における動きを算出する。移動物体検出装置は、まとまって同じような動きをする複数の分割領域を背景として検出し、背景以外を移動物体として検出する。
　また、特許文献２には、背景が変化する動画像から、静止している対象物体及び移動する対象物体を検出する物体検出装置が記載されている。物体検出装置は、カメラから入力された時系列画像から各画像の各画素の特徴を計算し、計算した特徴を蓄積する。物体検出装置は、蓄積された特徴に基づいて、各画素の状態（以下、画素状態とも表記）を、４パターンの画素状態のいずれかに決定する。パターンの画素状態は、短期的な安定状態（静の状態）、短期的な不安定状態（動の状態）、長期的な安定状態（継続的な静の状態）、及び長期的な不安定状態（継続的な動の状態）の４パターンの画素状態である。物体検出装置は、決定した画素状態に基づいて、画素毎に適応的に背景モデルの生成方法を切り替える。物体検出装置は、適応的に切り替えられた生成方法に従って背景を生成する。これにより、物体検出装置は、背景に継続的な動き（例えば木の揺れ、水面のゆれ）がある場合であっても、誤検出することなく移動物体のみ検出を行うことができる。
特開平１０－０９１７９５号公報 特開２００７－３２３５７２号公報
　非特許文献１の方法では、背景モデルは、入力される時系列画像から構築され、動きに基づいて更新される。そして、背景モデルが示す背景画像と最新の画像との差分に基づいて、背景モデルに存在しない異常な点が、移動物体として検出される。
　しかし、静止している物体が、例えばカメラの移動による視点の変化のために、撮影の範囲に新たに含まれた場合、背景モデルは、その物体の情報を含まない。そのため、そのような物体は、静止しているにも関わらず、移動物体として誤検出される。
　また、背景が複雑なテクスチャを持つ場合、その背景を表す背景モデルの持つ分散が大きくなる。そのため、背景モデルと最新の画像とを比較した場合、移動物体に含まれる画素であっても、背景モデルによって表される背景の条件を満たす画素が多くなる。結果として、移動物体の検出漏れが増加する。
　特許文献１の物体検出装置は、分割領域ごとの動きに基づいて移動物体を検出する。しかし、例えば、周辺に類似する画像パターンがある場合及びノイズなどの影響がある場合、算出される、分割領域の動きの精度は低下する。分割領域の動きの精度が低下すると、背景の検出の精度が低下する。背景の検出の精度が低下すると、移動物体の検出の精度も低下する。
　特許文献２の物体検出装置は、入力される時系列画像における各画素の特徴を蓄積し、蓄積された特徴に基づいて、画素状態を決定する。物体検出装置は、決定した画素状態に基づいて、背景モデルの生成方法を適応的に切り替える。しかし、カメラが移動する場合、各画素の画素値が輝度を表す対象は、カメラの移動に応じて変化する。従って、カメラが移動する場合、各画素の画素状態は、背景として撮影される対象の輝度の性質を表すとはいえない。さらに、特許文献２の背景モデルの生成方法は、いずれも、固定されている背景の背景モデルの生成方法である。従って、カメラが移動する場合、すなわち、背景が固定されていない場合、背景モデルを生成することができない。従って、特許文献２の技術によって生成した背景モデルを使用して、精度よく移動物体を検出することはできない。
　以上のように、非特許文献１、特許文献１、及び特許文献２の技術に基づいて、移動するカメラによって撮影された映像の背景を精度よく検出することはできない。従って、移動するカメラによって撮影された映像から、移動物体を精度よく検出することはできない。
　本発明の目的の１つは、移動するカメラによって撮影された映像から移動物体を検出する精度を向上させることができる移動物体検出装置等を提供することにある。
　本発明の一態様に係る移動物体検出装置は、移動体に設けられた撮像装置によって撮像された映像を受け取る受付手段と、前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出手段と、前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出手段と、前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出手段と、を備える。
　本発明の一態様に係る移動物体検出方法は、移動体に設けられた撮像装置によって撮像された映像を受け取り、前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出し、前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出し、前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する。
　本発明の一態様に係る記憶媒体は、コンピュータに、移動体に設けられた撮像装置によって撮像された映像を受け取る受付処理と、前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出処理と、前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出処理と、前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出処理と、を実行させるプログラムを記憶する。本発明の一態様は、上記記憶媒体が記憶するプログラムによっても実現される。
　本発明には、移動するカメラによって撮影された映像から移動物体を検出する精度を向上させることができるという効果がある。
図１は、本発明の第１の実施形態に係る移動物体検出装置の構成を示すブロック図である。 図２は、本発明の第１の実施形態に係る動き推定部の処理の過程において得られる動きの例を模式的に示す図である。 図３は、本発明の第１の実施形態に係る第１のスコアを算出するまでの過程において、入力される画像及び算出されるフローを模式的に表す図である。 図４は、本発明の第１の実施形態に係るグリッド及びモデルの例を模式的に示す図である。 図５は、グリッドに含まれる画素の画素値とそのグリッドモデルとを模式的に示す図である。 図６は、統合スコアに関する判定の基準の例を模式的に表す図である。 図７は、統合スコアに関する判定の基準の例を模式的に表す図である。 図８は、統合スコアに関する判定の基準の例を模式的に表す図である。 図９は、本発明の第１の実施形態に係る移動物体検出装置の動作の例を表すフローチャートである。 図１０は、本発明の第１の実施形態に係る移動物体検出装置の、移動物体検出処理の動作の例を表すフローチャートである。 図１１は、本発明の第２の実施形態に係る移動物体検出装置の構成の例を表すブロック図である。 図１２は、本発明の第２の実施形態に係る移動物体検出装置の動作の例を表すフローチャートである。 図１３は、本発明の実施形態に係る移動物体検出装置を実現することができる、コンピュータのハードウェア構成の一例を表す図である。 図１４は、本発明の第１の実施形態の全体像の例を示す図である。 図１５は、本発明の第１の実施形態の変形例に係る撮影装置の構成の例を表す図である。
　次に、本発明の実施の形態について図面を参照して詳細に説明する。
　＜第１の実施形態＞
　＜＜構成の説明＞＞
　図１は、本発明の第１の実施形態に係る移動物体検出装置の構成を示すブロック図である。
　図１に示すように、本実施形態の移動物体検出装置１０は、受付部１１と、動き推定部１２と、第１算出部１３と、背景更新部１４と、第２算出部１５と、検出部１６と、出力部１７とを含む。
　受付部１１は、カメラから得られる時系列画像を受け取る。時系列画像は、例えば所定時間毎に撮影された、連続する静止画像を表す。時系列画像の形式は、時系列画像に含まれる画像を個別に取り出せる形式であればよい。画像の形式は、移動物体検出装置１０が認識できる形式であればよい。以下の説明では、時系列画像は、映像とも表記される。静止画像は、単に、画像とも表記される。カメラは、撮影された時系列画像に含まれる画像を、得られた順番で、移動物体検出装置１０に送信してもよい。
　カメラは、例えば、移動体に搭載されている撮影装置である。移動体は、例えば、ドローン、車両、ヘッドマウントディスプレイ、携帯端末などである。カメラに移動可能な機構が組み込まれていてもよい。すなわち、カメラが移動体であってもよい。移動体は、これらの例に限られない。
　図１４は、本実施形態の全体像の例を示す図である。図１４に示す例では、移動物体検出装置１０は、通信ネットワーク３０を介して、無線通信、有線通信、又は無線通信と有線通信との組合せによって、カメラ２０と通信可能に接続されている。カメラ２０は、移動体４０に搭載されている。移動物体検出装置１０には、例えばディスプレイ等の出力装置６０が接続されていてもよい。移動物体検出装置１０は、例えば通信ネットワーク３０を介して、端末装置５０と接続されていてもよい。端末装置５０は、例えば、受信した移動物体の情報などを表示する機能を備えた装置である。端末装置５０は、例えば、コンピュータ又は携帯端末などであってもよい。後述される出力部１７は、検出した移動物体の情報を、出力装置６０に送信してもよい。出力部１７は、検出した移動物体の情報を、端末装置５０に送信してもよい。
　カメラが、移動物体検出装置１０を含んでいてもよい。カメラ自体が、移動物体検出装置１０として動作してもよい。すなわち、カメラの筐体内に取り付けられたコントローラ又はプロセッサ等が、移動物体検出装置１０として動作してもよい。移動体が、移動物体検出装置１０として動作してもよい。以下の説明では、カメラは撮影装置とも表記される。
　受付部１１は、受け付けた時系列画像に含まれる画像を、動き推定部１２及び背景更新部１４に送出する。以下の説明では、受付部１１は、時系列画像に含まれる画像を、時系列で、動き推定部１２及び背景更新部１４に送出する。そして、移動物体検出装置１０は、例えば、受付部１１が送出した画像の中で、最も新しく（すなわち、最後に）送出された画像から、移動物体を検出する。以下の説明では、移動物体が検出される画像は、最新の画像、最新の入力画像及び対象画像とも表記する。
　本実施形態の説明では、受付部１１は、時系列画像に含まれる画像を、撮影の順番で、カメラから受け取る。そして、受付部１１は、時系列画像に含まれる画像を、受け取りの順番で、動き推定部１２と背景更新部１４とに送出する。受付部１１は、カメラから受け取った、対象画像を含む所定枚数の連続画像を保持していてもよい。受付部１１が保持する画像は、対象画像よりも前に撮影された画像を含んでいてもよい。受付部１１が保持する画像は、対象画像よりも後に撮影された画像を含んでいてもよい。受付部１１は、受け取った時系列画像の全体を、動き推定部１２と背景更新部１４とに送出してもよい。その場合、例えば、動き推定部１２が、時系列画像の中から、例えば時系列の順番で対象画像を選択してもよい。動き推定部１２は、選択した対象画像の識別子を、背景更新部１４に通知してもよい。移動物体検出装置１０の各部は、対象画像として選択された画像が、移動物体が検出される画像であるとして、処理を行えばよい。
　動き推定部１２は、受付部１１が受け付けた連続画像に含まれる画像から、代表点における動き（例えばオプティカルフロー）を推定する。代表点は、例えば、予め定められた画素である。
　第１算出部１３は、推定された、代表点における動き（例えばオプティカルフロー）に基づいて、例えば代表点における、移動物体のスコア（以下、第１のスコアとも表記）を算出する。移動物体のスコアは、画素が移動物体の領域に含まれている可能性の程度を示す。
　背景更新部１４は、最新の入力画像に基づいて、背景モデルを更新する。背景モデルは、最新の入力画像における背景の情報を表す。背景の情報については後述する。背景更新部１４は、最新の入力画像と更新された背景モデルとを、第２算出部１５に送信する。第２算出部１５は、受信した、背景モデルと入力画像との比較結果に基づいて、移動物体のスコア（以下、第２のスコアとも表記）を算出する。
　検出部１６は、第１算出部１３によって算出された移動物体のスコア（第１のスコア）と第２算出部１５によって算出された移動物体のスコア（第２のスコア）とに基づいて、最新の入力画像から移動物体を検出する。検出部１６は、例えば、第１のスコアに基づいて、最新の入力画像から移動物体を検出し、そして、第２のスコアに基づいて、最新の入力画像から移動物体を検出してもよい。検出部１６は、第１のスコアに基づいて検出された移動物体と、第２のスコアに基づいて検出された移動物体とを統合し、統合された移動物体を、最終的な移動物体として検出してもよい。
　出力部１７は、検出された移動物体の情報を出力する。出力部１７は、例えば、検出された移動物体の領域を示す表示を最新の入力画像に重畳し、移動物体の表示が重畳された最新の入力画像を出力してもよい。出力部１７は、例えば、検出された移動物体の領域以外の領域を示す表示を最新の入力画像に重畳し、移動物体の領域以外の領域を示す表示が重畳された入力画像を出力してもよい。出力される移動物体の画像の形式として、さまざまな形式を採用することができる。
　また、動き推定部１２は、代表点動き推定部１２１と、背景動き推定部１２２と、抑制部１２３とを含む。代表点動き推定部１２１は、例えば、最新の入力画像と、参照画像とに基づいて、最新の入力画像における、複数の代表点の動き（例えばオプティカルフロー）を計算する。以下では、代表点のオプティカルフローは、代表フローとも表記される。入力画像の参照画像は、例えば、その入力画像よりも前の入力画像であってもよい。最新の入力画像よりも前の入力画像は、例えば、前述の時系列画像において、時系列の順番で、最新の入力画像よりも所定枚数前の画像である。最新の入力画像よりも前の入力画像は、受付部１１によって、最新の入力画像よりも前に、動き推定部１２に送られている。最新の入力画像よりも前の入力画像は、時系列画像において、時系列の順番で、最新の入力画像の直前の画像であってもよい。参照画像は、時系列画像において、時系列の順番で、最新の入力画像よりも後の画像であってもよい。その場合、受付部１１は、最新の入力画像と参照画像とを、動き推定部１２の代表点動き推定部１２１に供給すればよい。代表点動き推定部１２１は、受け取った、最新の入力画像と参照画像とに基づいて、代表フローを計算すればよい。
　背景動き推定部１２２は、代表フローに基づいて、背景領域の動き（背景領域のオプティカルフロー）を推定する。背景領域のオプティカルフローは、背景フローとも表記される。
　抑制部１２３は、代表フローにおける背景フローの成分を抑制する。抑制部１２３は、例えば、背景フローを代表フローから減算することによって、代表フローから背景フローの成分が除かれたオプティカルフロー（局所フロー）を計算する。以下の説明では、代表フローから背景フローの成分をキャンセルしたオプティカルフローは、局所フローとも表記される。
　次に、受付部１１について、更に詳しく説明する。
　受付部１１は、カメラから得られる時系列画像を受け取る。時系列画像は、その時系列画像を撮影したカメラから、受付部１１に入力されてもよい。時系列画像を記憶する記憶装置又はサーバが、時系列画像を受付部１１に入力してもよい。受付部１１が、記憶装置又はサーバが記憶する時系列画像を読み出してもよい。受付部１１は、受け取った時系列画像に、フィルター処理などの画像処理によって補正を行ってもよい。具体的には、受付部１１は、受け取った時系列画像が含む画像の各々に、上述の補正を行ってもよい。補正は、例えば、ノイズ除去であってもよい。受付部１１は、時系列画像が含む画像の各々に、例えば、ノイズを低減するために、3×3画素サイズのメディアンフィルターをかけた後、5×5画素サイズのガウシアンフィルターをかけてもよい。また、受付部１１は、受け取った時系列画像を、動き推定部１２と、背景更新部１４とに送出する。具体的には、受付部１１は、例えば、受け取った時系列画像に含まれる画像を、時系列の順番で、動き推定部１２の代表点動き推定部１２１と、背景更新部１４とに送出してもよい。受付部１１は、時系列画像を、さらに、第２算出部１５に送出してもよい。受付部１１は、時系列画像を、背景更新部１４を介して、第２算出部１５に送出してもよい。受付部１１は、時系列画像を、さらに、出力部１７に送出してもよい。受付部１１は、時系列画像を、動き推定部１２、第１算出部１３及び検出部１６を介して、出力部１７に送出してもよい。
　次に、動き推定部１２について、更に詳しく説明する。上述のように、動き推定部１２は、代表点動き推定部１２１と、背景動き推定部１２２と、抑制部１２３とを含む。
　図２は、動き推定部１２の処理の過程において得られる動きの例を模式的に示す図である。
　代表点動き推定部１２１は、例えば、受付部１１より受け取った、最新の入力画像に代表点を定め、定めた代表点に対応する、参照画像の点を推定する。参照画像が最新の入力画像よりも前の画像である場合、代表点動き推定部１２１は、代表点に対応する点から代表点への動きを、オプティカルフローとして算出すればよい。参照画像が最新の入力画像よりも後の画像である場合、代表点動き推定部１２１は、代表点から代表点に対応する点への動きを、オプティカルフローとして算出すればよい。代表点動き推定部１２１は、予め定められた方法に従って、代表点を定めればよい。代表点動き推定部１２１は、例えば、縦方向及び横方向にそれぞれ所定の間隔で代表点が配置されるように代表点を定めてもよい。縦方向の間隔と横方向の間隔は異なっていてもよい。代表点動き推定部１２１は、画像の端の画素が代表点にならないように、代表点を定めてもよい。代表点動き推定部１２１は、例えば、入力画像を縦方向及び横方向に所定周期で分割することによって得られる各領域の中央の点を、代表点にしてもよい。例えば、入力画像のサイズが1920画素×1080画素であり、時刻Tに関連付けられている入力画像が最新の入力画像であり、時刻T-1に関連付けられている画像が参照画像であり、横方向の周期が32画素であり、縦方向の周期が24画素であるとする。この場合、代表点動き推定部１２１は、時刻Tに関連付けられている入力画像に、横方向の周期が32画素であり、縦方向の周期が24画素である、合計2700個の代表点を定める。そして、代表点動き推定部１２１は、時刻T-1に関連付けられている画像を参照して、代表点におけるオプティカルフロー（すなわち、代表フロー）の計算を行う。時刻Tに関連付けられている画像は、例えば、時刻Tに撮影された画像であってもよい。時刻Tに関連付けられている画像は、例えば、時刻Tに動き推定部１２が受け取った画像であってもよい。時刻Tに関連付けられている画像は、時系列画像に含まれる所定の画像（例えば先頭の画像）が撮影されてから時間T後に撮影された画像であってもよい。なお、オプティカルフローを計算する方法として、代表点を中心とした周辺画素を画像パッチとして扱い、最小二乗法、相互相関最大化法、又はルーカス・カナデ法などを用いる方法を使用することができる。図２に例示する画像Ｐ１は、時刻T-1に関連付けられている画像（以下、フレームT-1と表記）であり、画像Ｐ２は、時刻Tに関連付けられている画像（以下、フレームTと表記）である。画像Ｐ３は、計算された代表フローの結果の例を表す。
　背景動き推定部１２２は、時系列画像に含まれる各画像において背景領域が支配的である（例えば、背景領域の面積が入力画像の面積の過半を占める）という前提の下で、代表フローに基づいて、背景領域におけるオプティカルフローを推定する。具体的には、背景動き推定部１２２は、入力画像において、代表点への、代表フローによって表される動きを行う変換行列を算出する。なお、本実施形態の説明では、入力画像において、代表点への、代表フローによって表される動きを行う行列が変換行列である。しかし、背景動き推定部１２２は、入力画像において、代表点から、代表フローによって表される動きを行う行列を、変換行列として算出してもよい。
　背景動き推定部１２２は、例えば、代表フローを表すベクトルの始点及びそのベクトルの終点のうち、いずれか一方の点の座標を、変換行列を用いて変換した場合の座標（変換座標）を、もう一方の座標（参照座標）に近づけるように変換行列を推定する。変換座標と参照座標の近さの指標として、例えばユークリッド距離を適用できる。近さの指標は、他の距離であってもよい。なお、代表フローは複数の代表点における動きを表すベクトルを含む。そして、代表点には、移動物体の領域に含まれる代表点が存在する。更に、代表フローは、ノイズ等の影響により、必ずしも正確な動きを示さない。そのため、全ての代表点において上述の変換座標と参照座標とを一致させる変換行列を算出することは困難である。背景動き推定部１２２は、例えば、複数の代表点における変換座標と参照座標のユークリッド距離の総和が小さくなるように変換行列を推定すればよい。
　時系列画像に含まれる各画像において背景領域が支配的であれば、背景の動きによって生じるフローが代表フローに占める割合が、背景以外の領域におけるフローの割合より高くなる。言い換えると、代表フローに含まれるフローのうち、半数以上のフローが背景フローを表す。背景動き推定部１２２は、外れ値の影響を受けにくい方法によって、変換行列を算出してもよい。上述のように、入力画像において背景領域が支配的であれば、背景領域に由来するフローが代表フローに占める割合が高くなる。その場合、外れ値の影響を受けにくい方法によって変換行列を算出した場合、背景領域以外の領域に由来するフローは、代表フローにおいて外れ値に相当する。外れ値の影響を受けにくい方法によって変換行列を算出する場合、変換行列に対する、背景領域以外の領域に由来するフローの寄与は、背景領域に由来するフローの寄与と比較して小さい。言い換えると、背景動き推定部１２２は、背景領域に由来するフローによって表される動きを行う変換行列を算出することができる。背景動き推定部１２２は、算出した変換行列に基づいて、代表点における背景の動きを表す背景フローを推定する。
　変換行列は、アフィン変換の変換行列であってもよい。変換行列は、ホモグラフィの変換行列であってもよい。例えば移動物体検出装置１０のユーザが、撮影するシーンに応じて、変換行列の種類を選択してもよい。なお、背景動き推定部１２２は、例えば、最小二乗法などを用いて、代表フローと変換行列に基づく背景フローとに基づいて、変換行列を推定することができる。背景動き推定部１２２は、ＲＡＮＳＡＣ（ｒａｎｄｏｍ　ｓａｍｐｌｅ　ｃｏｎｓｅｎｓｕｓ）アルゴリズムやＬｅａｓｔ－Ｍｅｄｉａｎ推定法などの、外れ値の影響を受けにくい最適化計算方法を採用することによって、背景領域に含まれない代表点のフローの影響を軽減できる。この場合、例えば移動物体の領域に含まれる代表点におけるフロー及び移動物体の領域の近傍の代表点におけるフローが外れ値として扱われることによって、背景フローの推定精度を高めることができる。
　例えば、ＲＡＮＳＡＣアルゴリズムは、外れ値の影響を受けにくいロバストな最適化方法である。そのため、上述の前提の下であれば、移動物体の領域内及び移動物体の領域の近傍の代表点のオプティカルフローは外れ値として最適化計算時に使用されない。そして、背景領域の代表点のオプティカルフローのみを用いて最適化計算が行われる。背景動き推定部１２２が算出する変換行列は、フレームTの画素と、その画素に対応する、フレームT-1の画素とを関連付ける。言い換えると、この変換行列は、フレームTの画素の座標と、その画素に対応するフレームT-1の画素の座標との間の変換を表す。具体的には、この変換行列は、フレームT-1における画素の座標を、フレームTにおける画素の座標に変換する。従って、この変換行列に基づいて（具体的には、この変換行列の逆行列によって）、フレームTに定められた代表点の座標を変換することによって、代表点に対応する、フレームT-1における点の座標を算出することができる。背景動き推定部１２２は、フレームTに定められた代表点に対応する、フレームT-1における点から、その点に対応する代表点へのベクトルを、その代表点における背景フローとして算出する。算出された背景フローは、カメラの動きによって生じるフローを表す。背景動き推定部１２２は、推定した変換行列を、後で詳述する背景更新部１４に供給する。
　図２に示す例では、画像Ｐ４は、代表フローを表す画像Ｐ３に基づいて推定された背景フローの例を表す。背景フローは、特に移動物体の領域内及び移動物体の領域の近傍において代表フローとは異なる。
　抑制部１２３は、背景動き推定部１２２が推定した背景フローの成分が、代表点動き推定部１２１が算出した代表フローから除かれた局所フローを算出する。具体的には、抑制部１２３は、背景フローを表すベクトルの成分が、代表フローを表すベクトルから取り除かれたベクトルを、局所フローのベクトルとして算出すればよい。抑制部１２３は、各代表点において、背景フローのベクトルを代表フローのベクトルから減算することによって得られるベクトルを、局所フローとして算出すればよい。
　図２に示す例では、画像Ｐ５は、画像Ｐ３に示す代表フローから画像Ｐ４に示す背景フローを減算することによって得られる局所フローの例を表す。移動物体が背景とは異なる動きをしているため，算出された背景フローの精度が高ければ、背景領域における代表フローと背景フローとの差は、移動物体の領域における代表フローと背景フローとの差より小さい。移動物体の領域及び移動物体の領域の近傍の局所フローは、背景領域の局所フローと比べて、顕著な長さを持つ。さらに、移動物体の領域及び移動物体の領域の近傍の局所フローの方向と、背景領域の局所フローの方向との差も顕著である。
　抑制部１２３は、各代表点における局所フローに加えて、入力画像の、代表点以外の画素の各々における局所フローを、たとえば補間によって算出する。補間の方法として、バイリニア法及びバイキュービック法などが適用可能である。抑制部１２３は、入力画像の、代表点以外の画素の各々における局所フローを、補間によって算出すればよい。抑制部１２３は、算出した局所フローを、第１算出部１３に供給する。
　第１算出部１３は、抑制部１２３から局所フローを受け取り、受け取った局所フローの情報（例えば動きの大きさ（移動量）や動きの方向など）に基づいて、移動物体のスコア（すなわち、上述のように、第１のスコア）を算出する。第１算出部１３は、最新の入力画像における局所フローのみに基づいて、第１のスコアを計算してもよい。第１算出部１３は、最新の入力画像における局所フローと、過去の入力画像における局所フローとに基づいて、第１のスコアを計算してもよい。
　上述のように、図２の画像Ｐ５は、算出された局所フローの例を表す。Ｐ５に示すように、局所フローは、代表フローから背景フローの成分を除去することによって生成されたフローである。そのため、移動物体の領域およびその周辺の局所フローの大きさは、背景領域の局所フローの大きさと比べて、大きい。特許文献１にも開示されているように、代表フローから背景フローの成分を除去することによって、背景と異なる動きをしている物体を検出する方法は、既知である。しかし、ノイズの影響によって、背景領域の局所フローの大きさが、背景領域の他の局所フローの大きさと比較して大きい場合もある。そのため、１枚の画像における局所フローのみに基づいて、例えば局所フローの大きさに依存する移動物体のスコアを計算した場合、背景領域のノイズ等が生じた領域において、移動物体の領域におけるスコア同等のスコアが算出されることがある。しかし、同等のノイズが同じ領域に連続して生じる可能性は高くはない。ノイズによって生じる局所フローは、連続する画像において安定的に検出されないことが期待される。移動物体の動きが、例えば動画像の連続するフレーム間において大きく異なるほど急激に変化しなければ、連続するフレームにおける、移動物体による局所フローは、類似することが期待される。ノイズが生じた領域を移動物体の領域として検出する問題を防ぐために、例えば移動物体の動き方が急激に変化しないという仮定の下、第１算出部１３は、連続する画像における局所フローの類似性に基づくスコアを、移動物体のスコアとして算出してもよい。
　図３は、第１のスコアを算出するまでの過程において、入力される画像及び算出されるフローを模式的に表す図である。図３では、画像Ｐ６、画像Ｐ７、及び画像Ｐ８は、時刻（T-2）の入力画像、時刻(T-1）の入力画像、及び時刻T入力画像である。画像Ｐ９は、画像Ｐ６及び画像Ｐ７から算出した代表フローが画像Ｐ７に重畳された画像を表す。画像Ｐ１０は、画像Ｐ７及び画像Ｐ８から算出した代表フローが、画像Ｐ８に重畳された画像を表す。画像Ｐ１１は、画像Ｐ９に示す代表フローを元に算出された局所フローが、画像Ｐ７に重畳された画像を表す。画像Ｐ１２は、画像Ｐ１０に示す代表フローを基に算出された局所フローが、画像Ｐ８に重畳された画像である。また、背景フローを算出する過程で算出された、画像Ｐ６と画像Ｐ７との間の変換行列が、Ｈｔ－１，ｔ－２であり、画像Ｐ７と画像Ｐ８との間の変換行列が、Ｈｔ，ｔ－１であるとする。図９に示す画像Ｐ１１及び画像Ｐ１２のように、連続する画像における移動物体の領域の局所フローは、ほぼ同一の向きを向く。そのため、連続する画像における移動物体の領域の局所フローの角度の差は小さくなる。
　なお、本実施形態では、カメラは撮影中に移動する。上述の角度の差を計算する際、カメラの移動によって背景が動いている場合でも、複数の画像に映っている同一の物体の間で角度の差分を計算できるように、背景動き推定部１２２が算出した変換行列を用いる。カメラの移動によって背景が動いている場合、画像Ｐ１１の画素jと画像Ｐ１２の画素ｊは、一般的には，現実世界の3次元空間（3次元座標）における異なる点が投影された画素である。画像Ｐ１１の画素jに投影されている3次元空間の点と同じ点が投影される画素（すなわち対応画素）を、画像Ｐ１２において計算する必要がある。この場合、第１算出部１３は、前述の変換行列を用いて、画素の座標変換を行うことによって、前述の対応画素の座標を計算できる。
　第１算出部１３は、例えば、連続する画像の一方の画像の点の座標と、その点に対応する他方の画像の点の座標とを一致させる変換を、局所フローに対して行えばよい。その変換は、背景フローを算出する過程において算出した変換行列によって表される。第１算出部１３は、背景フローを算出する過程において算出した変換行列によって、局所フローに対する変換を行えばよい。第１算出部１３は、それらの画像の、変換後の局所フローの角度の差に基づくスコアを、第１のスコアとして算出してもよい。第１算出部１３は、例えば、局所フローの角度の差の大きさ（０度～１８０度）が小さいほど、スコアが高くなるような算出方法に従って、第１のスコアを算出すればよい。
　式M=1-dθ’によって表されるスコアMは、第１のスコアの例である。角度の差分結果からスコアを計算する一例として、この式において、dθ’は、局所フローの角度の差の大きさdθを１８０で除算することによって、値の範囲が０から１までになるよう正規化した値である。さらに、スコアMの値を、M=1-dθ’に設定することによって、局所フローの角度の差の大きさが小さいほどスコアMの大きさが大きくなる。第１算出部１３は、所定の枚数（例えば５枚）の画像から算出されたスコアMの平均値（スコアLと表記）を、第１のスコアとして算出してもよい。この場合、背景領域では局所フローの角度の差の大きさは、０度から１８０度の間に、例えばランダムに分布する。そのため、スコアMは、０と１との間に、例えばランダムに分布する。この場合、スコアMの平均値であるスコアLは、０．５を中心に分布する。移動物体の領域では、局所フローの角度の差の大きさは、０度付近に分布する。従って、スコアMは、１付近に分布する。そのため、スコアLは、１付近に分布する。
　背景更新部１４は、動き推定部１２の背景動き推定部１２２から、変換行列を受け取る。背景更新部１４は、非特許文献１に記載されている技術と同じように、例えば直前の入力画像の画素の座標から最新の入力画像の画素の座標への変換を表す変換行列に基づいて、背景モデルを変換する。背景モデルは、例えば、予め定められた、画像内の位置を表す座標と、その座標によって示される位置における背景の画素の輝度値の特性を示す値とを含んでいればよい。背景モデルについては、後で詳細に説明する。背景更新部１４は、具体的には、例えば、背景モデルが含む座標を、受信した変換行列によって変換することによって、背景モデルを変換すればよい。変換後の座標は、整数に限られない。背景更新部１４は、変換後の座標と、その座標における、背景の画素の輝度値の特性を示す値とから、例えば補間によって、予め定められた座標が示す位置における、背景の画素の輝度値の特性を算出すればよい。座標の変換と、予め定められた座標が示す位置における輝度値の特性の例えば補間による算出とを含む背景モデルの変換を、背景モデルの「動き補償」と表記することもある。背景更新部１４は、さらに、新たな入力画像を背景モデルに反映させる。すなわち、背景更新部１４は、新たな入力画像の情報を元に、背景モデルを更新する。具体的には、背景更新部１４は、例えば、新たな入力画像の画素の輝度値を使用して、背景モデルが含む輝度値の特性を更新する。更に具体的には、背景更新部１４は、例えば、変換後の背景モデルに含まれる特徴を表す値と、新たな入力画像から算出される特徴を表す値との、重み付き加算平均を行うことによって、背景モデルを更新する。
　背景モデルは、例えば、最新の入力画像の各画素の位置における、背景の輝度値の特性を表すデータである。背景モデルは、画素ごとの、例えば輝度値の平均値と輝度値の分散とを含むモデルを含むデータであってもよい。すなわち、背景モデルは、画素ごとに、座標と、輝度値の平均値及び輝度値の分散とが関連付けられているデータであってもよい。背景モデルは、分散の代わりに標準偏差を含んでいてもよい。背景モデルは、画素ごとに、さらに、データ数を含んでいてもよい。データ数は、輝度値の平均値及び輝度値の分散の算出に使用された輝度値の数を表す。背景更新部１４は、例えば、背景モデルが含む輝度値の平均値及び分散に、新たな入力画像の輝度値を反映させればよい。背景更新部１４は、さらに、データ数に１を加えればよい。背景更新部１４は、画素毎の輝度値がガウス分布に従って分布するとの前提の下で、非特許文献１に記載されている背景モデルの動き補償の方法を応用して、背景モデルを変換してもよい。背景更新部１４は、さらに、非特許文献１に記載されている背景モデルの更新の方法を応用して、背景モデルを更新してもよい。
　背景モデルは、所定サイズの格子によって画像が分割された領域（以下グリッドと表記）ごとに、モデル（例えば、上述の平均値及び分散）を含んでいてもよい。上述のように、背景モデル（具体的には、背景モデルに含まれるモデル）は、分散の代わりに標準偏差を含んでいてもよい。背景更新部１４は、非特許文献１に記載されている背景モデルの動き補償の方法に従って、背景モデルを変換してもよい。背景更新部１４は、さらに、非特許文献１に記載されている背景モデルの更新の方法に従って、背景モデルを更新してもよい。
　図４は、上述のグリッド及びモデルの例を模式的に示す図である。図４に示す例では、格子のサイズ（すなわち、グリッドのサイズ）は、G×Gである。グリッドiは、番号iが付与されているグリッドである。図４は、グリッドiに含まれる背景の画素の輝度値は、平均値がμＡであり、標準偏差がσＡであるガウス分布に従って分布することを示す。図４の右側に示すグラフにおいて、横軸は輝度値を表し、縦軸は頻度を表す。この場合、背景モデルは、グリッドiのモデルとして、平均値と標準偏差を含んでいる。
　このようなモデルは、グリッドiに含まれる画素の輝度値が異常であるか否かを判定するのに使用できる。例えば、グリッドiに含まれる画素の輝度値が、グリッドiのモデルから逸脱している場合、例えば、グリッドiのモデルの平均値と輝度値の差の大きさが、グリッドiの標準偏差よりも大きい場合、その画素は異常点として検出されればよい。
　図５は、グリッドに含まれる画素の輝度値とそのグリッドモデルとを模式的に示す図である。図５に示す例では、グリッドiは、４画素×４画素の領域である。グリッドの１つの四角が１つの画素を表す。白い四角によって表されている画素の輝度値が、グリッドiのモデルから逸脱している画素を表す。図５に示すグラフにおいて、横軸は輝度値を表し、縦軸は頻度を表す。また、グラフに示される小円は、グリッド内の画素の輝度値の分布を示す。モデルに基づいて異常点を検出する場合、白い四角によって示される画素が、異常点として検出される。
　なお、背景モデルが存在しない場合（例えば、最新の入力画像が時系列画像の最初の画像である場合）、背景更新部１４は、例えば最新の入力画像に基づいて、背景モデルを生成すればよい。背景更新部１４は、例えば、背景モデルに含まれる画素のモデルの平均値として、その画素に対応する、最新の入力画像の画素の、輝度値の平均値を設定してもよい。背景更新部１４は、例えば、背景モデルに含まれる画素のモデルの分散として、ゼロを設定してもよい。
　第２算出部１５は、背景更新部１４が更新した背景モデルと受付部１１によって送出された最新の入力画像とを用いて、最新の入力画像の各画素における移動物体のスコア（以下、第２のスコアとも表記）を算出する。第２算出部１５は、以下に示す異常度を、移動物体のスコアとして算出してもよい。本実施形態では、異常度は、例えば、輝度値の平均値と、入力画像の画素の輝度値との差の二乗d2を分散Vで割った値（以下、スコアAと表記する）である。スコアAは、式A=d2/V（ここで、「/」は割り算の演算子を表す）によって表される。第２算出部１５は、最新の入力画像のそれぞれの画素について、スコアAを第２のスコアとして算出すればよい。背景モデルは、上述の例に限られない。背景モデルは、画素が背景に含まれる場合の輝度値の特性を表すモデルであればよい。第２のスコアは、上述の例に限られない。第２のスコアは、画素の輝度値と背景モデルとの間の乖離を示す値であればよい。
　検出部１６は、第１算出部１３が算出した移動物体のスコア（第１のスコア）と第２算出部１５が算出した移動物体のスコア（第２のスコア）とに基づいて、最新の入力画像における移動物体を検出する。より具体的には、検出部１６は、第１のスコアと第２のスコアとに基づいて、最新の入力画像の各画素が、移動物体の領域に含まれるか否かを判定する。検出部１６は、移動物体の領域に含まれると判定された画素の連結領域を、移動物体の領域として検出してもよい。
　検出部１６は、第１のスコアに基づいて、例えば第１のスコアに対する閾値（第１の閾値と表記）を使用して、移動物体を検出してもよい。具体的には、例えば、移動物体に含まれる画素の第１のスコアが第１の閾値より小さい場合、検出部１６は、第１のスコアが第１の閾値よりも小さい画素の連結領域を、移動物体として検出すればよい。第１のスコアに基づいて検出された移動物体の領域を、第１領域と表記する。検出部１６は、更に、第２のスコアに基づいて、例えば第２のスコアに対する閾値（第２の閾値と表記）を用いて、移動物体を検出してもよい。具体的には、例えば、移動物体に含まれる画素の第２のスコアが第２の閾値より小さい場合、検出部１６は、第２のスコアが第２の閾値よりも小さい画素の連結領域を、移動物体として検出すればよい。第２のスコアに基づいて検出された移動物体の領域を、第２領域と表記する。検出部１６は、第１の領域と第２の領域と統合し、第１の領域と第２の領域とが統合された領域を、移動物体の領域として検出してもよい。第１の領域と第２の領域の論理積（すなわち、第１の領域及び第２の領域の双方に含まれる領域）が、第１の領域と第２の領域とが統合された領域であってもよい。第１の領域と第２の領域の論理和（すなわち、第１の領域及び第２の領域の少なくとも一方に含まれる領域）が、第１の領域と第２の領域とが統合された領域であってもよい。第１の領域と第２の領域とに基づく他の領域が、第１の領域と第２の領域とが統合された領域であってもよい。
　検出部１６は、第１のスコアと第２のスコアとを統合し、統合されたスコア（以下、統合スコアとも表記）に基づいて、移動物体を検出してもよい。統合スコアは、第１のスコアと第２のスコアとの重み付き線形和であってもよい。統合スコアは、例えば、縦軸が第１のスコアを表し、横軸が第２のスコアを表す空間（以下、スコア空間と表記）における、点の座標（すなわち、座標（第１のスコア，第２のスコア））であってもよい。
　検出部１６は、例えば、画素の統合スコアが、統合スコアに関する判定の基準を満たす場合、その画素が移動物体の領域に含まれると判定してもよい。統合スコアに関する判定の基準は、例えば、スコア空間における領域によって表されていてもよい。例えば、検出部１６は、画素の第１のスコアと第２のスコアとが統合された統合スコアが、スコア空間に設定された領域に含まれる場合、その画素が移動物体の領域に含まれると判定してもよい。そして、検出部１６は、統合スコアが、スコア空間に設定された上述の領域に含まれない場合、その画素が移動物体の領域に含まれないと判定してもよい。
　図６は、統合スコアに関する判定の基準の例を模式的に表す図である。図６に示す例では、画素の第１のスコアが第１の閾値より大きく、かつ、画素の第２のスコアが第２の閾値より大きい場合、検出部１６は、その画素が移動物体の領域に含まれると判定する。
　図７は、統合スコアに関する判定の基準の例を模式的に表す図である。図７に示す例では、画素の第１のスコアが第１の閾値より大きい場合、その画素の第２のスコアの値に関係なく、検出部１６は、その画素が移動物体の領域に含まれると判定する。さらに、画素の第２のスコアが第２の閾値より大きい場合も、その画素の第１のスコアの値に関係なく、検出部１６は、その画素が移動物体の領域に含まれると判定する。
　図８は、統合スコアに関する判定の基準の例を模式的に表す図である。図８に示す例では、画素の統合スコアが、破線によって示される境界線よりも外側（スコア空間の原点を含まない領域）に存在する場合、検出部１６は、その画素が移動物体の領域に含まれると判定する。また、画素の統合スコアが、破線によって示される境界線よりも内側（スコア空間の原点を含む領域）に存在する場合、検出部１６は、その画素が移動物体の領域に含まれないと判定する。
　＜＜動作の説明＞＞
　次に、本実施形態の移動物体検出装置１０の動作について、図面を参照して詳細に説明する。
　図９は、本実施形態の移動物体検出装置１０の動作の例を表すフローチャートである。
　まず、受付部１１は、カメラから得られる時系列画像の受け取りを開始する（ステップＳ１０１）。受付部１１は、カメラから画像が送られて来た場合に、時系列画像の受け取りを開始すればよい。受付部１１は、例えば、端末装置５０からの指示に従って、時系列画像の受け取りを開始してもよい。受付部１１は、時系列画像に含まれる画像を受け取る（ステップＳ１０２）。受付部１１は、受け取った画像を、動き推定部１２及び背景更新部１４に送出する。移動物体検出装置１０は、移動物体検出処理を実行する（ステップＳ１０３）。移動物体検出処理については、後で詳細に説明する。時系列画像に、選択していない画像が存在する場合（ステップＳ１０４においてＮＯ）、移動物体検出装置１０は、ステップＳ１０２以降の動作を繰り返す。時系列画像の受け取りが終了した場合（ステップＳ１０４においてＹＥＳ）、移動物体検出装置１０は、図９に示す動作を終了する。受付部１１は、例えば、カメラからの画像の送信が停止した場合に、時系列画像の受け取りを終了してもよい。受付部１１は、例えば、端末装置５０からの指示に従って、時系列画像の受け取りを終了してもよい。
　次に、本実施形態の移動物体検出装置１０の、移動物体検出処理の動作について、図面を参照して詳細に説明する。
　図１０は、本実施形態の移動物体検出装置１０の、移動物体検出処理の動作の例を表すフローチャートである。
　受け取った画像、すなわち、受付部１１によって動き推定部１２及び背景更新部１４に送出された画像が、時系列画像の最初の画像である場合（ステップＳ１１１においてＹＥＳ）、背景更新部１４は、背景モデルを生成する（ステップＳ１２０）。背景更新部１４は、例えば、背景モデルが存在しない場合に、受け取った画像が時系列画像の最初の画像であると判定してもよい。動き推定部１２は、例えば、参照画像として使用可能な画像をまだ受け取っていない場合に、受け取った画像が時系列画像の最初の画像であると判定してもよい。その場合、動き推定部１２は、受け取った画像を、次に受け取る画像と比較される参照画像にしてもよい。そして、移動物体検出処理は、図１０に示す動作を終了する。
　受付部１１によって選択された画像が、時系列画像の最初の画像でない場合（ステップＳ１１１においてＮＯ）、移動物体検出装置１０は、ステップＳ１１２以降の動作を行う。
　まず、動き推定部１２の代表点動き推定部１２１は、選択された画像、すなわち、上述の最新の入力画像における、予め位置が定められている代表点の動きを、代表フローとして推定する（ステップＳ１１２）。次に、動き推定部１２の背景動き推定部１２２は、背景の動きを推定する（ステップＳ１１３）。すなわち、背景動き推定部１２２は、代表フローから２つの画像間を対応付ける変換行列を推定し、推定した変換行列に基づいて背景フローを推定する（ステップＳ１１３）。そして、動き推定部１２の抑制部１２３が、代表フローから背景フローの成分を除去することによって、局所フローを算出する（ステップＳ１１４）。
　次に、第１算出部１３は、算出された局所フローに基づき、移動物体のスコア（すなわち、第１のスコア）を算出する（ステップＳ１１５）。
　次に、背景更新部１４は、背景動き推定部１２２によって推定された変換行列と、最新の入力画像とに基づいて、背景モデルを更新する（ステップＳ１１６）。具体的には、背景更新部１４は、変換行列を用いて背景モデルに動き補償を行い、さらに、最新の画像を背景モデルに反映させることによって、背景モデルを更新する（ステップＳ１１６）。
　次に、第２算出部１５は、更新された背景モデルと、最新の入力画像とに基づいて、移動物体のスコア（すなわち、第２のスコア）を算出する（ステップＳ１１７）。
　次に、検出部１６は、第１のスコアと第２のスコアとに基づいて、移動物体を検出する（ステップＳ１１８）。検出部１６は、第１のスコアと第２のスコアとを統合し、統合されたスコアに基づいて移動物体を検出してもよい。
　次に、出力部１７が、検出された移動物体の情報を出力する（ステップＳ１１９）。出力部１７は、移動物体の領域が示された最新の入力画像（以下、出力画像とも表記）を出力してもよい。出力部１７は、例えば、最新の入力画像に検出された移動物体の領域を示す表示（例えば図形など）が重畳された画像を、出力画像として生成してもよい。出力部１７は、最新の入力画像の、検出された移動物体の領域の色及び明るさの少なくとも一方を変更した画像を、出力画像として生成してもよい。出力部１７は、最新の入力画像の、検出された移動物体の領域以外の領域の色及び明るさの少なくとも一方を変更した画像を、出力画像として生成してもよい。そして、移動物体検出装置１０は、図１０に示す動作を終了する。
　＜効果＞
　本実施形態には、移動するカメラによって撮影された映像から移動物体を検出する精度を向上させることができるという効果（以下、代表効果とも表記する）がある。
　その理由は、検出部１６が、第１算出部１３が算出した第１のスコアと第２算出部１５が算出した第２のスコアとに基づいて、移動物体を検出するからである。第１のスコア及び第２のスコアは、カメラの移動による背景の移動の影響が軽減された、画素が移動物体に含まれる可能性の程度を示す、異なる種類のスコアである。検出部１６が、２種類のスコアに基づいて移動物体を検出することによって、１種類のスコアに基づいて移動物体を検出する場合と比較して、誤検出及び過検出を減らすことができるので、移動物体を検出する精度が向上する。
　本実施形態には、以下に示す第１から第４の効果も存在する。
　第１の効果は、カメラ移動に伴う視点変更により新たな静止物体が出現した場合にも、誤検出を低減できることである。背景モデルに基づく第２のスコアは、背景モデルに対する輝度値の異常の度合に基づくスコアである。映像中のオプティカルフローに基づく第１のスコアは、物体の実際の動きに基づくスコアである。検出部１６は、これらの２種類のスコアによって、視点変更によって出現した静止物体を、“異常であっても実際には動いていないので移動物体ではない”と判定できる。
　第２の効果は、背景モデルを用いる第２のスコアのみに基づいて移動物体を検出すると、背景が複雑であるために移動物体を検出できない場合でも、移動物体の検出率を向上できることである。背景モデルから逸脱する点が少ない場合でも、時系列画像に含まれる画像間でオプティカルフローが計算できる場合がある。オプティカルフローを計算できれば、移動物体の領域に含まれる点に、背景モデルから逸脱した点が少ない場合であっても、検出部１６は、”異常度合は高くないが動いているので移動物体である”と判定できる。
　第３の効果は、オプティカルフローを用いる第１のスコアのみに基づいて移動物体を検出すると、オプティカルフローの推定精度が悪いために移動物体の誤検出が生じる場合でも、移動物体の誤検出を低減できることである。背景モデルを用いる第２のスコアの異常度合が明らかに低い場合には、オプティカルフローとして顕著な値が算出されていても、検出部１６は、”異常な物体が明らかに存在しないため移動物体ではない”と判定できる。すなわち、この場合、検出部１６は、移動物体は存在しないと判定できる。
　第４の効果は、移動するカメラによって撮影された映像から、移動物体のみを検出できることである。その理由は、抑制部１２３が、代表点の動きに基づいて推定された背景の動きの成分を、代表点の動きから除去するからである。そのため、抑制部１２３は、画像全体の動きに対する、カメラの移動によって生じる背景の動きの影響を軽減することができる。さらに、背景更新部１４は、カメラの移動に応じた背景の動きを表す変換行列を使用して背景モデルの動き補償を行うので、カメラの移動によって生じる背景の動きに追従した背景の更新を行うことができる。背景の動きの影響が軽減された画像に含まれる対象の動きに基づく第１のスコア、及び、背景の動きに追従した背景モデルに基づく第２のスコアを使用して移動物体を検出することによって、背景と異なる動きをする移動物体の動きを検出することができる。
　＜第１の実施形態の変形例＞
　次に、本発明の第１の実施形態の変形例について、図面を参照して詳細に説明する。
　図１５は、本発明の第１の実施形態の変形例に係る撮影装置２０Ａの構成の例を表す図である。
　撮影装置２０Ａは、移動物体検出装置１０と、撮影部２１と、制御部２２と、通信部２３とを含む。撮影装置２０Ａは、例えば、無線通信、有線通信、又は無線通信と有線通信との組合せによって、通信ネットワーク３０を介して、端末装置５０に接続されている。
　移動物体検出装置１０は、図１に示す、第１の実施形態の移動物体検出装置１０と同じである。なお、撮影装置２０Ａは、移動物体検出装置１０を１つの装置として含んでいなくてもよい。撮影装置２０Ａは、例えば、図１に示す、移動物体検出装置１０の各部を含んでいてもよい。言い換えると、撮影装置２０Ａが、第１の実施形態の移動物体検出装置１０として、以上で説明したように動作してもよい。
　撮影部２１は、撮影を行い、撮影によって得られた時系列画像を出力するデバイスである。撮影部２１は、第１の実施形態におけるカメラ２０に相当する。
　通信部２３は、例えば、無線通信などによって、通信ネットワーク３０に接続されている端末装置５０等の装置と通信を行うことができるインタフェースである。例えば、出力部１７は、通信部２３を介して、端末装置５０に、検出した移動物体の情報を出力する。
　移動部２４は、例えば、撮影装置２０Ａに取り付けられた、撮影装置２０Ａを移動させることができる装置である。移動部２４は、例えば、ドローン又はロボット等の移動体であってもよい。移動部２４は、移動体に含まれ、移動体を動かすことができる駆動装置であってもよい。
　制御部２２は、例えば、移動の指示を、通信部２３を介して端末装置５０から受け取り、受け取った指示に従って、移動部２４の移動を制御するコントローラである。
　撮影装置２０Ａは、通信部２３を含んでいなくてもよい。その場合、撮影装置２０Ａは、移動部２４と接続されない。
　以上で説明した撮影装置２０Ａは、第１の実施形態の移動物体検出装置１０と同じ動作を行う。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態について図面を参照して詳細に説明する。
　＜＜構成の説明＞＞
　図１１は、本発明の第２の実施形態に係る移動物体検出装置１０Ａの構成の例を表すブロック図である。
　図１１を参照すると、移動物体検出装置１０Ａは、受付部１１と、第１算出部１３と、第２算出部１５と、検出部１６と、を備える。受付部１１は、移動体に設けられた撮像装置によって撮像された映像（すなわち、上述の時系列画像）を受け取る。第１算出部１３は、映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する。第２算出部１５は、画像と画素の動きとに基づいて更新された背景モデルと、画像とに基づいて、移動物体の第２のスコアを算出する。検出部１６は、第１のスコアと第２のスコアとに基づいて、画像から移動物体を検出する。
　＜＜動作の説明＞＞
　次に、本実施形態の移動物体検出装置１０Ａの動作について、図面を参照して詳細に説明する。
　図１２は、本実施形態に係る移動物体検出装置１０Ａの動作の例を表すフローチャートである。
　図１２を参照すると、まず、受付部１１が、時系列画像を受け取る（ステップＳ２０１）。次に、第１算出部１３が、時系列画像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する（ステップＳ２０２）。更に、第２算出部１５が、画像と画素の動きとに基づいて更新された背景モデルと、画像とに基づいて、移動物体の第２のスコアを算出する（ステップＳ２０３）。検出部１６は、第１のスコアと第２のスコアとに基づいて、画像から移動物体を検出する（ステップＳ２０４）。
　＜効果＞
　以上で説明した本実施形態には、第１の実施形態の代表効果と同じ効果がある。その理由は、第１の実施形態の代表効果が生じる理由と同じである。
　＜他の実施形態＞
　上述のいずれかの実施形態に係る移動物体検出装置の各々（以下、上述の実施形態に係る移動物体検出装置と表記）は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。上述の実施形態に係る移動物体検出装置は、専用のハードウェアによって実現することもできる。上述の実施形態に係る移動物体検出装置は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。
　言い換えると、上述の実施形態に係る移動物体検出装置は、回路構成（ｃｉｒｃｕｉｔｒｙ）などのハードウェアによって実現することができる。回路構成は、例えば、コンピュータに含まれるプロセッサとメモリであってもよい。その場合、プログラムが、メモリにロードされていればよい。そのプログラムは、プロセッサが実行することが可能であり、コンピュータを上述の実施形態の移動物体検出装置として動作させればよい。回路構成は、例えば、通信可能に接続された複数のコンピュータであってもよい。回路構成は、例えば、回路（ｃｉｒｃｕｉｔ）であってもよい。回路構成は、例えば、通信可能に接続された複数の回路であってもよい。回路構成は、通信可能に接続された、１台以上のコンピュータと、１個以上の回路との組み合わせであってもよい。
　図１３は、移動物体検出装置１０及び移動物体検出装置１０Ａを実現することができる、コンピュータ１０００のハードウェア構成の一例を表す図である。図１３を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１００３が記憶媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、カメラなどの入力装置、サーバ、記憶装置、及び、ディスプレイ等の出力装置にアクセスすることができる。プロセッサ１００１は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５には、コンピュータ１０００を、移動物体検出装置１０として動作させるプログラムが格納されている。記憶媒体１００５には、コンピュータ１０００を、移動物体検出装置１０Ａとして動作させるプログラムが格納されていてもよい。
　プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、移動物体検出装置１０として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、移動物体検出装置１０として動作する。
　プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、移動物体検出装置１０Ａとして動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、移動物体検出装置１０Ａとして動作する。
　受付部１１、動き推定部１２、第１算出部１３、背景更新部１４、第２算出部１５、検出部１６、及び、出力部１７は、例えば、メモリ１００２にロードされた、これらの部の機能を実現するプログラムを実行するプロセッサ１００１により実現できる。同様に、代表点動き推定部１２１、背景動き推定部１２２、及び、抑制部１２３は、例えば、メモリ１００２にロードされた、これらの部の機能を実現するプログラムを実行するプロセッサ１００１により実現できる。受付部１１、動き推定部１２、第１算出部１３、背景更新部１４、第２算出部１５、検出部１６、及び、出力部１７の一部又は全部を、これらの部の機能を実現する専用の回路によって実現することもできる。同様に、代表点動き推定部１２１、背景動き推定部１２２、及び、抑制部１２３の一部又は全部を、これらの部の機能を実現する専用の回路によって実現することもできる。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　移動体に設けられた撮像装置によって撮像された映像を受け取る受付手段と、
　前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出手段と、
　前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出手段と、
　前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出手段と、
　を備える移動物体検出装置。
　（付記２）
　前記映像に含まれる画素の動きを推定する第１動き推定手段と、
　前記画素の動きに基づいて、背景の動きを推定する第２動き推定手段と、
　前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定する抑制手段と、
　を備え、
　前記第１算出手段は、前記抑制動きに基づいて、前記第１のスコアを算出する
　付記１に記載の移動物体検出装置。
　（付記３）
　背景の動きを表す変換に基づいて、前記背景モデルを更新する更新手段
　を更に備える付記１又は付記２に記載の移動物体検出装置。
　（付記４）
　前記第１算出手段は、前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
　付記１から付記３のいずれか１項に記載の移動物体検出装置。
　（付記５）
　移動体に設けられた撮像装置によって撮像された映像を受け取り、
　前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出し、
　前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出し、
　前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する、
　移動物体検出方法。
　（付記６）
　前記映像に含まれる画素の動きを推定し、
　前記画素の動きに基づいて、背景の動きを推定し、
　前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定し、
　前記抑制動きに基づいて、前記第１のスコアを算出する
　付記５に記載の移動物体検出方法。
　（付記７）
　背景の動きを表す変換に基づいて、前記背景モデルを更新する
　付記５又は付記６に記載の移動物体検出方法。
　（付記８）
　前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
　付記５から付記７のいずれか１項に記載の移動物体検出方法。
　（付記９）
　コンピュータに、
　移動体に設けられた撮像装置によって撮像された映像を受け取る受付処理と、
　前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出処理と、
　前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出処理と、
　前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出処理と、
　を実行させるプログラムを記憶する記憶媒体。
　（付記１０）
　前記プログラムは、コンピュータに、
　前記映像に含まれる画素の動きを推定する第１動き推定処理と、
　前記画素の動きに基づいて、背景の動きを推定する第２動き推定処理と、
　前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定する抑制処理と、
　をさらに実行させ、
　前記第１算出処理は、前記抑制動きに基づいて、前記第１のスコアを算出する
　付記９に記載の記憶媒体。
　（付記１１）
　前記プログラムは、コンピュータに、
　背景の動きを表す変換に基づいて、前記背景モデルを更新する更新処理
　をさらに実行させる付記９又は付記１０に記載の記憶媒体。
　（付記１２）
　前記第１算出処理は、前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
　付記９から付記１１のいずれか１項に記載の記憶媒体。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１７年１月３０日に出願された日本出願特願２０１７－０１３８７１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、ドローンに搭載されたカメラからの映像による監視用途に活用できる。
　１０　　移動物体検出装置
　１０Ａ　　移動物体検出装置
　１１　　受付部
　１２　　動き推定部
　１３　　第１算出部
　１４　　背景更新部１４
　１５　　第２算出部１５
　１６　　検出部１６
　１７　　出力部１７
　２０　　カメラ
　２０Ａ　　撮影装置
　２１　　撮影部
　２２　　制御部
　２３　　通信部
　２４　　移動部
　３０　　通信ネットワーク
　４０　　移動体
　５０　　端末装置
　６０　　出力装置
　１２１　　代表点動き推定部
　１２２　　背景動き推定部
　１２３　　抑制部
　１０００　　コンピュータ
　１００１　　プロセッサ
　１００２　　メモリ
　１００３　　記憶装置
　１００４　　Ｉ／Ｏインタフェース
　１００５　　記憶媒体

Claims (12)

  1. 　移動体に設けられた撮像装置によって撮像された映像を受け取る受付手段と、
    　前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出手段と、
    　前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出手段と、
    　前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出手段と、
    　を備える移動物体検出装置。
  2. 　前記映像に含まれる画素の動きを推定する第１動き推定手段と、
    　前記画素の動きに基づいて、背景の動きを推定する第２動き推定手段と、
    　前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定する抑制手段と、
    　を備え、
    　前記第１算出手段は、前記抑制動きに基づいて、前記第１のスコアを算出する
    　請求項１に記載の移動物体検出装置。
  3. 　背景の動きを表す変換に基づいて、前記背景モデルを更新する更新手段
    　を更に備える請求項１又は請求項２に記載の移動物体検出装置。
  4. 　前記第１算出手段は、前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
    　請求項１から請求項３のいずれか１項に記載の移動物体検出装置。
  5. 　移動体に設けられた撮像装置によって撮像された映像を受け取り、
    　前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出し、
    　前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出し、
    　前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する、
    　移動物体検出方法。
  6. 　前記映像に含まれる画素の動きを推定し、
    　前記画素の動きに基づいて、背景の動きを推定し、
    　前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定し、
    　前記抑制動きに基づいて、前記第１のスコアを算出する
    　請求項５に記載の移動物体検出方法。
  7. 　背景の動きを表す変換に基づいて、前記背景モデルを更新する
    　請求項５又は請求項６に記載の移動物体検出方法。
  8. 　前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
    　請求項５から請求項７のいずれか１項に記載の移動物体検出方法。
  9. 　コンピュータに、
    　移動体に設けられた撮像装置によって撮像された映像を受け取る受付処理と、
    　前記映像に含まれる画像の画素の動きに基づく、移動物体の第１のスコアを算出する第１算出処理と、
    　前記画像と前記画素の動きとに基づいて更新された背景モデルと、前記画像とに基づいて、移動物体の第２のスコアを算出する第２算出処理と、
    　前記第１のスコアと前記第２のスコアとに基づいて、前記画像から移動物体を検出する検出処理と、
    　を実行させるプログラムを記憶する記憶媒体。
  10. 　前記プログラムは、コンピュータに、
    　前記映像に含まれる画素の動きを推定する第１動き推定処理と、
    　前記画素の動きに基づいて、背景の動きを推定する第２動き推定処理と、
    　前記画素の動きから前記背景の動きの成分が除去された抑制動きを推定する抑制処理と、
    　を実行させ、
    　前記第１算出処理は、前記抑制動きに基づいて、前記第１のスコアを算出する
    　請求項９に記載の記憶媒体。
  11. 　前記プログラムは、コンピュータに、
    　背景の動きを表す変換に基づいて、前記背景モデルを更新する更新処理
    　をさらに実行させる請求項９又は請求項１０に記載の記憶媒体。
  12. 　前記第１算出処理は、前記映像において連続する前記画像間の、前記画素の動きの角度に基づいて、前記第１のスコアを算出する
    　請求項９から請求項１１のいずれか１項に記載の記憶媒体。
PCT/JP2018/002013 2017-01-30 2018-01-23 移動物体検出装置、移動物体検出方法及び記憶媒体 WO2018139461A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018564589A JP7151488B2 (ja) 2017-01-30 2018-01-23 移動物体検出装置、移動物体検出方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017013871 2017-01-30
JP2017-013871 2017-01-30

Publications (1)

Publication Number Publication Date
WO2018139461A1 true WO2018139461A1 (ja) 2018-08-02

Family

ID=62978353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002013 WO2018139461A1 (ja) 2017-01-30 2018-01-23 移動物体検出装置、移動物体検出方法及び記憶媒体

Country Status (3)

Country Link
US (3) US10755419B2 (ja)
JP (1) JP7151488B2 (ja)
WO (1) WO2018139461A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6310093B2 (ja) * 2014-11-12 2018-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標物体の検出方法、検出装置及びロボット
US11004207B2 (en) * 2017-12-06 2021-05-11 Blueprint Reality Inc. Multi-modal data fusion for scene segmentation
KR102510902B1 (ko) * 2018-01-17 2023-03-17 삼성디스플레이 주식회사 열화 보상 장치, 이를 포함하는 표시 장치 및 이를 이용한 표시 장치의 열화 보상방법
US10776665B2 (en) * 2018-04-26 2020-09-15 Qualcomm Incorporated Systems and methods for object detection
US11070729B2 (en) * 2018-07-27 2021-07-20 Canon Kabushiki Kaisha Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
CN110047092B (zh) * 2019-03-27 2019-12-13 深圳职业技术学院 一种复杂环境下多目标实时跟踪方法
US11581019B2 (en) * 2021-03-12 2023-02-14 Snap Inc. Automated video editing
CN113038093B (zh) * 2021-03-26 2022-12-16 华东理工大学 视频图像闪烁抑制处理的系统、方法、装置及其存储介质
CN113484245B (zh) * 2021-07-05 2022-11-22 重庆市规划和自然资源调查监测院 一种丘陵山区水田种植模式遥感快速监测方法、系统及计算机可读存储介质
CN115147450B (zh) * 2022-09-05 2023-02-03 中印云端(深圳)科技有限公司 基于运动帧差图像的移动目标检测方法及检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241414A (ja) * 1995-03-07 1996-09-17 Matsushita Electric Ind Co Ltd 動物体検出・追跡装置と閾値決定装置
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
JP2007188294A (ja) * 2006-01-13 2007-07-26 Central Res Inst Of Electric Power Ind 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105949B2 (ja) * 1989-03-20 1995-11-13 松下電器産業株式会社 画像の動きベクトル検出装置および揺れ補正装置
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
US7136525B1 (en) * 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
US6501794B1 (en) * 2000-05-22 2002-12-31 Microsoft Corporate System and related methods for analyzing compressed media content
US6876999B2 (en) * 2001-04-25 2005-04-05 International Business Machines Corporation Methods and apparatus for extraction and tracking of objects from multi-dimensional sequence data
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
US6954544B2 (en) * 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
US8073197B2 (en) * 2005-03-17 2011-12-06 British Telecommunications Public Limited Company Method of tracking objects in a video sequence
US7418113B2 (en) * 2005-04-01 2008-08-26 Porikli Fatih M Tracking objects in low frame rate videos
US7825954B2 (en) * 2005-05-31 2010-11-02 Objectvideo, Inc. Multi-state target tracking
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
JP4631806B2 (ja) * 2006-06-05 2011-02-16 日本電気株式会社 物体検出装置、物体検出方法および物体検出プログラム
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US20080198237A1 (en) * 2007-02-16 2008-08-21 Harris Corporation System and method for adaptive pixel segmentation from image sequences
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
JP5388059B2 (ja) 2009-07-02 2014-01-15 国立大学法人九州工業大学 背景画像推定に基づく物体検出方法及び物体検出装置
US8682063B2 (en) * 2010-11-24 2014-03-25 Adobe Systems Incorporated Methods and apparatus for dynamic color flow modeling
JP2013065151A (ja) * 2011-09-16 2013-04-11 Sony Corp 画像処理装置、画像処理方法、および、プログラム
WO2015064292A1 (ja) * 2013-10-30 2015-05-07 日本電気株式会社 画像の特徴量に関する処理システム、処理方法及びプログラム
CN103826102B (zh) * 2014-02-24 2018-03-30 深圳市华宝电子科技有限公司 一种运动目标的识别方法、装置
KR102153607B1 (ko) * 2016-01-22 2020-09-08 삼성전자주식회사 영상에서의 전경 검출 장치 및 방법
EP3223196B1 (en) * 2016-03-24 2021-05-05 Aptiv Technologies Limited A method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle
US20180204076A1 (en) * 2017-01-13 2018-07-19 The Regents Of The University Of California Moving object detection and classification image analysis methods and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241414A (ja) * 1995-03-07 1996-09-17 Matsushita Electric Ind Co Ltd 動物体検出・追跡装置と閾値決定装置
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
JP2007188294A (ja) * 2006-01-13 2007-07-26 Central Res Inst Of Electric Power Ind 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI, K. M. ET AL.: "Detection of moving objects with non-stationary cameras in 5.8ms: bringing motion detection to your mobile device", 2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 23 June 2013 (2013-06-23), pages 27 - 34, XP032479940 *

Also Published As

Publication number Publication date
US20190362501A1 (en) 2019-11-28
US20180218504A1 (en) 2018-08-02
US10769798B2 (en) 2020-09-08
US10755419B2 (en) 2020-08-25
US10853950B2 (en) 2020-12-01
JPWO2018139461A1 (ja) 2019-11-14
JP7151488B2 (ja) 2022-10-12
US20190370977A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
WO2018139461A1 (ja) 移動物体検出装置、移動物体検出方法及び記憶媒体
JP6395506B2 (ja) 画像処理装置および方法、プログラム、並びに撮像装置
US10404917B2 (en) One-pass video stabilization
JP6871416B2 (ja) 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR102068719B1 (ko) 이미지들 내의 움직임 검출
US9191589B2 (en) Image processing device
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
CN111462185A (zh) 跟踪器辅助的图像捕获
US8363902B2 (en) Moving object detection method and moving object detection apparatus
US20180035043A1 (en) Balancing exposure and gain at an electronic device based on device motion and scene distance
US9971418B2 (en) Tracker for cursor navigation
JP5756709B2 (ja) 身長推定装置、身長推定方法、及び身長推定プログラム
CN110991280A (zh) 基于模板匹配和surf的视频跟踪方法和装置
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
US9842260B2 (en) Image processing apparatus and image processing method of performing image segmentation
JP5677234B2 (ja) エッジ検出装置およびそのプログラム
JP2015079329A (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2017109997A1 (ja) 画像処理装置、画像処理方法およびプログラム
US10074189B2 (en) Image processing apparatus, image processing method, and storage medium
JP2013246601A (ja) 画像処理装置
WO2024009377A1 (ja) 情報処理装置、自己位置推定方法、及び非一時的なコンピュータ可読媒体
Sreegeethi et al. Online Video Stabilization using Mesh Flow with Minimum Latency
JP2011146017A (ja) 運動算出装置及び運動算出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18744009

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018564589

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18744009

Country of ref document: EP

Kind code of ref document: A1