WO2012014430A1 - 移動体検出装置および移動体検出方法 - Google Patents

移動体検出装置および移動体検出方法 Download PDF

Info

Publication number
WO2012014430A1
WO2012014430A1 PCT/JP2011/004173 JP2011004173W WO2012014430A1 WO 2012014430 A1 WO2012014430 A1 WO 2012014430A1 JP 2011004173 W JP2011004173 W JP 2011004173W WO 2012014430 A1 WO2012014430 A1 WO 2012014430A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
moving
movement
stationary
calculation unit
Prior art date
Application number
PCT/JP2011/004173
Other languages
English (en)
French (fr)
Inventor
亜矢子 甲本
登　一生
岩崎　正宏
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180008077.8A priority Critical patent/CN102741884B/zh
Priority to JP2012501494A priority patent/JP4979840B2/ja
Publication of WO2012014430A1 publication Critical patent/WO2012014430A1/ja
Priority to US13/454,577 priority patent/US8599252B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a technique for detecting a moving body in an image based on motion information in a moving image composed of a plurality of images. Especially for objects that move while the shape of the contour changes like a person, how much each movement trajectory seems to be a movement trajectory calculated from the area of the stationary object instead of the area of the moving object.
  • the present invention relates to a moving object detection apparatus that detects an area of a moving object by using an index representing the distance between moving trajectories.
  • a region extraction technique for detecting a moving body by extracting a moving body region in an image from an image including a moving body image (hereinafter simply referred to as a “moving body”) has been widely performed. Yes.
  • the technology to extract the person's area is the focus control in the digital video camera and the digital still camera, the image quality improvement processing, the safe driving support system of the car, or the collision avoidance with the person in the robot. It is a basic technology that is commonly used for control or alarm.
  • the extracted moving body region candidates are evaluated for the degree of similarity with a mobile body model prepared in advance.
  • a mobile body model prepared in advance Is extracted as a moving object region.
  • a region of a moving body that moves while being deformed such as a walking person
  • there is a method of using a moving body model that takes deformation into account when extracting a region of a moving body that moves while being deformed, such as a walking person, there is a method of using a moving body model that takes deformation into account.
  • a silhouette image of a moving object is extracted from a plurality of images as a moving object region candidate.
  • a method of evaluating a similarity between a model related to deformation of a moving body parameterized in advance and an extracted silhouette image to estimate a region having a high similarity and a model parameter is disclosed. Accordingly, since a parameterized model can be applied to a person who moves while the shape changes periodically, it is possible to extract a region of a moving body.
  • a typical method of the latter is to divide the image into a plurality of small areas, extract feature quantities based on the luminance values of the pixels in each small area, and then calculate the similarity of the feature quantities between the plurality of small areas.
  • the conventional region extraction technique is used to correctly move a moving object when, for example, a scene in which a plurality of persons walk, the shape of the moving object changes significantly due to changes in posture, size, etc. There is a problem that it cannot be extracted.
  • a mobile object is correctly detected by, for example, extracting one mobile object as a plurality of mobile objects by mistake, or extracting a region where a mobile object to be extracted does not exist as a mobile object. There is a problem that it cannot be done.
  • An object of the present invention is to provide a moving body detection apparatus capable of detecting a moving body.
  • a mobile object detection device includes a mobile object region from a plurality of movement trajectories each corresponding to each region in a moving image.
  • a mobile object region from a plurality of movement trajectories each corresponding to each region in a moving image.
  • a stationary index calculation unit that calculates a stationary index that represents the stationary object likeness of the moving track
  • a distance calculating unit that calculates a distance that represents a similarity between the moving tracks, a stationary index of the moving track, and the movement track Based on the distance, the conversion is such that the ratio of the distance between the movement trajectory of any stationary object and the movement trajectory of any mobile object to the distance between the movement trajectories of any stationary object is larger than before the conversion.
  • a region detection unit that detects a moving body region corresponding to the moving track of the moving body by separating the moving track of the stationary object and the moving track of the moving body based on the distance between the moving tracks. .
  • the above conversion process is performed based on the stationary index of the movement trajectory. For this reason, it becomes easy to separate the moving locus of the stationary object and the moving locus of the moving body. Therefore, a moving body can be correctly detected even in an image that includes a moving body such as a person that moves while changing its shape and is captured by a moving camera.
  • the present invention can be realized not only as a mobile object detection apparatus including such a characteristic processing unit, but also as a mobile object detection method using a characteristic processing unit included in the mobile object detection device as a step. Can be realized. It can also be realized as a program that causes a computer to execute the characteristic steps included in the moving object detection method. Needless to say, such a program can be distributed through a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
  • a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
  • FIG. 1 is a diagram showing a configuration of a moving object detection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a hardware configuration of a moving object detection apparatus configured by a computer.
  • FIG. 3 is a flowchart showing an operation procedure of the moving object detection apparatus.
  • FIG. 4 is a diagram illustrating an example of a shooting situation.
  • FIG. 5A is a diagram illustrating an example of a picture of the first frame constituting the input moving image.
  • FIG. 5B is a diagram illustrating an example of a picture of a frame between the first frame and the T frame constituting the input moving image.
  • FIG. 5C is a diagram illustrating an example of a T-th frame picture constituting the input moving image.
  • FIG. 5A is a diagram illustrating an example of a picture of the first frame constituting the input moving image.
  • FIG. 5B is a diagram illustrating an example of a picture of a frame between the first frame and the T frame constituting the input
  • FIG. 6A is a diagram illustrating an example of a motion vector.
  • FIG. 6B is a diagram illustrating an example of a movement trajectory.
  • FIG. 7 is a diagram illustrating a configuration of a stationary index calculation unit in the mobile object detection device.
  • FIG. 8 is a diagram showing the classification of camera geometric constraints.
  • FIG. 9A is a diagram illustrating epipolar constraint.
  • FIG. 9B is a diagram for explaining the homography constraint.
  • FIG. 10 is a diagram for explaining the structure matching constraint.
  • FIG. 11A is a diagram illustrating an example of the movement trajectory in a picture and the size of a corresponding stationary index.
  • FIG. 11B is a diagram illustrating a relationship between the size of the stationary index and the thickness of the arrow in FIG. 11A.
  • FIG. 12 is a diagram illustrating a configuration of a distance calculation unit in the mobile object detection device.
  • FIG. 13A is a diagram illustrating an example of a plurality of movement trajectories on a picture.
  • FIG. 13B is a diagram illustrating the data distribution between the movement trajectories and the Euclidean distance.
  • FIG. 13C is a diagram illustrating the data distribution between the movement trajectories and the geodetic distance.
  • FIG. 14 is a diagram illustrating the Euclidean distance and the geodetic distance between the movement trajectories.
  • FIG. 15 is a diagram illustrating a configuration of a subclass classification unit in the mobile object detection device.
  • FIG. 13A is a diagram illustrating an example of a plurality of movement trajectories on a picture.
  • FIG. 13B is a diagram illustrating the data distribution between the movement trajectories and the Euclidean distance.
  • FIG. 13C is a diagram illustrating the data distribution
  • FIG. 16A is a diagram illustrating an example of a plurality of movement trajectories on a picture.
  • FIG. 16B is a conceptual diagram of a high-dimensional space made up of movement trajectories.
  • FIG. 17 is a diagram illustrating a configuration of the weighted distance calculation unit.
  • FIG. 18 is a conceptual diagram showing geodesic distance between subclasses.
  • FIG. 19A is a conceptual diagram showing an example of a moving locus belonging to each of a moving object and a background superimposed on a scene image.
  • FIG. 19B is a diagram showing, in a high-dimensional space, the result of class classification performed by the subclass classification unit on the movement trajectory existing in the scene shown in FIG. 19A.
  • FIG. 19C is a diagram illustrating a result of the stationary index adding unit determining whether the stationary trajectory is stationary or moving with respect to each movement trajectory.
  • FIG. 19D is a diagram illustrating a result of evaluation of stationary or moving in units of subclasses.
  • FIG. 19E is a diagram illustrating a weighting rule.
  • FIG. 19F is a diagram showing the weighted geodetic distance calculated by the weighting rule on a high-dimensional space.
  • FIG. 20A is a diagram illustrating a movement trajectory and a subclass in a high-dimensional space.
  • FIG. 20B is a diagram illustrating a classification result of subclasses.
  • FIG. 20C is a diagram illustrating a display example of the integration result of subclasses.
  • FIG. 20D is a diagram illustrating a display example of the integration result of subclasses.
  • FIG. 21 is a diagram illustrating a configuration of the moving object detection device according to the first modification of the embodiment.
  • FIG. 22 is a diagram illustrating a configuration of a stationary index calculation unit in the mobile object detection device.
  • FIG. 23 is a diagram illustrating a detailed configuration of the weighted distance calculation unit.
  • FIG. 24 is a diagram illustrating an example of an image created by the stationary index image creating unit of the stationary index calculating unit.
  • FIG. 25A is a diagram illustrating a display example of a region division result.
  • FIG. 25B is a diagram illustrating a display example of a region division result.
  • FIG. 26A is a diagram illustrating a configuration of the moving object detection device according to the second modification of the exemplary embodiment.
  • FIG. 26B is a diagram illustrating a configuration of a subclass classification unit.
  • FIG. 27A is a diagram illustrating a configuration of a moving object detection device according to Modification 3 of the embodiment.
  • FIG. 27B is a diagram illustrating a configuration of a subclass classification unit.
  • FIG. 28A is a diagram illustrating a data distribution of a movement trajectory before dimension compression in a multidimensional space.
  • FIG. 28B is a diagram illustrating a space obtained by dimensionally compressing the multidimensional space of the movement locus illustrated in FIG. 28A.
  • FIG. 28C is a diagram illustrating a result of applying the clustering process to the dimensionally compressed data.
  • FIG. 28D is a diagram illustrating an example in which clustering processing is performed on data of a moving person in a nonlinear space.
  • FIG. 29A is a diagram illustrating a configuration of a moving object detection device according to Modification Example 4 of the embodiment.
  • FIG. 29B is a diagram illustrating a configuration of a subclass classification unit.
  • FIG. 30A is a diagram illustrating an example of a movement trajectory.
  • FIG. 30B is a diagram illustrating a multidimensional space including a movement locus.
  • FIG. 30C is a diagram illustrating a clustering result when the threshold is larger than the maximum value of the Euclidean distance.
  • FIG. 30D is a diagram showing the clustering result with respect to a certain threshold R 1.
  • FIG. 30E is a diagram showing a clustering result for a threshold value R 2 that is smaller than the threshold value R 1 .
  • FIG. 31A is a diagram illustrating a configuration of a moving object detection device according to Modification Example 5 of the embodiment.
  • FIG. 31B is a diagram illustrating a configuration of a subclass classification unit.
  • FIG. 31C is a diagram illustrating another configuration of the subclass classification unit.
  • FIG. 31D is a diagram showing still another configuration of the subclass classification unit.
  • FIG. 32A is a diagram illustrating a configuration of a moving object detection device according to Modification Example 6 of the embodiment.
  • FIG. 32B is a diagram illustrating a configuration of a stationary index calculation unit.
  • FIG. 33A is a diagram illustrating a configuration of the moving object detection device according to the modification example 7 of the embodiment.
  • FIG. 33B is a diagram illustrating a configuration of a distance calculation unit.
  • FIG. 33C is a diagram illustrating a configuration of a weighted distance calculation unit.
  • FIG. 33D is a diagram illustrating a configuration of a weighted distance calculation unit.
  • FIG. 34 is a conceptual diagram showing the Euclidean distance between subclasses.
  • FIG. 35A is a diagram illustrating a configuration of a moving object detection device according to Modification Example 8 of the embodiment.
  • FIG. 35B is a diagram illustrating a configuration of a stationary index calculation unit and a weighted distance calculation unit.
  • FIG. 36A is a conceptual diagram showing the distribution of subclasses in a high-dimensional space when the camera motion is large.
  • FIG. 36B is a conceptual diagram illustrating the distribution of subclasses in a high-dimensional space when the camera motion is small.
  • FIG. 36C is a diagram showing a weighting rule for the subclass observation value distance.
  • FIG. 36D is a conceptual diagram illustrating a distribution of subclasses in a high-dimensional space after weighting the measured distance between subclasses when the camera motion is large.
  • FIG. 36A is a conceptual diagram showing the distribution of subclasses in a high-dimensional space when the camera motion is large.
  • FIG. 36B is a conceptual diagram illustrating the distribution of subclasses in a high-dimensional space when the camera motion is small.
  • FIG. 36C is a diagram showing a weighting rule for the subclass
  • FIG. 36E is a conceptual diagram showing the distribution of subclasses in the high-dimensional space after weighting the measured distance between subclasses when the camera motion is small.
  • FIG. 37 is a diagram illustrating the configuration of the moving object detection device according to the ninth modification of the embodiment.
  • FIG. 38 is a diagram illustrating another configuration of the moving object detection device according to the ninth modification of the embodiment.
  • FIG. 39A is a diagram illustrating a configuration of a moving object detection device according to Modification Example 10 of the embodiment.
  • FIG. 39B is a diagram illustrating a configuration of a weighted distance calculation unit.
  • FIG. 40 is a diagram illustrating a configuration of a moving object detection device including components essential to the present invention.
  • One embodiment of the present invention is a moving object detection device that detects a moving object region from a plurality of movement loci each corresponding to each region in a moving image, and between two or more pictures constituting the moving image. For each of a plurality of movement trajectories that are movement trajectories of a block made up of one or more pixels constituting the picture in FIG.
  • a stationary index calculation unit that calculates a stationary index representing the stationary object likeness of the movement trajectory, and the movement Based on the distance calculation unit that calculates the distance between the trajectories and the stationary index of the moving trajectory and the distance between the moving trajectories, the movement of the arbitrary stationary object with respect to the distance between the moving trajectories of any stationary object Conversion processing is performed such that the ratio of the distance between the trajectory and the moving trajectory of an arbitrary moving body is larger than that before the conversion, and based on the distance between the moving trajectories, the moving trajectory of the stationary object and the moving body Movement trajectory By separating the, and a region detecting section that detects a moving object region corresponding to the moving locus of the moving object.
  • the area detection unit is configured such that a ratio of a geodetic distance between a moving trajectory of an arbitrary stationary object and a moving trajectory of an arbitrary moving object to a geodetic distance between the moving trajectories of an arbitrary stationary object is larger than that before the conversion.
  • the moving object region corresponding to the moving locus of the moving object is detected by separating the moving locus of the stationary object and the moving locus of the moving object based on the geodetic distance between the moving locus. Therefore, the geodetic distance is a distance of a route reaching from one of the two movement loci to the other using a movement locus other than the two movement loci as a relay point.
  • the above conversion process is performed based on the stationary index of the movement trajectory. For this reason, it becomes easy to separate the moving locus of the stationary object and the moving locus of the moving body. Therefore, a moving body can be correctly detected even in an image that includes a moving body such as a person that moves while changing its shape and is captured by a moving camera.
  • the stationary index calculation unit estimates a geometric constraint that is established when each moving track is a moving track of a stationary object from the plurality of moving tracks, and uses the degree of satisfaction of the estimated geometric constraint as the stationary index. calculate.
  • the stationary index calculation unit estimates one of epipolar constraint, homography constraint, triple linear constraint, and structural coincidence constraint from a plurality of movement trajectories, and determines the degree of satisfying the estimated geometric constraint. Calculated as the stationary index.
  • the area detection unit calculates a geodetic distance between the movement trajectories based on the distance between the movement trajectories, and before weighting the calculated geodetic distances based on a stationary index of the movement trajectory. In comparison with, the weighting is performed so that the ratio of the geodetic distance between the moving trajectory of any stationary object and the moving trajectory of any moving object to the geodetic distance between the moving trajectories of any stationary object is increased.
  • the moving trajectories in which the weighted geodetic distance is equal to or greater than a predetermined threshold are set to different classes. By classifying, a region of a stationary object and a region of a moving object on each picture may be included.
  • an evaluation value indicating the stationary object likeness of the moving locus is By using the weighting to the geodetic distance between the movement trajectories, it is possible to reliably detect the moving body in the image.
  • the distance calculation unit calculates a geodetic distance representing a similarity between moving trajectories
  • the weighted distance calculation unit calculates the geodetic distance calculated by the distance calculation unit based on the stationary index. Therefore, the weight is set so that the ratio of the geodetic distance between the moving trajectory of any stationary object and the moving trajectory of any moving object to the geodetic distance between the moving trajectories of any stationary object is larger than before weighting. Thus, the weighted geodesic distance is calculated.
  • the weighted geodetic distance is calculated by applying a weight based on the stationary index to the geodetic distance between the movement trajectories.
  • the distance calculation unit calculates a linear distance representing the similarity between the movement trajectories
  • the weighted distance calculation unit calculates the linear distance calculated by the distance calculation unit based on the stationary index.
  • the weighting should be such that the ratio of the linear distance between the movement trajectory of any stationary object and the movement trajectory of any moving object to the linear distance between the movement trajectories of any stationary object is larger than before weighting.
  • a weighted linear distance may be calculated, and the weighted geodetic distance may be calculated from the calculated weighted linear distance.
  • the area detection unit is configured to classify the weighted distance calculation unit that calculates the geodetic distance between the movement trajectories based on the distance between the movement trajectories, and the moving area of the stationary object and the moving area of the moving object in different classes.
  • a weighted threshold obtained by applying a weight based on the stationary index to a threshold of the geodetic distance used for determining whether to classify, and the geodetic distance calculated by the weighted distance calculating unit
  • a region dividing unit that divides the region of the stationary object and the region of the moving object on each picture may be included.
  • the threshold is weighted instead of calculating the weighted distance by weighting the distance. For this reason, it is possible to reduce the calculation time necessary for calculating the weighted distance and the memory capacity for holding the weighted distance.
  • the area dividing unit sets a weight for the threshold of the geodetic distance when the stationary indices of the two movement trajectories are values representing “stationary object” and “stationary object”, respectively. It is larger than the weight for the geodesic distance threshold when the stationary index is a value representing “moving object” and “stationary object”, respectively.
  • the above-described moving body detection device further includes a subclass classification unit that classifies the plurality of movement trajectories into a plurality of subclasses that are subsets of similar movement trajectories
  • the weighted distance calculation unit includes: A geodesic distance between the weighted subclasses based on the stationary index is calculated based on a stationary index of the movement trajectory, a distance between the moving trajectories, and a classification result of the subclass, and the region dividing unit includes the weighted Based on the geodesic distance between the subclasses calculated by the distance calculation unit, the stationary object subclass and the moving object subclass are separated, thereby dividing the stationary object region and the moving object region on each picture. Good.
  • each subclass is classified as either a stationary object area or a moving object area.
  • Each subclass is a subset of similar movement trajectories. For this reason, the area
  • the distance calculation unit calculates a geodetic distance representing a similarity between the movement trajectories
  • the weighted distance calculation unit calculates a movement trajectory included in the subclass with respect to a representative value of the geodetic distance between the subclasses.
  • a geodetic distance between the subclasses is calculated by applying a weight based on the representative value of the stationary index.
  • the distance calculation unit calculates a linear distance representing the similarity between the movement trajectories, and the weighted distance calculation unit determines whether the movement trajectory included in the subclass is stationary with respect to the representative value of the linear distance between the subclasses.
  • a weight based on the representative value of the index may be applied, and the geodetic distance between the subclasses may be calculated based on the representative value of the linear distance between the weighted subclasses.
  • the geodesic distance between the subclasses is calculated after applying a weight to the representative value of the linear distance between the subclasses. For this reason, the derivation of the geodetic distance between the subclasses reflecting the likelihood of a stationary object can be easily realized.
  • the weighted distance calculation unit when the representative value of the stationary index of the movement trajectory included in the two subclasses is a value representing “moving object” and “stationary object”, respectively, between the two subclasses.
  • the weight of the geodesic distance between the subclasses may be set to a value larger than 1.
  • the weighted distance calculation unit when the representative value of the stationary index of the movement trajectory included in the two subclasses is a value representing “stationary object” and “stationary object”, respectively, between the two subclasses.
  • the weight of the geodesic distance between the subclasses may be set to a value less than 1.
  • the weighted distance calculation unit when the representative value of the stationary index of the movement trajectory included in the two subclasses is a value representing “moving object” and “moving object”, respectively, between the two subclasses.
  • the weight of the geodetic distance between the subclasses may be set to 1.
  • the subclass classification unit may classify each movement trajectory into one of the plurality of subclasses based on the similarity between the movement trajectories.
  • the subclass classification unit may classify each movement trajectory into one of the plurality of subclasses based on the similarity of luminance between blocks belonging to each movement trajectory.
  • the subclass classification unit performs dimension compression of a second distance calculation unit that calculates a geodetic distance between the movement trajectories and a geodetic distance between the movement trajectories calculated by the second distance calculation unit. And a clustering unit that classifies each movement trajectory into one of the plurality of subclasses based on a geodetic distance between the movement trajectories.
  • clustering can be performed stably in a non-linear space without requiring enormous calculations, and in particular, it is possible to stably perform clustering even for pictures including persons who move while their shapes change.
  • the subclass classification unit selects, for each of the plurality of movement trajectories, a distance that is equal to or less than the predetermined distance threshold among a plurality of distances from the movement trajectory to another movement trajectory, and a distance that is not selected.
  • the geodetic distance is calculated by obtaining the shortest path from the moving trajectory to another moving trajectory, and the geodesic distance between the moving trajectories becomes a finite value.
  • the movement trajectory may be classified into one of the plurality of subclasses by classifying the group of the same into the same subclass.
  • the moving trajectories can be classified into subclasses based on the discontinuous points.
  • the stationary index calculation unit estimates the geometric constraint from a movement trajectory for estimating a geometric constraint established with respect to the movement trajectory of the stationary object, and based on the estimated geometric constraint, the distance calculation unit You may calculate the stationary parameter
  • the geometric constraint is estimated from the movement trajectory for estimating the geometric constraint. For this reason, since a more stable and accurate geometric constraint can be obtained, a moving body can be detected more stably and correctly.
  • the above-described moving body detection device further includes a camera motion acquisition unit that acquires motion information of a camera that captures the moving image, and the weighted distance calculation unit is based on the magnitude of the motion of the camera.
  • the weight of the stationary index at the time of weighting is changed.
  • the weighted distance calculation unit increases the weighting of the distance between the moving trajectory of the stationary object and the moving trajectory of the moving object as the movement of the camera increases.
  • the above-described moving body detection device further includes a camera motion acquisition unit that acquires motion information of a camera that captures the moving image
  • the weighted distance calculation unit is a representative value of the stationary indices of the two subclasses. Is a value representing “moving object” and “stationary object”, respectively, and weights the geodetic distance between the two subclasses, and the weight when the movement of the camera is equal to or greater than a predetermined threshold is WB, If the weight when the camera motion is smaller than the predetermined threshold is WS, the relationship of WB> WS> 1 may be satisfied.
  • the above-described moving body detection device further includes a camera motion acquisition unit that acquires motion information of a camera that captures the moving image, and the weighted distance calculation unit includes representative values of the stationary indices of the two subclasses. Is a value representing “stationary object” and “stationary object”, respectively, and weights the geodetic distance between the two subclasses, and the weight when the motion of the camera is equal to or greater than a predetermined threshold is WB, When the weight when the camera motion is smaller than the predetermined threshold is WS, the relationship of WB ⁇ WS ⁇ 1 may be satisfied.
  • the camera motion acquisition unit acquires motion information of the camera from an operation control signal for the camera.
  • the camera motion acquisition unit may acquire motion information of the camera from a vehicle-mounted sensor.
  • the weighted distance calculation unit further compares the stationary index of the moving trajectory with a stationary index threshold to determine the moving trajectory having a stationary index equal to or less than the stationary index threshold as a stationary object moving trajectory. Then, the movement trajectory having a stationary index larger than the stationary index threshold value may be determined as the movement trajectory of the moving body.
  • the weighted distance calculation unit includes a threshold value input unit that receives a stationary index threshold value, and compares the stationary index value of the movement trajectory with the stationary index threshold value received by the threshold value input unit, thereby obtaining the stationary index threshold value.
  • the movement trajectory having the following stationary index is determined as a movement trajectory of a stationary object
  • the movement trajectory having a stationary index larger than the stationary index threshold is determined as a movement trajectory of a moving object
  • the region detection unit further includes The detected moving body region may be displayed on the display unit.
  • the stillness index calculation unit may further display each block constituting the picture on the display unit in a display mode according to the calculated value of the stillness index.
  • the stationary index threshold depends largely on the distribution of the stationary index value. Therefore, if the value of the stationary index and its distribution on the image can be confirmed, the stationary index threshold can be adjusted without performing the region division process to the end. Thereby, the optimal stationary index threshold value can be determined earlier.
  • the moving body detection device of the present invention is realized not only by configuring each processing unit by hardware, but also as a moving body detection method having the process executed by each processing unit as a step,
  • An area of an object having a motion in a moving image realized as a program for causing a computer to execute the steps included in the moving object detection method, or realized as a computer-readable recording medium such as a CD-ROM storing the program
  • FIG. 1 is a diagram illustrating a configuration of a moving object detection apparatus according to the present embodiment.
  • the moving body detection apparatus 100 includes an image input unit 101, a movement trajectory calculation unit 102, a stationary index calculation unit 103, a distance calculation unit 104, a subclass classification unit 105, a weighted distance calculation unit 106, and An area dividing unit 107 is provided.
  • the moving object detection apparatus 100 is an apparatus that detects a moving object in a moving image by performing region division that specifies all or a part of the moving object region in the moving image.
  • the moving body detection apparatus 100 is an apparatus that detects a region corresponding to a moving body from a plurality of movement trajectories respectively corresponding to a plurality of regions in a moving image.
  • the moving body detection apparatus 100 receives a moving image captured by the camera 110 as an input, detects a moving body region in the moving image, generates a picture based on the detection result, and outputs the picture.
  • the display 120 displays a picture output from the moving object detection apparatus 100.
  • a picture is also referred to as an image.
  • the image input unit 101 is a processing unit that receives input of a plurality of pictures constituting a moving image, and is, for example, a camera or a communication interface connected to the camera.
  • the movement trajectory calculation unit 102 is a processing unit that obtains a plurality of corresponding points between a plurality of pictures based on a plurality of pictures received by the image input unit 101, and outputs the corresponding points as a plurality of movement trajectories. That is, the movement trajectory calculation unit 102 performs, for each block composed of one or more pixels constituting the picture received by the image input unit 101, between the two temporally adjacent pictures constituting the moving image. A block movement is detected, and the detected movement is connected to the plurality of pictures to calculate a plurality of movement trajectories. Corresponding points between pictures may be obtained for each pixel of the picture, or one corresponding point may be obtained for a plurality of adjacent pixels (blocks) in the picture.
  • a certain corresponding point is obtained for each pixel or one for a plurality of pixels.
  • the corresponding point of another picture corresponding to the pixel i of a certain picture and the corresponding point of another picture corresponding to the block i of the certain picture are both referred to as a movement locus of the pixel i.
  • the stationary index calculation unit 103 is a processing unit that applies a geometric constraint to each of the movement trajectories obtained by the movement trajectory calculation unit 102 and obtains a stationary index that represents the stationary object likeness of each movement trajectory. That is, the still index calculation unit 103 performs, for each of a plurality of movement trajectories that are trajectories of a block composed of one or more pixels constituting a picture between two or more pictures constituting a moving image, the movement trajectory. A stationary index representing the likelihood of a stationary object is calculated. The geometric constraint used for the stationary index will be described later in detail.
  • the “distance” between two movement trajectories in this specification is not only the distance between two points in the corresponding two-dimensional image space, but also the arithmetic distance between multidimensional data, as will be described later. Including. In general, distance and similarity have a contradictory relationship. That is, when the distance between two data is small, the similarity is high. Conversely, when the distance between two data is large, the similarity is low.
  • Linear distance refers to a distance obtained only between two data
  • geometric distance As will be described later, this indicates a distance obtained by passing through a point other than the two data.
  • linear distance in this specification is a wider concept distance including the “linear distance” that is generally used, that is, geometrical positions such as position, velocity, acceleration, etc. in picture coordinates between moving trajectories. It is a distance that serves as an index representing the degree of similarity.
  • Euclidean distance is used for the following description as a representative of “linear distance”. A detailed example of the distance will be described later in the description of the distance calculation unit 104.
  • stationary and moving mean an object whose position in the world coordinate system does not change in time with respect to the world coordinate system fixed to the earth (ground) unless otherwise specified. Is assumed to be a stationary object and a temporally changing object is assumed to be a moving object. However, the criteria for “still” and “moving” are not limited to the above. For example, when photographing the inside of a moving vehicle with a camera installed in the vehicle, the world coordinate system fixed to the vehicle is used. As a reference, an object whose position does not change with time may be treated as a stationary object, and an object that changes with time as a moving object.
  • the subclass classifying unit 105 divides a plurality of movement trajectories into each of the plurality of movement trajectories obtained by the movement trajectory calculation unit 102 based on the similarity between the trajectories or the speed, and at least one movement trajectory. Cluster into multiple subclasses containing That is, the subclass classification unit 105 moves a plurality of movement trajectories, each of which is a trajectory of a block made up of one or more pixels constituting a picture, across a plurality of pictures constituting a moving image. Classify into multiple subclasses that are sets of trajectories.
  • the weighted distance calculation unit 106 is based on the stationary index associated with each movement trajectory that is the output of the stationary index calculation unit 103, the distance between the movement trajectories that is the output of the distance calculation unit 104, and the output of the subclass classification unit 105.
  • a geodesic distance between subclasses weighted with a stationary index (hereinafter referred to as “intersubclass geodetic distance” as appropriate) is calculated based on the label information indicating which subclass each movement trajectory belongs to.
  • the weighted distance calculation unit 106 calculates the geodetic distance between the movement trajectories based on the distance between the movement trajectories, and before weighting each calculated geodetic distance based on the stationary index of the movement trajectory. Compared to the geodetic distance between the movement trajectory of any stationary object, weighting is performed by weighting the ratio of the geodetic distance between the movement trajectory of any stationary object and the movement trajectory of any mobile object to be large. Calculate geodetic distance.
  • the weighted distance calculation unit 106 first obtains a geodetic distance between each movement locus, and then obtains a representative geodetic distance between subclasses. In addition, the weighted distance calculation unit 106 obtains a representative value of the stationary index in each subclass. The weighted distance calculation unit 106 determines whether each subclass seems to be a moving object or a stationary object depending on whether the subclass stationary index exceeds or does not exceed a predetermined stationary index threshold, and uses the obtained result as a weight. The geodetic distance between subclasses is calculated by multiplying the representative geodetic distance between them.
  • the weighted distance calculation unit 106 determines that a subclass having a stationary index equal to or lower than the stationary index threshold is a subclass of a stationary object by comparing the stationary index of the subclass with the stationary index threshold, and is larger than the stationary index threshold.
  • a subclass having a stationary index is determined as a subclass of a moving object. The condition of the stationary index, the weighting standard, etc. will be described later in detail.
  • the region dividing unit 107 performs region integration of a plurality of subclasses based on the geodesic distance between subclasses calculated by the weighted distance calculating unit 106, and the region division result finally obtained is identified, for example.
  • Image processing is performed so that different display modes are provided for each region, and the data is output in a format that can be displayed on the display 120 or the like. That is, the area dividing unit 107 classifies the movement trajectories having weighted geodesic distances equal to or more than a predetermined threshold based on the weighted geodesic distance calculated by the weighted distance calculating unit 106 into different classes. Divide the area of the stationary object above and the area of the moving object.
  • area extraction refers to a detection technique that extracts an image area in which a specific target object exists, and an area division technique that divides an area in a picture without distinguishing what the target object is. , Including both. Since the detection technique and the area division technique have many common parts, they are not distinguished in this specification.
  • moving object detection is a movement that is relatively different from a detection technique that specifies only an image area where an object moving relative to a reference coordinate system is present. It includes both region segmentation techniques that segment regions within a picture for each object.
  • each component image input unit 101, movement trajectory calculation unit 102, stationary index calculation unit 103, distance calculation unit 104, subclass classification unit 105, weighted distance calculation unit 106, area division constituting the mobile object detection device 100 is divided.
  • the unit 107) may be realized by software such as a program executed on a computer, or may be realized by hardware such as an electronic circuit or an integrated circuit.
  • FIG. 2 is a diagram showing a hardware configuration of the moving object detection device according to the present embodiment realized by software.
  • the camera 110 captures and outputs a picture
  • the computer 200 acquires the picture and performs a moving body extraction process to generate a picture that displays the region extraction result.
  • the display 120 acquires and displays a picture generated by the computer 200.
  • the computer 200 includes an I / F (interface) 201, a CPU (Central Processing Unit) 202, a ROM (Read Only Memory) 203, a RAM (Random Access Memory) 204, an HDD (Hard Disk Drive) 205, and a video card 206.
  • a program for operating the computer 200 is stored in advance in the ROM 203 or the HDD 205.
  • the program is read out from the ROM 203 or HDD 205 to the RAM 204 and expanded by the CPU 202 as a processor.
  • the CPU 202 executes each coded instruction in the program expanded in the RAM 204.
  • the I / F 201 captures a picture taken by the camera 110 into the RAM 204 in accordance with the execution of the program.
  • the video card 206 outputs a picture generated according to the execution of the program, and the display 120 displays the picture.
  • the computer program is not limited to the semiconductor ROM 203 or the HDD 205, and may be stored in, for example, a CD-ROM.
  • the data may be transmitted via a wired or wireless network, broadcasting, or the like and taken into the RAM 204 of the computer.
  • FIG. 3 is a flowchart showing the operation of the moving object detection apparatus 100 according to the present embodiment.
  • steps S301 to S307 correspond to the respective processing units 101 to 107 in FIG. That is, the image input unit 101 is an image input step S301, the movement track calculation unit 102 is a movement track calculation step S302, the stationary index calculation unit 103 is a stationary index calculation step S303, the distance calculation unit 104 is a distance calculation step S304, and the subclass classification unit 105.
  • the subclass classification step S305, the weighted distance calculation unit 106 executes the distance calculation step S306, and the region division unit 107 executes the region division step S307.
  • the image input step S301 is executed by the image input unit 101. That is, the image input unit 101 acquires a plurality of pictures constituting a moving image from the camera 110.
  • the moving image acquired from the camera 110 is a moving image of 30 frames / second.
  • FIG. 4 is a diagram illustrating an example of a shooting situation.
  • 5A shows the picture of the first frame
  • FIG. 5C shows the picture of the T frame
  • FIG. 5B shows the picture of the frame between the first frame and the T frame.
  • the movement trajectory calculation step S302 is executed by the movement trajectory calculation unit 102. That is, the movement trajectory calculation unit 102 receives a plurality of pictures from the image input unit 101, detects pixel movement information (corresponding points) between pictures, and generates and outputs a movement trajectory. As a method for obtaining pixel motion information (corresponding points) between a plurality of pictures, here, all pixels (I) on one frame picture are used as a reference, and (T-1) frames from 2 frames to T frames. Find the corresponding pixel on the picture.
  • the movement trajectory calculation unit 102 uses the two pictures of the t frame and the t + 1 frame, and the pixel coordinate value of the corresponding point as the motion vector of the pixel i. (X t i , y t i , x t + 1 i , y t + 1 i ) are estimated.
  • the frames do not necessarily have to be continuous.
  • the motion of the pixels may be obtained using two pictures of t frames and t + n frames.
  • n is an integer of 1 or more.
  • Non-Patent Document 1 calculates an optical flow based on hierarchical block matching. Since smoothness between pixels is used as a constraint, an optical flow is obtained in which a motion vector changes smoothly between adjacent optical flows. An efficient and accurate corresponding point is required particularly when there is no steep movement or shielding.
  • the reliability of the estimation can be calculated, as will be described later, by removing the corresponding points whose reliability is lower than the threshold value from the subsequent processing, the ratio of the erroneous motion vectors to the total motion vectors can be reduced, and more accurately. There is an effect that the mobile object can be detected.
  • Non-Patent Document 2 is a graph cut-based optical flow calculation method. Although the calculation cost is high, accurate corresponding points can be obtained densely on a picture. In addition, according to this method, since the occlusion area can also be estimated, as described later, by removing the corresponding points located in the occlusion area from the subsequent processing, the ratio of erroneous motion vectors to all motion vectors can be reduced. There is an effect that accurate moving body detection can be performed. Since further details are described in each document, detailed description thereof is omitted. P. Anandan, “A Computational Framework and an Algorithm for the Measurement of Visual Motion”, International Journal of Computer Vision, Vol. 2, pp. 283-310, 1989 Vladimir Kolmogorov and Ramin Zabih, “Computing Visual Correspondence with Occlusions via Graph Cuts”, International Conference on Computer Vision, 2001
  • the movement trajectory calculation unit 102 may estimate an affine parameter instead of the motion vector as the pixel motion.
  • motion information may be obtained for all pixels.
  • the motion information may be obtained only for pixels on the grid at a fixed interval by dividing the picture into grids. You may also ask for motion information.
  • Non-Patent Document 1 when calculating a motion vector using the technology disclosed in Non-Patent Document 1, only the pixels having motion information with high reliability may be used because the reliability can be calculated as described above. Further, when the motion vector is calculated using the technology disclosed in Non-Patent Document 2, the occlusion can be estimated as described above. For this reason, only the motion information of pixels that are not shielded may be used.
  • a method of calculating a motion vector assuming affine deformation of a block may be used instead of the method of calculating a motion vector assuming the translational movement of the block.
  • a method of calculating a motion vector on the assumption of affine deformation can be realized using the technology disclosed in Non-Patent Document 3. Jianbo Shi and Carlo Tomasi “Good Features to Track”, IEEE Conference on Computer Vision and Pattern Recognition, pp 593-600, 1994
  • the affine parameter A t i corresponding to the motion in the vicinity of the pixel i of the picture of the t frame and the t + 1 frame is estimated.
  • the pixel positions x t i and x t + 1 i on the picture in the t frame and the t + 1 frame have the relationship shown in (Formula 1).
  • the movement trajectory calculation unit 102 calculates a movement trajectory i from the corresponding points of the pixels calculated between T pictures that are temporally different.
  • the movement locus of the pixel i is referred to as a movement locus i.
  • the movement trajectory calculation unit 102 uses the motion vector information 602 calculated in step S302 based on the pixel i 603a and the pixel k 603b of the input picture 601 of the t frame to calculate the motion of the pixel i 603a and the pixel k 603b.
  • the corresponding points of the pixel i 603a and the pixel k 603b are obtained by tracking.
  • the movement trajectory calculation unit 102 has a coordinate value (x 1 i , y 1 i ) of a pixel i on a picture of one frame and a pixel coordinate value (x t i , y t i ), the movement trajectory x i is calculated as in (Expression 2).
  • the movement trajectory x i is a corresponding point between T pictures from 1 frame to T frame.
  • FIG. 6B shows an example of the movement trajectory.
  • the moving image input to the movement locus calculation unit 102 includes T pictures 604.
  • the movement trajectories x i 606a and x k 606b are a collection of corresponding points on the picture from the 2nd frame to the Tth frame corresponding to the pixel i605a and the pixel k605b in one frame, respectively.
  • the movement trajectories x i 606a and x k 606b are represented by vectors having the picture coordinate values of each picture as elements.
  • the corresponding point between pictures is obtained by the movement trajectory calculation unit 102, the corresponding point is obtained for each of a plurality of adjacent pixels (blocks) in the picture, instead of obtaining the corresponding point for every pixel of the picture. Also good. In the present specification, it is not distinguished whether a certain corresponding point is obtained for each pixel or whether one corresponding point is obtained for a plurality of pixels. Also, the corresponding point of another picture corresponding to the pixel i of a certain picture and the corresponding point of another picture corresponding to the block i of the certain picture are both referred to as a movement locus of the pixel i.
  • the stationary index calculation step S303 is executed by the stationary index calculation unit 103. That is, the stationary index calculation unit 103 calculates a stationary index for each of the plurality of movement trajectories calculated by the movement trajectory calculation unit 102.
  • the stationary index of the movement trajectory is an index representing the likelihood that a certain movement trajectory is a movement trajectory on a stationary object.
  • the stationary index calculation unit 103 estimates a geometric constraint to be satisfied by the movement locus on the stationary object, obtains an error indicating a degree that each movement locus satisfies the obtained geometric constraint, and uses this error as a stationary index. That is, the smaller the value of the stationary index of a certain movement locus (the smaller the error), the higher the likelihood that the movement locus on the stationary object is. Conversely, the greater the value of the stationary index of a certain movement trajectory (the greater the error), the lower the likelihood of being a trajectory on a stationary object.
  • FIG. 7 shows the configuration of the stationary index calculation unit 103.
  • the stationary index calculation unit 103 estimates the geometric constraint that the corresponding point on the stationary object should satisfy between the frames, and the degree of deviation of the moving trajectory from the stationary object based on the geometric constraint, that is, And an error calculation unit 702 that calculates a geometric constraint error indicating the degree of the moving object likeness (hereinafter referred to as “moving object likeness”) of the moving locus.
  • “2 eyes” or “3 eyes” indicates a condition regarding the number of frames or the number of cameras. “Binocular” indicates a constraint established between two images. For example, even if a single camera is used, if there are a plurality of images taken at different times such as moving images, Good. Similarly, “three eyes” indicates a constraint that is established between three images. The plurality of images may be acquired from consecutive different frames, or when there are a plurality of cameras, one or a plurality of images may be acquired and used from each. In the present embodiment, it is assumed that an image acquired from continuous frames is used.
  • Epipolar constraint is the most standard constraint condition among camera geometric constraints.
  • the epipolar constraint works well for sparse corresponding points, but has an advantage that accurate corresponding points are preferable, and that the base length of the camera position between frames is preferably large.
  • FIG. 9A is a diagram for explaining epipolar restraint.
  • the stationary point X projected on the point p 1 i on the first frame image is on the point p 2 i existing on the straight line l 2 passing through the epipole e 2 called epipolar line on the second frame image. Projected. Therefore, when the corresponding point p 2 i deviates from the epipolar line l 2 by a distance equal to or greater than a certain threshold, it can be determined that the corresponding point is not a stationary object but a point on the moving body.
  • the constant threshold value is generally set within a range of 0 to several pixels, although it depends on noise such as an error of corresponding points.
  • the epipolar constraint is given by the basic matrix F 1,2 represented by a 3 ⁇ 3 matrix as follows.
  • p 1 i is the pixel position of the pixel i on the first frame image shown in the format of (x 1 i , y 1 i , 1)
  • p 2 i is the same as (x 2 i , y 2 i , 1) is the corresponding point pixel position on the second frame image corresponding to p 1 i
  • l 1 i and l 2 i are epipolar lines.
  • the basic matrix F (the basic matrix F 1,2 in (Expression 5)) is estimated by iterative calculation such as RANSAC (RANdom Sample Consensus) by the 8-point method, the 6-point method, or the like.
  • RANSAC Random Sample Consensus
  • the eight-point method is used in which the basic matrix F is calculated and estimated from the eight corresponding points, and when there are many points on the plane, a homography matrix is used. If the 6-point method for obtaining the epipole is used, the basic matrix F can be estimated more stably.
  • FIG. 9B is a diagram for explaining the homography constraint.
  • the homography constraint is a constraint condition that holds when, for example, the subject is assumed to be a plane or when the camera moves only in rotation.
  • the homography constraint is suitable for close corresponding points because the camera motion may be small and it is also resistant to noise.
  • the point p 1 i in the image of the first frame and the point p 2 i in the image of the second frame in which the point X ⁇ on a certain scene plane ⁇ is projected are expressed in a 3 ⁇ 3 matrix.
  • the following conversion formula is established by the represented homography matrix H 1,2 .
  • p 1 i is the pixel position of the point p 1 on the first frame image shown in the format of (x 1 i , y 1 i , 1)
  • p 2 i is the same as (x 2 i , y
  • the homography matrix H H 1,2 in (Expression 6)
  • H can be estimated from an image using RANSAC or the like using four or more points on a plane.
  • the stationary index calculation unit 103 determines that the corresponding point that is out of the homography conversion formula is a point on the moving object.
  • the trilinear constraint is an epipolar constraint that is established between two eyes and is developed into a constraint condition between three eyes.
  • the triple linear constraint is a straight line connecting the camera center in the first frame and the corresponding point on the first frame image when the corresponding point on the image of the three frames corresponding to the stationary point in a certain space is considered.
  • a straight line connecting the camera center in the second frame and the corresponding point on the second frame image, and a straight line connecting the camera center in the third frame and the corresponding point on the third frame image are one point. It gives the constraint conditions for crossing.
  • This constraint is expressed by a tensor called a trifocal tenor.
  • Equation 7 The point p 1 i on the first frame image, the point p 2 i on the second frame image, and the point p 3 i on the third frame image.
  • T j can be obtained by solving a linear equation using seven corresponding points and performing iterative calculation using LMedS or the like.
  • Non-Patent Document 4 More detailed explanations about epipolar constraint, homography constraint, and triple linear constraint are described in Non-Patent Document 4, and the details are omitted.
  • FIG. 10 is a diagram for explaining the structure consistency constraint.
  • the structure coincidence constraint is a development of the homography constraint, and uses a relative depth from the homography plane ⁇ called a projective depth, as a constraint condition for a stationary object.
  • a point obtained by directly projecting the three-dimensional point X reflected on the point x on the image of the first frame onto the image of the second frame is the point x ′, but if X is X ⁇ ′ Even a point on the plane ⁇ shown is projected to a point x ′ on the second frame image. At this time, on the first frame image, X ⁇ ′ appears at points x 1 to .
  • x, x 1 to x ′, and epipoles e and e ′ are respectively the position C1 of the camera 110 in the first frame, the position C2 of the camera 110 and the point X in the second frame. It must exist on the plane formed by That is, by focusing on the ratio between the distance between the point x and the epipole e and the distance between the point x 1 and the epipole e, a relative depth expression (projection depth) based on the reference plane ⁇ can be realized.
  • the projection depth value k 12 i is calculated by the following equation.
  • p 1 i indicates the pixel position of a point on the image of the first frame shown in the format of (x 1 i , y 1 i , 1).
  • e 1 indicates the pixel position of the epipole on the image of the first frame shown in the format of (u, v, 1).
  • H 21 represents a 3 ⁇ 3 homography matrix for projecting a point on the image of the second frame to a point on the image of the first frame with respect to a point on the reference plane ⁇
  • p 2 i is (x A pixel position of a point on the image of the second frame corresponding to p 1 i shown in the form of 2 i , y 2 i , 1) is shown. From these, the projection depth k 12 i can be obtained for all pixels having corresponding points.
  • G 1 , 2, and 3 can be estimated by using 15 points and performing iterative calculation using LMedS or the like.
  • Non-Patent Document 5 A more detailed description of the structural coincidence constraint is described in Non-Patent Document 5, and therefore a further detailed description is omitted.
  • Richard Hartley and Andrew Zisserman “Multi-View Geometry in Computer Vision”, second ed. Cambridge Univ. Press, 2003 Chang Yuan, Gerard Medioni, Jinman Kang and Isaac Cohen, "Detecting Motion Regions in the Presence of a Strong Parallax from a Moving Camera by Multiview Geometric Constraints", IEEE Transactions On Pattern Analysis and Machine Intelligence, Vol. 29, no. 9, September 2007
  • the geometric constraint estimation unit 701 estimates the geometric constraints described above. Which geometric constraint to use may be selected by the user depending on the scene and situation.
  • the homography H is estimated from the image.
  • the basic matrix F is estimated.
  • the matrix G is estimated, and error calculation is performed. Output to the unit 702.
  • the error calculation unit 702 calculates a stationary index E representing the stationary object likeness of the movement locus corresponding to each pixel based on the geometric constraint estimated by the geometric constraint estimation unit 701.
  • Points that do not satisfy the geometric constraints are unlikely to be stationary objects, so based on the estimated geometric constraints, the degree to which the moving trajectory corresponding to each pixel deviates from the stationary object, that is, the degree of the moving object Is calculated as a stationary index E of the stationary object-likeness.
  • the stationary index E uses an evaluation value that is ideally 0 for a stationary object.
  • epipolar constraints are used as geometric constraints for calculating the stationary index E.
  • the following (Equation 10) is used as the stationary index E (i) for a certain pixel i from the first frame to the Tth frame.
  • any index that is 0 for a stationary object and takes a value other than 0 for a moving object may be used as the stationary index E for the likelihood of a stationary object. That is, an evaluation value that is ideally 0 with respect to a moving trajectory on a stationary object, and is not like a stationary object, for example, a moving trajectory on a moving object that moves at a higher speed. If the index takes an evaluation value that becomes larger in the + direction from 0, the evaluation value can be used as the stationary index E.
  • the stationary index E can be obtained by the following (Equation 13).
  • ⁇ 1 and ⁇ 2 are values for designating the balance of the respective geometric constraint error values. For example, both can be set to 1. A portion with low error sensitivity occurs in a single geometric constraint error, but by using a plurality of errors, variations in error sensitivity can be covered, and the value of the stationary index E can be obtained more stably.
  • FIG. 11A shows an example of the stationary index E indicating the stationary object likeness of the movement locus.
  • the size of the stationary index E indicating the stationary object likeness of the movement trajectory is represented by the thickness of the arrow line. That is, as shown in FIG. 11B, the thinner the arrow line, the smaller the stationary index E is, and it seems to be a stationary object.
  • the camera itself moves forward, a large movement occurs in the movement locus of the background.
  • the direction of the arrow indicates the direction of the movement trajectory.
  • the stationary index E has a large value on the moving trajectory on the moving body, and the stationary index E has a small value on the moving trajectory on the background.
  • the stationary index Ei in the movement trajectory on the leg of the walking person 1101 on the right side is large (for example, when using KLT (Kanade-Lucas-Tomasi) corresponding point and epipolar constraint,
  • the stationary index Ei is about 5
  • the stationary index Ej on the movement locus on the background is small (for example, when the KLT corresponding point and epipolar constraint are used, the stationary index Ej is about 0.5 at most).
  • the movement trajectory on the moving object and the movement trajectory on the stationary object are greatly different in size, the movement trajectory on the moving object and the movement trajectory on the background are based on the stationary index E. Can be distinguished.
  • the stationary index E may become smaller.
  • the stationary index Ek of the movement trajectory on the left walking person 1102 accidentally becomes a trajectory similar to the background, so the value of the stationary index E is small.
  • the value of the stationary index E may increase due to an error in the movement trajectory calculation.
  • the stationary index E indicating the likelihood of a moving object as a stationary object is close to the values of the stationary index (for example, Ek) of the moving path on the moving body and the stationary index (for example, Ej) of the moving path on the background. There is a case. As a result, even a movement trajectory on a moving object may be erroneously detected as a background.
  • the moving locus in addition to the stationary index indicating the stationary object likeness of the moving locus, the moving locus is clustered in consideration of the similarity between the moving loci, thereby stably moving. Aim to detect the body. More specifically, a stationary index indicating the likelihood of a moving locus as a stationary object is used as a weighting for clustering based on the similarity between moving tracks described later.
  • the distance calculation step S304 is executed by the distance calculation unit 104. That is, the distance calculating unit 104 uses a plurality of movement trajectory x i of the movement trajectory calculation unit 102 has calculated, to calculate a distance representing a similarity between movement trajectories. That is, the Euclidean distance f (i, j) and the geodetic distance g (i, j) between the movement locus of the pixel i and the movement locus of the pixel j are calculated stepwise.
  • both the Euclidean distance and the geodetic distance are distances representing the similarity of the movement trajectories, both are 0 between the completely identical movement trajectories, and conversely, the lower the similarity between the movement trajectories, the larger the positive. It is a distance that takes a distance value (including ⁇ ).
  • FIG. 12A is a diagram illustrating an example of the configuration of the distance calculation unit 104.
  • the distance calculation unit 104 includes an Euclidean distance calculation unit 1201 and a geodesic distance calculation unit 1202 between moving trajectories.
  • the Euclidean distance calculation unit 1201 calculates the Euclidean distance f (i, j) between the movement locus of the pixel i and the movement locus of the pixel j using (Equation 14).
  • the Euclidean distance f (i, j) calculated by (Equation 14) is defined between all the movement trajectories for convenience of description, but it is N movements that have a finite value as the Euclidean distance. It is only the between the trajectory x i.
  • the Euclidean distance in this Embodiment was calculated by (Formula 14), it is not limited to this formula. Similar to (Equation 14), the Euclidean distance may be an index representing the geometric similarity such as the position, motion, acceleration, rotational speed, etc. in the picture coordinates between the movement trajectories. Equation 15) may be used.
  • w is a weighting factor and is a parameter set by the designer.
  • the Euclidean distance f (i, j) between the movement trajectories in (Expression 15) is obtained by adding a time fluctuation component of the distance of the picture coordinates to the time average of the distance of the picture coordinates between the movement trajectories.
  • the time fluctuation component of the distance between the moving trajectories indicates the similarity of the movement of the moving trajectories, so that even when there is a shape change, the similarity between the moving trajectories can be captured more accurately. .
  • a group of Euclidean distances f (i, j) between the movement trajectories calculated by the above procedure is represented as a Euclidean distance matrix Fdist .
  • the geodesic distance calculation unit 1202 between the movement trajectories of the distance calculation unit 104 calculates the geodetic distance g (i, j) from the Euclidean distance f (i, j) between the movement trajectories.
  • the geodesic distance calculation unit 1202 between the movement trajectories uses a threshold R predetermined for the Euclidean distance f (i, j) calculated by the Euclidean distance calculation unit 1201, and performs nonlinearization expressed by (Equation 17).
  • the calculated distance f ′ (i, j) is calculated.
  • the geodesic distance calculation unit 1202 between the movement trajectories calculates a geodetic distance from the non-linearized distance f ′ (i, j).
  • “Geodetic distance” means that for a plurality of data points defined in a certain space, the connection between these data points and the distance between the connected data points are obtained. It is the shortest distance among the distances of all the routes that can be connected.
  • the geodesic distance calculation unit 1202 between the movement trajectories calculates the geodetic distance from the i- th movement trajectory x i to the j-th movement trajectory x j using any one of the other plurality of movement trajectories as a relay point.
  • i shortest path among all the paths from the movement trajectory x i reach the movement locus x j of the j of is calculated as geodesic distances.
  • the route connecting the two points of the movement locus x i and the movement locus x j includes a route for relaying another movement locus x s in addition to the node directly connecting the two points.
  • the distance of this route is assumed to be f ′ (i, s) + f ′ (s, j).
  • There are a plurality of paths connecting the two points of the movement trajectory x i and the movement trajectory x j is calculated as the geodetic distance g (i, j) (Equation 18).
  • min (x, y,...) Is a function that returns the smallest value among the values x and y.
  • s is a movement trajectory x s, which is a relay point for tracing (tracing) from the movement trajectory x i to the movement trajectory x j .
  • the relay point s at f ′ (i, s) + f ′ (s, j) is not limited to one point.
  • the geodesic distance calculation unit 1202 between the trajectories calculates the geodesic distance g (i, j) from the Euclidean distance f (i, j) between the trajectories that continue for a long time.
  • the calculation method of geodesic distance is not limited to the said (Formula 17) and (Formula 18).
  • the most different point between the Euclidean distance and the geodetic distance is the relationship between the two data points for which the distance is obtained and other data points.
  • the Euclidean distance is defined only from two data points regardless of the state of other data points.
  • two data points and a path that can connect the two data points can be connected.
  • Geodesic distance is defined as a distance including some other data point, that is, it may be influenced by the state of another data point.
  • a set of calculated geodetic distances g (i, j) between the movement trajectories is expressed as a geodetic distance matrix G dist (Equation 19).
  • the geodesic distance calculation unit 1202 between the movement trajectories calculates a geodetic distance g (i, j) representing the similarity between the N movement trajectories, and outputs it as a geodetic distance matrix G dist .
  • FIG. 13A is a diagram illustrating an example of a plurality of movement trajectories on a picture. Although the movement trajectory is also calculated in the background area, the movement trajectory of the background area is not shown here for ease of description.
  • FIG. 13B is a diagram illustrating a distribution of data of a plurality of movement trajectories each represented by (Expression 2).
  • Each data point " ⁇ " mark in FIG. 13B corresponds to the movement trajectory x i of the pixel i shown in equation (2).
  • the movement trajectory x i is a vector composed of independent T ⁇ 2 variables. Therefore, the movement trajectory is originally (T ⁇ 2) dimensional space data at maximum, but in FIG. 13B, it is represented as a point in the three-dimensional space for convenience of description.
  • An arrow 1301 in FIG. 13B represents the Euclidean distance f (i, j) between the movement trajectory x i and the movement trajectory x j obtained by (Expression 14). That is, the Euclidean distance 1301 between the data point i and the data point j is a distance directly connecting the data.
  • an arrow 1302 in FIG. 13C represents a geodetic distance g (i, j) between the movement trajectory x i and the movement trajectory x j obtained by (Equation 18).
  • the geodetic distance 1302 between the data point i and the data point j is a distance obtained by tracing the relay data point s.
  • the Euclidean distance between the head movement locus x i and the hand movement locus x j is indicated by an arrow 1401 in FIG.
  • the Euclidean distance 1401 between the movement trajectories depends only on the two movement trajectories x i and x j for which the distance is to be obtained, and is a distance unrelated to the other movement trajectories.
  • the geodetic distance 1402 between the movement trajectory x i and hand portion movement trajectory x j of the head shown in FIG. 14 (b).
  • the geodetic distance 1402 is the sum of the distances between the plurality of travel trajectories that have passed through, the geodesic distance 1402 is affected by the travel trajectories other than the travel trajectories x i and x j .
  • the Euclidean distance 1401 in FIG. 14A does not reflect the distribution of other moving trajectories at all. For this reason, in a mobile body connected by a joint like a person, the distance between the movement trajectories takes a value independent of the shape.
  • the geodetic distance 1402 shown in FIG. 14B is a distance reflecting another movement locus. Therefore, in a mobile body connected by a joint, the distance between the movement trajectories takes a value depending on the shape of the mobile body. That is, since the connection at the joint is included in the distance as information, it can be used for detecting a moving body whose shape changes like a person.
  • the movement trajectory x i represented by (Equation 2) is mathematically data of a maximum (T ⁇ 2) dimensional space.
  • the movement trajectory actually obtained from the picture has the property of being localized in a very small part of the (T ⁇ 2) dimensional space as shown in FIGS. 13B and 13C. ing.
  • the Euclidean distance which is obtained only from the distance between two data regardless of the data distribution
  • the geodetic distance reflecting the density of neighboring data is more suitable than the Euclidean distance 1401 in FIG.
  • predetermined K threshold values Rk instead of the predetermined K threshold values Rk, predetermined K threshold values Nk are used.
  • the following processing may be performed as processing for obtaining a non-linear distance f′k (i, j) from Euclidean distance f (i, j). That is, the Euclidean distance threshold Rk or Euclidean distance f (i, j) to replace the infinity in place of the processing of equation (17), and a mobile trajectory x i and another (I-1) pieces of movement trajectory
  • the non-linearized distance f′k (i, j) may be calculated by replacing Euclidean distance larger than the Nk-th Euclidean distance from the smallest one among f (i, j) by infinity.
  • the non-linearized distance f′k is obtained by replacing the Euclidean distance with the movement locus larger than the Euclidean distance with the kth movement locus from the smallest with infinity. (I, j) may be calculated.
  • the subclass classification step S305 is executed by the subclass classification unit 105. That is, the subclass classification unit 105 generates a subclass by clustering the collection of movement trajectories calculated by the movement trajectory calculation unit 102 with a certain index such as luminance or similarity of movement trajectories.
  • the subclass classification unit 105 includes a Euclidean distance calculation unit 1501 that obtains the Euclidean distance between the movement trajectories, and a clustering unit 1502 that performs clustering based on the Euclidean distance.
  • the clustering unit 1502 uses the Euclidean distance f (i, j) between the movement trajectory i and the movement trajectory j calculated by the Euclidean distance calculation unit 1501, and uses the movement trajectory i and the movement trajectory j in ascending order of f (i, j). Clustering is performed by repeating the process of bundling as a same class.
  • the movement trajectory in the vicinity retains high similarity.
  • high similarity means that the Euclidean distance f (i, j) between the movement trajectory i and the movement trajectory j is small.
  • the fact that the Euclidean distance f (i, j) is small can be interpreted that the movement trajectory i and the movement trajectory j are distributed at a short distance in a high-dimensional space composed of the movement trajectories.
  • FIG. 16B shows a conceptual diagram of a high-dimensional space made up of moving trajectories.
  • a three-dimensional space is used for ease of explanation, but in reality, each element of the vector shown in (Expression 2) corresponds to each dimension. That is, the high-dimensional space is a space having 2 ⁇ T dimensions.
  • the eight movement trajectories a to h are used, but actually, the movement trajectory obtained for each pixel may be used, or the movement trajectory obtained in units of blocks is used. May be.
  • each data point on the high-dimensional space formed of the movement locus shown in FIG. 16B corresponds to one movement locus shown in (Equation 2). In other words, this corresponds to the result of tracking pixels not only over an area on one picture but over a plurality of pictures that differ in time.
  • each class can be expected to correspond to an individual subject or a part of the subject, and subject detection and area division can be performed.
  • each area to be divided is expressed as follows.
  • M is the number of areas, and is determined empirically according to the scene to be used.
  • the subclass classification unit 105 performs processing of setting different movement trajectories i and movement trajectories j to the same region label ⁇ m in ascending order of Euclidean distance f (i, j).
  • one of the movement trajectory i and movement trajectory j is the case already belongs to the region theta k is still to belong to the even region theta k pixels area label is not granted. Further, if the movement trajectory i and the movement trajectory j already belong to different areas, the area labels are integrated. Next, it is determined whether all the movement trajectories are labeled and the number of areas is a predetermined M.
  • FIGS. 16C and 16D A specific example of the subclass classification process will be described with reference to FIGS. 16C and 16D.
  • a larger M that sufficiently divides the area of the moving object into fine units is used.
  • f (a, b) when the distance between the movement locus a and the movement locus b is f (a, b), f (a, b) ⁇ f (g, h) ⁇ f (d E) ⁇ f (b, c) ⁇ f (f, g) ⁇ f (c, d).
  • the subclass classification unit 105 assigns the same area label ⁇ 1 to the movement trajectory a and the movement trajectory b.
  • the subclass classification unit 105 assigns the same area label ⁇ 2 to the movement trajectory g and the movement trajectory h.
  • the subclass classification unit 105 assigns the same region label ⁇ 3 to the movement trajectory d and the movement trajectory e which are the third smallest distance.
  • the next smallest distance is the distance f (b, c) between the movement trajectory b and the movement trajectory c.
  • the subclass classification unit 105 assigns the same area label ⁇ 1 as the movement trajectory b to the movement trajectory c.
  • the next smallest distance is a distance f (f, g) between the movement locus f and the movement locus g.
  • the subclass classification unit 105 gives the same region label ⁇ 3 as the movement locus g to the movement locus f.
  • the subclass classification unit 105 again integrates the area label ⁇ 1 to which the movement locus c belongs and the area label ⁇ 3 to which the movement locus d belongs with respect to the movement locus c and the movement locus d that form the next smallest distance. Further, the subclass classification unit 105 gives the region label ⁇ 1 to the movement trajectories a to e.
  • the movement trajectory that is continuous in the high-dimensional space is determined as one class, and the distance between the movement trajectories is large.
  • Each class can be separated using as a discontinuous point. And it becomes possible to utilize the movement locus which belongs to each class for a mobile body detection.
  • the subclass classification unit 105 clusters the collection of the movement trajectory calculated by the movement trajectory calculation unit 102 according to a certain index such as luminance or similarity of the movement trajectory, thereby subclasses.
  • the subclass does not necessarily need to include a plurality of movement trajectories. That is, subclass classification in which each subclass is composed of one movement locus may be performed.
  • the distance calculation step S306 is executed by the weighted distance calculation unit 106.
  • the weighted distance calculation unit 106 includes a representative geodetic distance calculation unit 1701 and a stationary index addition unit 1702.
  • the representative geodetic distance calculation unit 1701 calculates a representative value (representative geodetic distance) between the subclasses generated by the subclass classification unit 105 based on the geodetic distance and the Euclidean distance calculated by the distance calculation unit 104. . Subsequently, the stationary index adding unit 1702 obtains a stationary index indicating the stationary object likeness of the movement trajectory included in each subclass based on the stationary index of each pixel calculated by the stationary index calculating unit 103, and indicates the calculated stationary object likeness. Based on the stationary index, the representative geodetic distance calculation unit 1701 calculates the representative geodetic distance between the subclasses.
  • FIG. 18 shows two adjacent subclasses ⁇ i and ⁇ j among the plurality of classes generated by the subclass classification unit 105.
  • “subclass” is expressed only as “class”.
  • x i included in (Expression 21) and (Expression 22) is a movement trajectory expressed in the form of a multidimensional vector, as in (Expression 2).
  • the distance obtained between the movement locus included in I and the movement locus included in J is defined as an interclass distance.
  • distance is a concept including both Euclidean distance and geodetic distance.
  • FIG. 18 the conceptual diagram of the representative value (representative geodetic distance) of the geodesic distance between classes is shown.
  • g 31 g (i 3 , j 1)
  • the moving object region detection is performed on a pixel-by-pixel basis by focusing on a collection of single movement trajectories in a class as shown in I and J and operating based on a macro distance in class units. Therefore, it is possible to cope with noise / false detection of a stationary index that occurs due to this. Therefore, it is desirable to calculate a representative value of the distance between classes. That is, the representative value of the distance between classes is desirably a representative value that can approximate the movement or positional relationship between the classes for a plurality of classes.
  • the average value of the geodesic distance between the movement trajectories of each class can be used as the representative value. This is obtained by calculating a plurality of geodetic distances corresponding to all combinations between the movement trajectories included in each class and averaging them.
  • the representative geodetic distance G ( ⁇ i , ⁇ j ) can be calculated by the following (Equation 24).
  • only the geodetic distance may be calculated again so that g (i, j) ⁇ ⁇ .
  • this representative geodetic distance is not limited to the average value of the geodetic distance.
  • the median value of the geodesic distance between the movement trajectories of each class can be used as a representative value. This is obtained by obtaining a plurality of geodetic distances corresponding to all combinations between movement trajectories included in each class and taking the median among the plurality of classes.
  • the representative value of the Euclidean distance can be similarly obtained and used.
  • the representative geodetic distance G ( ⁇ i , ⁇ j ) can be calculated by the following (Equation 25).
  • those points are excluded from the median calculation as in the case of the above average calculation.
  • only geodetic distance calculation may be performed again so that g (i, j) ⁇ ⁇ .
  • the mode value of the geodesic distance between the movement trajectories of each class can be used as the representative geodesic distance.
  • These representative values are values that appear most frequently among a plurality of classes when a plurality of geodetic distances corresponding to all combinations of movement trajectories included in each class are obtained.
  • those points are excluded from the mode value calculation as in the case of the above average value calculation.
  • only geodetic distance calculation may be performed again so that g (i, j) ⁇ ⁇ .
  • the stationary index adding unit 1702 weights the representative geodetic distance G between the classes based on the stationary index of the movement locus belonging to each class.
  • the stationary index adding unit 1702 weights the representative geodetic distance G between the classes based on the stationary index of the movement locus belonging to each class.
  • FIG. 19A is a conceptual diagram showing an example of movement trajectories respectively belonging to a moving object and a background superimposed on a scene image.
  • the movement trajectory corresponding to the left person A is indicated by “ ⁇ ”
  • the movement trajectory corresponding to the right person B is indicated by “ ⁇ ”
  • the movement trajectory corresponding to the background is indicated by “ ⁇ ”.
  • FIG. 19A shows only eight representative movement trajectories, and there are actually a larger number of movement trajectories. Here, other movement trajectories are omitted for easy viewing.
  • FIG. 19B shows, in a high-dimensional space, the result of class classification performed by the subclass classification unit 105 on the movement trajectory existing in the scene shown in FIG. 19A. Again, for ease of viewing, typical movement trajectories are shown in a two-dimensional space.
  • the movement trajectory in the scene is observed as the movement component of the camera added to the movement component of the subject itself such as the moving object and the background. For this reason, the larger the camera motion, the more dominant the camera motion component in the movement trajectory distribution (for example, the movement trajectory distribution shown in FIG. 19B), making it difficult to distinguish between the movement trajectory on the moving object and the background movement trajectory. become.
  • the background becomes a radial movement locus centering on the spring point.
  • the degree of similarity between them may be relatively high, that is, the geodesic distance may be shortened.
  • the greater the camera movement the closer the background movement locus distribution and the moving body movement locus distribution in the movement locus distribution shown in FIG. 19B, the background subclass and the moving body subclass are: Cannot be separated and integrated.
  • FIG. 19C shows a result of the stationary index adding unit 1702 determining whether the stationary trajectory is stationary or moving with respect to each moving locus.
  • the same movement trajectory as shown in FIG. 19B is displayed at the same position in the two-dimensional space as the movement trajectory shown in FIG. 19C.
  • stillness determination value E MS used in the determination of the stationary or moving exhibited here is 0 or a binary 1, this is only an example, the stationary object, the above-mentioned binary if the different values mobile Not necessarily.
  • the stationary index adding unit 1702 evaluates stationary or movement in units of subclasses and corrects erroneous determination.
  • each subclass is often obtained as a small area on the moving object or a small area on the background. That is, it can be assumed that the movement trajectories in the subclass are all moving objects or all stationary objects. Therefore, the stationary index adding unit 1702 corrects the above-described erroneous determination as seen in the movement trajectories 1901 and 1902 of FIG. 19C by evaluating the stationary or moving in units of subclasses.
  • the evaluation value indicating the evaluation determination result of stationary or moving in units of subclasses is set as an inter-subclass stationary determination value E SUB-MS .
  • Subclasses between stillness determination value E SUB-MS, like stillness determination value E MS movement locus shall take two values 0 or 1.
  • the inter-subclass stillness determination value E SUB-MS is binary
  • the inter-subclass stillness determination value E SUB-MS is obtained by determining the magnitude of the average value of the multi-level stillness evaluation value E and a predetermined threshold value TH E. (Equation 31).
  • the object of the present invention is to separate the moving body from the background.
  • FIG. 19B in order to make the subclass on the moving object and the subclass on the background close to each other in a high-dimensional space separable and integrated, the subclasses that are stationary backgrounds are closer to each other and vice versa.
  • the stationary index adding unit 1702 sets a weighting rule as shown in FIG. 19E and sets a weighted geodetic distance G w ( ⁇ i , which is a new subclass distance defined between the subclasses ⁇ i and ⁇ j . ⁇ j ) is calculated (Expression 32, Expression 33).
  • the stationary index adding unit 1702 applies a weight W that shortens (closes) the distance to the representative geodetic distance G ( ⁇ i , ⁇ j ) between the subclasses. That is, a weight Wmin is applied so that W ⁇ 1.
  • G w ( ⁇ i , ⁇ j ) Wmin ⁇ G ( ⁇ i , ⁇ j ) ⁇ G ( ⁇ i , ⁇ j )
  • the stationary index adding unit 1702 applies a weight W for increasing (decreasing) the distance to the representative geodetic distance G ( ⁇ i , ⁇ j ) between the subclasses. That is, a weight Wmax is applied so that W> 1.
  • G w ( ⁇ i , ⁇ j ) Wmax ⁇ G ( ⁇ i , ⁇ j )> G ( ⁇ i , ⁇ j )
  • a subclass between stillness determination value E SUB-MS was an evaluation value of 2 values determined from the stillness determination value E MS, multi subclasses between stillness determination value E SUB-MS It may be a value.
  • the inter-subclass stillness determination value E SUB-MS may be obtained directly from the stillness evaluation value E as in the following Expression 34.
  • (Equation 33) defining the weighting rule becomes (Equation 35).
  • the weight Wmin in the case of both subclasses of the stationary object is applied, and the subclass between the two subclasses is multiplied.
  • the weights W ( ⁇ i , ⁇ j ) are also set to three values of Wmin, Wmax, and 1 for ease of explanation, but may be multivalued.
  • the inter-subclass stillness determination values E SUB-MS ( ⁇ i ) and E SUB-MS ( ⁇ j ) both approach 0 and the weight W ( ⁇ i , ⁇ j ) approaches Wmin, and the inter-subclass stillness determination
  • the weight W ( ⁇ i , ⁇ j ) approaches 1
  • the inter-subclass stationary determination value E SUB-MS ( ⁇ i) ) E SUB-MS ( ⁇ j ) may be a multi-value so that the weight W ( ⁇ i , ⁇ j) approaches Wmax as one approaches 0 and the other increases.
  • Equation 35 when both subclasses are stationary objects, weighting is performed to shorten the distance between the subclasses (Equation 36), or one of the two subclasses is the background and the other is the stationary object. In such a case, weighting for increasing the distance between subclasses (Equation 37) may be used.
  • the weight W ( ⁇ i , ⁇ j ) in (Equation 36) described above is a binary value of Wmin, 1, but may be multivalued.
  • the weight W ( ⁇ i , ⁇ j ) approaches Wmin as the subclass static determination values E SUB-MS ( ⁇ i ) and E SUB-MS ( ⁇ j ) both approach 0, and in other cases Any multi-value may be used so that the weight W ( ⁇ i , ⁇ j ) approaches 1.
  • the weight W ( ⁇ i , ⁇ j ) of (Expression 37) described above is a binary value of Wmax and 1, but may be multivalued.
  • the weight W ( ⁇ i , ⁇ j ) approaches Wmax as one of the subclass static determination values E SUB-MS ( ⁇ i ) and E SUB-MS ( ⁇ j ) approaches 0 and the other increases.
  • it may be a multivalued value such that the weight W ( ⁇ i , ⁇ j ) approaches 1.
  • the moving object can be more correctly separated from the background by changing the weight according to the reliability of the inter-subclass static determination value E SUB-MS .
  • FIG. 19F shows a diagram showing the weighted geodetic distances G w ( ⁇ i , ⁇ j ) calculated by the above weighting rules in a high-dimensional space. As in FIG. 19B, the high dimension is displayed in two dimensions for convenience.
  • Region dividing section 107 as the evaluation value of the region division of the subclass theta p, based weighted geodesic distance G w ( ⁇ p, ⁇ q ) between subclasses calculated by the weighted distance calculation unit 106, the subclass theta p It is determined whether to divide the area division candidates as separate clusters.
  • w ( ⁇ p , ⁇ q ) is used as the distance between the subclasses ⁇ p and ⁇ q so far, but for the sake of explanation, the “weighted geodesic distance G between the subclasses will be described below.
  • the region dividing unit 107 has a sufficient distance between the two subclasses ⁇ p and ⁇ q. Select as a separate class and confirm as an individual class.
  • the area dividing unit 107 determines the corresponding two subclasses ⁇ p and ⁇ q as the same class. That is, in this case, it is decided not to divide. Then, after determining whether or not to divide all subclasses of the region division candidates, the region dividing unit 107 assigns different labels ⁇ m to the movement trajectories belonging to different classes, and the region division information of the movement trajectory Output as.
  • the number of subclasses may be larger, but here only seven subclasses are displayed for ease of viewing.
  • FIG. 20A It is shown in Figure 20A, the geodesic distance between subclasses of class number 2 corresponding to the person A in FIG. 19A and h 1, 2.
  • h 1,2 ⁇ Ht the corresponding subclasses ⁇ 1 and ⁇ 2 are divided.
  • h 1,2 ⁇ Ht the corresponding subclasses ⁇ 1 and ⁇ 2 are divided.
  • the region dividing unit 107 generates an image from the moving locus cluster ⁇ p to which the label is assigned by the threshold value Ht and displays the image on the display 120 by the above procedure.
  • the region dividing unit 107 performs image processing on the input picture so that the result of the integrated subclass can be visually recognized with respect to the moving image received by the image input unit 101, and outputs it. This is displayed on the display 120.
  • FIG. 20B to 20D show examples of pictures generated by the area dividing unit 107.
  • FIG. 20B to 20D show examples of pictures generated by the area dividing unit 107.
  • the threshold value Ht is set in advance, but is not limited to this. Specifically, the threshold value Ht may be changed according to the magnitude of the movement of the moving object to be extracted, or the threshold value Ht may be changed according to whether the moving object is a person or a car. .
  • the threshold value Ht corresponds to an evaluation criterion for setting two different region division candidates as different regions or the same region. For example, when two area division candidates correspond to two moving objects, respectively, by reducing the threshold value Ht, even when the relative position or movement difference between the two moving objects is small, Can be extracted. Conversely, by increasing the threshold value Ht, it is possible to extract two areas only when the relative position and movement of the two moving bodies are large. That is, there is an effect that the region extraction target can be changed depending on the threshold value Ht.
  • 20B to 20D show examples in which the above processing is performed and the results are displayed on the display.
  • the subclass classification unit 105 For each subclass calculated by the subclass classification unit 105, for each subclass extracted as the same mobile object, when color classification is performed as a single mobile object, the subclass classification result displayed as shown in FIG.
  • the subclass integration result can be displayed as shown in FIG. 20C.
  • two moving objects are displayed in two different colors.
  • a display form By adopting such a display form, there is an effect that a moving body in a picture can be detected correctly and the result can be displayed in an easy-to-understand manner.
  • the pixel at the picture coordinate position of the movement trajectory is drawn with a color corresponding to the segment region as a procedure for generating a picture.
  • the method for generating a picture is not limited to this. Specifically, if the number of movement trajectories and the number of pixels in the entire picture are the same, all the pixels in the picture can be drawn with a color corresponding to the class by the method described above. On the other hand, when the number of moving loci is smaller than the number of pixels in the entire picture, there are pixels that do not match the picture coordinate positions of any moving loci.
  • Such pixels that do not match the picture coordinate position of the movement locus may be drawn by another method.
  • the movement trajectory calculation unit 102 may draw the pixels belonging to the block used for motion detection for generating a certain movement trajectory in the same color as the subclass to which the movement trajectory belongs.
  • a pixel that does not match the picture coordinate position of the movement locus it may be drawn in the same color as the subclass to which the nearest movement locus belongs.
  • the picture coordinate positions (points) of a plurality of movement trajectories are connected by the Delaunay triangular mesh generation method and belong to the same class.
  • the pixels included in the triangle surrounded by the points may be drawn with the same color as the class.
  • steps S301 to S307 described above may be repeated each time T pictures are input.
  • the movement based on the representative value of the geodesic distance of the movement trajectory between the subclasses in the picture and the stationary index of the movement trajectory of each subclass.
  • the moving body area in the picture can be detected regardless of the posture of the moving body as a result of temporally tracking the area of the object moving in the picture.
  • the region dividing processing based on the subclass is not necessarily performed.
  • the geodetic distances corresponding to all the geodesic distances between all the movement trajectories corresponding to each subclass are supported.
  • the weighting is performed using the same weight as the weight given to the representative geodesic distance between subclasses to calculate the geodesic distance between the weighted movement trajectories, and the area dividing unit 107 performs the weighted movement instead of the weighted geodesic distance Gw.
  • the area may be divided based on the geodesic distance between the trajectories.
  • the same processing as that of the subclass classification unit 105 and its modification is performed on the geodesic distance between weighted movement trajectories, thereby dividing the picture into areas and separating the moving object from the background. be able to.
  • the above-mentioned weighting is applied to the geodetic distance, that is, the movement trajectory of any stationary object with respect to the geodetic distance between the movement trajectories of any stationary object based on the stationary index of the movement trajectory and the distance between the movement trajectories.
  • the geodetic distance between the moving trajectories is calculated based on the distance between the moving trajectories, and each of the calculated geodetic distances based on the stationary index of the moving trajectory is compared to that before weighting.
  • Calculate the geodetic distance between weighted moving trajectories by giving a weight that increases the ratio of the geodesic distance between the moving trajectory of any stationary object and the moving trajectory of any moving object to the geodetic distance between the moving trajectories is doing.
  • the moving object region corresponding to the moving object's moving locus is detected by separating the moving object's moving locus and the moving object's moving locus.
  • a moving body can be correctly detected even in an image that includes a moving body such as a person that moves while changing its shape and is captured by a moving camera.
  • the distance calculation unit 104 calculates the distance and inputs it to the weighted distance calculation unit 106, but a time change of the distance can be used instead of the distance.
  • the difference between the distance obtained from the movement trajectory of t frame to 2t frame and the distance obtained from the movement trajectory of 2t frame to 3t frame is called a time change of distance, and this is replaced with the movement trajectory of t frame to 2t frame.
  • the same effect can be obtained by using it.
  • the number T of pictures for obtaining the movement trajectory extracted by the distance calculation unit 104 is predetermined and has been described as being constant.
  • the number of pictures T used for calculating the trajectory may be dynamically changed.
  • an upper limit value of the number of movement trajectories is determined in advance, and the number of pictures T is dynamically changed so as not to greatly exceed these upper limit values. Also good. Specifically, when the upper limit value Nmax of the number of moving tracks is determined in advance, and the number of moving tracks extracted from the moving track over the predetermined number T of pictures in the distance calculation unit 104 exceeds Nmax.
  • the number of pictures T may be increased.
  • the large number of movement trajectories means that many corresponding points across all pictures can be calculated for reasons such as small changes in the moving image, small movement of the subject, and small blockage area due to movement. It corresponds to. In such a case, by increasing the number of pictures T, it can be expected that the moving object can be correctly detected by including more motion information in the moving region.
  • a lower limit value of the movement locus number is determined in advance, and the number of pictures T is dynamically changed so as not to fall below these lower limit values. It may be changed.
  • a lower limit value Nmin of the number of moving tracks is determined in advance, and when the number of moving tracks over a predetermined number of pictures T falls below Nmin in the distance calculation unit 104, the number of moving tracks is Nmin.
  • a smaller number of pictures T may be used so as to exceed.
  • the Euclidean distance is used as the linear distance, but as described above, the Euclidean distance is not limited. A form obtained by using an arbitrary distance index defined by the linear distance is also included in the present invention.
  • the mobile object detection apparatus and method according to the present invention are not limited to the above-described embodiments, and are obtained by modifying the above-described embodiments by a person skilled in the art and various modifications described below. Forms obtained by arbitrarily combining components in a plurality of forms including examples are also included in the present invention.
  • Modification 1 Next, a moving body detection apparatus according to Modification 1 of the embodiment of the present invention will be described.
  • the moving body detection apparatus includes an interface for adjusting the threshold value TH MS used when obtaining the stationary determination value E MS .
  • the optimum value of the threshold value TH MS used when obtaining the stillness determination value E MS varies depending on the size of the camera movement, the moving speed of the moving body, and the like. Therefore, in practice, when a shooting scene or camera setting changes, a predetermined fixed threshold value TH MS is not optimal, and when a fixed threshold value TH MS is used, it is accurate. There may be a case where the moving object cannot be detected.
  • the moving body detection device 100 calculates the inter-subclass stillness determination value E SUB-MS based on the fixed threshold TH MS , and weights the inter-subclass distance based on the calculated inter-subclass stillness determination value E SUB-MS.
  • the result of area division is displayed on the display 120.
  • the user inputs the threshold value TH MS by trial and error after confirming the displayed region division result.
  • region division by the moving body detection apparatus 100 is performed again, and after confirming the displayed region division result, the procedure of inputting the threshold value TH MS again is repeated.
  • the trial and error threshold TH MS by repeating the procedure of input Segmentation and threshold TH MS, it is necessary to find the optimal threshold TH MS.
  • the threshold value TH MS is a threshold value applied to the value of the stationary index E. That is, it can be said that the threshold value TH MS largely depends on the distribution of the value of the stationary index E. Therefore, if the value of the stationary index E and its distribution on the image can be confirmed, the threshold value TH MS can be adjusted without performing the region division processing to the end. Thereby, the optimal threshold value TH MS can be determined earlier.
  • FIG. 21 is a block diagram illustrating a configuration of a moving object detection device 100L according to the first modification.
  • the mobile object detection device 100L includes a stationary index calculation unit 103A and a weighted distance calculation unit 106A in place of the static index calculation unit 103 and the weighted distance calculation unit 106 in the configuration of the mobile object detection device 100 illustrated in FIG. Each configuration is used.
  • FIG. 22 is a block diagram showing a detailed configuration of the stationary index calculation unit 103A.
  • the stationary index calculation unit 103A has a configuration in which a stationary index image creation unit 703 is further added to the stationary index calculation unit 103 illustrated in FIG.
  • the still index image creating unit 703 causes the display 120 to display each block constituting the picture in a display mode according to the calculated value of the still index. Details of processing executed by the stationary index image creation unit 703 will be described later.
  • FIG. 23 is a block diagram showing a detailed configuration of the weighted distance calculation unit 106A.
  • the weighted distance calculation unit 106A has a configuration in which a threshold value input unit 1703 is added to the weighted distance calculation unit 106 illustrated in FIG. 17 and a stationary index adding unit 1702A is used instead of the stationary index adding unit 1702.
  • the threshold value input unit 1703 is a processing unit that receives a stationary index threshold value input by the user, and may be configured by a keyboard, a mouse, or the like, for example.
  • the stationary index adding unit 1702A obtains a stationary index by the same method as the stationary index adding unit 1702, and weights the representative geodetic distance between the subclasses based on the stationary index.
  • the point threshold TH MS still indicators used in this case is one in which the threshold value input unit 1703 has received is different from the stationary index adding unit 1702.
  • FIG. 24 is a diagram illustrating an example of an image created by the stationary index image creation unit 703 of the stationary index calculation unit 103A.
  • the stationary index image creation unit 703 classifies the values of the stationary index E into five levels, and displays an image in which each block is hatched according to the level of the stationary index E on the display 120.
  • the still index image creating unit 703 may perform hue gradation display on the display 120 according to the value of the still index E.
  • the stationary index image creation unit 703 includes a threshold value input unit, and can binarize and display the value of the stationary index E using a threshold value separately input by the user from the threshold value input unit.
  • a pixel having a stationary index E larger than a threshold input by the user may be displayed in red, and a pixel having a stationary index E having a value other than that may be displayed in blue. By doing so, it is possible to determine the actual threshold when you enter there, stillness determination value value how made or easily visible while threshold is E MS.
  • the threshold value input unit 1703 receives a threshold value TH MS input by the user at an arbitrary timing.
  • the stationary index adding unit 1702A calculates the stationary determination value E MS using the input threshold value TH MS , the region dividing unit 107 performs region division, and the result is displayed on the display 120. For example, as shown in FIG. 25A, a slider 2211 is displayed on the display 120. The user inputs the threshold value TH MS by moving the slider 2211 left and right.
  • the threshold value TH MS is set to a large value as shown in FIG. 25A, for example, the moving body 2111 having a large stationary index E is extracted. In contrast, as shown in FIG.
  • Modification 2 Next, a moving body detection apparatus according to Modification 2 of the embodiment of the present invention will be described.
  • the subclass classification unit 105 has been described as obtaining a subclass based on the Euclidean distance f (i, j) calculated in (Equation 14).
  • the operation of the subclass classification unit 105 is not limited to this. That is, the subclass classification unit 105 may classify a plurality of movement trajectories into a plurality of subclasses based on the color similarity between blocks belonging to each movement trajectory between the movement trajectories.
  • movement trajectory clustering is performed based on the color similarity of pixels will be described.
  • FIG. 26A is a diagram illustrating a configuration of a moving object detection device according to Modification 2 of the embodiment.
  • the moving object detection device 100A includes an image input unit 101, a movement trajectory calculation unit 102, a stationary index calculation unit 103, a distance calculation unit 104, a subclass classification unit 2101, a weighted distance calculation unit 106, and An area dividing unit 107 is included.
  • processing units other than the subclass classification unit 2101 are the same as those in the above embodiment, the description thereof is omitted.
  • a method for calculating the subclass in the subclass classification unit 2101 instead of the method of calculating the subclass by labeling the similar movement locus described in the above embodiment, so-called “superpixel” is used based on the color similarity of the pixel.
  • a method of dividing a picture into a plurality of called subclasses may be used.
  • a method for calculating the superpixel a graph-based method or the like can be used. A detailed description of the processing procedure is omitted because it is described in Non-Patent Document 7 and the like, but by estimating the boundary between the regions based on the graphical representation of the picture, the picture is maintained while maintaining efficient and global features.
  • FIG. 26B shows the configuration of subclass classification unit 2101 in the second modification of the present embodiment.
  • the subclass classification unit 2101 includes a clustering unit 2102.
  • the clustering unit 2102 classifies pictures into a plurality of subclasses based on the above-described color similarity.
  • the configuration of the subclass classification unit 2101 of this modification does not require the Euclidean distance calculation unit, so classification into subclasses can be performed at a high speed with a simpler configuration. There is an effect that can be performed.
  • pictures can be separated into subclasses, and the movement trajectory belonging to each subclass can be used for moving object area detection.
  • the subclass classification unit 105 has been described as obtaining a subclass based on the Euclidean distance f (i, j) calculated in (Equation 14).
  • the operation of the subclass classification unit 105 is not limited to this.
  • an example in which classification into subclasses is performed by performing dimensional compression of the geodetic distance g (i, j) will be described.
  • FIG. 27A is a diagram illustrating a configuration of a moving object detection device according to a third modification of the embodiment.
  • the moving object detection apparatus 100B includes an image input unit 101, a movement trajectory calculation unit 102, a stationary index calculation unit 103, a distance calculation unit 104, a subclass classification unit 2201, a weighted distance calculation unit 106, and an area division unit 107.
  • processing units other than the subclass classification unit 2201 are the same as those in the above embodiment, the description thereof is omitted.
  • FIG. 27B shows the configuration of the subclass classification unit 2201 in Modification 3 of the present embodiment.
  • the subclass classification unit 2201 includes a second distance calculation unit 2202 and a clustering unit 2203. Unlike the configuration of the subclass classification unit 105 illustrated in FIG. 15, the subclass classification unit 2201 includes a second distance calculation unit 2202 instead of the Euclidean distance calculation unit 1501.
  • the second distance calculation unit 2202 calculates the Euclidean distance f (i, j) from the movement locus calculated by the movement locus calculation unit 102 according to (Expression 14), and then the geodetic distance according to (Expression 17) and (Expression 18). Find g (i, j). Note that the procedure for calculating the geodetic distance g (i, j) here is the same as the operation in the distance calculation unit 104 described in the above embodiment, and thus the description thereof is omitted.
  • the clustering unit 2203 performs dimension compression of the calculated geodetic distance g (i, j), and then uses the dimension-compressed geodetic distance to give the number of classes and minimize the intra-class variance. Cluster movement trajectories.
  • Dimensional compression can be realized by obtaining Eigen system after performing Young-Householder conversion. This is a method for efficiently projecting data distributed in a multidimensional space to a low-dimensional space by dimensional compression.
  • a procedure for clustering the movement trajectory by performing dimension compression of the geodetic distance g (i, j) in the clustering unit 2203 will be described.
  • the matrix formed by the geodetic distance g (i, j) is the geodetic distance matrix G (formula 38).
  • the clustering unit 2203 first performs Young-Householder transformation on the geodetic distance matrix G by applying the centering matrix H from both sides. This is performed in order to convert the distance matrix into a distance matrix having the center of gravity as the origin, whereas the distance matrix is a distance matrix composed of distances between points.
  • I is a unit matrix
  • N is the number of movement trajectories.
  • the clustering unit 2203 calculates P eigenvectors e p and corresponding eigenvalues ⁇ p for ⁇ (G) in order to perform dimensional compression.
  • e p i is the i-th element of the p-th eigenvector e p .
  • the number of eigenvectors P may be determined experimentally according to the scene to be used, or may be determined based on the contribution rate a p calculated from the eigenvalue ⁇ p as follows.
  • P is the number of eigenvectors to be used, that is, the number of dimensions of the compressed space.
  • N is the number of all eigenvectors. Therefore, P when the contribution rate a p is equal to or greater than a certain value may be the number of eigenvectors.
  • the clustering unit 2203 performs dimension compression of the geodetic distance g (i, j) by the processing of (Equation 39) to (Equation 44).
  • the geodetic distance g i calculated by the second distance calculation unit 2202 and the corresponding virtual movement trajectory can be associated with the data z p i in the dimension-compressed space spanned by the eigenvector e p .
  • FIG. 28A is a diagram illustrating a data distribution of a movement trajectory before dimension compression in a multidimensional space.
  • the multidimensional space is a three-dimensional space, but in reality, each element of the vector shown in (Equation 2) corresponds to each dimension.
  • FIG. 28B shows a space in which the multidimensional space of the movement locus shown in FIG. 28A is dimensionally compressed.
  • the horizontal and vertical axes in FIG. 28B are eigenvectors e 1 and e 2 , respectively.
  • the two-dimensionally projected points (z 1 i , z 2 i ) are projections of the geodetic distance g i .
  • (z 1 i , z 2 i ) can be regarded as corresponding to the movement trajectory x i of the pixel i.
  • the number of dimensions of the nonlinear space is set to two. However, as described above, the number of dimensions does not necessarily need to be two, and a higher number of dimensions has higher accuracy. Data can be projected.
  • the clustering unit 2203 by performing clustering on the data z p i that the movement locus dimensional compression as shown in FIG. 28B, performs clustering of movement trajectory.
  • a method of clustering the movement trajectory so as to minimize the intra-class variance given the number of classes is used.
  • M is the number of subclasses and is determined empirically according to the scene to be used.
  • Each subclass ⁇ m is a parameter
  • the initial value may be determined at random, or the coordinate value of the intersection may be set as the initial value by dividing the compressed nonlinear space into equal intervals by a grid.
  • C m is the number of data belonging to the subclass ⁇ m on the compressed nonlinear space.
  • the subclass ⁇ m to which the data z i belongs is obtained using the distance function of the following (formula 48).
  • ⁇ m (z i ) indicates the distance between the data z i corresponding to the movement locus of the pixel i and each subclass ⁇ m .
  • Each data belongs to a subclass ⁇ m in which the distance ⁇ m (z i ) has a minimum value.
  • ⁇ m (z i ) is the Mahalanobis distance
  • ⁇ m (z i ) may be used in place of ⁇ m (z i ).
  • P (z i ) is a priori probability of z i in the likelihood function framework. Therefore, p (z i ) may be a constant value, or if it is known that the target scene includes a fixed subject such as a person, it may be set in advance based on the shape or area ratio of the person part. good. This is particularly effective when the density of the data z i is uneven. For example, when it is known that the density of the data z i is high, if the dense data z i is desired to be in the same subclass, the corresponding prior probability p (z i ) may be set large.
  • the corresponding prior probability p (z i ) may be set small.
  • the density of the data z i may be a density on an image space or a density on a compressed nonlinear space.
  • Equation (48) using the data z i that belongs to a subclass theta m, subclasses theta m as follows:
  • z cm is data on a compressed nonlinear space belonging to the subclass ⁇ m .
  • the subclass ⁇ m to which each piece of data in the nonlinear space belongs can be obtained by repeating the distance calculation and the parameter update of (Expression 48) to (Expression 51) a specified number of times.
  • other clustering methods such as k-means and competitive learning may be used.
  • FIG. 28C shows the result of applying the above clustering processing to the dimensionally compressed data as shown in FIG. 28B. It can be seen that the data points are subclassed.
  • FIG. 28D shows an example in which the clustering process is similarly performed on the moving person data in the nonlinear space. Note that the corresponding person area is also shown in the dimensionally compressed data distribution diagram. Looking at the correspondence on the picture for subclasses ⁇ 1 to ⁇ 2 in the compressed nonlinear space, ⁇ 1 is the human head, ⁇ 2 is the human torso, and so on. It corresponds.
  • each part of the human body corresponds to a subclass in a compressed non-linear space is that pixels are tracked over a plurality of temporally continuous pictures.
  • clustering By performing clustering on the compressed nonlinear space, an image region can be extracted for each moving subject in the picture as a result of temporally tracking the region of the object moving in the picture.
  • the Euclidean distance is used as the linear distance connecting two points.
  • the linear distance is not limited to the Euclidean distance.
  • a form obtained by using an arbitrary distance index defined by the linear distance is also included in the present invention.
  • the subclass classification unit 105 has been described as calculating a subclass based on the Euclidean distance f (i, j).
  • the operation of the subclass classification unit 105 is not limited to this.
  • an example will be described in which a plurality of geodesic distances are generated to generate subclass candidates, and the subclass classification is performed by selecting from these candidates.
  • FIG. 29A is a diagram illustrating a configuration of a moving object detection device according to a fourth modification of the embodiment.
  • the moving object detection device 100C includes an image input unit 101, a movement trajectory calculation unit 102, a stationary index calculation unit 103, a distance calculation unit 104, a subclass classification unit 2401, a weighted distance calculation unit 106, and An area dividing unit 107 is included.
  • FIG. 29B shows the configuration of subclass classification section 2401 in Modification 4 of the present embodiment.
  • the subclass classification unit 2401 selects, for each of a plurality of movement trajectories, a distance that is equal to or smaller than a predetermined distance threshold among a plurality of distances from the movement trajectory to another movement trajectory, and sets the unselected distance to infinity. After delinearizing to change, calculate the geodetic distance by finding the shortest path from the moving trajectory to another moving trajectory, and the same set of moving trajectories where the geodesic distance between the moving trajectories is a finite value By classifying into subclasses, each movement trajectory is classified into one of a plurality of subclasses.
  • the subclass classification unit 2401 includes a third distance calculation unit 2402, a subclass candidate generation unit 2403, and a subclass candidate selection unit 2404.
  • the third distance calculation unit 2402 calculates the Euclidean distance f (i, j) from the movement trajectory calculated by the movement trajectory calculation unit 102.
  • Geodetic distance conversion is performed by setting a determination criterion to obtain a geodetic distance g (i, j).
  • the subclass candidate generation unit 2403 detects discontinuous points in the distribution of the distance between the moving trajectories using a threshold value, so that moving trajectories separated by a geodetic distance smaller than the detected discontinuous points become one class. Then, subclass candidates for the threshold are generated by clustering continuously distributed movement trajectories.
  • the subclass candidate selection unit 2404 obtains an instruction about the number of classes, and extracts a plurality of region extraction candidates generated by the subclass candidate generation unit 2403 from the region extraction candidates divided into the number of regions close to the acquired number of classes.
  • the candidate selected from the candidates is output as a result of subclassing the selected subclass candidate from the movement trajectory calculated by the movement trajectory calculation unit 102. That is, the clustering result closest to the predetermined number of classes is selected from the region extraction candidates for each of the threshold values generated by the subclass candidate generation unit 2403.
  • the third distance calculation unit 2402 calculates the Euclidean distance f (i, j). Since this procedure is the same as that of the Euclidean distance calculation unit 1501 described in the above embodiment, the description thereof is omitted.
  • the third distance calculation unit 2402 determines K threshold values R k for the obtained Euclidean distance f (i, j).
  • the third distance calculation unit 2402 performs a non-linearization process on each determined threshold value R k and calculates g k (i, j) which is a geodetic distance with respect to the threshold value R k .
  • the calculation procedure of the geodetic distance g k (i, j) corresponding to each threshold value R k is the same as the operation in the distance calculation unit 104 described in the above embodiment, and thus the description thereof is omitted.
  • the subclass candidate generation unit 2403 generates a subclass candidate by detecting discontinuous points using the geodetic distance matrix g k (i, j) corresponding to each threshold value R k . Specifically, the subclass candidate generation unit 2403 sets a discontinuity point between the movement trajectory i and the movement trajectory j where g k (i, j) is infinite.
  • FIGS. 30A to 30E show the movement trajectories a to h
  • FIG. 30B shows a conceptual diagram of a multidimensional space consisting of the movement trajectories a to h.
  • the threshold value R k is a sufficiently large value, for example, if the threshold value R k is larger than the maximum value of the Euclidean distance f (i, j), the geodetic distance g k (i, j) The combination of i and j is not infinite. That is, since there are no discontinuous points, it can be determined that there is one subclass as shown in FIG. 30C.
  • the threshold R k is sufficiently small, specifically, when the threshold R k is smaller than the minimum value of f (i, j), g k (i, j ) Becomes infinite. That is, the number of subclasses is the same as the number of movement trajectories.
  • FIGS. 30D and 30E show examples in which the threshold value thus determined is applied.
  • the subclass candidate generation unit 2403 determines that the interval between the movement locus e and the movement locus f is a discontinuous point. As a result, the geodesic distance between each of the movement trajectories a to d and the movement trajectory e does not pass through discontinuous points, and thus does not take an infinite value. Geodesic distances from a to e for each movement locus are infinite because they pass through the discontinuous point g 1 (e, f).
  • FIG. 30E shows an example in which another threshold is defined as R 2 (where R 1 > R 2 ). It is determined that there are discontinuous points between the movement locus c and the movement locus d, between the movement locus e and the movement locus f, and between the movement locus f and the movement locus g, respectively, as in FIG. 30D.
  • a group in which the geodesic distance is infinite and a group in which the geodesic distance is not infinite are arranged and separated into four subclasses of ⁇ 1 , ⁇ 2 , ⁇ 3 , ⁇ 4 .
  • the subclass candidate generating unit 2403 to a plurality of thresholds R k, a set of moving track geodesic distance is not infinite, it can be determined that the same subclass by a continuous.
  • a plurality of subclass candidates can be generated based on the discontinuous points.
  • the subclass candidate selection unit 2404 selects, as the final result, the subclass candidate that has the number of classes closest to the preset number from the subclass candidate generation result in the subclass candidate generation unit 2403.
  • the subclass candidate (FIG. 30E) at the threshold R 2 is selected.
  • the number of classes M 2 is set, a subclass candidate (FIG. 30D) at the time of the threshold R 1 is selected, and the subclass classification is executed so that each movement locus is closest to the designated number of subclasses.
  • the number of classes M is 2 or 4 here, a larger number is actually desirable, and can be arbitrarily determined according to the situation and experience of the scene.
  • subclass classification considering the pixel position and the similarity of motion is possible by using the Euclidean distance and the geodetic distance.
  • the upper thigh and the lower thigh are separate subclasses.
  • threshold values R k may be prepared. If there are no subclass candidates equal to the set number of classes, the closest subclass number may be selected, or the closest number of subclasses from among the smaller class numbers The subclass candidate that has become may be selected. Similarly, a subclass candidate having the closest subclass number may be selected from among the class numbers larger than the set class number.
  • subclass candidate generation is performed based on discontinuous points calculated using geodetic distances, and subclass classification is performed by selecting a subclass candidate closest to the specified number of classes. Can do.
  • the subclass classification unit 105 has been described as obtaining a subclass based on the Euclidean distance f (i, j) calculated in (Equation 14).
  • the operation of the subclass classification unit 105 is not limited to this. That is, in the subclass classification unit 105, the Euclidean distance calculation unit 1501 calculates the Euclidean distance, but the distance calculation unit 104 also calculates the Euclidean distance. For this reason, in the fifth modification of the present embodiment, the distance calculation in the subclass classification unit is omitted, and the subclass classification process is performed using the distance calculated by the distance calculation unit 104.
  • FIG. 31A is a diagram illustrating a configuration of a moving object detection device according to Modification Example 5 of the embodiment.
  • the moving object detection device 100D includes an image input unit 101, a movement trajectory calculation unit 102, a stationary index calculation unit 103, a distance calculation unit 104, a subclass classification unit 2601, a weighted distance calculation unit 106, and An area dividing unit 107 is included.
  • a subclass classification unit 2602 may be used instead of the subclass classification unit 2601 or a subclass classification unit 2603 may be used.
  • processing units other than the subclass classification unit 2601, 2602, or 2603 are the same as those in the above embodiment, the description thereof is omitted.
  • 31B to 31D show the configurations of the subclass classification units 2601 to 2603, respectively. These correspond to the embodiment, the third modification of the embodiment, and the fourth modification of the embodiment, respectively. Each will be described in turn.
  • 31B includes a Euclidean distance load unit 2604 and a clustering unit 1502.
  • the operation of the clustering unit 1502 is the same as that of the clustering unit 1502 shown in FIG.
  • the Euclidean distance calculation unit 1201 included in the distance calculation unit 104 stores the calculated Euclidean distance f (i, j) in a memory (not shown) first, and the Euclidean distance included in the subclass classification unit 2601.
  • the load unit 2604 loads the Euclidean distance f (i, j) stored in the memory from the memory.
  • the clustering unit 1502 performs clustering of the movement trajectory using the Euclidean distance f (i, j) loaded from the memory by the Euclidean distance loading unit 2604. Thereby, the trouble of newly calculating the Euclidean distance can be saved, and higher speed processing can be realized.
  • 31C includes a distance load unit 2605 and a clustering unit 2203.
  • the operation of the clustering unit 2203 is the same as that of the clustering unit 2203 in Modification 3 of the embodiment shown in FIG.
  • the Euclidean distance calculation unit 1201 and the movement locus geodetic distance calculation unit 1202 included in the distance calculation unit 104 store the calculated Euclidean distance f (i, j) and geodetic distance g (i, j) in advance.
  • the distance load unit 2605 included in the subclass classification unit 2602 loads the Euclidean distance f (i, j) and geodetic distance g (i, j) stored in the memory from the memory. To do.
  • the clustering unit 2203 clusters the movement trajectory using the Euclidean distance f (i, j) and the geodetic distance g (i, j) loaded from the memory by the distance loading unit 2605. Thereby, the trouble of newly calculating the Euclidean distance and the geodetic distance can be saved, and higher-speed processing can be realized.
  • 31D includes a distance load unit 2605, a subclass candidate generation unit 2403, and a subclass candidate selection unit 2404.
  • the operations of the subclass candidate generation unit 2403 and the subclass candidate selection unit 2404 are the same as those of the subclass candidate generation unit 2403 and the subclass candidate selection unit 2404 in the modification 4 of the embodiment shown in FIG. To do.
  • the Euclidean distance calculation unit 1201 and the movement locus geodetic distance calculation unit 1202 included in the distance calculation unit 104 store the calculated Euclidean distance f (i, j) and geodetic distance g (i, j) in advance.
  • the distance load unit 2605 included in the subclass classification unit 2603 loads the Euclidean distance f (i, j) and geodetic distance g (i, j) stored in the memory from the memory. To do.
  • the subclass candidate generation unit 2403 performs movement trajectory clustering together with the subclass candidate selection unit 2404 using the Euclidean distance f (i, j) and the geodetic distance g (i, j) loaded from the memory by the distance load unit 2605. . Thereby, the trouble of newly calculating the Euclidean distance and the geodetic distance can be saved, and higher-speed processing can be realized.
  • the geometric constraint estimation unit 701 included in the stationary index calculation unit 103 has been described as obtaining geometric constraints based on the movement trajectory obtained by the movement trajectory calculation unit 102.
  • the stationary index calculation unit 103 may estimate the geometric constraint using a movement trajectory obtained separately from a moving image received as an input by the image input unit 101, in addition to the movement trajectory calculation unit 102.
  • FIG. 32A is a diagram illustrating a configuration of a mobile object detection device according to Modification 6 of the embodiment.
  • the moving body detection device 100E includes an image input unit 101, a movement locus calculation unit 102, a geometric constraint estimation movement locus calculation unit 2701, a stationary index calculation unit 2702, a distance calculation unit 104, and a subclass classification unit. 105, a weighted distance calculation unit 106, and an area dividing unit 107.
  • FIG. 32B shows the configuration of the stationary index calculation unit 2702. This will be described below, including the flow from the geometric constraint estimation moving trajectory calculation unit 2701.
  • the stability of the estimation and the estimation result depend on the accuracy of the corresponding points extracted from the movement locus. That is, more accurate geometric constraints can be obtained by using data with as little error as possible than data with much error.
  • the inventors' experiments have also confirmed that the estimation results and stability are lowered when the corresponding point accuracy is poor.
  • a sparse corresponding point acquisition method such as KLT or LK (Lucas-Kanade) has a demerit that it is sparse, but instead, it is possible to acquire corresponding points with high accuracy.
  • the geometric constraint is estimated more accurately by performing only the estimation of the geometric constraint using the separately acquired sparse and highly accurate corresponding points.
  • a sparse corresponding point acquisition method there is a KLT (Kanade-Lucas-Tomasi) tracker.
  • the KLT tracker calculates the similarity between images based on the following (formula 52).
  • p is a pixel position shown in the format of (u, v)
  • z is a movement amount between pixels of corresponding points shown in the format of (u, v)
  • e is an error component to be minimized.
  • the amount of movement z is obtained by solving z that minimizes (Formula 52). Since the method for acquiring corresponding points is shown in more detail in Non-Patent Document 8, further detailed description is omitted. “An Implementation of the Kanade-Lucas-Tomasi Feature Tracker”, http: // www. ces. creson. edu / ⁇ stb / klt /, 2006
  • the stationary index calculation unit 2702 includes a geometric constraint estimation unit 701 and an error calculation unit 702.
  • the operations of the geometric constraint estimation unit 701 and the error calculation unit 702 are the same as those of the geometric constraint estimation unit 701 and the error calculation unit 702 shown in FIG.
  • the geometric constraint estimation unit 701 of the stationary index calculation unit 2702 receives the movement trajectory calculated by the geometric constraint estimation movement trajectory calculation unit 2701 as an input, and estimates the geometric constraint. Subsequently, the error calculation unit 702 applies the geometric constraint estimated by the geometric constraint estimation unit 701 to the movement trajectory calculated by the movement trajectory calculation unit 102, and obtains a stationary index E for each movement trajectory. . The subsequent weighted distance calculation unit 106 and subsequent processes are executed using the stationary index obtained by the above procedure.
  • the weighted distance calculation unit 106 applies the geodetic distance g (i, j) calculated by the distance calculation unit 104 and the stationary index E calculated by the stationary index calculation unit 103. Based on this, it has been explained that the geodesic distance between subclasses is obtained by weighting.
  • the operations of the distance calculation unit 104 and the weighted distance calculation unit 106 are not limited to this. That is, the distance calculation unit 104 obtains the Euclidean distance between the movement trajectories, and the weighted distance calculation unit 106 obtains the inter-subclass Euclidean distance, and determines whether the subclass is stationary or moving based on the stationary index of the intra-subclass movement trajectory. Then, based on the determination result, the Euclidean distance between subclasses may be weighted, and finally, the geodesic distance between subclasses may be obtained from the Euclidean distance between subclasses.
  • FIG. 33A is a diagram illustrating a configuration of a moving object detection device according to Modification Example 7 of the embodiment.
  • the moving object detection apparatus 100F includes an image input unit 101, a movement locus calculation unit 102, a stationary index calculation unit 103, a distance calculation unit 2801, a subclass classification unit 105, a weighted distance calculation unit 2802, and An area dividing unit 107 is included.
  • the distance calculation unit 2801 calculates the Euclidean distance between the movement trajectories.
  • FIG. 33B shows the configuration of the distance calculation unit 2801.
  • the distance calculation unit includes a Euclidean distance calculation unit 1501.
  • the processing of the Euclidean distance calculation unit 1501 is the same as that of the Euclidean distance calculation unit 1501 described in FIG.
  • the weighted distance calculation unit 2802 moves the arbitrary stationary object relative to the Euclidean distance between the movement trajectories of the arbitrary stationary object with respect to the Euclidean distance calculated by the distance calculation unit 2801 based on the stationary index as compared to before the weighting.
  • a weighted Euclidean distance is calculated by assigning a weight that increases the ratio of the Euclidean distance between the locus and the moving locus of an arbitrary moving object, and a weighted geodetic distance is calculated from the calculated weighted Euclidean distance. .
  • FIG. 33C shows the configuration of the weighted distance calculation unit 2802.
  • the weighted distance calculation unit 2802 of this modification includes an inter-subclass Euclidean distance calculation unit 2803, a stationary index addition unit 2804, and an inter-subclass weighted geodetic distance calculation unit 2805.
  • FIG. 34 shows two adjacent subclasses ⁇ i and ⁇ j among the plurality of classes generated by the subclass classification unit 105.
  • “subclass” is expressed only as “class”.
  • x i included in (Expression 21) and (Expression 22) is a movement trajectory expressed in the form of a multidimensional vector, as in (Expression 2).
  • the distance obtained between the movement locus included in I and the movement locus included in J is defined as an interclass distance.
  • distance is a concept including both Euclidean distance and geodetic distance.
  • FIG. 34 shows a conceptual diagram of a representative value of the Euclidean distance between classes (representative Euclidean distance).
  • f 31 f (i 3 , j 1)
  • the moving object region detection is performed on a pixel-by-pixel basis by focusing on a collection of single movement trajectories in a class as shown in I and J and operating based on a macro distance in class units. Therefore, it is possible to cope with noise / false detection of a stationary index that occurs due to this. Therefore, it is desirable to calculate a representative value of the distance between classes. That is, as shown in FIG. 34, the representative value of the distance between classes is desirably a representative value that can approximate the movement or positional relationship between classes for a plurality of classes.
  • the average value of the Euclidean distance between the movement trajectories of each class can be used as the representative value. This is obtained by obtaining a plurality of Euclidean distances corresponding to all combinations between movement trajectories included in each class and averaging them.
  • the representative Euclidean distance F ( ⁇ i , ⁇ j ) can be calculated by the following (Formula 54).
  • the representative Euclidean distance is not limited to the average value of the Euclidean distance.
  • the median value of the Euclidean distance between the movement trajectories of each class can be used as a representative value. This is obtained by obtaining a plurality of Euclidean distances corresponding to all combinations between movement trajectories included in each class and taking the median among them.
  • the representative Euclidean distance F ( ⁇ i , ⁇ j ) can be calculated by the following (Expression 55).
  • the mode value of the Euclidean distance between the movement trajectories of each class can be used as the representative value as the representative Euclidean distance.
  • These representative values are values that appear most frequently among a plurality of classes when a plurality of Euclidean distances corresponding to all combinations of movement trajectories included in each class are obtained.
  • the stationary index adding unit 2804 weights the representative Euclidean distance F ( ⁇ i , ⁇ j ) between the subclasses based on the stationary index of the movement trajectory belonging to each class.
  • the weighting procedure and criteria are the same as those described with reference to FIG. After weighting, the representative Euclidean distances between subclasses are close to each other, and the distance between the mobile and the background is long.
  • the inter-subclass weighted geodesic distance calculation unit 2805 calculates the interclass subclass geodesic distance for the weighted representative Euclidean distance F ( ⁇ i , ⁇ j ).
  • the procedure for obtaining the geodetic distance from the representative Euclidean distance is described in detail in the description of the distance calculation unit 104. That is, the same processing as that performed by the distance calculation unit 104 may be performed in the same way as the geodesic distance calculation unit 1202.
  • the geodesic distance can be obtained by the same processing only by the difference between the processing unit of the movement trajectory or the subclass.
  • the weighted distance calculation unit 2802 does not necessarily include the inter-subclass weighted geodesic distance calculation unit 2805.
  • the geodetic distance is particularly suitable for expressing a mobile object such as a person whose deformation is severe, but depending on the degree of deformation of the mobile object in a moving image, detection may be possible only with the Euclidean distance without using the geodetic distance.
  • the configuration of the weighted distance calculation unit 2806 in this case is shown in FIG. 33D.
  • the weighted distance calculation unit 2806 moves the arbitrary stationary object with respect to the Euclidean distance between the movement trajectories of the arbitrary stationary object with respect to the Euclidean distance calculated by the distance calculation unit 2801 based on the stationary index as compared with before the weighting.
  • a weighted Euclidean distance is calculated by assigning a weight such that the ratio of the Euclidean distance between the trajectory and the moving trajectory of an arbitrary moving body is increased.
  • the weighted distance calculation unit 2806 of this modification includes an inter-subclass Euclidean distance calculation unit 2803 and a stationary index addition unit 2804.
  • a subclass is generated by the subclass classification unit 105 by clustering a collection of movement trajectories calculated by the movement trajectory calculation unit 102 according to a certain index such as luminance or similarity of movement trajectories.
  • the subclass does not necessarily need to include a plurality of movement trajectories. That is, you may perform the subclass classification
  • the weighted distance calculation unit 106 applies the geodetic distance g (i, j) calculated by the distance calculation unit 104 and the stationary index E calculated by the stationary index calculation unit 103. Based on the above description, the inter-subclass geodesic distance is weighted.
  • the operations of the stationary index calculation unit 103 and the weighted distance calculation unit 106 are not limited to this. That is, the stationary index calculation unit 103 may include a camera movement acquisition unit that acquires movement information of the camera 110 from the image, and output the camera movement detected from the image to the weighted distance calculation unit 106.
  • the weighted distance calculation unit 106 determines whether the subclass is stationary or moving based on the interclass subclass geodesic distance and the stationary index of the movement trajectory within the subclass, and based on the determination result and the camera motion information, It is good also as what calculates
  • FIG. 35A is a diagram illustrating a configuration of a moving object detection device according to Modification Example 8 of the embodiment.
  • the moving object detection device 100G includes an image input unit 101, a movement trajectory calculation unit 102, a stationary index calculation unit 3001, a distance calculation unit 104, a subclass classification unit 105, a weighted distance calculation unit 3002, and An area dividing unit 107 is included.
  • FIG. 35B shows the configuration of the stationary index calculation unit 3001.
  • the stationary index calculation unit 3001 of this modification includes a camera motion acquisition unit 3003, a geometric constraint estimation unit 3004, and an error calculation unit 702.
  • the operation of the error calculation unit 702 is the same as the operation of the error calculation unit 702 described with reference to FIG.
  • the camera motion acquisition unit 3003 estimates camera motion information from image motion information. That is, the camera motion acquisition unit 3003 extracts corresponding points between the frames from the movement trajectory calculated by the movement trajectory calculation unit 102, and estimates camera motion information between the frames.
  • a basic matrix F is obtained by an 8-point method and motion estimation is performed therefrom.
  • the 8-point method in which 8 samples are selected from corresponding points and a matrix is estimated by RANSAC is known as a method often used for basic matrix estimation.
  • this matrix is obtained from the estimated basic matrix and the camera calibration matrix, and the singular value decomposition of the E matrix is performed to determine the camera motion. Information can be estimated.
  • Non-Patent Document 9 Since the above motion estimation method is described in detail in Non-Patent Document 4, further detailed description thereof is omitted. Of course, in addition to the above method, for example, as described in Non-Patent Document 9, motion estimation may be performed from corresponding points and a plane. In addition, any method for estimating camera motion information between frames from an image can be used for motion estimation in the present embodiment.
  • Image Understanding-Mathematical Principles of 3D Recognition Kenichi Kanaya, Morikita Publishing, 1990
  • the geometric constraint estimation unit 3004 can estimate the geometric constraint using the camera motion information estimated by the camera motion acquisition unit 3003. For example, in the epipolar constraint equations shown in (Equation 4) and (Equation 5), the basic matrix F estimated by the camera motion acquisition unit 3003 can be used as it is, and in the homography constraint or the structure matching constraint equation The homography matrix and epipole included in the projection depth used (Equation 8) can also be obtained from the camera motion information estimated by the camera motion acquisition unit 3003. Since detailed conversion is also detailed in Non-Patent Document 4, description thereof is omitted. By the above procedure, there is an effect that the process of the geometric constraint estimation unit 3004 is simplified.
  • the error calculation unit 702 calculates the stationary index E of each movement locus.
  • the error calculation unit 702 outputs the obtained stillness index E to the weighted distance calculation unit 3002, and the camera motion acquisition unit 3003 outputs the obtained camera motion information to the weighted distance calculation unit 3002.
  • the weighted distance calculation unit 3002 calculates the inter-subclass geodesic distance in the same manner as the weighted distance calculation unit 106 in FIG. Up to this point, the weighted distance calculation unit 3002 and the weighted distance calculation unit 106 perform the same operation.
  • FIGS. 36A and 36B show conceptual diagrams of the distribution of subclasses in a high-dimensional space when the camera motion is large and small. Although it is actually a high-dimensional space, it is displayed in two dimensions for ease of viewing.
  • FIG. 36A shows a distribution when the camera motion is large
  • FIG. 36B shows a distribution when the camera motion is small.
  • the background motion component relatively increases and the background distribution spreads, so that the distance between the moving body and the background inevitably decreases as shown in FIG. 36A.
  • the background is distributed at a position far from the moving body as shown in FIG. 36B.
  • the above-described weighting rule is changed according to the magnitude of the camera motion.
  • W B W B ⁇ W S ⁇ 1 (W B : Weight when camera movement is large, W S : Weight when camera movement is small) Subjected to subclass between geodesic distance weight W B or W S to be.
  • W B Weight when camera movement is small
  • W B Weight when camera movement is small
  • W B or W S Subjected to subclass between geodesic distance weight W B or W S to be. That is, when the camera motion is large, weights are set such that the subclasses of the stationary object are closer to each other and the subclass of the moving object is separated from the subclass of the stationary object.
  • the criterion for whether the camera motion is large or small depends on the moving speed of the moving object that is desired to be detected from the moving image. For example, if a person is to be detected as a moving object, the average movement speed of the person is 3 km / h.
  • the camera movement is 3 km / h or more, it is determined that the camera movement is large, and the camera movement is more
  • the larger the weight the smaller the weight W applied to the geodesic distance between moving trajectory pairs whose stationary determination value E MS representing the determination result of stationary or moving subclass is 0 (stationary) (W ⁇ 1), and the stationary determination value E MS
  • the weight W applied to the geodesic distance between the moving trajectory pairs of 0 and 1 (stationary and moving) may be increased (W> 1).
  • FIG. 36D and 36E show examples of results of changing the subclass geodesic distance by the weighting set as described above.
  • FIG. 36D shows the distribution of subclasses after weighting the inter-subclass geodesic distance according to the weight when the camera motion is large
  • FIG. 36E shows the weight of the inter-subclass geodesic distance according to the weight when the camera motion is small. The distribution of subclasses after doing is shown. It can be seen that the geodetic distance between the subclasses is obtained by appropriately changing the weighting in this way, regardless of the magnitude of the camera movement.
  • the weighting rule can be determined by multiplying or dividing the weight W ref by the ratio of the absolute value of the camera motion to the weight W ref set in advance under a specific camera motion. It may be changed.
  • the camera motion acquisition unit determines the camera motion information itself, but instead of the camera motion, the average value of the size of the movement locus (the amount of movement obtained from the movement locus) is obtained. It may be used instead of movement. As the camera movement increases, the size of the movement trajectory on the background increases on average, so that a value approximately proportional to the magnitude of the camera movement can be obtained. For example, by acquiring the relationship between the actual camera motion and the approximate average value of the moving trajectory in advance, the average value of the moving trajectory size can be used as an evaluation value corresponding to the camera motion. Can be used.
  • the camera motion acquisition unit 3003 is included in the stationary index calculation unit 3001, and has been described as estimating camera motion information from an image.
  • the operation of the camera motion acquisition unit 3003 is not limited to this.
  • the camera motion acquisition unit 3003 may acquire the information of the camera motion electronically or physically by a sensor installed in the camera, or may acquire the information of the camera motion from the operation control signal of the camera. Good.
  • FIG. 37 is a diagram illustrating a configuration of a moving object detection device according to Modification Example 9 of the embodiment.
  • the moving body detection device 100H includes an image input unit 101, a movement locus calculation unit 102, a stationary index calculation unit 103, a distance calculation unit 104, a subclass classification unit 105, a weighted distance calculation unit 3102, and An area dividing unit 107 is included.
  • processing units other than the camera motion acquisition unit 3101 and the weighted distance calculation unit 3102 are the same as those in the modified example 8, description thereof will be omitted.
  • the camera motion acquisition unit 3101 acquires camera motion information electronically or physically from a sensor installed in the camera. Subsequently, the weighted distance calculation unit 3102 performs the camera motion in addition to the stationary index E from the stationary index calculation unit 103, the distance between the movement trajectories from the distance calculation unit 104, and the subclass classification information (label information) from the subclass classification unit 105.
  • the camera movement information acquired by the camera movement acquisition unit 3101 is received from the acquisition unit 3101. Similar to the modified example 8, the weight W for the subclass geodesic distance is changed based on the camera motion information. The details of the processing are the same as in Modification 8 and will not be described. According to this configuration, the weighted distance calculation unit 3102 can acquire information on actual camera motion, and thus can detect a moving object more correctly.
  • the acquisition of camera movement information by the camera movement acquisition unit 3101 does not necessarily have to be a sensor installed in the camera, but may be a sensor separately installed in a moving vehicle or the like in which the camera is installed.
  • a sensor separately installed in a moving vehicle or the like in which the camera is installed.
  • an in-vehicle sensor can be used. If the positional relationship between the camera and the separately installed sensor is known, the information on the moving body motion acquired by the sensor can be easily converted into the information on the camera motion and used by performing coordinate conversion.
  • FIG. 38 shows a configuration diagram of the moving object detection device when the sensor is installed separately from the camera.
  • the moving body detection device 100I includes a camera motion acquisition unit 3201 instead of the camera motion acquisition unit 3101 in the mobile body detection device 100H illustrated in FIG.
  • a camera motion acquisition unit 3201 acquires sensor information from a moving body sensor 3202 provided on a moving vehicle such as a car, performs coordinate conversion to a camera coordinate system, and uses the motion information of the moving body as camera motion information. Just output.
  • the moving body sensor 3202 used when the moving vehicle is a vehicle may be a sensor that detects a travel distance and a steering angle.
  • the mounting destination of the camera is a moving vehicle.
  • the moving destination is not limited to a vehicle as long as the camera can be moved and mounted and the camera motion can be detected.
  • Modification 10 a moving object detection device according to Modification 10 of the embodiment of the present invention will be described with reference to FIGS. 39A and 39B.
  • the weighted distance calculation unit 106 includes a representative geodetic distance calculation unit 1701 and a stationary index adding unit 1702, and weights the representative geodetic distance based on the stationary index.
  • the area dividing unit 107 has been described as performing area division on the weighted representative geodetic distance.
  • the operations of the weighted distance calculation unit 106 and the region division unit 107 are not limited to this.
  • the weighted distance calculation unit 106 may obtain a representative geodetic distance and a representative stationary index of each subclass and output them to the region dividing unit, and the region dividing unit 107 may weight the clustering threshold based on the representative stationary index. .
  • FIG. 39A is a diagram illustrating a configuration of a mobile object detection device according to Modification Example 10 of the embodiment.
  • the moving body detection device 100J includes an image input unit 101, a movement locus calculation unit 102, a stationary index calculation unit 103, a distance calculation unit 104, a subclass classification unit 105, a weighted distance calculation unit 3401, and An area dividing unit 3402 is included.
  • the weighted distance calculation unit 3401 calculates the geodetic distance between the movement trajectories based on the distance between the movement trajectories.
  • the area dividing unit 3402 assigns a weight based on the stationary index to the geodesic distance threshold used to determine whether to classify the moving area of the stationary object and the moving area of the moving object into different classes.
  • the area dividing unit 3402 uses a weight for the geodesic distance threshold when the stationary indices of the two movement trajectories are values representing “stationary object” and “stationary object”, respectively. It is larger than the weight for the threshold of the geodetic distance when the value represents the “body” and “stationary object”.
  • the weighted distance calculation unit 3401 includes a representative geodetic distance calculation unit 1701 and a representative stationary index calculation unit 3403. Since the operation of the representative geodetic distance calculation unit 1701 is the same as that in the above embodiment, the description thereof is omitted.
  • the representative stationary index calculation unit 3403 obtains a representative value of the stationary index of the movement trajectory belonging to each class.
  • the movement trajectories in a certain subclass there are more movement trajectories determined as “still”, or the number of movement trajectories determined as “still” and the number of movement trajectories determined as “movement” are the same.
  • the subclass between stillness determination value E SUB-MS 1
  • one inter-subclass stillness determination value E SUB-MS that is, a value of evaluation of stillness or movement in units of subclasses is given between the subclasses.
  • the weighted distance calculation unit 3401 outputs the inter-subclass stillness determination value E SUB-MS and the inter-subclass geodesic distance hp , q to the region dividing unit 3402.
  • the area dividing unit 3402 uses the inter-subclass geodesic distance hp , q calculated by the weighted distance calculating unit 3401 as the evaluation value of the area division of the subclass ⁇ p , and uses the inter-subclass as the weighting of the threshold for the area division.
  • E SUB-MS it is determined whether or not to divide the region division candidate of the subclass ⁇ p as a separate cluster.
  • the area dividing unit 3402 has a sufficient distance between the two subclasses ⁇ p and ⁇ q. Select as a separate class and confirm as an individual class.
  • the region dividing unit 3402 determines the corresponding two subclasses ⁇ p and ⁇ q as the same class. That is, in this case, it is decided not to divide. Then, after determining whether or not to divide all subclasses of region division candidates, the region division unit 3402 assigns different labels ⁇ m to the movement trajectories belonging to different classes, and the region division information of the movement trajectory Output as.
  • the following weighting rule is set for the predetermined threshold value Ht.
  • the inter-subclass stillness determination value E SUB-MS of two subclasses is 1, both are subclasses of the moving object.
  • the weighting which makes it easy to integrate between subclasses when the two subclasses are both stationary objects, and the weighting which makes it difficult to integrate between subclasses when one of the two subclasses is the background and the other is a stationary object, as described above. May perform either one or both at the same time.
  • the moving object can be more correctly separated from the background by changing the weight according to the reliability of the inter-subclass static determination value E SUB-MS of the subclass.
  • the same effect as the weighting on the geodetic distance in the above embodiment can be obtained by weighting the threshold value for the region division between the subclasses.
  • the area dividing unit 3402 uses the weighted threshold value, and similarly to the process of the area dividing unit 107 of the above embodiment, the inter-subclass geodesic distance hp , q and the weighting threshold value Htw (p, q) If h p, q ⁇ Htw (p, q), it is determined that the corresponding subclass ⁇ p , ⁇ q is divided, and conversely, h p, q ⁇ Htw (p, q) If there is, it is determined that the corresponding subclasses ⁇ p and ⁇ q are not divided, that is, integrated.
  • the same effect as that of the mobile object detection apparatus 100 of the above embodiment can be obtained only by changing the threshold value without directly changing the value of the geodetic distance.
  • the geodetic distance after weighting is not retained, that is, when the number of subclasses is large, it is not necessary to retain both the geodetic distance before weighting and the geodetic distance after weighting in the memory. There is.
  • subclassification is performed based on the distance between pixels or the similarity of the movement trajectory, and the representative distance between subclasses
  • the region segmentation of the picture including the moving object can be performed from the stationary index of the moving track regardless of the posture of the moving object.
  • FIG. 40 is a diagram illustrating a configuration of a moving object detection device including components essential to the present invention.
  • the moving object detection apparatus 100K includes a stationary index calculation unit 103, a distance calculation unit 104, a weighted distance calculation unit 106, and an area division unit 107. That is, when the movement trajectory of a picture in each of a plurality of blocks constituting a moving image is calculated in advance, the moving object detection apparatus 100 acquires such a movement trajectory from the outside, and acquires the acquired movement trajectory.
  • the processes of steps S303, S304, S306, and S307 may be executed.
  • the weighted distance calculation unit 106 may calculate the geodetic distance between all the movement trajectories without classifying the movement trajectory into subclasses.
  • the weighted distance calculation unit 106 and the region division unit 107 are collectively referred to as a region detection unit.
  • the present invention is realized as a moving body detection apparatus.
  • image processing for extracting or dividing a region of an object having articulated motion in a moving image Needless to say, it can be realized as a device.
  • the Euclidean distance is used as the linear distance.
  • the Euclidean distance is not limited. A form obtained by using an arbitrary distance index defined by the linear distance is also included in the present invention.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each of the above-described devices may be configured from an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention provides a non-volatile recording medium that can read the computer program or the digital signal, such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray). -Ray Disc (registered trademark)), recorded in a semiconductor memory, or the like.
  • the digital signal may be recorded on these non-volatile recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • the present invention provides a moving object detection apparatus that detects a moving object in a picture by extracting a region including a moving object such as a person who moves while changing its shape based on movement in a plurality of pictures. Further, it can be used as a motion analysis device, a monitoring device, a moving body detection device incorporated in an AV device such as a video camera or a TV.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

　移動体検出装置（１００Ｋ）は、複数の移動軌跡の各々について、当該移動軌跡の静止物らしさを表す静止指標を算出する静止指標算出部（１０３）と、移動軌跡間の類似度を表す距離を算出する距離算出部（１０４）と、移動軌跡の静止指標および移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が、変換前と比べて大きくなるような変換処理を行ない、移動軌跡間の測地距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出部とを備える。

Description

移動体検出装置および移動体検出方法
　本発明は、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の移動体を検出する技術に関する。特に人物のように輪郭の形状が変化しながら移動する対象に対し、各移動軌跡がどれくらい、移動物の領域でなく静止物の領域上から算出された移動軌跡らしいか（以下、「静止物らしさ」という。）をあらわす指標を移動軌跡間の距離の重み付けに用い、移動体の領域を検出する移動体検出装置に関する。
　移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。特に移動体が人である場合に、人の領域を抽出する技術は、デジタルビデオカメラやデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、または、ロボットにおける人との衝突回避制御もしくは警報などに、共通して利用される基礎技術である。
　画像中の移動体の領域を抽出する技術のうち、一般的な手法として、（１）あらかじめ用意した移動体のモデルと画像中の移動体の候補領域との類似度を評価して、移動体の領域を特定する方法と、（２）画像を複数の小領域に分割して、領域ごとに特徴量を算出し、特徴量を基準として類似する領域を統合することで移動体の領域を特定する方法との２つがある。
　前者の代表的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域の候補に対し、あらかじめ用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。例えば、特許文献１では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とモデルのパラメータを推定する手法が開示されている。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、移動体の領域抽出を可能にしている。
　後者の代表的な手法としては、画像を複数の小領域に一旦分割し、各小領域の画素の輝度値に基づいた特徴量を抽出したのち、複数の小領域間の特徴量の類似度を評価して、類似度が高い領域を同一の移動体領域として統合する手法がある。例えば、特許文献２では、画像を矩形の小領域に一旦分割し、小領域の輝度や動き情報に基づいて特徴量を算出し、特徴量の類似度の順番に基づいて小領域を統合することで、移動体の領域抽出を可能にしている。
特開平８－２１４２８９号公報 特開２００６－０３１１１４号公報
　しかしながら、従来の領域抽出の技術は、例えば、複数の人物が歩行するシーンなどで、姿勢や大きさなどの変化により、移動体の形状が著しい変化をともなうような場合などに、正しく移動体を抽出することができないという問題がある。
　特許文献１に示す、あらかじめ用意したモデルを用いる領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体の姿勢や大きさなどの変化により移動体の形状が大きく変化するため、移動体領域候補を適切に抽出することは困難である。さらに、移動体領域候補を適切に抽出できたとしても以下のような課題がある。
　例えば、人物等を移動体とした場合、移動体のさまざまな姿勢や位置、大きさに起因する画像の変化の幅が非常に大きくなる。このため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。さらに、カメラ動きを伴った画像では、背景の見えの変化が大きなものとなる。このことは、モデルの当てはめ誤りを誘発する。ゆえに、例えば、１つの移動体を複数の移動体として誤って領域抽出したり、抽出対象となる移動体が存在しない領域を移動体として誤って領域抽出したりするなど、正しく移動体を検出することができないという課題がある。
　特許文献２に示す領域抽出手法では、特許文献１のようにモデルを作成する代わりに、小領域間の特徴量を用い、特徴量として用いる輝度値や動き情報が類似していない小領域を、異なる領域と判定することにより領域を抽出する。しかし、人物のような移動体では、場所によって輝度値が異なり、また、同一移動体上であっても例えば関節領域両端の小領域間などでは動きが異なる。そのために、同一の移動体上における複数の小領域であるのに、異なる移動体の領域として分離されて抽出されてしまい、正しく移動体を検出することができないといった課題があった。
　さらに、移動するカメラで撮影された画像については、カメラ自身の動きによって、隣接する小領域間の動きの類似度が相対的に高くなるため、結果として移動体領域の抽出に失敗してしまう、という課題がある。
　そこで本発明では、以上の課題を解決するためになされたものであり、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出できる移動体検出装置を提供することを目的とする。
　本発明は上述の課題を解決するためになされたものであり、本発明のある局面に係る移動体検出装置は、各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出する移動体検出装置であって、動画像を構成する２枚以上のピクチャ間における前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物らしさを表す静止指標を算出する静止指標算出部と、前記移動軌跡間の類似度を表す距離を算出する距離算出部と、前記移動軌跡の静止指標および前記移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出部とを備える。
　この構成によると、移動軌跡の静止指標に基づいて上記変換処理を行なっている。このため、静止物の移動軌跡と移動体の移動軌跡とが分離しやすくなる。よって、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出することができる。
　なお、本発明は、このような特徴的な処理部を備える移動体検出装置として実現することができるだけでなく、移動体検出装置に含まれる特徴的な処理部をステップとする移動体検出方法として実現することができる。また、移動体検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　本発明によると、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出することができる。
図１は、本発明の実施の形態に係る移動体検出装置の構成を示す図である。 図２は、コンピュータにより構成された移動体検出装置のハードウェア構成を示す図である。 図３は、移動体検出装置の動作の手順を示すフローチャートである。 図４は、撮影状況の例を示す図である。 図５Ａは、入力動画像を構成する１フレーム目のピクチャの例を示す図である。 図５Ｂは、入力動画像を構成する１フレーム目とＴフレーム目の間のフレームのピクチャの例を示す図である。 図５Ｃは、入力動画像を構成するＴフレーム目のピクチャの例を示す図である。 図６Ａは、動きベクトルの例を示す図である。 図６Ｂは、移動軌跡の例を示す図である。 図７は、移動体検出装置における静止指標算出部の構成を示す図である。 図８は、カメラ幾何拘束の分類を示す図である。 図９Ａは、エピポーラ拘束を説明する図である。 図９Ｂは、ホモグラフィ拘束を説明する図である。 図１０は、構造一致性拘束を説明する図である。 図１１Ａは、ピクチャ中の移動軌跡および対応する静止指標の大きさの例を示す図である。 図１１Ｂは、図１１Ａでの静止指標の大きさと矢印の太さとの関係を示す図である。 図１２は、移動体検出装置における距離算出部の構成を示す図である。 図１３Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。 図１３Ｂは、移動軌跡間のデータ分布とユークリッド距離について示す図である。 図１３Ｃは、移動軌跡間のデータ分布と測地距離について示す図である。 図１４は、移動軌跡間のユークリッド距離と測地距離について示す図である。 図１５は、移動体検出装置におけるサブクラス分類部の構成を示す図である。 図１６Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。 図１６Ｂは、移動軌跡からなる高次元空間の概念図である。 図１６Ｃは、領域数Ｍ＝２としたときの移動軌跡のサブクラスへの分類処理について説明する図である。 図１６Ｄは、領域数Ｍ＝３としたときの移動軌跡のサブクラスへの分類処理について説明する図である。 図１７は、重み付き距離算出部の構成を示す図である。 図１８は、サブクラス間測地距離について示す概念図である。 図１９Ａは、移動体および背景上にそれぞれ属する移動軌跡の例をシーン画像に重畳して示した概念図である。 図１９Ｂは、図１９Ａに示したシーン中に存在する移動軌跡について、サブクラス分類部でクラス分類を行った結果を高次元空間上で示した図である。 図１９Ｃは、静止指標付加部が各移動軌跡に対して静止または移動の判定を行った結果を示す図である。 図１９Ｄは、サブクラス単位で静止または移動の評価を行った結果を示す図である。 図１９Ｅは、重み付けルールを示す図である。 図１９Ｆは、重み付けルールにより算出した重み付き測地距離を、高次元空間上で示した図である。 図２０Ａは、高次元空間上の移動軌跡およびサブクラスを示す図である。 図２０Ｂは、サブクラスの分類結果を示す図である。 図２０Ｃは、サブクラスの統合結果の表示例を示す図である。 図２０Ｄは、サブクラスの統合結果の表示例を示す図である。 図２１は、実施の形態の変形例１に係る移動体検出装置の構成を示す図である。 図２２は、移動体検出装置における静止指標算出部の構成を示す図である。 図２３は、重み付き距離算出部の詳細な構成を示す図である。 図２４は、静止指標算出部の静止指標画像作成部が作成する画像の一例を示す図である。 図２５Ａは、領域分割結果の表示例を示す図である。 図２５Ｂは、領域分割結果の表示例を示す図である。 図２６Ａは、実施の形態の変形例２に係る移動体検出装置の構成を示す図である。 図２６Ｂは、サブクラス分類部の構成を示す図である。 図２７Ａは、実施の形態の変形例３に係る移動体検出装置の構成を示す図である。 図２７Ｂは、サブクラス分類部の構成を示す図である。 図２８Ａは、多次元空間における次元圧縮前の移動軌跡のデータ分布を示す図である。 図２８Ｂは、図２８Ａに示した移動軌跡の多次元空間を次元圧縮した空間を示す図である。 図２８Ｃは、クラスタリング処理を次元圧縮されたデータに適用した結果を示す図である。 図２８Ｄは、移動する人物のデータに対し、非線形空間上でクラスタリング処理を行った例を示す図である。 図２９Ａは、実施の形態の変形例４に係る移動体検出装置の構成を示す図である。 図２９Ｂは、サブクラス分類部の構成を示す図である。 図３０Ａは、移動軌跡の例を示す図である。 図３０Ｂは、移動軌跡からなる多次元空間を示す図である。 図３０Ｃは、ユークリッド距離の最大値よりも閾値が大きい場合のクラスタリング結果を示す図である。 図３０Ｄは、ある閾値Ｒ１に対するクラスタリング結果を示す図である。 図３０Ｅは、閾値Ｒ１よりも小さい閾値Ｒ２に対するクラスタリング結果を示す図である。 図３１Ａは、実施の形態の変形例５に係る移動体検出装置の構成を示す図である。 図３１Ｂは、サブクラス分類部の構成を示す図である。 図３１Ｃは、サブクラス分類部の他の構成を示す図である。 図３１Ｄは、サブクラス分類部のさらに他の構成を示す図である。 図３２Ａは、実施の形態の変形例６に係る移動体検出装置の構成を示す図である。 図３２Ｂは、静止指標算出部の構成を示す図である。 図３３Ａは、実施の形態の変形例７に係る移動体検出装置の構成を示す図である。 図３３Ｂは、距離算出部の構成を示す図である。 図３３Ｃは、重み付き距離算出部の構成を示す図である。 図３３Ｄは、重み付き距離算出部の構成を示す図である。 図３４は、サブクラス間ユークリッド距離について示す概念図である。 図３５Ａは、実施の形態の変形例８に係る移動体検出装置の構成を示す図である。 図３５Ｂは、静止指標算出部と重み付き距離算出部の構成を示す図である。 図３６Ａは、カメラ動きが大きい場合の、高次元空間上のサブクラスの分布を示す概念図である。 図３６Ｂは、カメラ動きが小さい場合の、高次元空間上のサブクラスの分布を示す概念図である。 図３６Ｃは、サブクラス観測値距離への重み付けルールを示す図である。 図３６Ｄは、カメラ動きが大きい場合の、サブクラス間測値距離に重み付けを行なった後の、高次元空間上のサブクラスの分布を示す概念図である。 図３６Ｅは、カメラ動きが小さい場合の、サブクラス間測値距離に重み付けを行なった後の、高次元空間上のサブクラスの分布を示す概念図である。 図３７は、実施の形態の変形例９に係る移動体検出装置の構成を示す図である。 図３８は、実施の形態の変形例９に係る移動体検出装置の別の構成を示す図である。 図３９Ａは、実施の形態の変形例１０に係る移動体検出装置の構成を示す図である。 図３９Ｂは、重み付け距離算出部の構成を示す図である。 図４０は、本発明に必須の構成要素を備える移動体検出装置の構成を示す図である。
　以下、本発明の実施の形態について、図面を用いて説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　本発明の一実施形態は、各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出する移動体検出装置であって、動画像を構成する２枚以上のピクチャ間における前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物らしさを表す静止指標を算出する静止指標算出部と、前記移動軌跡間の類似度を表す距離を算出する距離算出部と、前記移動軌跡の静止指標および前記移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出部とを備える。
　好ましくは、領域検出部は任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の測地距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出するもので、前記測地距離は、２つの移動軌跡以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である。
　この構成によると、移動軌跡の静止指標に基づいて上記変換処理を行なっている。このため、静止物の移動軌跡と移動体の移動軌跡とが分離しやすくなる。よって、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出することができる。
　好ましくは、前記静止指標算出部は、前記複数の移動軌跡から各移動軌跡が静止物の移動軌跡である場合に成立する幾何拘束を推定し、推定した前記幾何拘束を満たす度合いを前記静止指標として算出する。
　さらに好ましくは、前記静止指標算出部は、複数の移動軌跡からエピポーラ拘束、ホモグラフィ拘束、三重線形拘束および構造一致性拘束のいずれかの幾何拘束を推定し、推定した前記幾何拘束を満たす度合いを前記静止指標として算出する。
　また、前記領域検出部は、前記移動軌跡間の距離に基づいて、前記移動軌跡間の測地距離を算出し、前記移動軌跡の静止指標に基づいて、算出した各測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、重み付き測地距離を算出する重み付き距離算出部と、前記重み付き距離算出部が算出した前記重み付き測地距離に基づいて、前記重み付き測地距離が所定の閾値以上となる移動軌跡同士を異なるクラスに分類することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する領域分割部とを含んでいてもよい。
　移動するカメラで撮影した動画像中において、人物のように、姿勢や位置、大きさなどが時間的に変化するような移動体に対しても、移動軌跡の静止物らしさを表す評価値を、移動軌跡間の測地距離への重み付けに利用することで、画像中の移動体を確実に検出することができる。
　好ましくは、前記距離算出部は、移動軌跡間の類似度を表す測地距離を算出し、前記重み付き距離算出部は、前記静止指標に基づいて、前記距離算出部が算出した前記測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、前記重み付き測地距離を算出する。
　移動軌跡間の測地距離に対して、静止指標に基づく重みをかけたものを、重み付き測地距離として算出している。これにより、測地距離を求めた後の後処理として、静止物らしさを反映した測地距離の導出を簡易に実現できる。
　また、前記距離算出部は、移動軌跡間の類似度を表す線形距離を算出し、前記重み付き距離算出部は、前記静止指標に基づいて、前記距離算出部が算出した前記線形距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の線形距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の線形距離の比が大きくなるような重みを付けることにより、重み付き線形距離を算出し、算出した前記重み付き線形距離から前記重み付き測地距離を算出してもよい。
　これにより、線形距離を重み付けするだけで、つまり、重み付き距離算出部における前処理として重み付き線形距離を算出するだけで、静止物らしさを反映した測地距離の算出を実現できる。
　また、前記領域検出部は、前記移動軌跡間の距離に基づいて、前記移動軌跡間の測地距離を算出する重み付き距離算出部と、静止物の移動領域と移動体の移動領域を異なるクラスに分類するか否かを判断するために用いられる前記測地距離の閾値に対して、前記静止指標に基づく重みを付けることにより得られる重み付き閾値と前記重み付き距離算出部が算出した前記測地距離との比較結果から静止物の移動軌跡と移動体の移動軌跡とを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する領域分割部とを含んでいてもよい。
　この構成によると、距離に重みを掛けて重み付き距離を算出するのではなく、閾値に重み付けを行っている。このため、重み付き距離を算出するのに必要な演算時間や重み付き距離を保持するためのメモリ容量を削減することができる。
　具体的には、前記領域分割部は、２つの移動軌跡の静止指標がそれぞれ「静止物」および「静止物」を表す値であるときの前記測地距離の閾値に対する重みを、２つの移動軌跡の静止指標がそれぞれ「移動体」および「静止物」を表す値であるときの前記測地距離の閾値に対する重みよりも大きくする。
　また、上述の移動体検出装置は、さらに、前記複数の移動軌跡を、各々が類似する移動軌跡の部分集合である複数のサブクラスに分類するサブクラス分類部を備え、前記重み付き距離算出部は、移動軌跡の静止指標、移動軌跡間の距離、およびサブクラスの分類結果に基づいて、前記静止指標に基づく前記重みが付けられたサブクラス間の測地距離を算出し、前記領域分割部は、前記重み付き距離算出部が算出した前記サブクラス間の測地距離に基づいて、静止物のサブクラスと移動体のサブクラスとを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割してもよい。
　この構成によると、サブクラスごとに静止物の領域および移動体の領域のいずれかに分類される。各サブクラスは類似する移動軌跡の部分集合である。このため、より正しく移動体の領域を求めることができる。
　好ましくは、前記距離算出部は、移動軌跡間の類似度を表す測地距離を算出し、前記重み付き距離算出部は、サブクラス間の測地距離の代表値に対して、サブクラスに含まれる移動軌跡の静止指標の代表値に基づく重みをかけることにより、前記サブクラス間の測地距離を算出する。
　この構成では、サブクラス間の測地距離の代表値に対して重みを掛けている。このため、静止物らしさを反映したサブクラス間の測地距離の導出を簡易に実現できる。
　また、前記距離算出部は、移動軌跡間の類似度を表す線形距離を算出し、前記重み付き距離算出部は、サブクラス間の線形距離の代表値に対して、サブクラスに含まれる移動軌跡の静止指標の代表値に基づく重みをかけ、重み付けされたサブクラス間の線形距離の代表値に基づいて、前記サブクラス間の測地距離を算出してもよい。
　この構成では、サブクラス間の線形距離の代表値に対して重みを掛けた上で、サブクラス間の測地距離を算出している。このため、静止物らしさを反映したサブクラス間の測地距離の導出を簡易に実現できる。
　また、前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「移動体」および「静止物」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１よりも大きい値に設定してもよい。
　さらに、前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「静止物」および「静止物」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１未満の値に設定してもよい。
　さらにまた、前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「移動体」および「移動体」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１に設定してもよい。
　このような簡単な重み付けのルールを設けることで、単純な重み設定で移動体の領域と静止物の領域とを分離することができる。
　また、前記サブクラス分類部は、移動軌跡間の類似度に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類してもよい。
　また、前記サブクラス分類部は、移動軌跡間での、各移動軌跡に属するブロック同士の輝度の類似度に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類してもよい。
　また、前記サブクラス分類部は、前記移動軌跡間の測地距離を算出する第２距離算出部と、前記第２距離算出部が算出した前記移動軌跡間の測地距離の次元圧縮を行い、次元圧縮された前記移動軌跡間の測地距離に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類するクラスタリング部とを含んでいてもよい。
　測地距離の次元圧縮を行うことにより、膨大な計算が必要とせずに、非線形空間でクラスタリングを行うことによって、特に、形状が変化しながら移動する人物等を含むピクチャにおいても安定にクラスタリングできる。
　また、前記サブクラス分類部は、前記複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、前記所定の距離閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、前記測地距離を算出し、移動軌跡間の測地距離が有限の値となる移動軌跡の集まりを同一のサブクラスに分類することにより、各移動軌跡を前記複数のサブクラスのいずれかに分類してもよい。
　測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとに移動軌跡をサブクラスに分類することができる。
　また、前記静止指標算出部は、静止物の移動軌跡に対して成立する幾何拘束を推定するための移動軌跡から前記幾何拘束を推定し、推定した前記幾何拘束に基づいて、前記距離算出部において距離を算出するのに用いられる各移動軌跡の静止指標を算出してもよい。
　幾何拘束を推定するための移動軌跡から幾何拘束を推定している。このため、より安定にかつ正確な幾何拘束を求めることができるため、より安定かつ正しく移動体の検出を行うことができる。
　好ましくは、上述の移動体検出装置は、さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、前記重み付き距離算出部は、前記カメラの動きの大きさに基づいて、重み付けの際の静止指標の重みを変化させる。
　具体的には、前記重み付き距離算出部は、前記カメラの動きが大きいほど、静止物の移動軌跡と移動体の移動軌跡との間の距離の重み付けを大きくする。
　カメラの動き情報を取得することにより、静止指標の算出を正確に行うことができる。このため、正しく移動体を検出することができる。
　また、上述の移動体検出装置は、さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、前記重み付き距離算出部は、前記２つのサブクラスの静止指標の代表値がそれぞれ「移動体」および「静止物」を表す値であったときに、前記２つのサブクラス間の測地距離に重み付けを行い、前記カメラの動きが所定の閾値以上の場合の重みをＷＢとし、前記カメラの動きが前記所定の閾値よりも小さい場合の重みをＷＳとした場合に、ＷＢ＞ＷＳ＞１の関係を満たすようにしてもよい。
　さらに、上述の移動体検出装置は、さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、前記重み付き距離算出部は、前記２つのサブクラスの静止指標の代表値がそれぞれ「静止物」および「静止物」を表す値であったときに、前記２つのサブクラス間の測地距離に重み付けを行い、前記カメラの動きが所定の閾値以上の場合の重みをＷＢとし、前記カメラの動きが前記所定の閾値よりも小さい場合の重みをＷＳとした場合に、ＷＢ＜ＷＳ＜１の関係を満たすようにしてもよい。
　この構成によると、カメラの動きが大きい場合と小さい場合とで適切に重みを変更することができる。このため、正しく移動体を検出することができる。
　好ましくは、前記カメラ動き取得部は、カメラに対する操作制御信号から前記カメラの動き情報を取得する。
　カメラの動き情報をカメラの操作制御信号から取得することにより、カメラの動きが大きい場合であっても、正確なカメラの動き情報を取得することができる。よって、正しく移動体の領域を求めることができる。
　また、前記カメラ動き取得部は、車載センサから前記カメラの動き情報を取得してもよい。
　例えば、車輪速・舵角といった車体の操作情報を電子的に取得できればなおよい。車載カメラの場合、車載センサからカメラの動き情報を取得できれば、安定してカメラの動き情報を取得でき、正しく移動体の領域を求めることができる。なお、多くの場合、車載カメラは固定されているため、ＧＰＳからカメラ位置の情報を求めることもできる。
　また、前記重み付き距離算出部は、さらに、前記移動軌跡の静止指標と静止指標閾値とを比較することにより、前記静止指標閾値以下の静止指標を有する前記移動軌跡を静止物の移動軌跡と判断し、前記静止指標閾値よりも大きい静止指標を有する前記移動軌跡を移動体の移動軌跡と判断してもよい。
　また、前記重み付き距離算出部は、静止指標閾値を受け付ける閾値入力部を含み、前記移動軌跡の静止指標と前記閾値入力部が受け付けた前記静止指標閾値とを比較することにより、前記静止指標閾値以下の静止指標を有する前記移動軌跡を静止物の移動軌跡と判断し、前記静止指標閾値よりも大きい静止指標を有する前記移動軌跡を移動体の移動軌跡と判断し、前記領域検出部は、さらに、検出した前記移動体領域を前記表示部に表示させても良い。
　これにより、移動体領域の検出結果を確認しながら、静止指標閾値を変更することができるため、より早く最適な静止指標閾値を決定することができる。
　また、前記静止指標算出部は、さらに、前記ピクチャを構成する各ブロックを、算出した前記静止指標の値に応じた表示態様で、表示部に表示させても良い。
　静止指標閾値は静止指標の値の分布に大きく依存するといえる。したがって、静止指標の値とその画像上での分布が確認できれば、領域分割処理を最後まで行なうことなく、静止指標閾値を調整できる。これにより、より早く最適な静止指標閾値を決定することができる。
　なお、本発明の移動体検出装置は、各処理部をハードウェアにより構成することにより実現されるだけでなく、上記各処理部が実行する処理をステップとする移動体検出方法として実現したり、移動体検出方法が含むステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムを格納したＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現したり、動画像において動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置等として実現することもできる。
　図１は、本実施の形態に係る移動体検出装置の構成を示す図である。図１に示されるように、移動体検出装置１００は、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部１０６、および領域分割部１０７を備える。移動体検出装置１００は、動画像中の移動体領域の全部又は一部の領域を特定する領域分割をすることによって動画像中の移動体を検出する装置である。つまり、移動体検出装置１００は、動画像中の複数の領域にそれぞれ対応する複数の移動軌跡から、移動体に対応する領域を検出する装置である。本実施の形態では、移動体検出装置１００は、カメラ１１０で撮影した動画像を入力として受け、動画像中の移動体領域を検出し、検出結果に基づいてピクチャを生成して出力する。ディスプレイ１２０は、移動体検出装置１００から出力されるピクチャを表示する。本明細書中では、ピクチャのことを画像ともいう。
　画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、カメラ、または、カメラと接続された通信インタフェース等である。
　移動軌跡算出部１０２は、画像入力部１０１で受け付けた複数枚のピクチャをもとに、複数枚のピクチャ間の対応点を複数求め、複数の移動軌跡として出力する処理部である。つまり、移動軌跡算出部１０２は、画像入力部１０１で受け付けられたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する。ピクチャ間の対応点は、ピクチャの１画素ごとに対応点を求めてもよいし、ピクチャ内の隣接する複数の画素（ブロック）ごとに１つの対応点を求めるとしてもよい。本明細書では、ある対応点が、１画素ごとに求められたか、複数の画素に対して１つ求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
　静止指標算出部１０３は、移動軌跡算出部１０２で求めた移動軌跡の各々に対し、幾何拘束を適用し、各移動軌跡の静止物らしさを表す静止指標を求める処理部である。つまり、静止指標算出部１０３は、動画像を構成する２枚以上のピクチャ間におけるピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物らしさを表す静止指標を算出する。静止指標に用いる幾何拘束に関しては、詳しくは後述する。
　距離算出部１０４は、移動軌跡算出部１０２で求めた複数の移動軌跡から、Ｔ枚（Ｔ＞＝２）のピクチャ間にわたる対応点である移動軌跡をＮ個抽出し、抽出した移動軌跡より、２つの移動軌跡間の類似度を表す距離を算出する。
　なお、本明細書における２つの移動軌跡間の「距離」は、対応する２次元画像空間における２点の間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータの距離が大きい場合、類似度が低いものとする。
　また、本明細書において「線形距離」及び「測地距離」の２種類の距離を定義しているが、「線形距離」は２つのデータ間のみから求まる距離のことを指し、「測地距離」は、後述するように２つのデータ以外の点を経由することで求められる距離のことを指す。
　なお、本明細書における「線形距離」は、一般的に用いられる「線形距離」を包含する、より広い概念の距離であり、すなわち移動軌跡間のピクチャ座標における位置、速度、加速度等といった幾何的な類似度を表す指標となる距離である。「線形距離」の代表的なものとして本明細書では「ユークリッド距離」を以降説明のため用いる。前記の距離の詳細な例については、距離算出部１０４の説明の部分にて後述する。
　なお、本明細書において「静止」、「移動」とは、特に断りが無い限り、地球（地面）に固定した世界座標系を基準として、世界座標系における位置が、時間的に変化しない対象物を静止物、時間的に変化する対象物を移動体として説明する。ただし、「静止」、「移動」の基準を上記に限定するものではなく、例えば、移動する車両の内部を車内に設置されたカメラで撮影する場合などは、車両に固定された世界座標系を基準として、その位置が時間的に変化しない対象物を静止物、時間的に変化する対象物を移動体と扱っても良い。
　サブクラス分類部１０５は、移動軌跡算出部１０２で求めた複数の移動軌跡に対して、軌跡間距離、あるいは速度などの類似度をもとに、複数の移動軌跡を、各々が少なくとも１つの移動軌跡を含む複数のサブクラスにクラスタリングする。つまり、サブクラス分類部１０５は、動画像を構成する複数枚のピクチャにわたる、各々がピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類する。
　重み付き距離算出部１０６は、静止指標算出部１０３の出力である各移動軌跡に付随する静止指標と、距離算出部１０４の出力である各移動軌跡間の距離と、サブクラス分類部１０５の出力である各移動軌跡がどのサブクラスに属するかのラベル情報とに基づき、静止指標で重み付けされたサブクラス間の測地距離（以下、適宜「サブクラス間測地距離」という。）を算出する。
　つまり、重み付き距離算出部１０６は、移動軌跡間の距離に基づいて、移動軌跡間の測地距離を算出し、移動軌跡の静止指標に基づいて、算出した各測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、重み付き測地距離を算出する。
　具体的には、重み付き距離算出部１０６は、まず各移動軌跡間の測地距離を求めたのち、サブクラス間での代表測地距離を求める。また、重み付き距離算出部１０６は、各サブクラスにおける静止指標の代表値を求める。重み付き距離算出部１０６は、サブクラスの静止指標が、予め定めた静止指標閾値を超えるか超えないかにより、各サブクラスが移動体らしいか、静止物らしいかを求め、求めた結果を重みとしてサブクラス間の代表測地距離にかけることで、サブクラス間の測地距離を算出する。つまり、重み付き距離算出部１０６は、サブクラスの静止指標と静止指標閾値とを比較することにより、静止指標閾値以下の静止指標を有するサブクラスを静止物のサブクラスと判断し、静止指標閾値よりも大きい静止指標を有するサブクラスを移動体のサブクラスと判断する。静止指標の条件や、重み付けの基準などについて、詳しくは後述する。
　最後に、領域分割部１０７は、重み付き距離算出部１０６より算出されたサブクラス間測地距離に基づき、複数のサブクラスの領域統合を行い、最終的に得られた領域分割結果を、例えば、特定された領域ごとに異なる表示態様となるように、画像処理を施し、ディスプレイ１２０などに表示可能な形式として出力する。つまり、領域分割部１０７は、重み付き距離算出部１０６が算出した重み付き測地距離に基づいて、重み付き測地距離が所定の閾値以上となる移動軌跡同士を異なるクラスに分類することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する。
　本明細書において、「領域抽出」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なくピクチャ中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。
　また、本明細書において、「移動体検出」とは、基準となる座標系に対して移動している物体が存在する画像領域のみを特定する検出技術と、相対的に異なる移動をしている物体ごとにピクチャ中の領域を分割する領域分割技術の両者を含んでいる。
　なお、移動体検出装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部１０６、領域分割部１０７）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図２は、ソフトウェアによって実現された本実施の形態に係る移動体検出装置のハードウェア構成を示す図である。図２において、カメラ１１０はピクチャを撮影して出力し、コンピュータ２００はピクチャを取得して移動体抽出処理を行って、領域抽出結果を表示するピクチャを生成する。ディスプレイ１２０はコンピュータ２００で生成されたピクチャを取得して表示する。コンピュータ２００は、Ｉ／Ｆ（インタフェース）２０１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０３、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０４、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出されて展開される。ＣＰＵ２０２はＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１は、プログラムの実行に応じて、カメラ１１０で撮影されたピクチャを、ＲＡＭ２０４へ取り込む。ビデオカード２０６は、プログラムの実行に応じて生成されたピクチャを出力し、ディスプレイ１２０がそのピクチャを表示する。
　なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限られず、例えばＣＤ―ＲＯＭに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４に取り込まれてもよい。
　以下、本実施の形態に係る移動体検出装置１００の動作を、図３を用いて説明する。
　図３は、本実施の形態に係る移動体検出装置１００の動作を表すフローチャートである。
　図３において、７つのステップＳ３０１～Ｓ３０７は、それぞれ図１の各処理部１０１～１０７に対応している。すなわち、画像入力部１０１は画像入力ステップＳ３０１、移動軌跡算出部１０２は移動軌跡算出ステップＳ３０２、静止指標算出部１０３は静止指標算出ステップＳ３０３、距離算出部１０４は距離算出ステップＳ３０４、サブクラス分類部１０５はサブクラス分類ステップＳ３０５、重み付き距離算出部１０６は距離算出ステップＳ３０６、領域分割部１０７は領域分割ステップＳ３０７の各動作を実行する。
　最初に、画像入力ステップＳ３０１が、画像入力部１０１により実行される。つまり、画像入力部１０１は、カメラ１１０から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１１０から取得される動画像は３０フレーム／秒の動画像である。
　図４は、撮影状況の一例を示す図である。また、図５Ａ～図５Ｃは、カメラ１１０によって、図４の撮影状況を撮影して取得した複数のピクチャの例を示す。画像入力部１０１により、１フレームからＴフレームまでのＴ枚（Ｔ＞＝２）のピクチャが入力されたものとする。本実施の形態では、ピクチャの数Ｔはあらかじめ定められており、３０フレーム（Ｔ＝３０）とする。図５Ａは１フレーム目のピクチャを示し、図５ＣはＴフレーム目のピクチャを示し、図５Ｂは１フレーム目とＴフレーム目の間のフレームのピクチャを示す。
　次に、移動軌跡算出ステップＳ３０２が、移動軌跡算出部１０２により実行される。つまり、移動軌跡算出部１０２は、画像入力部１０１から複数のピクチャを入力し、ピクチャ間の画素の動き情報（対応点）を検出して、移動軌跡を生成して出力する。複数のピクチャ間の画素の動き情報（対応点）を求める手法として、ここでは１フレームのピクチャ上における全ての画素（Ｉ個）を基準として、２フレームからＴフレームまでの（Ｔ－１）枚のピクチャ上の対応する画素を求める。
　以下、本実施の形態では、画素単位の処理について説明するが、複数の画素からなるブロック単位で処理をする場合には、（ｉ）ブロック内で画素値を合計したり、（ｉｉ）ブロック内の画素値の平均値を求めたり、（ｉｉｉ）ブロック内の画素値の中央値を求めたりすることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。
　例えば、ステップＳ３０１にてＴ枚のピクチャが入力されたと仮定すると、移動軌跡算出部１０２は、ｔフレームとｔ＋１フレームの２枚のピクチャを用いて、画素ｉの動きベクトルとして対応点の画素座標値（ｘt i，ｙt i，ｘt+1 i，ｙt+1 i）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、ｔフレームとｔ＋ｎフレームの２枚のピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。
　上記した複数のピクチャ間の対応点を算出する具体的な手法としては、非特許文献１または非特許文献２などに開示されている方法を用いてもよい。ともに、オプティカルフローを計算することにより動きベクトルを算出する手法であり、非特許文献１は階層的なブロックマッチングをベースに、オプティカルフローを算出する。画素間の滑らかさを拘束条件とするため、隣り合うオプティカルフロー間で動きベクトルが滑らかに変化するようなオプティカルフローを得る。特に急峻な動きや遮蔽がない場合に効率的かつ正確な対応点が求められる。また、推定の信頼度を計算できるため、後述するように、信頼度がある閾値より低い対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な移動体検出を行えるという効果がある。
　これに対して、非特許文献２はグラフカットベースのオプティカルフロー算出手法であり、計算コストは高いが、正確な対応点がピクチャ上で密に求まる。また、この手法によると、オクルージョンの領域も推定できるため、後述するようにオクルージョン領域に位置する対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な移動体検出を行えるという効果がある。さらなる詳細は各文献に記載されているため、その詳細な説明は省略する。
Ｐ．Ａｎａｎｄａｎ，"Ａ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｆｒａｍｅｗｏｒｋ　ａｎｄ　ａｎ　Ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｔｈｅ　Ｍｅａｓｕｒｅｍｅｎｔ　ｏｆ　Ｖｉｓｕａｌ　Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｖｏｌ．２，　ｐｐ．２８３－３１０，１９８９ Ｖｌａｄｉｍｉｒ　Ｋｏｌｍｏｇｏｒｏｖ　ａｎｄ　Ｒａｍｉｎ　Ｚａｂｉｈ，　"Ｃｏｍｐｕｔｉｎｇ　Ｖｉｓｕａｌ　Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ　ｗｉｔｈ　Ｏｃｃｌｕｓｉｏｎｓ　ｖｉａ　Ｇｒａｐｈ　Ｃｕｔｓ"，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，２００１
　さらに、移動軌跡算出部１０２は、画素の動きとして、前記動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、ピクチャをグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、ピクチャをブロックに区切ってブロックごとに動き情報を求めてもよい。
　さらに、非特許文献１の開示技術を用いて動きベクトルを算出する場合は、前述したようにその信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献２の開示技術を用いて動きベクトルを算出する場合は、前述したようにオクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。
　さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献３の開示技術を用いて実現することができる。
Ｊｉａｎｂｏ　Ｓｈｉ　ａｎｄ　Ｃａｒｌｏ　Ｔｏｍａｓｉ　"Ｇｏｏｄ　Ｆｅａｔｕｒｅｓ　ｔｏ　Ｔｒａｃｋ"，　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３－６００，１９９４
　上記手法では、ｔフレームとｔ＋１フレームのピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡt iを推定する。画素ｉについて、ｔフレームとｔ＋１フレームにおけるピクチャ上での画素位置ｘt iとｘt+1 iは（式１）に示す関係がある。
Figure JPOXMLDOC01-appb-M000001
　上記手法では、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。
　そして、移動軌跡算出部１０２は、時間的に異なるＴ枚のピクチャ間で算出された前記画素の対応点から移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を、移動軌跡ｉと呼ぶこととする。図６Ａに示すように、移動軌跡算出部１０２は、ｔフレームの入力ピクチャ６０１の画素ｉ６０３ａ、画素ｋ６０３ｂに基づきステップＳ３０２において算出された動きベクトル情報６０２を用いて、画素ｉ６０３ａ、画素ｋ６０３ｂの動きを追跡し、画素ｉ６０３ａ、画素ｋ６０３ｂの対応点を求める。この時、移動軌跡算出部１０２は、１フレームのピクチャ上のある画素ｉの座標値（ｘ1 i，ｙ1 i）と、ｔフレームにおける画素ｉの対応点の画素座標値（ｘt i，ｙt i）とから、（式２）のように移動軌跡ｘiを算出する。
Figure JPOXMLDOC01-appb-M000002
　本実施の形態において、移動軌跡ｘiは、１フレームからＴフレームまでのＴ枚のピクチャ間にわたる対応点であるものとする。
　図６Ｂは、移動軌跡の例を示す。移動軌跡算出部１０２に入力された動画像は、Ｔ枚のピクチャ６０４で構成されている。このとき移動軌跡ｘi６０６ａ、ｘk６０６ｂは、１フレームのある画素ｉ６０５ａ、画素ｋ６０５ｂにそれぞれ対応する、２フレームからＴフレームのピクチャ上の対応点の集まりである。移動軌跡ｘi６０６ａ、ｘk６０６ｂは、各ピクチャのピクチャ座標値を要素とするベクトルで表される。
　なお、移動軌跡算出部１０２においてピクチャ間の対応点を求める際、ピクチャの全ての画素ごとに対応点を求める代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を求めるものとしてもよい。本明細書において、ある対応点が１画素ごとに求められたものか、または複数の画素に対して１つの対応点が求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
　次に、静止指標算出ステップＳ３０３は、静止指標算出部１０３により実行される。つまり、静止指標算出部１０３は、移動軌跡算出部１０２で算出された複数の移動軌跡のそれぞれについて静止指標を算出する。ここで移動軌跡の静止指標とは、ある移動軌跡が静止物上の移動軌跡である尤もらしさを表す指標である。
　静止指標算出部１０３は、静止物上の移動軌跡が満たすべき幾何拘束を推定したのち、求めた幾何拘束を各移動軌跡が満たす度合いを表す誤差を求め、この誤差を静止指標とする。すなわち、ある移動軌跡の静止指標の値が小さい（誤差が小さいほど）、静止物上の移動軌跡である尤もらしさは高いことを表す。逆に、ある移動軌跡の静止指標の値が大きい（誤差が大きい）ほど、静止物上の軌跡である尤もらしさは低いことを表すものとする。
　図７は、静止指標算出部１０３の構成を示す。静止指標算出部１０３は、各フレーム間で静止物体上の対応点が満たすべき幾何拘束を推定する幾何拘束推定部７０１と、幾何拘束を元に、移動軌跡の静止物らしさからの外れ具合、すなわち移動軌跡の移動体らしさ（以下、「移動体らしさ」という）の度合いを表す幾何拘束誤差を算出する誤差算出部７０２とを含む。
　以下、静止指標算出部１０３で用いる幾何拘束について説明する。
　幾何拘束については、図８に示すように、様々な拘束が知られている。
　「２眼」または「３眼」は、フレーム数あるいはカメラの数についての条件を示す。「２眼」は、２枚の画像間において成立する拘束のことを示し、例えば、１台のカメラを使ったものでも、動画像のように時間をずらして撮影された画像が複数枚あればよい。同様に、「３眼」は、３枚の画像間において成立する拘束のことを示す。複数枚の画像は、連続した異なるフレームから取得してもよいし、複数台カメラがある場合は、それぞれから１枚ないし複数枚の画像を取得して利用しても良い。なお、本実施の形態では、連続フレームから取得した画像を利用するものとする。
　以上の大分類についてそれぞれ代表的なものを２つずつ、計４つの拘束の種類を図８に示す。
　エピポーラ拘束（Ｅｐｉｐｏｌａｒ　Ｃｏｎｓｔｒａｉｎｔ）は、カメラ幾何拘束のなかでも最も標準的に用いられる拘束条件である。エピポーラ拘束は、疎な対応点に対してうまく働くが、正確な対応点が好ましく、また、フレーム間でのカメラ位置の基線長が大きいほうが好ましい、という特徴がある。
　図９Ａはエピポーラ拘束について説明するための図である。
　第１フレームの画像上の点ｐ1 iに射影される静止点Ｘは、第２フレームの画像上では、エピポーラ線と呼ばれるエピポールｅ2を通る直線ｌ2上に、存在する点ｐ2 iに射影される。したがって、対応点ｐ2 iがエピポーラ線ｌ2から一定閾値以上の距離を外れた場合、その対応点は静止物ではなく、移動体上の点である、と判定できる。なお、一定の閾値については、対応点の誤差等のノイズにもよるが、一般的には０～数画素の範囲内で設定される。
　エピポーラ拘束は、３×３行列で表される基礎行列Ｆ1,2によって以下のように与えられる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　ここで、ｐ1 iは、（ｘ1 i，ｙ1 i，１）の形式で示される第１フレームの画像上の画素ｉの画素位置、ｐ2 iは、同じく（ｘ2 i，ｙ2 i，１）の形式で示される、ｐ1 iに対応する第２フレームの画像上の対応点画素位置である。ｌ1 i，ｌ2 iはエピポーラ線である。
　一般的に基礎行列Ｆ（（式５）では基礎行列Ｆ1,2）は、８点法、６点法等でＲＡＮＳＡＣ（ＲＡＮｄｏｍ　ＳＡｍｐｌｅ　Ｃｏｎｓｅｎｓｕｓ）等の繰り返し計算により推定される。特に、シーンに立体点が多い場合は、８点の対応点から基礎行列Ｆを計算により求めて推定する８点法を用い、平面上の点が多い場合は、ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）行列を利用してエピポールを求める６点法を用いると、より安定に基礎行列Ｆを推定できる。
　図９Ｂはホモグラフィ拘束について説明するための図である。
　ホモグラフィ拘束は、例えば被写体が平面で仮定される場合や、カメラの動きが回転のみの場合などに成り立つ拘束条件である。ホモグラフィ拘束は、カメラ動きは小さくてもよく、またノイズにも強く、密な対応点に適している。
　図９Ｂに示すように、あるシーン平面π上の点Ｘπが射影された第１フレームの画像での点ｐ1 iと第２フレームの画像での点ｐ2 iとについて、３×３行列で表されるホモグラフィ行列Ｈ1,2による以下の変換式が成立する。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｐ1 iは、（ｘ1 i，ｙ1 i，１）の形式で示される第１フレームの画像上の点ｐ1の画素位置、ｐ2 iは、同じく（ｘ2 i，ｙ2 i，１）の形式で示される、点ｐ1に対応する第２フレームの画像上の点ｐ2の画素位置を示す。一般的にはホモグラフィ行列Ｈ（（式６）ではＨ1,2）は、平面上の４点以上の点を用いて、ＲＡＮＳＡＣなどを用いて画像から推定することができる。
　したがって、対応点が変換式から外れていれば、３次元点Ｘπは平面から外れているということになる。シーンを平面であると仮定している場合は、静止指標算出部１０３は、ホモグラフィ変換式から外れた対応点は、移動体上の点であると判定する。
　三重線形（Ｔｒｉｌｉｎｅａｒ）拘束は、２眼間で成り立つエピポーラ拘束を、３眼間での拘束条件に発展させたものである。三重線形拘束は、ある空間の静止点に対応する３枚のフレームの画像上での対応点について考えた場合、第１フレームでのカメラ中心と第１フレームの画像上の対応点とを結ぶ直線、第２フレームでのカメラ中心と第２フレームの画像上の対応点とを結ぶ直線、及び第３フレームでのカメラ中心と第３フレームの画像上の対応点とを結ぶ直線が、１点で交わるための拘束条件を与えるものである。この拘束はｔｒｉｆｏｃａｌ　ｔｅｎｓｏｒと呼ばれるテンソルにより表現されるもので、第１フレームの画像上で点ｐ1 i、第２フレームの画像上で点ｐ2 i、第３フレームの画像上で点ｐ3 iに射影されているある３次元空間上の静止点Ｘについて、３×３行列で表されるテンソルＴｊ（ｊ＝１～３）によって以下の（式７）が成り立つ。
Figure JPOXMLDOC01-appb-M000007
　ここでｐ1 i(j)は、ｐ1 iのｊ番目の成分を示すものとする。また、０3×3は、全ての成分が０である３×３の行列である。一般的には、Ｔｊは、７点の対応点を用いて線型方程式を解き、ＬＭｅｄＳなどによる繰り返し計算を行うことで求めることができる。
　エピポーラ拘束、ホモグラフィ拘束、三重線形拘束について、より詳しい説明は、非特許文献４に記載されているため、詳細は省略する。
　図１０は、構造一致性拘束（Ｓｔｒｕｃｔｕｒｅ　Ｃｏｎｓｉｓｔｅｎｃｙ　Ｃｏｎｓｔｒａｉｎｔ）について説明するための図である。
　構造一致性拘束は、ホモグラフィ拘束を発展させたものであり、射影デプス（Ｐｒｏｊｅｃｔｉｖｅ　Ｄｅｐｔｈ）と呼ばれるホモグラフィ面πからの相対的なデプスを用い、静止物の拘束条件とするものである。図１０に示すように、第１フレームの画像上の点ｘに写る３次元点Ｘを、そのまま第２フレームの画像上に射影した点は点ｘ’となるが、もしＸが、Ｘπ’で示される平面π上の点であっても、第２フレームの画像上では点ｘ’に投影される。このとき、第１フレームの画像上ではＸπ’は、点ｘ～に写る。Ｘが、ｘ’とＸπ’とを結ぶ直線に沿って、平面πから離れれば離れるほど、ｘ～とｘとの間の距離は大きくなる。このとき、図１０に示すように、ｘ、ｘ～、ｘ’、およびエピポールｅ、ｅ’はそれぞれ第１フレームにおけるカメラ１１０の位置Ｃ１と、第２フレームにおけるカメラ１１０の位置Ｃ２と点Ｘとがなす平面上に必ず存在する。すなわち、点ｘおよびエピポールｅの距離と、点ｘ～およびエピポールｅの距離との比に着目することで、参照平面πを基準とした相対的なデプス表現（射影デプス）を実現できる。
　このとき、射影デプスの値ｋ12 iは、以下の式で計算される。
Figure JPOXMLDOC01-appb-M000008
　ここで、ｐ1 iは、（ｘ1 i，ｙ1 i，１）の形式で示される第１フレームの画像上の点の画素位置を示す。ｅ1は（ｕ，ｖ，１）の形式で示される、第１フレームの画像上のエピポールの画素位置を示す。Ｈ21は、参照平面π上の点について、第２フレームの画像上の点を、第１フレームの画像上の点に射影する３×３のホモグラフィ行列を示す、ｐ2 iは、（ｘ2 i，ｙ2 i，１）の形式で示される、ｐ1 iに対応する第２フレームの画像上の点の画素位置を示す。これらより、対応点の存在する全てのピクセルについて、射影デプスｋ12 iを求めることができる。
　ここで、静止物に対する幾何拘束を推定するには最低３フレームの画像を用いる必要がある。点Ｘが静止しているときには、以下に示すように、画像上の点と射影デプスについて、４×４行列Ｇ１，２，３を介した以下のバイリニアな拘束式が成立する。
Figure JPOXMLDOC01-appb-M000009
　なお、ｐ1 iとｐ2 iは前述のとおり対応点関係にあるものとし、ｋ23 iは、ｋ12 i同様に第２フレームの画像と第３フレームの画像の対応点の間で求められる射影デプスである。
　したがって、このＧ１，２，３を画像から推定し、画像中で拘束式を満たさない画素を求めることで、各画素について、静止物と移動体のどちらに属するかを推定することができる。Ｇ１，２，３は、１５点を用いて、ＬＭｅｄＳなどによる繰り返し計算などで推定することができる。
　構造一致性拘束について、より詳しい説明は、非特許文献５に記載されているため、これ以上の詳細な説明は省略する。
Ｒｉｃｈａｒｄ　Ｈａｒｔｌｅｙ　ａｎｄ　Ａｎｄｒｅｗ　Ｚｉｓｓｅｒｍａｎ，"Ｍｕｌｔｉｐｌｅ－Ｖｉｅｗ　Ｇｅｏｍｅｔｒｙ　ｉｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ"，ｓｅｃｏｎｄ　ｅｄ．Ｃａｍｂｒｉｄｇｅ　Ｕｎｉｖ．　Ｐｒｅｓｓ，　２００３ Ｃｈａｎｇ　Ｙｕａｎ，Ｇｅｒａｒｄ　Ｍｅｄｉｏｎｉ，Ｊｉｎｍａｎ　Ｋａｎｇ　ａｎｄ　Ｉｓａａｃ　Ｃｏｈｅｎ，"Ｄｅｔｅｃｔｉｎｇ　Ｍｏｔｉｏｎ　Ｒｅｇｉｏｎｓ　ｉｎ　ｔｈｅ　Ｐｒｅｓｅｎｃｅ　ｏｆ　ａ　Ｓｔｒｏｎｇ　Ｐａｒａｌｌａｘ　ｆｒｏｍ　ａ　Ｍｏｖｉｎｇ　Ｃａｍｅｒａ　ｂｙ　Ｍｕｌｔｉｖｉｅｗ　Ｇｅｏｍｅｔｒｉｃ　Ｃｏｎｓｔｒａｉｎｔｓ"，ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　Ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２９，Ｎｏ．９，Ｓｅｐｔｅｍｂｅｒ　２００７
　以上が静止指標算出部１０３で用いる幾何拘束の例である。
　幾何拘束推定部７０１は、上述した幾何拘束を推定する。どの幾何拘束を用いるかは、シーンおよび状況によって利用者が選択してもよい。
　ホモグラフィ拘束を利用する場合は、画像からホモグラフィＨを推定し、エピポール拘束を用いる場合は、基礎行列Ｆを推定し、構造一致性拘束を用いる場合は、行列Ｇを推定し、それぞれ誤差算出部７０２へ出力する。
　誤差算出部７０２は、幾何拘束推定部７０１が推定した幾何拘束を元に、各画素に対応する移動軌跡の静止物らしさを表す静止指標Ｅを算出する。
　幾何拘束を満たさない点は、静止物である可能性が低いと言えるため、推定した幾何拘束を元に、各画素に対応する移動軌跡の静止物らしさからの外れ具合、すなわち移動体らしさの度合いを表す幾何拘束誤差を、静止物らしさの静止指標Ｅとして算出する。静止指標Ｅは、静止物に対して理想的に０となるような評価値を利用する。
　本実施の形態において、静止指標Ｅを算出するための幾何拘束として、エピポーラ拘束を利用する。具体的には、ある画素ｉについての第１フレームから第Ｔフレームまでの静止指標Ｅ（ｉ）として以下の（式１０）を用いる。
Figure JPOXMLDOC01-appb-M000010
　なお、ホモグラフィ拘束を利用する場合は、以下の式の値を静止指標Ｅ（ｉ）とすればよい。画像平面上における、最投影誤差が評価値になっている。
Figure JPOXMLDOC01-appb-M000011
　なお、構造一致性拘束を利用する場合は、以下の式の値を静止指標Ｅ（ｉ）とすればよい。バイリニア拘束式の値が評価値になっている。
Figure JPOXMLDOC01-appb-M000012
　もちろん、ここに挙げた以外にも、静止物に対して０になり、移動体に対して０以外の値をとるような指標であれば、静止物らしさの静止指標Ｅとして利用してよい。つまり、静止物上の移動軌跡に対して理想的に０となる評価値であって、かつ、より静止物らしくない、例えば、より速い速度で移動するような移動体上の移動軌跡に対しては、０から＋方向へより大きくなるような評価値をとる指標であれば、その評価値を静止指標Ｅとして利用できる。
　なお、ここでは静止指標Ｅとして単一の幾何拘束を用いる例を示したが、複数の幾何拘束及び幾何拘束誤差を同時に静止指標Ｅに組み込んで利用しても良い。例えば、ホモグラフィ拘束とエピポール拘束を同時に利用する場合は、以下の（式１３）によって静止指標Ｅを求めることができる。ここで、λ1とλ2は、各幾何拘束誤差値のバランスを指定するための値であり、例えばどちらも１とすることができる。単一の幾何拘束誤差では誤差感度が低い部分が生じるが、複数の誤差を利用することで、誤差感度のバラつきをカバーすることができ、より安定に静止指標Ｅの値を求めることができる。
Figure JPOXMLDOC01-appb-M000013
　移動軌跡の静止物らしさを示す静止指標Ｅの例を図１１Ａに示す。図中では、移動軌跡の静止物らしさを示す静止指標Ｅの大きさを、矢印の線の太さによって表している。つまり、図１１Ｂに示すように、矢印の線が細いほど静止指標Ｅが小さく静止物らしい。なお、カメラ自身が前方へ移動しているため、背景の移動軌跡においても、大きな動きが生じている。また、矢印の方向は移動軌跡の方向を示している。
　図１１Ａに示すように、ほとんどの場合、移動体上の移動軌跡では静止指標Ｅが大きな値となり、背景上の移動軌跡では静止指標Ｅが小さな値となる。例えば、右側の歩行人物１１０１の脚部上の移動軌跡における静止指標Ｅｉは大きく（例えばＫＬＴ（Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ）対応点とエピポーラ拘束を用いた場合、動きの大きさにも依存するが、例えば静止指標Ｅｉは５程度）、背景上の移動軌跡における静止指標Ｅｊは小さくなる（例えばＫＬＴ対応点とエピポーラ拘束を用いた場合、大きくても静止指標Ｅｊは０．５程度）。このように、移動体上の移動軌跡と静止物上の移動軌跡とでは、静止指標Ｅの大きさが大きく異なる場合、静止指標Ｅに基づいて、移動体上の移動軌跡と背景上の移動軌跡とを区別できるといえる。
　しかし、移動体上の移動軌跡であっても、偶然に背景上の移動軌跡に近くなり、その結果、静止指標Ｅが小さくなる場合がある。例えば、左側の歩行人物１１０２上の移動軌跡の静止指標Ｅｋは、偶然背景と類似した軌跡になったために静止指標Ｅの値が小さくなっている。さらには、背景上の移動軌跡であっても、移動軌跡算出の誤差によって、静止指標Ｅの値が大きくなる場合がある。このように、移動軌跡の静止物らしさを示す静止指標Ｅには、移動体上の移動軌跡の静止指標（例えば、Ｅｋ）と、背景上の移動軌跡の静止指標（例えばＥｊ）の値が近くなる場合がある。その結果、移動体上の移動軌跡であっても、背景として誤検出されてしまうことがある。
　このような誤検出を防ぐため、本実施の形態では、移動軌跡の静止物らしさを示す静止指標に加えて、移動軌跡間の類似度を加味して移動軌跡をクラスタリングすることで、安定に移動体を検出することを目指す。より具体的には、移動軌跡の静止物らしさを示す静止指標を、後述する移動軌跡間の類似度に基づいたクラスタリングへの重み付けとして用いる。
　次に、距離算出ステップＳ３０４は、距離算出部１０４によって実行される。つまり、距離算出部１０４は、移動軌跡算出部１０２が算出した複数の移動軌跡ｘiを用いて、移動軌跡間の類似性を表す距離を算出する。すなわち、画素ｉの移動軌跡と画素ｊの移動軌跡との間のユークリッド距離ｆ（ｉ，ｊ）および測地距離ｇ（ｉ，ｊ）を段階的に算出する。ここで、ユークリッド距離、測地距離はともに、移動軌跡の類似性を表す距離であるため、全く等しい移動軌跡間ではどちらも０となり、逆に移動軌跡間の類似性が低いほど、正のより大きな距離値（∞含む）をとるような距離である。
　以下、距離算出部１０４において、移動軌跡間の類似度を表す距離を算出する方法について、図１２を参照しながら説明する。
　図１２（ａ）は、距離算出部１０４の構成の一例を示す図である。距離算出部１０４は、ユークリッド距離算出部１２０１と、移動軌跡間測地距離算出部１２０２とを含む。
　図１２（ａ）の構成によれば、ユークリッド距離算出部１２０１は、（式１４）により、画素ｉの移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）を算出する。
Figure JPOXMLDOC01-appb-M000014
　ここで（式１４）によって算出されるユークリッド距離ｆ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義したが、ユークリッド距離として有限な値となるのは、Ｎ個の移動軌跡ｘiの間でのみとなる。
　なお、本実施の形態におけるユークリッド距離は、（式１４）によって算出するとしたが、この式に限定するものではない。ユークリッド距離は、（式１４）と同様に、移動軌跡間のピクチャ座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の（式１５）を用いてもよい。
Figure JPOXMLDOC01-appb-M000015
　（式１５）において、ｗは重み係数であり、設計者が設定するパラメータである。上記（式１５）の移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）は、移動軌跡間におけるピクチャ座標の距離の時間平均に、ピクチャ座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、形状変化を伴うような場合でも、より正確に移動軌跡間の類似度を捉えることができる。
　以上の手順で算出した移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）の集まりを、ユークリッド距離マトリクスＦｄｉｓｔとして表す。
Figure JPOXMLDOC01-appb-M000016
　続いて、距離算出部１０４の移動軌跡間測地距離算出部１２０２は、移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。
　以降、移動軌跡間測地距離算出部１２０２において、ユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する動作を詳しく説明する。
　まず、移動軌跡間測地距離算出部１２０２は、ユークリッド距離算出部１２０１が算出したユークリッド距離ｆ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒを用いて、（式１７）で示される非線形化された距離ｆ´（ｉ，ｊ）を算出する。
Figure JPOXMLDOC01-appb-M000017
　次に、移動軌跡間測地距離算出部１２０２は、非線形化された距離ｆ´（ｉ，ｊ）から、測地距離を算出する。「測地距離」とは、ある空間に定義された複数のデータ点について、それらのデータ点間の接続、及び接続されたデータ点間の距離が得られているときに、ある２つのデータ点間を結び得る全ての経路の距離のうちの最短の距離である。
　したがって、移動軌跡間測地距離算出部１２０２は、第ｉの移動軌跡ｘiから第ｊの移動軌跡ｘjまでの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡ｘiから第ｊの移動軌跡ｘjに辿りつく全ての経路のうちの最短の経路を、測地距離として算出する。
　例えば、移動軌跡ｘiと移動軌跡ｘjの２点間を直接結ぶノードの距離ｆ´（ｉ，ｊ）が得られているとする。このとき移動軌跡ｘiと移動軌跡ｘjの２点間を結ぶ経路は、２点を直接結ぶノード以外に、別の移動軌跡ｘsを中継する経路もある。この経路の距離をｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）とする。このような移動軌跡ｘiと移動軌跡ｘjの２点間を結ぶ経路は複数あり、それらの距離のうちで最も短い距離を測地距離ｇ（ｉ，ｊ）として算出する（式１８）。
Figure JPOXMLDOC01-appb-M000018
　（式１８）において、ｍｉｎ（ｘ，ｙ，…）は、値ｘと値ｙなどのうち最も小さい値を返す関数である。また、ｓは、移動軌跡ｘsであり、移動軌跡ｘiから移動軌跡ｘjに辿（たど）りつくための中継点である。ここで、ｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）における中継点ｓは１点に限るものではない。
　上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献６のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。
Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，"Ａ　ｎｏｔｅ　ｏｎ　ｔｗｏ　ｐｒｏｂｌｅｍｓ　ｉｎ　ｃｏｎｎｅｘｉｏｎ　ｗｉｔｈ　ｇｒａｐｈｓ"，Ｎｕｍｅｒｉｓｃｈｅ　Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９－２７１，１９５９
　上記した手順により、移動軌跡間測地距離算出部１２０２は、長時間継続する移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。なお、測地距離の計算方法は、前記（式１７）及び（式１８）に限定されるものではない。
　なお、ユークリッド距離と測地距離の最も異なる点は、距離を求める２データ点と、他のデータ点との間の関係である。他のデータ点の状態に左右されることなく、２つのデータ点のみから定義されるのがユークリッド距離であり、それに対して、２つのデータ点、及び２つのデータ点間を結び得る経路上にある他のデータ点を含む距離として定義される、すなわち他のデータ点の状態から影響を受ける可能性があるのが測地距離である。
　算出した移動軌跡間の測地距離ｇ（ｉ，ｊ）の集まりを、測地距離マトリクスＧdistとして表す（式１９）。
Figure JPOXMLDOC01-appb-M000019
　以上の手順によって、移動軌跡間測地距離算出部１２０２は、Ｎ個の移動軌跡間の類似度を表す測地距離ｇ（ｉ，ｊ）を算出し、測地距離マトリクスＧdistとして出力する。
　上記した複数の移動軌跡間のユークリッド距離から測地距離を算出する処理について、図１３Ａ～図１３Ｃの概念図を用いて説明する。
　図１３Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。なお移動軌跡は、背景領域においても算出されるが、表記を容易にするため、ここでは背景領域の移動軌跡を図示しないものとする。
　図１３Ｂは、各々が（式２）で示される複数の移動軌跡のデータの分布を示した図である。図１３Ｂ中の「×」印の各データ点は、（式２）で示した画素ｉの移動軌跡ｘiに相当する。移動軌跡ｘiは独立したＴ×２個の変数からなるベクトルである。したがって、移動軌跡は、本来は最大で（Ｔ×２）次元空間のデータであるが、図１３Ｂでは表記の都合上、３次元空間の点として表している。
　図１３Ｂ中の矢印１３０１は、（式１４）で得られる移動軌跡ｘiと移動軌跡ｘjとの間のユークリッド距離ｆ（ｉ，ｊ）を表す。すなわちデータ点ｉとデータ点ｊとのユークリッド距離１３０１は、データ間を直接結んだ距離になる。
　一方、図１３Ｃ中の矢印１３０２は、（式１８）で得られる移動軌跡ｘiと移動軌跡ｘjとの間の測地距離ｇ（ｉ，ｊ）を表す。図１３Ｃに示すように、データ点ｉとデータ点ｊとの測地距離１３０２は、中継のデータ点ｓを辿った距離となる。
　次に、ユークリッド距離ｆ（ｉ，ｊ）と、（式１８）により算出した測地距離ｇ（ｉ，ｊ）の特徴を、図１４（ａ）及び図１４（ｂ）の概念図を用いてより詳しく説明する。
　ピクチャ内の移動体について、頭部の移動軌跡ｘiと手先部の移動軌跡ｘjとのユークリッド距離を、図１４（ａ）中の矢印１４０１で示す。同図から明らかであるように、移動軌跡間のユークリッド距離１４０１は、距離を求める対象である２つの移動軌跡ｘi、ｘjにのみ依存し、他の移動軌跡とは無関係な距離となる。
　一方、頭部の移動軌跡ｘiと手先部の移動軌跡ｘjとの測地距離１４０２を、図１４（ｂ）に示す。この場合、距離を求める対象である２つの移動軌跡ｘi、ｘjだけでなく、太矢印１４０２で示すように、ｘsをはじめとする近傍の複数の移動軌跡を経由して移動軌跡ｘjにたどり着く。したがって、測地距離１４０２は、経由した複数の移動軌跡間の距離の和となるため、移動軌跡ｘi、ｘj以外の移動軌跡の影響を受ける。
　言い換えると図１４（ａ）のユークリッド距離１４０１は、他の移動軌跡の分布をまったく反映していない。このため、人物のように関節で繋がった移動体において、移動軌跡間の距離は、その形状には依存しない値をとる。これに対して、図１４（ｂ）に示される測地距離１４０２では、他の移動軌跡を反映した距離となっている。したがって関節で繋がった移動体において、移動軌跡間の距離は、移動体の形状に依存する値をとる。すなわち関節における繋がりが情報として距離に含まれるため、人のような形状が変化する移動体検出にも利用できる。
　前述したように、（式２）で示される移動軌跡ｘiは、数学的には最大で（Ｔ×２）次元空間のデータである。しかし、実際にピクチャから求められる移動軌跡は、図１３Ｂおよび図１３Ｃのように（Ｔ×２）次元空間のごく一部に局在化する性質をもつことが、発明者の実験によっても確認されている。このような性質をもつ移動軌跡に対して、複数の移動軌跡間の類似度を表す距離の尺度としては、データの分布とは無関係に２データ間の距離のみを求めたものであるユークリッド距離（図１４（ａ）のユークリッド距離１４０１）よりも、近傍のデータの粗密を反映した測地距離（図１４（ｂ）の測地距離１４０２）の方が、適していると言える。
　なお、移動軌跡間測地距離算出部１２０２において、ユークリッド距離から測地距離を求める手法として、（式１７）および（式１８）を用いる手法を示したが、測地距離の算出方法をこれに限定するものではない。
　例えば、あらかじめ定めたＫ個の閾値Ｒｋの代わりに、あらかじめ定めたＫ個の閾値Ｎｋを用いる。そして、ユークリッド距離ｆ（ｉ，ｊ）から非線形化した距離ｆ´ｋ（ｉ，ｊ）を求める処理として、以下の処理を行ってもよい。つまり、閾値Ｒｋ以上のユークリッド距離ｆ（ｉ，ｊ）を無限大に置き換える（式１７）の処理の代わりに、ある移動軌跡ｘiと他の（Ｉ－１）個の移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）のうちで、小さいほうからＮｋ番目のユークリッド距離よりも大きいユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出してもよい。
　また、ユークリッド距離を無限大に置き換える処理の代わりに、小さいほうからｋ番目の移動軌跡とのユークリッド距離よりも大きい移動軌跡とのユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出するとしてもよい。
　次に、サブクラス分類ステップＳ３０５は、サブクラス分類部１０５により実行される。つまり、サブクラス分類部１０５は、移動軌跡算出部１０２で算出された移動軌跡の集まりを、輝度、または移動軌跡の類似度等の、ある指標によりクラスタリングすることで、サブクラスを生成する。
　本実施の形態においてサブクラス分類部１０５は、図１５に示すように、移動軌跡間のユークリッド距離を求めるユークリッド距離算出部１５０１と、ユークリッド距離を元にクラスタリングを行うクラスタリング部１５０２とを含む。
　ユークリッド距離算出部１５０１の処理は、距離算出部１０４におけるユークリッド距離算出部１２０１と全く同じ処理であるため、ここでは説明を省略する。
　クラスタリング部１５０２は、ユークリッド距離算出部１５０１で算出した移動軌跡ｉと移動軌跡ｊとのユークリッド距離ｆ（ｉ，ｊ）を用い、ｆ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一クラスとして束ねていく処理を繰り返すことによってクラスタリングを行う。
　図１６Ａの移動軌跡ａ～ｈに示すように、移動軌跡は同一被写体上であっても、姿勢変化によって部位ごとにそれぞれ異なったものとなる。しかしながら、関節で繋がった物体である限り、特に近傍における移動軌跡は高い類似性を保持していると仮定できる。ここで、高い類似性とは、移動軌跡ｉと移動軌跡ｊとのユークリッド距離ｆ（ｉ，ｊ）が小さいことを意味する。さらに、ユークリッド距離ｆ（ｉ，ｊ）が小さいことは、移動軌跡ｉと移動軌跡ｊとが、移動軌跡からなる高次元空間上に近距離に分布していると解釈することができる。
　図１６Ｂに、移動軌跡からなる高次元空間の概念図を示す。概念図では、説明を容易にするため、３次元空間としたが、実際には、（式２）に示したベクトルの各要素が各次元と対応する。つまり、高次元空間は、次元数が２×Ｔの空間である。また、説明の簡略化のため移動軌跡を移動軌跡ａ～ｈの８本としているが、実際には、画素ごとに求めた移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、図１６Ｂに示す移動軌跡からなる高次元空間上のデータ点は、それぞれ（式２）に示した一つの移動軌跡に対応する。すなわち、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果に対応する。
　そして、移動軌跡からなる高次元空間上の分布の連続性によって移動軌跡をクラスタリングしていくことによって、移動軌跡間の距離の不連続性をもとにクラスタリングを行う。その結果、各クラスは、個別の被写体または被写体の一部に対応することが期待でき、被写体の検出と領域分割を行うことができる。
　まず、分割する各領域を次のように表現する。
Figure JPOXMLDOC01-appb-M000020
　ここで、Ｍは、領域数であり、利用するシーンに応じて経験的に決定される。
　まず、サブクラス分類部１０５は、ユークリッド距離ｆ（ｉ，ｊ）が小さい順に、互いに異なる移動軌跡ｉと移動軌跡ｊとを同一領域ラベルθmとする処理を行う。この処理を行う上で、移動軌跡ｉまたは移動軌跡ｊの一方が既に領域θkに属している場合には、まだ領域ラベルが付与されていない画素も領域θkに属するようにする。さらに、既に移動軌跡ｉと移動軌跡ｊとがそれぞれ異なる領域に属している場合には、領域ラベルを統合する。次に、すべての移動軌跡に対してラベル付けがされ、かつ領域数が規定のＭになっているか否かを判断し、その条件が満たされていない場合には、前述のユークリッド距離ｆ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一領域ラベルθmとする処理を繰り返す。なお、各領域に属する移動軌跡の数が閾値Ｔcluster個以下となる領域については、外れ値（Ｏｕｔｌｉｅｒ）として扱い、その後の処理に用いないよう廃棄してもよい。
　サブクラス分類処理の具体例を図１６Ｃ、図１６Ｄを用いて説明する。簡単のため、Ｍ＝２とした場合（図１６Ｃ）と、Ｍ＝３とした場合（図１６Ｄ）について説明する。実際のサブクラス分類時には、十分に移動体の領域を細かな単位に分割するような、より大きなＭを利用することになる。ここで、図１６Ａ～図１６Ｄの例では、移動軌跡ａと移動軌跡ｂとの距離をｆ（ａ，ｂ）とした時に、ｆ（ａ，ｂ）＜ｆ（ｇ，ｈ）＜ｆ（ｄ，ｅ）＜ｆ（ｂ，ｃ）＜ｆ（ｆ，ｇ）＜ｆ（ｃ，ｄ）である。まず、Ｍ＝２の例について図１６Ｃを用いて説明する。サブクラス分類部１０５は、移動軌跡ａと移動軌跡ｂとの距離ｆ（ａ，ｂ）が最小であるため、移動軌跡ａと移動軌跡ｂに同一の領域ラベルθ1を付与する。次に、移動軌跡ｇと移動軌跡ｈとの距離ｆ（ｇ，ｈ）が２番目に小さいため、サブクラス分類部１０５は、移動軌跡ｇと移動軌跡ｈに同一の領域ラベルθ2を付与する。さらに、サブクラス分類部１０５は、３番目に小さい距離である移動軌跡ｄと移動軌跡ｅに対して、同一の領域ラベルθ3を付与する。次に距離が小さいのは、移動軌跡ｂと移動軌跡ｃとの距離ｆ（ｂ，ｃ）である。ここでは、移動軌跡ｂがすでにラベル付けされているため、サブクラス分類部１０５は、移動軌跡ｃに移動軌跡ｂと同一の領域ラベルθ1を付与する。次に距離が小さいのは、移動軌跡ｆと移動軌跡ｇとの距離ｆ（ｆ，ｇ）である。サブクラス分類部１０５は、ｆ（ｂ，ｃ）の場合と同様に、移動軌跡ｆに対して移動軌跡ｇと同一の領域ラベルθ3を付与する。ここでＭ＝３とした場合は、すべての移動軌跡にラベルが付与され、Ｍ＝３となると判断されるため、処理を終了する。
　Ｍ＝２という条件設定をした場合には、現在のクラス分類ではその条件を満たさない。このため、サブクラス分類部１０５は、再度、次に小さい距離をなす移動軌跡ｃと移動軌跡ｄについて移動軌跡ｃが属する領域ラベルθ1と移動軌跡ｄが属する領域ラベルθ3とを統合する。また、サブクラス分類部１０５は、移動軌跡ａからｅに対して、領域ラベルθ1を付与する。ここで、すべての移動軌跡にラベルが付与され、Ｍ＝２となると判断されるため、処理を終了する。
　本実施の形態では、移動軌跡に対して（式１４）または（式１５）のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域分割が可能になる。そのため、図１６Ｃのような例において、Ｍ＝２の場合は、左側の人物の動きが、背景の動きと相対的に類似することが反映されて、移動軌跡は、右の人物と、背景および左の人物との２つに分離される。さらに、図１６ＤのＭ＝３の場合は、Ｍ＝２の場合に加えて、左側の人物の動きと背景の動きの違いが反映され、移動軌跡を、背景と、左の人物と、右の人物とに分離することが可能になる。同様に、より大きいＭを利用することにより、サブクラス内に関節を含まないような細かい小領域にまで、移動軌跡をクラスタリングすることができる。
　このように、類似した移動軌跡に対して、順々に領域ラベルを付与することによって、高次元空間上で連続している移動軌跡を一つのクラスと判断し、移動軌跡間の距離が大きいところを不連続点として、それぞれのクラスを分離することができる。そして、各クラスに属する移動軌跡を、移動体検出に利用することが可能となる。
　なお、以上の説明においては、サブクラス分類部１０５は、移動軌跡算出部１０２で算出された移動軌跡の集まりを、輝度、または移動軌跡の類似度等の、ある指標によりクラスタリングすることで、サブクラスを生成するとしたが、必ずしもサブクラスが複数の移動軌跡を含んでいる必要はない。すなわち、サブクラスがそれぞれが１つの移動軌跡からなるサブクラス分類を行ってもよい。
　次に、距離算出ステップＳ３０６は、重み付き距離算出部１０６によって実行される。重み付き距離算出部１０６は、図１７に示すように、代表測地距離算出部１７０１と、静止指標付加部１７０２とを含む。
　代表測地距離算出部１７０１は、距離算出部１０４で算出された測地距離、ユークリッド距離を元に、サブクラス分類部１０５で生成されたサブクラス間での測地距離の代表値（代表測地距離）を算出する。続く静止指標付加部１７０２は、静止指標算出部１０３で算出した各画素の静止指標を元に、各サブクラスに含まれる移動軌跡の静止物らしさを示す静止指標を求め、求めた静止物らしさを示す静止指標に基づき、代表測地距離算出部１７０１が算出した各サブクラス間の代表測地距離に重み付けを行う。
　まず、代表測地距離算出部１７０１の動作について詳しく説明する。
　図１８に、サブクラス分類部１０５で生成された複数のクラスのうち、近接する２つのサブクラスθi、θjを示す。なお、簡単のため以下の説明では、「サブクラス」を「クラス」とのみ表記する。
　クラスθi、θjに含まれる移動軌跡の集まりをそれぞれＩ、Ｊとし、クラスθi、θjが含む移動軌跡の個数をそれぞれＮｉ、Ｎｊとすると、Ｉ、Ｊはそれぞれ以下の（式２１）、（式２２）で表せる。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
　なお、（式２１）、（式２２）に含まれるｘiは、（式２）同様、多次元ベクトルの形式で表された移動軌跡である。
　ここで、Ｉに含まれる移動軌跡と、Ｊに含まれる移動軌跡との間で求められる距離を、クラス間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。
　図１８に、クラス間測地距離の代表値（代表測地距離）の概念図を示す。クラスθiから移動軌跡ｘi3１８０１を、クラスθjから移動軌跡ｘj1１８０２を選択した場合、この２移動軌跡間の測地距離はｇ31（＝ｇ（ｉ3，ｊ1））として求まる。これを、Ｉ，Ｊ間における全ての移動軌跡の組み合わせについて計算すると、以下の（式２３）に示すような、複数の測地距離ｇが得られる。
Figure JPOXMLDOC01-appb-M000023
　本明細書における移動体領域検出は、Ｉ、Ｊに示すようなクラス内の単一移動軌跡の集まりに着目し、クラス単位のマクロな距離に基づいて動作することで、ピクセル単位で処理をするために生じてしまう静止指標のノイズ・誤検出に対処できる。したがって、クラス間距離の代表値を算出することが望ましい。すなわち、クラス間距離の代表値は、複数クラスに対して、各クラス間の動きまたは位置的な関係を近似できるような代表値であることが望ましい。
　前述の望ましい条件を満たす代表距離については、各クラスの移動軌跡間の測地距離の平均値を代表値として用いることができる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求め、それらを平均して得られるものである。この場合、代表測地距離Ｇ（θi，θj）は以下の（式２４）で算出できる。
Figure JPOXMLDOC01-appb-M000024
　なお、（式２４）において、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞となる距離）、平均値の計算からはそれらの点を除くものとする。
　あるいは、すべてのｇ（ｉ，ｊ）から、それぞれ無限大を除いた最大値ｇｍａｘを求め、ｇ（ｉ，ｊ）＝∞となる距離をｇｍａｘと置き換えて平均値の計算を行っても良い。あるいは、ｇ（ｉ，ｊ）≠∞となるよう、測地距離の計算のみを再度やりなおしてもよい。
　なお、この代表測地距離については測地距離の平均値に限るものではない。
　以下に示すように、各クラスの移動軌跡間の測地距離の中央値を代表値として用いることもできる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求め、それらのメジアンをとって得られるものである。ユークリッド距離の代表値についても、同様に求めて用いることができる。この場合、代表測地距離Ｇ（θi，θj）は以下の（式２５）で算出できる。
Figure JPOXMLDOC01-appb-M000025
　なお、（式２５）において、
Figure JPOXMLDOC01-appb-M000026
 は、整数ラベルｉ（ｉ＝１～Ｎｉ）、整数ラベルｊ（ｊ＝１～Ｎｊ）に対応する複数の値を有するｇ（ｉ，ｊ）の中央値を返す関数である。
　なお、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞）、前述の平均値の計算同様に、中央値の計算からそれらの点を除く。あるいは、すべてのｇ（ｉ，ｊ）から、それぞれ無限大を除いた最大値ｇｍａｘを求め、ｇ（ｉ，ｊ）＝∞となる距離をｇｍａｘと置き換えて中央値の計算を行っても良い。あるいは、ｇ（ｉ，ｊ）≠∞となるよう、測地距離計算のみ再度やりなおしてもよい。
　また、以下の（式２７）に示すように、代表測地距離として、各クラスの移動軌跡間の測地距離の最頻値を代表値として用いることもできる。これらの代表値は、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求めた際に、それらの中でもっとも高頻度で現れる値である。
Figure JPOXMLDOC01-appb-M000027
　なお、（式２７）において、
Figure JPOXMLDOC01-appb-M000028
 は、整数ラベルｉ（ｉ＝１～Ｎｉ）、整数ラベルｊ（ｊ＝１～Ｎｊ）に対応する複数の値を有するｇ（ｉ，ｊ）の最頻値を返す関数である。
　なお、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞）、前述の平均値の計算同様に、最頻値の計算からそれらの点を除く。あるいは、すべてのｇ（ｉ，ｊ）から、それぞれ無限大を除いた最大値ｇｍａｘを求め、ｇ（ｉ，ｊ）＝∞となる距離をｇｍａｘと置き換えて最頻値の計算を行っても良い。あるいは、ｇ（ｉ，ｊ）≠∞となるよう、測地距離計算のみ再度やりなおしてもよい。
　次に、静止指標付加部１７０２の動作について詳しく説明する。静止指標付加部１７０２は、各クラスに属する移動軌跡の静止指標に基づき、各クラス間の代表測地距離Ｇに対し重み付けを行う。以下、図１９Ａ～図１９Ｅを参照しながら説明する。
　図１９Ａは、移動体および背景上にそれぞれ属する移動軌跡の例をシーン画像に重畳して示した概念図である。分かりやすいように、左側の人物Ａに対応する移動軌跡には“□”、右側の人物Ｂに対応する移動軌跡には“△”、背景に対応する移動軌跡には“×”を付して示している。なお、図１９Ａでは代表的な８本の移動軌跡のみを示しており、実際はより多い数の移動軌跡が存在する。ここでは、見やすくするためその他の移動軌跡を省略して示している。
　図１９Ｂは、図１９Ａに示したシーン中に存在する移動軌跡について、サブクラス分類部１０５でクラス分類を行った結果を高次元空間上で示している。ここでも、見易さのため、代表的な移動軌跡について２次元空間上で示す。
　シーン中の移動軌跡は、移動体や背景などの被写体自身の動き成分に、カメラの動き成分が加わったものとして観測される。そのため、カメラの動きが大きいほど、移動軌跡の分布（例えば図１９Ｂに示す移動軌跡の分布）においてカメラ動き成分が支配的になり、移動体上の移動軌跡と背景の移動軌跡との区別が困難になる。
　例えば、図１９Ａのようにカメラ自身が前方へ大きく動く場合、背景は湧き出し点を中心とした放射状の移動軌跡となる。その結果、図１９Ｂに示す移動軌跡の分布のように、移動体上の移動軌跡と背景の移動軌跡との類似度、および、移動体上の移動軌跡のサブクラスと背景の移動軌跡のサブクラスとの間の類似度が、相対的に高くなる、すなわち、測地距離が短くなってしまう場合がある。言い換えると、カメラの動きが大きいほど、図１９Ｂに示す移動軌跡の分布において、背景の移動軌跡の分布と移動体の移動軌跡の分布とが近づくため、背景のサブクラスと、移動体のサブクラスを、分離統合することができない。
　また、図１９Ｃに、静止指標付加部１７０２が各移動軌跡に対して静止または移動の判定を行った結果を示す。図１９Ｃ上に示す移動軌跡は、図１９Ｂに示す移動軌跡と同じものをそれぞれ、２次元空間上の同じ位置に表示している。
　ここで、各移動軌跡の静止または移動の判定結果を表す指標を静止判定値ＥMSとする。静止指標付加部１７０２は、各移動軌跡の静止指標Ｅが、ある設定した閾値ＴＨMSよりも大きい場合は、移動体と判定、すなわち静止判定値ＥMS＝１とし、それ以外の場合は、静止物であると判定、すなわち静止判定値ＥMS＝０とする（式２９）。閾値ＴＨMSについては、シーンや経験により利用者が設定できるが、ここではＴＨMS＝１０-5に設定するものとする。
Figure JPOXMLDOC01-appb-M000029
　なお、静止または移動の判定に用いる静止判定値ＥMSは、ここでは０または１の２値で示したが、これは一例であり、静止物、移動体について異なる値であれば前述の２値でなくともよい。
　図１９Ｂと図１９Ｃに属する各移動軌跡について、静止または移動の判定結果と実際の結果とを比較すると、移動軌跡１９０１のように、実際は静止物上の移動軌跡であるのに、移動体と誤判定（静止判定値ＥMS＝１）されたり、逆に、移動軌跡１９０２のように、実際は移動体上の移動軌跡であるのに、静止物と誤判定（静止判定値ＥMS＝０）されたりしているケースがあることが分かる。実際に、発明者らの実験においても、同様の事象が確認されている。
　そこで、図１９Ｄに示すように、静止指標付加部１７０２は、サブクラス単位で静止または移動の評価を行い、誤判定を修正する。
　各サブクラスは、多くの場合、移動体上の小領域、もしくは背景上の小領域として求められる。すなわち、サブクラス内の移動軌跡は全て移動体、もしくは全て静止物、となる、と仮定できる。したがって、静止指標付加部１７０２は、サブクラス単位で静止または移動の評価を行うことで、前述した、図１９Ｃ移動軌跡１９０１および１９０２にみられるような誤判定を修正する。ここで、サブクラス単位の静止または移動の評価判定結果を表す評価値を、サブクラス間静止判定値ＥSUB-MSとする。サブクラス間静止判定値ＥSUB-MSは、移動軌跡の静止判定値ＥMSと同様に、０または１の２値を取るものとする。
　サブクラス単位の静止または移動の評価の方法としては、例えば最も簡易な例として、多数決が挙げられる。具体的には、静止指標付加部１７０２は、あるサブクラス内の移動軌跡について、静止判定値ＥMS＝１である移動軌跡の方が多い場合は、そのサブクラス単位の静止または移動の評価を、「移動」、すなわちサブクラス間静止判定値ＥSUB-MS＝１とする。逆に、あるサブクラス内の移動軌跡について、「静止」と判定された移動軌跡の方が多いか、数が同じである場合は、そのサブクラス単位の静止または移動の評価を、「静止」、すなわちサブクラス間静止判定値ＥSUB-MS＝０とする（式３０）。これにより、図１９Ｄに示すように、移動体上の各サブクラスではサブクラス間静止判定値ＥSUB-MS＝１と判断され、静止物上の各サブクラスではサブクラス間静止判定値ＥSUB-MS＝０と判断され、誤判定の影響を除去できる。
Figure JPOXMLDOC01-appb-M000030
　なお、ここではサブクラス間静止判定値ＥSUB-MSを、２値の静止判定値ＥMSより求める２値の評価値としたが、以下のようにしてもよい。
　すなわち、サブクラス間静止判定値ＥSUB-MSを２値とし、多値の静止評価値Ｅの平均値と、あらかじめ定めた閾値ＴＨEとの大小判定によりサブクラス間静止判定値ＥSUB-MSを求めるというものである（式３１）。
Figure JPOXMLDOC01-appb-M000031
　このようにすることで、静止判定値ＥMSの保持のためのメモリ量を節約できる。
　本発明の目的は、移動体を背景から分離することである。図１９Ｂに示すように高次元空間上で近接した移動体上のサブクラスと、背景上のサブクラスを、分離統合可能な状態にするためには、互いに静止背景であるサブクラス同士は互いにより近づき、逆に、それぞれ移動体と背景であるサブクラスの間はより離れるような、新たなサブクラス間距離が求まることが望ましい。
　そこで、静止指標付加部１７０２は、図１９Ｅに示すような重み付けルールを設定し、サブクラスθi，θj間で定義される新たなサブクラス間距離である、重み付き測地距離Ｇw（θi，θj）を算出する（式３２，式３３）。
　すなわち、２つのサブクラスのサブクラス間静止判定値ＥSUB-MSが、どちらも０であれば、どちらも静止物のサブクラスであり、同じ静止背景に属するといえる。したがって、サブクラス間の距離を近づけてやればよい。そこで、静止指標付加部１７０２は、サブクラス間の代表測地距離Ｇ（θi，θj）に対して、距離を短くする（近づける）重みＷをかけるものとする。すなわち、Ｗ＜１となるような重みＷｍｉｎをかける。
　　　Ｇw（θi，θj）＝Ｗｍｉｎ・Ｇ（θi，θj）＜Ｇ（θi，θj）
　また、ある２つのサブクラスのサブクラス間静止判定値ＥSUB-MSが、一方が０、もう一方が１である場合は、それぞれ背景のサブクラスと移動体のサブクラス、すなわち異なる物体のサブクラスである可能性が高いため、サブクラス間の距離を遠ざけてやればよい。そこで、静止指標付加部１７０２は、サブクラス間の代表測地距離Ｇ（θi，θj）に対して、距離を長くする（遠ざける）ような重みＷをかけるものとする。すなわち、Ｗ＞１となるような重みＷｍａｘをかける。
　　　Ｇw（θi，θj）＝Ｗｍａｘ・Ｇ（θi，θj）＞Ｇ（θi，θj）
　また、ある２つのサブクラス間のサブクラス間静止判定値ＥSUB-MSが、どちらも１であれば、どちらも移動体のサブクラスである。しかし、背景の場合と異なり、その２つのサブクラスが、同じ移動体上のサブクラスであるか、異なる移動体上のサブクラスかは、サブクラス間静止判定値ＥSUB-MSのみからは判定できない。したがって、重み付けは行わないものとする。すなわち、静止指標付加部１７０２は、サブクラス間の代表測地距離Ｇ（θi，θj）に対して、Ｗ＝１となるような重みＷｎｅｕをかける。
　　　Ｇw（θi，θj）＝Ｗｎｅｕ・Ｇ（θi，θj）＝Ｇ（θi，θj）
Figure JPOXMLDOC01-appb-M000032
Figure JPOXMLDOC01-appb-M000033
　なお、説明を容易にするため、ここではサブクラス間静止判定値ＥSUB-MSを、静止判定値ＥMSより求めた２値の評価値としたが、サブクラス間静止判定値ＥSUB-MSを多値としてもよい。例えば、サブクラス間静止判定値ＥSUB-MSは以下の式３４のように静止評価値Ｅより直接求めるとしてもよい。
Figure JPOXMLDOC01-appb-M000034
　このようにすることで、より各移動軌跡における静止評価値Ｅの値が反映された形で、サブクラスの静止移動判定を行える。
　この場合、重み付けルールを定義する（式３３）は、（式３５）のようになる。すなわち、２つのサブクラスのサブクラス間静止判定値ＥSUB-MSが、どちらもある閾値ＴｈSUB-MS以下であれば、どちらも静止物のサブクラスの場合の重みＷｍｉｎをかけ、２つのサブクラスのサブクラス間静止判定値ＥSUB-MSが、どちらもある閾値ＴｈSUB-MS以上である場合は、どちらも移動体のサブクラスの場合とし、Ｗ＝１となるような重みＷｎｅｕをかけ、それ以外の場合は、それぞれ背景のサブクラスと移動体のサブクラスである場合の重みＷｍａｘをかけるものとする。
Figure JPOXMLDOC01-appb-M000035
　なお、重みＷ（θｉ，θｊ）についても説明を容易にするためここではＷｍｉｎ，Ｗｍａｘ，１の３値としたが、多値としてもよい。例えば、サブクラス間静止判定値ＥSUB-MS（θｉ）、ＥSUB-MS（θｊ）が、ともに０に近づくほど、重みＷ（θｉ，θｊ）がＷｍｉｎに近づき、サブクラス間静止判定値ＥSUB-MS（θｉ）、ＥSUB-MS（θｊ）が、ともに大きくなるほど、重みＷ（θｉ，θｊ）が１に近づき、サブクラス間静止判定値ＥSUB-MS（θｉ）、ＥSUB-MS（θｊ）の一方が０に近づき、他方が大きくなるほど、重みＷ（θｉ，θｊ）がＷｍａｘに近づくような、多値の値であればよい。
　なお、（式３５）の代わりに、２つのサブクラスがともに静止物である場合にサブクラス間の距離を短くする重み付けを行う（式３６）、または、２つのサブクラスの一方が背景で他方が静止物である場合にサブクラス間の距離を長くする重み付けを行う（式３７）を用いてもよい。
Figure JPOXMLDOC01-appb-M000036
　なお、上述した（式３６）の重みＷ（θｉ，θｊ）についてＷｍｉｎ，１の２値としたが、多値としてもよい。例えば、サブクラス間静止判定値ＥSUB-MS（θｉ）、ＥSUB-MS（θｊ）が、ともに０に近づくほど、重みＷ（θｉ，θｊ）がＷｍｉｎに近づき、その他の場合は重みＷ（θｉ，θｊ）が１に近づくような、多値の値であればよい。
Figure JPOXMLDOC01-appb-M000037
　なお、上述した（式３７）の重みＷ（θｉ，θｊ）についてＷｍａｘ、１の２値としたが、多値としてもよい。例えば、サブクラス間静止判定値ＥSUB-MS（θｉ）、ＥSUB-MS（θｊ）の一方が０に近づき、他方が大きくなるほど、重みＷ（θｉ，θｊ）がＷｍａｘに近づき、その他の場合は重みＷ（θｉ，θｊ）が１に近づくような、多値の値であればよい。
　なお、Ｗｍａｘ，Ｗｍｉｎの値については、カメラ動きの大きさや、移動体の動く速度等にもよるが、例えば、カメラ側が時速１ｋｍで直進する場合は、Ｗｍａｘ＝５、Ｗｍｉｎ＝０．０１を用いることができる。
　さらには、サブクラス間静止判定値ＥSUB-MSの信頼度によって、重みを変化させることで、より正しく移動体を背景から分離できる。
　もし、サブクラス間静止判定値ＥSUB-MSの信頼度が低い場合、誤判定が起こり、サブクラス間の代表測地距離Ｇ（θi，θj）に逆方向の重みがかかってしまう可能性がある。
　そこで、例えばエピポール誤差を静止指標Ｅとして利用した場合を考えると、特に直進する車に対して、例えば細い路地などで真正面に小さな移動体が存在するような場合、エピポーラ線上の移動体は検出ミスが起こりやすい。このため、静止指標Ｅの信頼度は低くなる。したがって、このような場合は、予めＷｍｉｎ＝０．１、Ｗｍａｘ＝２．５にするなど、Ｗｍｉｎ、Ｗｍａｘをより１に近い値にすることで、誤検出および検出ミスが、重み付き測地距離Ｇw（θi，θj）へ与える悪影響を低減することができる。
　逆に、サブクラス間静止判定値ＥSUB-MSの信頼度が高い場合（例えば前述のエピポール誤差の場合、大通りの車道など、真正面に人物のような小さな移動体があらわれにくいような場合）は、逆にＷｍｉｎ＝０．００１、Ｗｍａｘ＝１０にするなど、Ｗｍｉｎ、Ｗｍａｘをより１から遠い値にすればよい。特に、サブクラス間静止判定値ＥSUB-MSが完全に正しく与えられた場合は、Ｗｍａｘ＝∞、とすれば、容易に、移動体を背景から分離することができる。
　以上の重み付けルールにより算出した重み付き測地距離Ｇw（θi，θj）を、高次元空間上で示した図を図１９Ｆに示す。図１９Ｂと同様、高次元を便宜上２次元で表示している。
　背景に属するサブクラスが、各移動体に属するサブクラスから遠ざかり、図１９Ｂに比べて、移動体と背景の分離が容易に分離可能な状態になったことが分かる。
　最後に、領域分割ステップＳ３０７では、領域分割部１０７は、サブクラス分類部１０５で生成された複数のサブクラスθp（ｐ＜＝ｍ，ｍ：サブクラス数）を領域分割候補とする。領域分割部１０７は、サブクラスθpの領域分割の評価値として、重み付き距離算出部１０６で算出されたサブクラス間の重み付き測地距離Ｇw（θp，θq）に基づいて、サブクラスθpの領域分割候補を別個のクラスタとして分割するか否かを判断する。
　なお、ここまでサブクラスθp，θq間の距離として“重み付き測地距離Ｇw（θp，θq）”を用いているが、以下では説明のため、サブクラス間の“重み付き測地距離Ｇw（θp，θq）”を、“サブクラス間測地距離ｈp,q”と表記する（ｑ＜＝ｍ、ｍ：サブクラス数）。
　具体的には、領域分割部１０７は、サブクラス間測地距離ｈp,qが、あらかじめ定められた閾値Ｈｔ以上の場合、対応する２つのサブクラスθp、θqは、そのサブクラス間の距離が十分離れているクラスとして選択し、個別のクラスとして確定する。
　一方、領域分割部１０７は、サブクラス間測地距離ｈp,qが、あらかじめ定められた閾値Ｈｔより小さい場合、対応する２つのサブクラスθp、θqは、同一のクラスとして確定する。つまり、この場合には、分割しないと確定する。そして、領域分割部１０７は、領域分割候補の全てのサブクラスに対して、分割するか否かを判定した後、異なるクラスに属する移動軌跡には異なるラベルθmを割り当て、移動軌跡の領域分割情報として出力する。
　例えば、図２０Ａに示されるクラス数７のサブクラスについて、各サブクラス間測地距離をｈp,qとする（ｐ＝０～６，ｑ＝０～６，ｍ＝７）。実際には、サブクラスの数はもっと多いことがあるが、ここでは見やすさのために７つのサブクラスのみ表示する。
　図２０Ａに示される，図１９Ａの人物Ａに対応するクラス数２のサブクラス間の測地距離をｈ1,2とする。ここで、ｈ1,2≧Ｈｔであるとすると、対応するサブクラスθ1およびθ2は、分割される。逆に、ｈ1,2＜Ｈｔであるとすると、対応するサブクラスθ1およびθ2は、分割される。
　領域分割部１０７では、以上の手順により、閾値Ｈｔによりラベルを割り当てた移動軌跡のクラスタθpから、画像を生成して、ディスプレイ１２０に表示する。
　本実施の形態において領域分割部１０７は、画像入力部１０１で受け付けた動画像に対して、統合したサブクラスの結果が視認できる表示態様となるように、入力ピクチャに画像処理を施して出力し、ディスプレイ１２０に表示する。
　図２０Ｂ～図２０Ｄに、領域分割部１０７で生成したピクチャの例を示す。
　なお、本実施の形態の移動体検出装置１００の領域分割部１０７において、閾値Ｈｔはあらかじめ定められているものとしたが、これに限定されるものではない。具体的には、領域抽出したい移動体の動きの大きさに応じて閾値Ｈｔを変化させても良いし、移動体が人であるのか車であるのかに応じて閾値Ｈｔを変更しても良い。
　閾値Ｈｔは、ある２つの領域分割候補に対して、それらを異なる領域とするか同じ領域とするかの評価基準に相当する。例えば、２つの領域分割候補が２つの移動体にそれぞれ対応する場合、閾値Ｈｔを小さくすることで、２つの移動体の相対的な位置や動きの違いが小さい場合においても、異なる２つの領域として抽出することができる。逆に、閾値Ｈｔを大きくすることで、この２つの移動体の相対的な位置や動きが大きい場合にのみ、２つの領域として抽出することができることとなる。すなわち、閾値Ｈｔの大小によって、領域抽出する対象を変えることができるという効果がある。
　図２０Ｂ～図２０Ｄに、以上の処理を行い、結果をディスプレイに表示した例を示す。サブクラス分類部１０５で算出された各サブクラスに対し、同一移動体として抽出されたサブクラスごとに、一つの移動体であるものとして色分けを行うと、図２０Ｂのように表示されるサブクラス分類結果について、サブクラス統合結果を図２０Ｃのように表示することができる。
　この例では、２つの移動体が２種類に色分けされて表示されている。このような表示形態にすることで、ピクチャ中の移動体を正しく検出し、その結果をわかりやすく表示できる効果がある。
　移動体の位置を視認するためには、少なくともそのおおまかな位置が提示される必要がある。したがって、領域全体を色分けする必要は必ずしもないため、図２０Ｄのように、外枠のみ表示するとしてもよい。メリットとしては、移動体そのものの見え方をほとんど変化させずに、移動体領域を提示することができる。
　なお、領域分割部１０７において、ピクチャを生成する手順として、移動軌跡のピクチャ座標位置の画素をセグメント領域に応じた色で描画するとしたが、ピクチャを生成する方法をこれに限定するものではない。具体的には、移動軌跡の数とピクチャ全体の画素数とが同数であれば、上述した方法によりピクチャ中の全画素をクラスに応じた色で描画することができる。一方、移動軌跡の数がピクチャ全体の画素数より少ない場合、どの移動軌跡のピクチャ座標位置とも一致しない画素が存在する。
　このような移動軌跡のピクチャ座標位置と一致しない画素については、別の方法で描画しても良い。例えば、移動軌跡算出部１０２において、ある移動軌跡を生成するための動き検出に用いたブロックに属する画素は、その移動軌跡が属するサブクラスと同じ色で描画するとしても良い。
　また、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、最近傍の移動軌跡の属するサブクラスと同じ色で描画するとしても良い。
　また、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、複数の移動軌跡のピクチャ座標位置（点）の間を、Ｄｅｌａｕｎａｙ三角メッシュ生成法にて結び、同一のクラスに属する３点に囲まれる３角形に含まれる画素を、そのクラスと同じ色で描画するとしても良い。
　なお、連続して入力される動画像に対して処理を行う場合は、上述したステップＳ３０１～Ｓ３０７の動作を、Ｔ枚のピクチャが入力されるたびに繰り返し行うとしても良い。
　以上のようにして、本実施の形態に係る移動体検出装置及び方法によれば、ピクチャ内のサブクラス間の移動軌跡の測地距離の代表値と、各サブクラスの移動軌跡の静止指標に基づいて移動体領域の判定を行うことによって、ピクチャ中を移動する物体の領域を時間的に追跡した結果として、移動体の姿勢によらずに、ピクチャ中の移動体領域を検出することができる。
　なお、ここでは重み付き距離算出部１０６における測地距離への重み付け、および領域分割部１０７における領域分割の処理をサブクラスに対して行っているが、必ずしもサブクラスに基づいた領域分割処理を行う必要はない。
　すなわち、重み付き距離算出部１０６の静止指標付加部１７０２で、サブクラス間の代表測地距離に重み付けを行うかわりに、各サブクラスに対応する全ての移動軌跡間の測地距離に対し、各測地距離に対応するサブクラス間の代表測地距離に与えた重みと同じ重みを用いて重み付けを行い、重み付き移動軌跡間測地距離を算出し、さらに領域分割部１０７で、重み付き測地距離Ｇｗではなく、重み付き移動軌跡間測地距離に基づいて領域分割を行うとしてもよい。この場合の領域分割方法としては、例えばサブクラス分類部１０５及びその変形例と同様の処理を重み付き移動軌跡間測地距離に対して行うことで、ピクチャを領域分割し、移動体を背景から分離することができる。
　特に、測地距離に対して上記した重み付けを行っているつまり、移動軌跡の静止指標および移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が、変換前と比べて大きくなるような変換処理を行った上で、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出している。
　言い換えれば、移動軌跡間の距離に基づいて、移動軌跡間の測地距離を算出し、移動軌跡の静止指標に基づいて、算出した各測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、重み付き移動軌跡間測地距離を算出している。その上で、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出している。
　このため、静止物の移動軌跡と移動体の移動軌跡とが分離しやすくなる。よって、形状が変化しながら移動する人物等の移動体を含み、かつ、移動するカメラで撮影された画像であっても、正しく移動体を検出することができる。
　また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域抽出の失敗がない。
　以上のように、膨大なパラメータのフィッティングを必要とせずに、領域間測地距離に基づいてクラスタリングを行うことによって、安定に、形状が変化しながら移動する人物等を含むピクチャから移動体を正しく検出可能となる。
　なお、本実施の形態の移動体検出装置において、距離算出部１０４が距離を算出し、重み付き距離算出部１０６に入力するとしたが、距離の代わりに、距離の時間変化を用いることもできる。
　すなわち、ｔフレーム～２ｔフレームの移動軌跡から求めた距離と、２ｔフレーム～３ｔフレームの移動軌跡から求めた距離の差分を距離の時間変化と呼び、これをｔフレーム～２ｔフレームの移動軌跡の代わりに用いることでも同様の効果を得ることができる。
　なお、本実施の形態の移動体検出装置において、距離算出部１０４が、移動軌跡算出部１０２で生成した移動軌跡から抽出する、移動軌跡のピクチャ数Ｔは、Ｔ＝３０としたが、この数値に限定するものではない。例えば、検出すべき移動体の種類や状態に応じて別の数値を用いても良い。例えば、検出する対象が歩行者と仮定できる場合、平均的な歩行周期が約１秒（３０フレーム）であることから、Ｔ＝３０フレームのピクチャにわたる移動軌跡は、人の歩行１周期に対応する。このように、検出すべき対象が周期的な変形を伴う移動体である場合、距離算出部１０４において抽出する移動軌跡のピクチャ数Ｔを、移動体の変形周期に対応するピクチャ数とすることで、移動体の変形の影響を受けにくくなり、移動体をより正しく抽出することができるという効果がある。また遮蔽などの影響により、ピクチャ数Ｔにわたる移動軌跡が算出できないピクチャ中の移動体領域が存在する場合について、移動軌跡が算出可能な最大のピクチャ数をＳ（Ｓ＜Ｔ）とすることで、移動体の領域をより詳細に検出可能になるという効果がある。
　なお、本実施の形態の移動体検出装置において、距離算出部１０４が抽出する移動軌跡を得るためのピクチャの枚数Ｔは、あらかじめ定められており、一定であるものとして説明したが、それぞれの移動軌跡の算出に利用するピクチャ数Ｔを、動的に変化させても良い。
　移動軌跡のピクチャ数Ｔを動的に変化させる手法としては、例えば、移動軌跡個数の上限値をあらかじめ定めておき、これらの上限値を大きく超えないようにピクチャ数Ｔを動的に変化させるとしても良い。具体的には、移動軌跡の個数の上限値Ｎｍａｘをあらかじめ定めておき、距離算出部１０４において、あらかじめ定められたピクチャ数Ｔにわたる移動軌跡から抽出した移動軌跡の個数が、Ｎｍａｘを超えた場合に、ピクチャ数Ｔを増加させるとしてもよい。ここで移動軌跡の数が多いということは、動画像中の変化が小さい、被写体の動きが小さい、動きによる遮蔽領域が少ない、などの理由により、全ピクチャにわたる対応点が多く算出可能であることに相当する。このような場合、ピクチャ数Ｔを増加させることで、移動領域により多くの動きの情報が含まれることによって移動体を正しく検出できるという効果が期待できる。
　また、移動軌跡のピクチャ数Ｔを動的に変化させる別の手法としては、例えば、移動軌跡個数の下限値をあらかじめ定めておき、これらの下限値を下回らないようにピクチャ数Ｔを動的に変化させるとしても良い。具体的には、移動軌跡の個数の下限値Ｎｍｉｎをあらかじめ定めておき距離算出部１０４において、あらかじめ定められたピクチャ数Ｔにわたる移動軌跡の個数がＮｍｉｎを下回った場合に、移動軌跡の個数がＮｍｉｎを超えるように、より小さいピクチャ数Ｔを用いる、としても良い。このような処理を行うと、移動軌跡があらかじめ定められた移動軌跡数を下回らないようにすることができる。そのため、例えば動画像中の被写体の動きによる遮蔽によって移動軌跡の個数が相対的に小さくなる動画像に対しても、移動軌跡が極端に少なくなるということが発生しにくくなる。その結果、領域分割ができないということが発生しにくくなるという効果がある。
　なお、本実施の形態では線形距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の線形距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
　なお、本発明に係る移動体検出装置及び方法は、上記実施の形態に限定されるものではなく、上記実施の形態に対して当業者が思いつく変形を施して得られる形態や、後述する各種変形例を含む複数の形態における構成要素を任意に組み合わせて得られる形態も本発明に含まれる。
　（変形例１）
　次に、本発明の実施の形態の変形例１に係る移動体検出装置について説明する。
　本変形例に係る移動体検出装置では、静止判定値ＥＭＳを求める際に利用する閾値ＴＨＭＳを調整するためのインタフェースを備えている。
　先に述べたとおり、静止判定値ＥＭＳを求める際に利用する閾値ＴＨＭＳの値については、カメラ動きの大きさや、移動体の動く速度等により最適な値が異なる。そのため、実際には、撮像シーンやカメラセッティングが変わるような場合に、予め設定しておいたある固定の閾値ＴＨＭＳは最適とはならず、固定の閾値ＴＨＭＳを用いた場合には正確に移動体を検出することができない場合が起こりうる。
　そのような場合、最適な閾値ＴＨＭＳを求めるために、ユーザは、以下のような手順を踏まなければならない。まず、移動体検出装置１００は、固定の閾値ＴＨＭＳに基づいてサブクラス間静止判定値ＥＳＵＢ－ＭＳを算出し、算出したサブクラス間静止判定値ＥＳＵＢ－ＭＳに基づきサブクラス間距離に重み付けをする等の処理を行なうことにより、ディスプレイ１２０に領域分割の結果を表示する。ユーザは、表示された領域分割の結果を確認した上で、閾値ＴＨＭＳを試行錯誤的に入力する。その後、移動体検出装置１００による領域分割が再度実行され、表示された領域分割の結果を確認した上で、再度閾値ＴＨＭＳを入力するという手順が繰返し行われる。このように、試行錯誤的に閾値ＴＨＭＳを入力しながら、領域分割および閾値ＴＨＭＳの入力という手順を繰り返すことにより、最適な閾値ＴＨＭＳを求める必要がある。
　ただし、閾値ＴＨＭＳは、静止指標Ｅの値に対して適用される閾値である。つまり、閾値ＴＨＭＳは静止指標Ｅの値の分布に大きく依存するといえる。したがって、静止指標Ｅの値とその画像上での分布が確認できれば、領域分割処理を最後まで行なうことなく、閾値ＴＨＭＳを調整できる。これにより、より早く最適な閾値ＴＨＭＳを決定することができる。
　図２１は、変形例１に係る移動体検出装置１００Ｌの構成を示すブロック図である。移動体検出装置１００Ｌは、図１に示した移動体検出装置１００の構成において、静止指標算出部１０３および重み付き距離算出部１０６の代わりに、静止指標算出部１０３Ａおよび重み付き距離算出部１０６Ａをそれぞれ用いた構成である。
　以下では、上述の実施の形態と異なる点を中心に説明し、共通する点については説明を省略する。
　図２２は、静止指標算出部１０３Ａの詳細な構成を示すブロック図である。
　静止指標算出部１０３Ａは、図７に示した静止指標算出部１０３に、さらに、静止指標画像作成部７０３が加えられた構成を有する。静止指標画像作成部７０３は、ピクチャを構成する各ブロックを、算出した静止指標の値に応じた表示態様で、ディスプレイ１２０に表示させる。静止指標画像作成部７０３が実行する処理の詳細については後述する。
　図２３は、重み付き距離算出部１０６Ａの詳細な構成を示すブロック図である。
　重み付き距離算出部１０６Ａは、図１７に示した重み付き距離算出部１０６に、閾値入力部１７０３が加えられ、静止指標付加部１７０２の代わりに静止指標付加部１７０２Ａを用いた構成を有する。閾値入力部１７０３は、ユーザが入力した静止指標閾値を受け付ける処理部であり、例えば、キーボードやマウスなどから構成されていても良い。静止指標付加部１７０２Ａは、静止指標付加部１７０２と同様の方法により静止指標を求め、静止指標に基づいて、各サブクラス間の代表測地距離に重み付けを行う。ただし、このときに用いる静止指標の閾値ＴＨＭＳが閾値入力部１７０３が受け付けたものである点が、静止指標付加部１７０２とは異なる。
　図２４は、静止指標算出部１０３Ａの静止指標画像作成部７０３が作成する画像の一例を示す図である。例えば、静止指標画像作成部７０３は、静止指標Ｅの値を５段階に分類し、ディスプレイ１２０上に、各ブロックに静止指標Ｅの段階に応じたハッチングを施した画像を表示する。なお、静止指標画像作成部７０３は、ディスプレイ１２０上に、静止指標Ｅの値に応じた色相グラデーション表示を行っても良い。また、静止指標画像作成部７０３は、閾値入力部を備え、閾値入力部からユーザが別途入力した閾値を用いて静止指標Ｅの値を２値化表示することもできる。例えば、ユーザが入力した閾値より大きい静止指標Ｅをもつ画素を赤色で表示し、それ以外の値の静止指標Ｅを持つ画素を青色等で表示しても良い。このようにすることで、実際にある閾値を入力した際の、静止判定値ＥＭＳの値がどのようになるかを簡単に視認しながら閾値を決めることができる。
　また、閾値入力部１７０３は、任意のタイミングでユーザが入力する閾値ＴＨＭＳを受け付ける。静止指標付加部１７０２Ａは、入力された閾値ＴＨＭＳを用いて静止判定値ＥＭＳを算出し、領域分割部１０７が領域分割を行い、結果をディスプレイ１２０に表示する。例えば、図２５Ａに示すように、ディスプレイ１２０にスライダ２２１１を表示させる。ユーザは、スライダ２２１１を左右に移動させることにより閾値ＴＨＭＳの入力を行う。図２５Ａのように閾値ＴＨＭＳを大きい値に設定した場合には、例えば、静止指標Ｅが大きい移動体２１１１が領域抽出される。これに対して、図２５Ｂのように、スライダ２２１１を左に移動させることにより閾値ＴＨＭＳを小さい値に設定した場合には、静止指標Ｅが大きい移動体２１１１に加え、静止指標Ｅが小さい移動体２１１０とノイズ２１１２とが領域抽出される。このように、ユーザは、スライダ２２１１を移動させながら閾値ＴＨＭＳを変更することにより、簡単に領域分割の結果を視認しながら閾値ＴＨＭＳを決定することができる。
　これにより、撮像シーンや、カメラセッティングか変わるごとにユーザが決定した最適な閾値を、すぐに移動体検出装置のパラメータとして反映させることができる。
　（変形例２）
　次に、本発明の実施の形態の変形例２に係る移動体検出装置について説明する。
　上記実施の形態で説明した移動体検出装置１００において、サブクラス分類部１０５は、（式１４）で算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。つまり、サブクラス分類部１０５は、移動軌跡間での、各移動軌跡に属するブロック同士の色類似度に基づいて、複数の移動軌跡を複数のサブクラスに分類してもよい。以下で、画素の色類似度を元に移動軌跡のクラスタリングを行う例について説明する。
　図２６Ａは、実施の形態の変形例２に係る移動体検出装置の構成を示す図である。図２６Ａに示すように、この移動体検出装置１００Ａは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部２１０１、重み付き距離算出部１０６、及び領域分割部１０７を含む。
　サブクラス分類部２１０１以外の処理部については、上記実施の形態と同じであるため、説明を省略する。
　サブクラス分類部２１０１にてサブクラスを算出する手法として、上記実施の形態で説明した類似移動軌跡のラベリングによりサブクラスを算出する方法の代わりに、画素の色類似度をもとに、いわゆる”ｓｕｐｅｒｐｉｘｅｌ”と呼ばれる複数のサブクラスにピクチャを分割する方法を用いてもよい。ｓｕｐｅｒｐｉｘｅｌを算出する方法については、グラフベースの手法などを用いることができる。処理手順の詳細説明は非特許文献７等に記載されているため省略するが、ピクチャのグラフ表現に基づいて各領域間の境界を推定することで、効率的かつグローバルな特徴を保持しながらピクチャを小領域に分割するというものであり、遮蔽に強いためよりロバストな分割ができるという効果がある。
Ｐｅｄｒｏ　Ｆ．　Ｆｅｌｚｅｎｓｚｗａｌｂ　ａｎｄ　Ｄａｎｉｅｌ　Ｐ．　Ｈｕｔｔｅｎｌｏｃｈｅｒ　"Ｅｆｆｉｃｉｅｎｔ　Ｇｒａｐｈ－Ｂａｓｅｄ　Ｉｍａｇｅ　Ｓｅｇｍｅｎｔａｔｉｏｎ"，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　，Ｖｏｌ．５９，Ｎｏ．２，ｐｐ．１６７－１８１，Ｓｅｐｔ，２００４
　本実施の形態の変形例２におけるサブクラス分類部２１０１の構成を図２６Ｂに示す。サブクラス分類部２１０１は、クラスタリング部２１０２を含む。クラスタリング部２１０２は、上述の色類似度を基に、ピクチャを複数のサブクラスに分類する。本変形例のサブクラス分類部２１０１の構成では、図１５に示したサブクラス分類部１０５の構成と比較して、ユークリッド距離算出部が必要ないため、より簡易な構成で、高速にサブクラスへの分類を行うことができるという効果がある。また、特に移動体と背景の色が異なるようなシーンにおいては、各サブクラスが移動体のみ、または背景のみで構成される可能性が高くなる（色が異なると、別のサブクラスに分離される確率が高い）ため、サブクラス単位のサブクラス間静止判定値ＥSUB-MSをより正しく求めることができる効果がある。
　以上の手順によりピクチャをサブクラスに分離し、各サブクラスに属する移動軌跡を、移動体域検出に利用することが可能となる。
　（変形例３）
　次に、本発明の実施の形態の変形例３に係る移動体検出装置について説明する。
　上記実施の形態で説明した移動体検出装置１００において、サブクラス分類部１０５は、（式１４）にて算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。以下で測地距離ｇ（ｉ，ｊ）の次元圧縮を行うことによって、サブクラスへの分類を行う例について説明する。
　図２７Ａは、実施の形態の変形例３に係る移動体検出装置の構成を示す図である。この移動体検出装置１００Ｂは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部２２０１、重み付き距離算出部１０６、及び領域分割部１０７を含む。
　サブクラス分類部２２０１以外の処理部については、上記実施の形態と同じであるため、説明を省略する。
　本実施の形態の変形例３におけるサブクラス分類部２２０１の構成を図２７Ｂに示す。サブクラス分類部２２０１は、第２距離算出部２２０２と、クラスタリング部２２０３とを含む。サブクラス分類部２２０１は、図１５に示したサブクラス分類部１０５の構成と異なり、ユークリッド距離算出部１５０１の代わりに、第２距離算出部２２０２を備えている。第２距離算出部２２０２は、移動軌跡算出部１０２で算出した移動軌跡から、（式１４）に従ってユークリッド距離ｆ（ｉ，ｊ）を算出したのち、（式１７）、（式１８）に従って測地距離ｇ（ｉ，ｊ）を求める。なお、ここでの測地距離ｇ（ｉ，ｊ）の算出手順は、上記実施の形態で記した距離算出部１０４での動作と同じため、説明を省略する。
　続いて、クラスタリング部２２０３は、算出した測地距離ｇ（ｉ，ｊ）の次元圧縮を行ったのち、次元圧縮された測地距離を用いて、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする。
　次元圧縮は、Ｙｏｕｎｇ－Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ　ｓｙｓｔｅｍを求めることで実現できる。次元圧縮により、多次元空間に分布するデータを低次元空間に効率良く射影するための方法である。以降、クラスタリング部２２０３において、測地距離ｇ（ｉ，ｊ）の次元圧縮を行い、移動軌跡をクラスタリングする手順について示す。
　測地距離ｇ（ｉ，ｊ）の構成するマトリクスを測地距離マトリクスＧとする（式３８）。
Figure JPOXMLDOC01-appb-M000038
　クラスタリング部２２０３は、まず測地距離マトリクスＧに対して、中心化行列Ｈを両側からかけるＹｏｕｎｇ－Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。
Figure JPOXMLDOC01-appb-M000039
　ここで、Ｈは中心化行列であり、
Figure JPOXMLDOC01-appb-M000040
 である。Ｉは単位行列、Ｎは移動軌跡の数である。
　また、
Figure JPOXMLDOC01-appb-M000041
 である。
　次に、クラスタリング部２２０３は、次元圧縮を行うために、τ（Ｇ）に対するＰ個の固有ベクトル（ｅｉｇｅｎ　ｖｅｃｔｏｒ）ｅpおよびそれに対応する固有値（ｅｉｇｅｎ　ｖａｌｕｅ）λpを算出する。
　これにより、測地距離ｇ（ｉ，ｊ）について
Figure JPOXMLDOC01-appb-M000042
 とすると、測地距離ｇiを次元圧縮された空間上に射影した結果は、データｚp iとして以下のように表すことができる。
Figure JPOXMLDOC01-appb-M000043
　なお、ｅp iは、ｐ番目の固有ベクトルｅpのｉ番目の要素である。固有ベクトルの数Ｐは、利用するシーンに応じて実験的に決定しても良いし、以下のように固有値λpから寄与率ａpを算出し、それに基づいて決定しても良い。
Figure JPOXMLDOC01-appb-M000044
　ここで、Ｐは利用する固有ベクトルの数、すなわち圧縮された空間の次元数である。Ｎは全固有ベクトルの数である。そこで、寄与率ａpが一定値以上となる時のＰを固有ベクトルの数とすれば良い。
　以上のようにクラスタリング部２２０３は、（式３９）から（式４４）の処理により、測地距離ｇ（ｉ，ｊ）の次元圧縮を行う。第２距離算出部２２０２において算出した測地距離ｇiおよび対応する仮想的な移動軌跡を、固有ベクトルｅpで張られる次元圧縮された空間上のデータｚp iと対応付けることができる。
　図２８Ａ～図２８Ｄを用いて、人物の歩行画像を入力とした場合の画素ｉの時間的移動軌跡が非線形に次元圧縮された空間に射影される処理について説明する。図２８Ａは、多次元空間における次元圧縮前の移動軌跡のデータ分布を示す図である。同図では、説明を容易にするため、多次元空間を３次元空間としたが、実際には、（式２）に示したベクトルの各要素が各次元と対応する。図２８Ｂは、図２８Ａに示した移動軌跡の多次元空間を次元圧縮した空間を示す。図２８Ｂの横軸、縦軸は、それぞれ固有ベクトルｅ1、ｅ2である。２次元上に射影された点（ｚ1 i，ｚ2 i）は、測地距離ｇiを射影したものである。ここで、非線形空間上のデータｚp iとピクチャ上での画素ｉの移動軌跡ｘiとは一対一の対応関係にある。このため、（ｚ1 i，ｚ2 i）は、画素ｉの移動軌跡ｘiに対応していると捉えることができる。なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、前述のように、次元数は必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。
　次に、クラスタリング部２２０３は、図２８Ｂに示したような移動軌跡を次元圧縮したデータｚp iに対してクラスタリングを行うことで、移動軌跡のクラスタリングを行う。本実施の形態の変形例３では、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする手法を用いるものとする。
　まず、サブクラスを次のように表現する。
Figure JPOXMLDOC01-appb-M000045
　ここで、Ｍは、サブクラス数であり利用するシーンに応じて経験的に決定される。
　それぞれのサブクラスθmは、パラメータ
Figure JPOXMLDOC01-appb-M000046
 及びパラメータＺmで表現する。ここで、パラメータ
Figure JPOXMLDOC01-appb-M000047
 は、次元圧縮された空間におけるサブクラスθmに属するデータの座標値の平均値、パラメータＺmは、サブクラスθmに属するデータの座標値に関する共分散行列である。パラメータ
Figure JPOXMLDOC01-appb-M000048
 の初期値はランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割するなどして、その交点の座標値を初期値としても良い。
　なお、パラメータ
Figure JPOXMLDOC01-appb-M000049
 及びパラメータＺmは、以下の（式４６）及び（式４７）のように表すことができる。
Figure JPOXMLDOC01-appb-M000050
Figure JPOXMLDOC01-appb-M000051
　ここで、Ｃmは圧縮された非線形空間上でサブクラスθmに属するデータ数である。
　以下、具体的なクラスタリングの方法について説明する。まず、以下の（式４８）の距離関数を用いて、データｚiが属するサブクラスθmを求める。
Figure JPOXMLDOC01-appb-M000052
　ここで、ψm（ｚi）は、画素ｉの移動軌跡に対応するデータｚiとそれぞれのサブクラスθmとの距離を示すものである。各データは、距離ψm（ｚi）が最小値をとるサブクラスθmに属するものとする。なお、φm（ｚi）はマハラノビス距離であり、
Figure JPOXMLDOC01-appb-M000053
 である。また、φm（ｚi）をψm（ｚi）の代わりとして用いても構わない。
　また、ｐ（ｚi）は、尤度関数の枠組みにおけるｚiの事前確率である。したがって、ｐ（ｚi）は、一定値としても構わないし、対象シーンが人物など決まった被写体を含むことが既知である場合、人物部位の形状や面積比等をもとにあらかじめ設定しても良い。特にデータｚiの密度に偏りがある場合には有効である。例えば、データｚiの密度が高いことが分かっているときに、密なデータｚiを同じサブクラスにしたい場合は、対応する事前確率ｐ（ｚi）を大きく設定すればよい。逆にデータｚiを細かく異なるサブクラスに分割したい場合は、対応する事前確率ｐ（ｚi）を小さく設定すればよい。なお、ここでのデータｚiの密度は、画像空間上の密度でもよいし、圧縮された非線形空間上の密度でもよい。
　次に、（式４８）の計算結果から、サブクラスθmに属するデータｚiを用いて、以下のようにサブクラスθmのパラメータ
Figure JPOXMLDOC01-appb-M000054
 及びパラメータＺmを更新する。
Figure JPOXMLDOC01-appb-M000055
Figure JPOXMLDOC01-appb-M000056
　ここで、ｚcmは、サブクラスθmに属する圧縮された非線形空間上のデータである。また、ωはサブクラスθmに対する重み係数であり、ω＝１としても良いし、入力データの平均値からのずれ具合によってωの値を調整しても良い。このように、（式４８）から（式５１）の距離計算およびパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するサブクラスθmを得ることができる。なお、上記に加えて、ｋ－ｍｅａｎ、競合学習など、他のクラスタリング方法を用いても構わない。上記のクラスタリング処理を図２８Ｂに示したような次元圧縮したデータに適用した結果を、図２８Ｃに示す。データ点がサブクラス化されていることがわかる。
　図２８Ｄに移動する人物のデータに対し、同様に非線形空間上でクラスタリング処理を行った例を示す。なお、次元圧縮したデータ分布図に、対応する人物領域を併記している。圧縮された非線形空間上でのサブクラスθ1からθ2についてピクチャ上での対応を見ると、θ1は人物頭部、θ2は人物胴体、というように、人体の各パーツに、各サブクラスが対応している。
　ここで、人体の各パーツが圧縮された非線形空間上のサブクラスに対応するのは、時間的に連続した複数枚のピクチャに渡って画素を追跡したことによる。圧縮された非線形空間上でクラスタリングを行うことによって、ピクチャ中を移動する物体の領域を時間的に追跡した結果として、ピクチャ中の移動する被写体ごとに画像領域を抽出することができる。
　本実施の形態の変形例３では、次元圧縮を行うことにより、膨大なパラメータフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、特に、形状が変化しながら移動する人物等を含むピクチャにおいても安定にクラスタリングできる。したがって、サブクラス単位の静止指標ＥSUB-MSをより正しく求められるという効果がある。
　なお、本実施の形態では２点間を結ぶ線形距離としてユークリッド距離を用いたが、前述した通り、線形距離はユークリッド距離に限るものではない。前述の線形距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
　（変形例４）
　次に、本発明の実施の形態の変形例４に係る移動体検出装置について説明する。
　上記実施の形態で説明した移動体検出装置１００において、サブクラス分類部１０５は、ユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを算出するものとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。以下、測地距離を複数生成することで、サブクラスの候補を生成し、それらの候補から選択してサブクラスの分類を行う例について説明する。
　図２９Ａは、実施の形態の変形例４に係る移動体検出装置の構成を示す図である。図２９Ａに示すように、この移動体検出装置１００Ｃは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部２４０１、重み付き距離算出部１０６、及び領域分割部１０７を含む。
　サブクラス分類部２４０１以外の構成要素については、上記実施の形態と同じであるため、説明を省略する。本実施の形態の変形例４におけるサブクラス分類部２４０１の構成を図２９Ｂに示す。
　サブクラス分類部２４０１は、複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、所定の距離閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、測地距離を算出し、移動軌跡間の測地距離が有限の値となる移動軌跡の集まりを同一のサブクラスに分類することにより、各移動軌跡を複数のサブクラスのいずれかに分類する。
　サブクラス分類部２４０１は、第３距離算出部２４０２、サブクラス候補生成部２４０３およびサブクラス候補選択部２４０４を備える。
　サブクラス分類部２４０１では、まず第３距離算出部２４０２にて、移動軌跡算出部１０２で算出した移動軌跡からユークリッド距離ｆ（ｉ，ｊ）を算出したのち、算出した距離マトリクスに対して、複数の判断基準を設けて測地距離変換を行い、測地距離ｇ（ｉ，ｊ）を求める。次にサブクラス候補生成部２４０３で、移動軌跡間の距離の分布における不連続点を閾値によって検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスとなるように、連続に分布する移動軌跡をクラスタリングすることによって、前記閾値に対するサブクラスの候補を生成する。最後に、サブクラス候補選択部２４０４において、クラス数についての指示を取得し、取得したクラス数に近い個数の領域に分割された領域抽出候補を、サブクラス候補生成部２４０３で生成された複数の領域抽出候補から選択し、選択したサブクラス候補を、移動軌跡算出部１０２で算出された移動軌跡からサブクラス化した結果として出力する。すなわち、サブクラス候補生成部２４０３で生成した、それぞれの前記閾値に対する領域抽出の候補から、あらかじめ定めたクラス数に最も近いクラスタリング結果を選択する。
　以下、サブクラス分類部２４０１の動作について説明する。
　まず第３距離算出部２４０２において、ユークリッド距離ｆ（ｉ，ｊ）を算出する。この手順は上記実施の形態で説明したユークリッド距離算出部１５０１と同じであるため、説明を省略する。第３距離算出部２４０２は、求めたユークリッド距離ｆ（ｉ，ｊ）に対してＫ個の閾値Ｒkを定める。第３距離算出部２４０２は、それぞれの定めた閾値Ｒkに対して非線形化処理を行い閾値Ｒkに対する測地距離であるところのｇk（ｉ，ｊ）を算出する。ここで、各閾値Ｒkに対応する測地距離ｇk（ｉ，ｊ）の算出手順は、上記実施の形態で記した距離算出部１０４での動作と同じであるため、説明を省略する。
　次に、サブクラス候補生成部２４０３は、それぞれの閾値Ｒkに対応する測地距離マトリクスｇk（ｉ，ｊ）を用いて、不連続点を検出することによってサブクラス候補生成を行う。具体的には、サブクラス候補生成部２４０３は、ｇk（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間を不連続点とする。上記手順について、図３０Ａ～図３０Ｅを参照して説明する。図３０Ａに移動軌跡ａ～ｈを示し、図３０Ｂに移動軌跡ａ～ｈからなる多次元空間の概念図を示す。
　もし閾値Ｒkが十分に大きな値である場合、例えば、ユークリッド距離ｆ（ｉ，ｊ）の最大値よりも閾値Ｒkが大きい場合には、測地距離ｇk（ｉ，ｊ）は、すべてのｉ，ｊの組合せにおいて無限大にならない。すなわち、不連続点が１点もないため、図３０Ｃに示すようにサブクラスは１個と判断できる。一方、閾値Ｒkが十分に小さい場合、具体的には、ｆ（ｉ，ｊ）の最小値よりも閾値Ｒkが小さい場合には、すべてのｉ，ｊの組合せにおいてｇk（ｉ，ｊ）が無限大となる。すなわち、サブクラス数は移動軌跡の数と同数となる。したがって、閾値Ｒkをｆ（ｉ，ｊ）の最大値と最小値の間の値に設定して、それぞれサブクラス分類を行うことが効率的である。図３０Ｄ、図３０Ｅにそのようにして定めた閾値を適用した例を示す。
　閾値をＲ1として設定した場合、図３０Ｄのように測地距離ｇ1（ｅ，ｆ）は無限大となる。そこで、サブクラス候補生成部２４０３は、移動軌跡ｅと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡ａからｄの各移動軌跡と移動軌跡ｅとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡ａからｅの各移動軌跡との測地距離は、不連続点ｇ1（ｅ，ｆ）を通るためそれぞれ無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じサブクラスに属すると判定し、無限大となる場合は別のサブクラスに属すると判定する。これによって、図３０Ｄに示すように、データ点はθ1、θ2の２つのサブクラスに分離される。さらに、別の閾値をＲ2（ただし、Ｒ1＞Ｒ2）と定めた例について、図３０Ｅに示す。それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡ｅと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定し、図３０Ｄの場合と同様に測地距離が無限大となる組と無限大にならない組とを整理してθ1、θ2、θ3、θ4の合計４つのサブクラスに分離される。
　以上の処理により、サブクラス候補生成部２４０３は、複数の閾値Ｒkに対して、測地距離が無限大とならない移動軌跡の組は連続とすることで同じサブクラスと判定することができる。また測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとにサブクラス候補を複数生成することができる。
　次に、サブクラス候補選択部２４０４は、サブクラス候補生成部２４０３でのサブクラス候補生成結果より、あらかじめ設定した数に最も近いクラス数となったサブクラス候補を、最終結果として選択する。図３０Ａ～図３０Ｂの例で説明すると、クラス数Ｍ＝４と設定した場合には、閾値Ｒ2の時のサブクラス候補（図３０Ｅ）が選択される。また、クラス数Ｍ＝２と設定した場合には、閾値Ｒ1の時のサブクラス候補（図３０Ｄ）が選択され、各移動軌跡について、指定したサブクラス数に最も近くなるようサブクラス分類が実行される。なお、クラス数Ｍについてはここでは２、４を取り上げたが、実際はより多い数が望ましく、シーンの状況や経験によって任意に定めることができる。
　なお、本実施の形態の変形例４では、ユークリッド距離と測地距離を利用することによって、画素の位置と動きの類似性とを考慮したサブクラス分類が可能となる。図３０Ａ～図３０Ｂの例では、クラス数Ｍ＝２と設定した場合には、下半身の動きが上半身の動きと大きく異なることが反映されて、上半身と下半身とが別々のサブクラスとなる。またクラス数Ｍ＝４と設定した場合には、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違い、上腿と下腿との動きの違いが反映され、頭部、腕、上腿（じょうたい）、下腿（かたい）が別々のサブクラスとなる。
　なお、閾値Ｒkの数は何種類用意してもかまわない。また、設定したクラス数と同数のサブクラス候補がない場合には、最も近いサブクラス数となったものを選択してもよいし、設定したクラス数よりも小さいクラス数の中から一番近いサブクラス数となったサブクラス候補を選択してもよい。また同様に、設定したクラス数よりも大きいクラス数の中から一番近いサブクラス数となったサブクラス候補を選択してもよい。
　このように、複数の閾値に対して、測地距離を用いて算出した不連続点をもとにサブクラス候補生成を行い、規定したクラス数に最も近いサブクラス候補を選択することによってサブクラス分類を行うことができる。
　（変形例５）
　次に、本発明の実施の形態の変形例５に係る移動体検出装置について説明する。
　上記実施の形態で説明した移動体検出装置１００において、サブクラス分類部１０５は、（式１４）で算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。つまり、サブクラス分類部１０５では、ユークリッド距離算出部１５０１がユークリッド距離の算出を行っていたが、距離算出部１０４でもユークリッド距離の算出は行われている。このため、本実施の形態の変形例５では、サブクラス分類部における距離算出を省略し、距離算出部１０４で算出された距離を用いてサブクラス分類処理を行なうこととする。
　図３１Ａは、実施の形態の変形例５に係る移動体検出装置の構成を示す図である。図３１Ａに示すように、この移動体検出装置１００Ｄは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部２６０１、重み付き距離算出部１０６、及び領域分割部１０７を含む。なお、サブクラス分類部２６０１の代わりにサブクラス分類部２６０２を用いても良いし、サブクラス分類部２６０３を用いても良い。
　サブクラス分類部２６０１、２６０２または２６０３以外の処理部については、上記実施の形態と同じであるため、説明を省略する。
　図３１Ｂ～図３１Ｄに、サブクラス分類部２６０１～２６０３の構成をそれぞれ示す。それぞれ、実施の形態、実施の形態の変形例３、実施の形態の変形例４に対応する。それぞれを順に説明する。
　図３１Ｂに示すサブクラス分類部２６０１は、ユークリッド距離ロード部２６０４及びクラスタリング部１５０２を含む。クラスタリング部１５０２の動作については、図１５に示すクラスタリング部１５０２と同様であるため、説明を省略する。
　この構成では、距離算出部１０４の備えるユークリッド距離算出部１２０１が、算出したユークリッド距離ｆ（ｉ，ｊ）を先にメモリ（図示せず）に格納しておき、サブクラス分類部２６０１が備えるユークリッド距離ロード部２６０４が、メモリに格納されたユークリッド距離ｆ（ｉ，ｊ）を、メモリからロードする。クラスタリング部１５０２は、ユークリッド距離ロード部２６０４がメモリからロードしたユークリッド距離ｆ（ｉ，ｊ）を用いて、移動軌跡のクラスタリングを行う。これにより、新たにユークリッド距離を計算する手間を省くことができ、より高速な処理が実現できる。
　図３１Ｃに示すサブクラス分類部２６０２は、距離ロード部２６０５及びクラスタリング部２２０３を含む。クラスタリング部２２０３の動作については、図２７Ｂに示す、実施の形態の変形例３におけるクラスタリング部２２０３と同様であるため、説明を省略する。
　この構成では、距離算出部１０４が備えるユークリッド距離算出部１２０１及び移動軌跡間測地距離算出部１２０２が、それぞれ算出したユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を先にメモリ（図示せず）に格納しておき、サブクラス分類部２６０２が備える距離ロード部２６０５が、メモリに格納されたユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を、メモリからロードする。クラスタリング部２２０３は、距離ロード部２６０５がメモリからロードしたユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を用いて、移動軌跡のクラスタリングを行う。これにより、新たにユークリッド距離及び測地距離を計算する手間を省くことができ、より高速な処理が実現できる。
　図３１Ｄに示すサブクラス分類部２６０３は、距離ロード部２６０５、サブクラス候補生成部２４０３及びサブクラス候補選択部２４０４を含む。サブクラス候補生成部２４０３、およびサブクラス候補選択部２４０４の動作については、図２９Ｂに示す、実施の形態の変形例４におけるサブクラス候補生成部２４０３、サブクラス候補選択部２４０４と同様であるため、説明を省略する。
　この構成では、距離算出部１０４が備えるユークリッド距離算出部１２０１及び移動軌跡間測地距離算出部１２０２が、それぞれ算出したユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を先にメモリ（図示せず）に格納しておき、サブクラス分類部２６０３が備える距離ロード部２６０５が、メモリに格納されたユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を、メモリからロードする。サブクラス候補生成部２４０３は、距離ロード部２６０５がメモリからロードしたユークリッド距離ｆ（ｉ，ｊ）及び測地距離ｇ（ｉ，ｊ）を用いて、サブクラス候補選択部２４０４と共に、移動軌跡のクラスタリングを行う。これにより、新たにユークリッド距離及び測地距離を計算する手間を省くことができ、より高速な処理が実現できる。
　（変形例６）
　次に、本発明の実施の形態の変形例６に係る移動体検出装置について説明する。
　上記実施の形態で説明した移動体検出装置１００において、静止指標算出部１０３に含まれる幾何拘束推定部７０１は、移動軌跡算出部１０２が求めた移動軌跡に基づいて幾何拘束を求めるとして説明した。
　しかし、静止指標算出部１０３の動作をこれに限定するものではない。つまり、静止指標算出部１０３は、移動軌跡算出部１０２とは別に、画像入力部１０１が入力として受け付けた動画像から別途求めた移動軌跡を用いて、幾何拘束の推定を行ってもよい。
　以下で、幾何拘束推定用の移動軌跡を別途算出する例について説明する。
　図３２Ａは、実施の形態の変形例６に係る移動体検出装置の構成を示す図である。
　図３２Ａに示すように、この移動体検出装置１００Ｅは、画像入力部１０１、移動軌跡算出部１０２、幾何拘束推定用移動軌跡算出部２７０１、静止指標算出部２７０２、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部１０６、及び領域分割部１０７を含む。
　幾何拘束推定用移動軌跡算出部２７０１、及び静止指標算出部２７０２以外の処理部については、上記実施の形態と同じであるため、説明を省略する。
　図３２Ｂに、静止指標算出部２７０２の構成を示す。幾何拘束推定用移動軌跡算出部２７０１からの流れも含め、以下で説明する。
　前述した幾何拘束の推定については、推定の安定性や推定結果が、移動軌跡から取り出した対応点の精度に依存することが知られている。すなわち、誤差の多いデータよりもできるだけ誤差の少ないデータを利用することで、より正しい幾何拘束が得られる。発明者らの実験によっても、対応点精度が悪い場合に、推定の結果や安定性が低下していることが確認できている。一般的には、ＫＬＴやＬＫ（Ｌｕｃａｓ－Ｋａｎａｄｅ）といった疎な対応点取得手法は、疎であるというデメリットはあるが、その代わりに精度のよい対応点取得が可能である。
　一方、サブクラス分類部１０５においては、正しく移動軌跡をクラス分類するためには、できるだけ画像上で均一かつ、密な移動軌跡が取得できていることが望ましい。したがって、サブクラス分類部１０５に、前述の疎な対応点を利用するべきではないと考えられる。
　以上のことより、本実施の形態の変形例６においては、幾何拘束の推定のみを、別途取得した、疎で精度の高い対応点を用いて行うことで、より精度よく幾何拘束を推定するものとする。疎な対応点取得手法としては、ＫＬＴ（Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ）トラッカーなどがある。
　ＫＬＴトラッカーは、以下の（式５２）に基づいて、画像間の類似度を算出するものである。なお、ｐは（ｕ，ｖ）の形式で示される画素位置、ｚは（ｕ，ｖ）の形式で示される対応点の画素間での移動量、ｅは最小化すべき誤差成分である。
Figure JPOXMLDOC01-appb-M000057
　（式５２）を最小化するｚを解くことで、移動量ｚを得る。対応点の取得方法について、より詳しくは、非特許文献８に示されているため、これ以上の詳細な説明は省略する。
"Ａｎ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ｔｈｅ　Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ　Ｆｅａｔｕｒｅ　Ｔｒａｃｋｅｒ"，ｈｔｔｐ：／／ｗｗｗ．ｃｅｓ．ｃｌｅｍｓｏｎ．ｅｄｕ／～ｓｔｂ／ｋｌｔ／，２００６
　図３２Ｂに示すように、静止指標算出部２７０２は幾何拘束推定部７０１および誤差算出部７０２を含む。幾何拘束推定部７０１および誤差算出部７０２の動作については、図７に示す幾何拘束推定部７０１および誤差算出部７０２と同様であるため、ここでは説明を省略する。
　静止指標算出部２７０２の幾何拘束推定部７０１は、幾何拘束推定用移動軌跡算出部２７０１が算出した移動軌跡を、入力として受け、幾何拘束を推定する。続いて、誤差算出部７０２は、幾何拘束推定部７０１で推定された幾何拘束を、移動軌跡算出部１０２で算出された移動軌跡に対して適用し、各移動軌跡に対して静止指標Ｅを求める。以上の手順で求められた静止指標を用いて、続く重み付き距離算出部１０６以降において処理が実行される。
　上記構成によると、より安定にかつ正確な幾何拘束を求めることができるため、より安定かつ正しく移動体の検出が行えるという効果がある。したがって、静止指標Ｅの信頼度がより高くなり、その結果、サブクラス単位の静止指標ＥSUB-MSをより正しく求められるという効果がある。
　（変形例７）
　次に、本発明の実施の形態の変形例７に係る移動体検出装置について説明する。
　上記実施の形態で説明した移動体検出装置１００において、重み付き距離算出部１０６は、距離算出部１０４で算出した測地距離ｇ（ｉ，ｊ）及び静止指標算出部１０３で算出した静止指標Ｅに基づいて、サブクラス間測地距離を重み付けして求めるとして説明した。しかし、距離算出部１０４、および重み付き距離算出部１０６の動作をこれに限定するものではない。つまり、距離算出部１０４は移動軌跡間のユークリッド距離を求め、また、重み付き距離算出部１０６は、サブクラス間ユークリッド距離を求め、サブクラス内移動軌跡の静止指標に基づきサブクラスの静止または移動の判定を行い、判定結果に基づき、サブクラス間ユークリッド距離に重み付けを行い、最後にサブクラス間のユークリッド距離から、サブクラス間測地距離を求めるものとしてもよい。
　本実施の形態の変形例７の動作について、図３３Ａ～図３３Ｄを参照しながら説明する。
　図３３Ａは、実施の形態の変形例７に係る移動体検出装置の構成を示す図である。図３３Ａに示すように、この移動体検出装置１００Ｆは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部２８０１、サブクラス分類部１０５、重み付き距離算出部２８０２、及び領域分割部１０７を含む。
　距離算出部２８０１、及び重み付き距離算出部２８０２以外の処理部については、上記実施の形態と同じであるため、説明を省略する。
　距離算出部２８０１は、移動軌跡間のユークリッド距離を算出する。図３３Ｂに、距離算出部２８０１の構成を示す。距離算出部は、ユークリッド距離算出部１５０１を含む。ユークリッド距離算出部１５０１の処理については、図１５で説明したユークリッド距離算出部１５０１と同様であるため、説明を省略する。
　重み付き距離算出部２８０２は、静止指標に基づいて、距離算出部２８０１が算出したユークリッド距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間のユークリッド距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間のユークリッド距離の比が大きくなるような重みを付けることにより、重み付きユークリッド距離を算出し、算出した重み付きユークリッド距離から重み付き測地距離を算出する。
　図３３Ｃに、重み付き距離算出部２８０２の構成を示す。本変形例の重み付き距離算出部２８０２はサブクラス間ユークリッド距離算出部２８０３、静止指標付加部２８０４、及びサブクラス間重み付き測地距離算出部２８０５を備える。
　まず、サブクラス間ユークリッド距離算出部２８０３の動作について説明する。
　図３４に、サブクラス分類部１０５で生成された複数のクラスのうち、近接する２つのサブクラスθi、θjを示す。なお、簡単のため以下の説明では、「サブクラス」を「クラス」とのみ表記する。
　クラスθi、θjに含まれる移動軌跡の集まりをそれぞれＩ、Ｊとし、クラスθi、θjが含む移動軌跡の個数をそれぞれＮｉ、Ｎｊとすると、Ｉ、Ｊはそれぞれ図１３Ａ～図１３Ｃの説明に用いた（式２１）・（式２２）で表せる。
　なお、（式２１）、（式２２）に含まれるｘiは、（式２）同様、多次元ベクトルの形式で表された移動軌跡である。
　ここで、Ｉに含まれる移動軌跡と、Ｊに含まれる移動軌跡との間で求められる距離を、クラス間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。
　図３４に、クラス間ユークリッド距離の代表値（代表ユークリッド距離）の概念図を示す。クラスθiから移動軌跡ｘi3１８０１を、クラスθjから移動軌跡ｘj1１８０２を選択した場合、この２移動軌跡間のユークリッド距離はｆ31（＝ｆ（ｉ3，ｊ1））として求まる。これを、Ｉ，Ｊ間における全ての移動軌跡の組み合わせについて計算すると、以下の（式５３）に示すような、複数のユークリッド距離ｆが得られる。
Figure JPOXMLDOC01-appb-M000058
　本明細書における移動体領域検出は、Ｉ、Ｊに示すようなクラス内の単一移動軌跡の集まりに着目し、クラス単位のマクロな距離に基づいて動作することで、ピクセル単位で処理をするために生じてしまう静止指標のノイズ・誤検出に対処できる。したがって、クラス間距離の代表値を算出することが望ましい。すなわち、クラス間距離の代表値は、図３４に示すように、複数クラスに対して、クラス間の動きまたは位置的な関係を近似できるような代表値であることが望ましい。
　前述の望ましい条件を満たす代表距離については、各クラスの移動軌跡間のユークリッド距離の平均値を代表値として用いることができる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数のユークリッド距離を求め、それらを平均して得られるものである。この場合、代表ユークリッド距離Ｆ（θi，θj）は以下の（式５４）で算出できる。
Figure JPOXMLDOC01-appb-M000059
　なお、この代表ユークリッド距離についてはユークリッド距離の平均値に限るものではない。
　以下に示すように、各クラスの移動軌跡間のユークリッド距離の中央値を代表値として用いることもできる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数のユークリッド距離を求め、それらのメジアンをとって得られるものである。この場合、代表ユークリッド距離Ｆ（θi，θj）は以下の（式５５）で算出できる。
Figure JPOXMLDOC01-appb-M000060
　なお、（式５５）において、
Figure JPOXMLDOC01-appb-M000061
 は、整数ラベルｉ（ｉ＝１～Ｎｉ）、整数ラベルｊ（ｊ＝１～Ｎｊ）に対応する複数の値を有するｆ（ｉ，ｊ）の中央値を返す関数である。
　また、以下の（式５７）に示すように、代表ユークリッド距離として、各クラスの移動軌跡間のユークリッド距離の最頻値を代表値として用いることもできる。これらの代表値は、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数のユークリッド距離を求めた際に、それらの中でもっとも高頻度で現れる値である。
Figure JPOXMLDOC01-appb-M000062
　なお、（式５７）において、
Figure JPOXMLDOC01-appb-M000063
 は、整数ラベルｉ（ｉ＝１～Ｎｉ）、整数ラベルｊ（ｊ＝１～Ｎｊ）に対応する複数の値を有するｆ（ｉ，ｊ）の最頻値を返す関数である。
　次に、静止指標付加部２８０４の動作について詳しく説明する。静止指標付加部２８０４は、各クラスに属する移動軌跡の静止指標に基づき、各サブクラス間の代表ユークリッド距離Ｆ（θi，θj）に対し重み付けを行う。
　重み付けの手順、基準については、図１９Ｅで説明したものと同様であるため詳細な説明は省略する。重み付け後、サブクラス間の代表ユークリッド距離は、移動体同士は近くなり、移動体と背景は距離が遠くなっている。
　最後に、重み付けされた代表ユークリッド距離Ｆ（θi，θj）について、サブクラス間重み付き測地距離算出部２８０５にて、サブクラス間測地距離を算出する。代表ユークリッド距離から測地距離を求める手順については、距離算出部１０４の説明において詳しく記載している。すなわち、距離算出部１０４の移動軌跡間測地距離算出部１２０２と同じ処理を行えばよい。処理の単位が移動軌跡単位か、サブクラス単位かの差があるだけで、同じ処理で測地距離を求めることが可能である。
　なお、重み付き距離算出部２８０２は必ずしもサブクラス間重み付き測地距離算出部２８０５を含んでいなくともよい。測地距離は特に人物など変形の激しい移動体の表現に適しているが、動画像中の移動体の変形の激しさによっては、測地距離を用いなくともユークリッド距離のみで検出を行えることがある。この場合の、重み付き距離算出部２８０６の構成を図３３Ｄに示す。
　重み付き距離算出部２８０６は、静止指標に基づいて、距離算出部２８０１が算出したユークリッド距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間のユークリッド距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間のユークリッド距離の比が大きくなるような重みを付けることにより、重み付きユークリッド距離を算出する。
　本変形例の重み付き距離算出部２８０６は、サブクラス間ユークリッド距離算出部２８０３、静止指標付加部２８０４を備える。
　以上の構成によれば、サブクラス間測地距離の算出が不要になるため、計算量が削減できるという効果がある。
　なお、前述の通り、サブクラスとは、サブクラス分類部１０５によって、移動軌跡算出部１０２で算出された移動軌跡の集まりを、輝度、または移動軌跡の類似度等の、ある指標によりクラスタリングすることで生成されるとしたが、必ずしもサブクラスが複数の移動軌跡を含んでいる必要はない。すなわち、サブクラスがそれぞれ１つの移動軌跡からなるサブクラス分類を行ってもよい。
　以上の手順により移動体検出を行うことで、サブクラス分類部が出力したサブクラス数が、全移動軌跡数に比べて小さい場合、測地距離の計算量を削減することができるという効果がある。
　（変形例８）
　次に、本発明の実施の形態の変形例８に係る移動体検出装置について説明する。
　上記実施の形態で説明した移動体検出装置１００において、重み付き距離算出部１０６は、距離算出部１０４で算出した測地距離ｇ（ｉ，ｊ）及び静止指標算出部１０３で算出した静止指標Ｅに基づいて、サブクラス間測地距離を重み付けするとして説明した。
　しかし、静止指標算出部１０３および重み付き距離算出部１０６の動作をこれに限定するものではない。つまり、静止指標算出部１０３は、画像からカメラ１１０の動き情報を取得するカメラ動き取得部を備え、画像から検出したカメラ動きを重み付き距離算出部１０６に出力するとしてもよい。また、重み付き距離算出部１０６は、サブクラス間測地距離と、サブクラス内の移動軌跡の静止指標に基づき、サブクラスの静止または移動の判定を行い、判定結果とカメラ動きの情報に基づき、サブクラス間測地距離に重み付けを行い、サブクラス間測地距離を求めるものとしてもよい。
　以下で、カメラ動きの情報を推定し、サブクラス間測地距離の重み付けに利用する例について説明する。
　図３５Ａは、実施の形態の変形例８に係る移動体検出装置の構成を示す図である。図３５Ａに示すように、この移動体検出装置１００Ｇは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部３００１、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部３００２、及び領域分割部１０７を含む。
　静止指標算出部３００１及び重み付き距離算出部３００２以外の処理部については、上記実施の形態と同じであるため、説明を省略する。
　図３５Ｂに、静止指標算出部３００１の構成を示す。本変形例の静止指標算出部３００１は、カメラ動き取得部３００３、幾何拘束推定部３００４、及び誤差算出部７０２を備えている。誤差算出部７０２の動作は、図７で説明した誤差算出部７０２の動作と同じであるため、ここでは説明を省略する。
　まず、カメラ動き取得部３００３の動作について説明する。カメラ動き取得部３００３は、画像の動き情報からカメラ動きの情報を推定する。つまり、カメラ動き取得部３００３は、移動軌跡算出部１０２で算出した移動軌跡より各フレーム間の対応点を抽出し、各フレーム間におけるカメラ動きの情報を推定する。
　カメラ動きの情報の推定手法は様々なものがあるが、例えば、８点法で基礎行列Ｆを求め、そこから動き推定をするという方法がある。対応点から８点のサンプルを選び、ＲＡＮＳＡＣにより行列を推定する８点法は、基礎行列推定によく用いられる手法として知られている。カメラのキャリブレーションを行って、キャリブレーション行列を求めておけば、推定した基礎行列とカメラのキャリブレーション行列から本行列（Ｅ行列）を求め、Ｅ行列の特異値分解を行うことでカメラ動きの情報を推定できる。
　以上の動き推定手法については、詳しくは非特許文献４に記載されているため、これ以上の詳細な説明は省略する。もちろん、上記の手法以外にも、例えば非特許文献９に記載されているように、対応点と平面から動き推定を行ってもよい。その他、画像からフレーム間のカメラ動きの情報を推定する手法であれば、本実施の形態の動き推定に利用することができる。
「画像理解－３次元認識の数理－」金谷健一著、森北出版、１９９０
　幾何拘束推定部３００４は、カメラ動き取得部３００３が推定したカメラ動きの情報を利用して幾何拘束を推定することができる。例えば、（式４）及び（式５）に示したエピポーラ拘束式には、カメラ動き取得部３００３で推定した基礎行列Ｆをそのまま用いることができるし、ホモグラフィ拘束や、構造一致性拘束式に用いられる射影デプス（式８）に含まれるホモグラフィ行列及びエピポールも、カメラ動き取得部３００３が推定したカメラ動きの情報から求めることができる。詳しい変換については、同じく非特許文献４に詳しいため説明を省略する。以上の手順により、幾何拘束推定部３００４の処理が簡易になるという効果がある。さらに、幾何拘束推定部３００４で推定した幾何拘束を用い、誤差算出部７０２は、各移動軌跡の静止指標Ｅを算出する。誤差算出部７０２は求めた静止指標Ｅを重み付き距離算出部３００２へ出力し、カメラ動き取得部３００３は求めたカメラ動きの情報を重み付き距離算出部３００２へ出力する。
　続いて、重み付き距離算出部３００２は、図１７の重み付き距離算出部１０６と同様に、サブクラス間測地距離を算出する。ここまでは、重み付き距離算出部３００２も、重み付き距離算出部１０６も同じ動作を行う。
　ここで、カメラ動きが大きい場合と小さい場合の、高次元空間上のサブクラスの分布の概念図を図３６Ａおよび図３６Ｂに示す。実際には高次元空間であるが、見やすさのため二次元で表示している。カメラ動きが大きい場合の分布を図３６Ａ、カメラ動きが小さい場合の分布を図３６Ｂに示す。カメラ動きが大きくなると、相対的に背景の動き成分が大きくなり、背景の分布が広がるため、図３６Ａのように移動体と背景の間で、どうしても距離が近くなってしまう。逆に、カメラ動きが小さい場合は図３６Ｂのように、背景は移動体から遠い位置に分布する。これらの分布の違いに対処するため、前述の重み付けルールを、カメラ動きの大きさによって変化させることとする。
　具体的には、図３６Ｃに示すように、２つのサブクラスが「静止」同士であった場合、
　　　ＷB＜ＷS＜１
　　　（ＷB：カメラ動き大のときの重み、ＷS：カメラ動き小のときの重み）
となる重みＷBまたはＷSをサブクラス間測地距離にかける。サブクラスが「静止」と「移動」であった場合（異なる分類）、
　　　ＷB＞ＷS＞１
　　　（ＷB：カメラ動き大のときの重み、ＷS：カメラ動き小のときの重み）
となる重みＷBまたはＷSをサブクラス間測地距離にかける。つまり、カメラ動きが大きい場合に、より静止物のサブクラス同士が近づき、より移動体のサブクラスと静止物のサブクラスが離れるような重みを設定する。
　具体的には、カメラ動きが大きいか小さいかの基準は、動画像から検出したい移動体の移動速度に依存する。例えば人物を移動体として検出したい場合は、人物の平均的な移動速度は３ｋｍ／ｈであるため、カメラ動きが３ｋｍ／ｈ以上の場合は「カメラ動きが大きい」と判断し、よりカメラ動きが大きくなるほど、サブクラス静止または移動の判定結果を表す静止判定値ＥMSが両方０（静止）の移動軌跡ペア間の測地距離に適用する重みＷは小さく（ただしＷ＜１）、静止判定値ＥMSが０と１（静止と移動）の移動軌跡ペア間の測地距離に適用する重みＷは大きく（ただしＷ＞１）すればよい。
　また、カメラ動きが３ｋｍ／ｈより小さい場合は「カメラ動きが小さい」と判断し、よりカメラ動きが小さくなるほど、静止判定値ＥMSが両方０の移動軌跡ペア間の測地距離に適用する重みＷを大きく（ただしＷ＜１）、静止判定値ＥMSが０と１の移動軌跡ペア間の測地距離に適用する重みＷを小さく（ただしＷ＞１）すればよい。
　例えば、カメラ動きが大きい場合、例えば５ｋｍ／ｈであった場合は、サブクラスが「静止」同士の移動軌跡ペア間の測地距離に適用する重みＷをＷ＝０．００５とし、サブクラスが「静止」と「移動」の移動軌跡ペア間の測地距離に適用する重みＷをＷ＝１０とする。また、カメラ動きが小さい場合、例えば０．２ｋｍ／ｈに相当する距離であった場合は、サブクラスが「静止」同士の移動軌跡ペア間の測地距離に適用する重みＷをＷ＝０．０５とし、サブクラスが「静止」と「移動」の移動軌跡ペア間の測地距離に適用する重みＷをＷ＝１などとすればよい。
　以上のように設定した重み付けにより、サブクラス間測地距離が変化した結果の例を図３６Ｄ及び図３６Ｅに示す。図３６Ｄは、カメラ動きが大の場合の重みに従いサブクラス間測地距離の重み付けを行った後のサブクラスの分布を示し、図３６Ｅは、カメラ動きが小の場合の重みに従いサブクラス間測地距離の重み付けを行った後のサブクラスの分布を示している。このように適切に重み付けを変化させることで、カメラ動きの大きさによらず、サブクラス間の測地距離が求まっていることが分かる。
　なお、Ｗの大きさについては、例えば、ある特定のカメラ動き下であらかじめ設定した重みＷrefに対し、カメラ動きの絶対値の比を、重みＷrefに乗算または除算することで、重み付けルールを変更するとしてもよい。
　以上の構成により、サブクラス間の重み付き測地距離Ｇwに対する、カメラ動きの大きさ変動の影響を低減することができるため、安定した移動体検出が実現できる。
　なお、本実施の形態では、カメラ動き取得部でカメラ動きの情報そのものを求めるとしたが、カメラ動きの代わりに移動軌跡の大きさ（移動軌跡により求められる移動量）の平均値を求め、カメラ動きの代わりに用いてもよい。カメラ動きが大きくなると、平均的には背景上の移動軌跡の大きさも大きくなるため、近似的にカメラ動きの大小に比例した値を得ることができる。例えば、事前に、実際のカメラ動きと、おおよその移動軌跡の大きさの平均値との関係性を取得しておくことで、移動軌跡の大きさの平均値をカメラ動きに対応する評価値として用いることができる。
　（変形例９）
　次に、本発明の実施の形態の変形例９に係る移動体検出装置について説明する。
　変形例８で説明した移動体検出装置１００Ｇにおいて、カメラ動き取得部３００３は、静止指標算出部３００１に含まれ、画像からカメラ動きの情報を推定するものとして説明した。しかし、カメラ動き取得部３００３の動作をこれに限定するものではない。
　つまり、カメラ動き取得部３００３は、カメラに設置したセンサにより、電子的或いは物理的に、カメラ動きの情報を取得するとしてもよいし、カメラの操作制御信号からカメラ動きの情報を取得するとしてもよい。
　図３７は、実施の形態の変形例９に係る移動体検出装置の構成を示す図である。図３７に示すように、この移動体検出装置１００Ｈは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部３１０２、及び領域分割部１０７を含む。
　カメラ動き取得部３１０１及び重み付き距離算出部３１０２以外の処理部については、変形例８と同じであるため、説明を省略する。
　カメラ動き取得部３１０１は、カメラに設置したセンサから、電子的或いは物理的に、カメラ動きの情報を取得する。続いて、重み付き距離算出部３１０２は、静止指標算出部１０３から静止指標Ｅ、距離算出部１０４から各移動軌跡間の距離、サブクラス分類部１０５からサブクラス分類情報（ラベル情報）に加え、カメラ動き取得部３１０１からカメラ動き取得部３１０１が取得したカメラ動きの情報を受け付ける。変形例８と同様に、サブクラス間測地距離に対する重みＷを、カメラ動きの情報に基づき変化させる。処理の詳細は変形例８と同様であるため説明を省略する。この構成によると、重み付き距離算出部３１０２は、実際のカメラ動きの情報を取得できるので、より正しく移動体の検出が行える。
　なお、カメラ動き取得部３１０１におけるカメラ動きの情報の取得は、必ずしもカメラに設置したセンサである必要はなく、カメラが設置された移動車輌等に別途設置されたセンサによってもよい。特に移動車輌が車の場合には、車載センサを用いることができる。カメラ、及び別途設置されたセンサの位置関係が既知であれば、座標変換を行うことによって、センサで取得した移動体動きの情報を、簡単にカメラ動きの情報に変換し利用することができる。このように、センサがカメラとは別に設置されている場合の移動体検出装置の構成図を図３８に示す。つまり、移動体検出装置１００Ｉは、図３７に示した移動体検出装置１００Ｈにおいてカメラ動き取得部３１０１の代わりにカメラ動き取得部３２０１を備えている。カメラ動き取得部３２０１は、車などの移動車輌上に設けられた移動体上センサ３２０２からセンサ情報を取得し、カメラ座標系への座標変換を行い、移動体の動き情報をカメラ動きの情報として出力すればよい。この構成によれば、カメラ本体からの動きの取得が困難である場合でも、カメラが設置された移動車輌に別途センサを設けることでカメラ動きの情報を取得できるようになる。なお、移動車輌が車の場合に用いられる移動体上センサ３２０２としては、具体的には、走行距離と操舵角とを検出するセンサとしてもよい。なお、ここではカメラの搭載先を移動車輌としたが、移動し、かつカメラを搭載し、カメラ動きを検出できるものであれば、もちろん車輌でなくともよい。
　（変形例１０）
　次に、本発明の実施の形態の変形例１０に係る移動体検出装置について、図３９Ａおよび図３９Ｂを参照しながら説明する。
　上記実施の形態で説明した移動体検出装置１００において、重み付き距離算出部１０６は、代表測地距離算出部１７０１と静止指標付加部１７０２を含み、静止指標に基づいて代表測地距離に重み付けを行い、領域分割部１０７は、重み付けされた代表測地距離に対して領域分割を行うとして説明した。しかし、重み付き距離算出部１０６と領域分割部１０７の動作をこれに限定するものではない。
　重み付き距離算出部１０６で、各サブクラスの代表測地距離と代表静止指標を求めて領域分割部へ出力し、領域分割部１０７において、クラスタリング閾値に対して代表静止指標に基づく重み付けを行ってもよい。
　図３９Ａは、実施の形態の変形例１０に係る移動体検出装置の構成を示す図である。
　図３９Ａに示すように、この移動体検出装置１００Ｊは、画像入力部１０１、移動軌跡算出部１０２、静止指標算出部１０３、距離算出部１０４、サブクラス分類部１０５、重み付き距離算出部３４０１、及び領域分割部３４０２を含む。
　重み付き距離算出部３４０１及び領域分割部３４０２以外の処理部については、上記実施の形態と同じであるため、説明を省略する。
　重み付き距離算出部３４０１は、移動軌跡間の距離に基づいて、移動軌跡間の測地距離を算出する。
　領域分割部３４０２は、静止物の移動領域と移動体の移動領域を異なるクラスに分類するか否かを判断するために用いられる測地距離の閾値に対して、静止指標に基づく重みを付けることにより得られる重み付き閾値と重み付き距離算出部３４０１が算出した測地距離との比較結果から静止物の移動軌跡と移動体の移動軌跡とを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する。
　領域分割部３４０２は、２つの移動軌跡の静止指標がそれぞれ「静止物」および「静止物」を表す値であるときの測地距離の閾値に対する重みを、２つの移動軌跡の静止指標がそれぞれ「移動体」および「静止物」を表す値であるときの測地距離の閾値に対する重みよりも大きくする。
　図３９Ｂに示すように、重み付き距離算出部３４０１は、代表測地距離算出部１７０１と代表静止指標算出部３４０３を含む。代表測地距離算出部１７０１の動作は上記実施の形態と同じであるため、その説明を省略する。
　代表静止指標算出部３４０３の動作について詳しく説明する。代表静止指標算出部３４０３は、各クラスに属する移動軌跡の静止指標について、その代表値を求める。
　すなわち上記実施の形態における静止指標付加部１７０２の動作の、前半部分（各サブクラスにつき、１つの静止指標を求めるという部分）と同じ処理であり、サブクラス単位での静止または移動の評価を行うことで、ピクセル単位に生じる静止指標の誤判定を修正する。
　サブクラス単位の静止または移動の評価の方法としては、例えば最も簡易な例として、多数決が挙げられる。具体的には、代表静止指標算出部３４０３は、あるサブクラス内の移動軌跡について、静止判定値ＥMS＝１（移動）である移動軌跡の方が多い場合は、そのサブクラス単位の静止または移動の評価を、「移動」、すなわちサブクラス間静止判定値ＥSUB-MS＝１とする。逆に、あるサブクラス内の移動軌跡について、「静止」と判定された移動軌跡の方が多いか、「静止」と判定された移動軌跡と「移動」と判定された移動軌跡との数が同じである場合は、そのサブクラス単位の静止または移動の評価を、「静止」、すなわちサブクラス間静止判定値ＥSUB-MS＝０とする。以上により、図１９Ｄに示すように、移動体上の各サブクラスについてはサブクラス間静止判定値ＥSUB-MS＝１と判定され、静止物上の各サブクラスについてはサブクラス間静止判定値ＥSUB-MS＝０と判定され、誤判定の影響を除去できる。
　以上により、各サブクラス間に、１つのサブクラス間静止判定値ＥSUB-MS、すなわちサブクラス単位の静止または移動の評価の値が付与される。重み付き距離算出部３４０１は、サブクラス間静止判定値ＥSUB-MSと、サブクラス間測地距離ｈp,qを、領域分割部３４０２に出力する。
　領域分割部３４０２は、サブクラス分類部１０５で生成された複数のサブクラスθp（ｐ＜＝ｍ，ｍ：サブクラス数）を領域分割候補とする。領域分割部３４０２は、サブクラスθpの領域分割の評価値として、重み付き距離算出部３４０１で算出されたサブクラス間測地距離ｈp,qを用い、また領域分割のための閾値の重み付けとしてサブクラス間静止判定値ＥSUB-MSを利用し、サブクラスθpの領域分割候補を、別個のクラスタとして分割するか否かを判断する。
　具体的には、領域分割部３４０２は、サブクラス間測地距離ｈp,qが、あらかじめ定められた閾値Ｈｔ以上の場合、対応する２つのサブクラスθp、θqは、そのサブクラス間の距離が十分離れているクラスとして選択し、個別のクラスとして確定する。
　一方、領域分割部３４０２は、サブクラス間測地距離ｈp,qが、あらかじめ定められた閾値Ｈｔより小さい場合、対応する２つのサブクラスθp、θqは、同一のクラスとして確定する。つまり、この場合には、分割しないと確定する。そして、領域分割部３４０２は、領域分割候補の全てのサブクラスに対して、分割するか否かを判定した後、異なるクラスに属する移動軌跡には異なるラベルθmを割り当て、移動軌跡の領域分割情報として出力する。
　ここで、予め定められた閾値Ｈｔに対して、以下に示すような重み付けルールを設定する。
　２つのサブクラスのサブクラス間静止判定値ＥSUB-MSが、どちらも０であれば、どちらも静止物のサブクラスであり、同じ静止背景に属するといえる。したがって、サブクラス間がより統合されやすくなるような処理をするとよい。そこで、サブクラスの領域分割判定のための閾値Ｈｔに対し、サブクラス間測地距離を近づけるための重みＹをかける。つまり、領域分割部３４０２は、上記実施形態におけるＷｍｉｎを用いて、Ｙｍｉｎ＝１／Ｗｍｉｎとなるような重みＹｍｉｎを、閾値Ｈｔに対してかけるとよい。重み付け閾値をＨｔｗ（ｐ，ｑ）とすると、
　　　Ｈｔｗ（ｐ，ｑ）＝Ｙｍｉｎ・Ｈｔ
となる。
　また、ある２つのサブクラスのサブクラス間静止判定値ＥSUB-MSが、一方が０、もう一方が１である場合は、それぞれ背景のサブクラスと移動体のサブクラス、すなわち異なる物体のサブクラスである可能性が高いため、サブクラス間がより統合されにくくなるような処理をするとよい。そこで、閾値Ｈｔに対して、サブクラス間測地距離を遠ざけるような重みＹをかける。つまり、領域分割部３４０２は、Ｙｍｉｎと同様に、上記実施形態におけるＷｍａｘを用いて、Ｙｍａｘ＝１／Ｗｍａｘとなるような重みＹｍａｘを、閾値Ｈｔに対してかける。重み付け閾値をＨｔｗ（ｐ，ｑ）とすると、
　　　Ｈｔｗ（ｐ，ｑ）＝Ｙｍａｘ・Ｈｔ
となる。
　また、ある２つのサブクラスのサブクラス間静止判定値ＥSUB-MSが、どちらも１であれば、どちらも移動体のサブクラスである。しかし、背景の場合と異なり、その２つのサブクラスが、同じ移動体上のサブクラスであるか、異なる移動体上のサブクラスかは、サブクラス間静止判定値ＥSUB-MSのみからは判定できない。したがって、重み付けは行わないものとする。すなわち、領域分割部３４０２は、サブクラス間のクラスタリング閾値に対して、Ｙ＝１となるような重みＹｎｅｕをかける。重み付け閾値をＨｔｗ（ｐ，ｑ）とすると、
　　　Ｈｔｗ（ｐ，ｑ）＝Ｙｎｅｕ・Ｈｔ
となる。
　なお、上述した、２つのサブクラスがともに静止物である場合にサブクラス間を統合されやすくする重み付けと、２つのサブクラスの一方が背景で他方が静止物である場合にサブクラス間を統合されにくくする重み付けは、どちらか一方のみを行ってもよいし、両者を同時に行ってもよい。
　なお、Ｙｍａｘ、Ｙｍｉｎの値については、カメラ動きの大きさや、移動体の動く速度等にもよるが、例えば、カメラが時速１ｋｍで直進する場合は、上記実施の形態のＷｍａｘ、Ｗｍｉｎより、Ｙｍａｘ＝０．２、Ｙｍｉｎ＝１００を用いることができる。
　さらには、サブクラスのサブクラス間静止判定値ＥSUB-MSの信頼度によって、重みを変化させることで、より正しく移動体を背景から分離できる。
　もし、サブクラス間静止判定値ＥSUB-MSの信頼度が低い場合（例えばエピポール誤差を用いる場合に、特に直進する車に対して、例えば細い路地などで真正面に小さな移動体が存在するような場合）、誤判定が起こってしまう可能性がある。このような場合、予めＹｍａｘ＝０．４、Ｙｍｉｎ＝１０にするなど、Ｙｍａｘ、Ｙｍｉｎをより１に近い値にすることで、誤検出および検出ミスを低減することができる。
　逆に、サブクラス間静止判定値ＥSUB-MSの信頼度が高い場合（例えば前述のエピポール誤差の場合、大通りの車道など、真正面に人物のような小さな移動体があらわれにくいような場合）は、逆にＹｍａｘ＝０．１、Ｙｍｉｎ＝１０００にするなど、Ｙｍａｘ、Ｙｍｉｎをより１から遠い値にすればよい。
　特に、サブクラス間静止判定値ＥSUB-MSが完全に正しく与えられた場合は、Ｙｍａｘ＝０とすれば、容易に、移動体を背景から分離することができる。
　以上のようにして、各サブクラス間の領域分割のための閾値に重み付けを行うことで、上記実施の形態における、測地距離への重み付けと同じ効果を得ることができる。
　最後に、領域分割部３４０２は、重み付けした閾値を用いて、上記実施の形態の領域分割部１０７の処理と同様に、サブクラス間測地距離ｈp,qと、重み付け閾値Ｈｔｗ（ｐ，ｑ）とを比較し、ｈp,q≧Ｈｔｗ（ｐ，ｑ）であった場合、対応するサブクラスθp、θqを、分割すると判断し、逆に、ｈp,q＜Ｈｔｗ（ｐ，ｑ）であった場合、対応するサブクラスθp、θqを、分割しない、つまり統合すると判断する。
　以上の手順により、測地距離の値を直接変更することなく、閾値の変更のみで、上記実施の形態の移動体検出装置１００と同様の効果を得ることができる。特に、重み付け後の測地距離を保持しない、すなわちサブクラス数が多い場合などに、重み付け前の測地距離と重み付け後の測地距離の両方をメモリに保持する必要がないため、よりメモリ効率がよいという効果がある。
　以上のようにして、本実施の形態及びその変形例に係る移動体検出装置及びその方法では、画素間の距離または移動軌跡の類似度に基づいてサブクラス化を行い、さらにサブクラス間の代表距離と、移動軌跡の静止指標から、移動体の姿勢によらずに、移動体を含むピクチャの領域分割をすることができる。
　また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域分割の失敗がない。したがって、膨大なパラメータのフィッティングを必要とせずに、形状が変化しながら移動する人物等を含むピクチャに対しても正しく移動体の検出を行えることとなる。
　また、上記実施の形態に係る移動体検出装置１００は、画像入力部１０１、移動軌跡算出部１０２及びサブクラス分類部１０５を備えたが、本発明は、これらの構成要素を必須とするものではない。図４０は、本発明に必須の構成要素を備える移動体検出装置の構成を示す図である。移動体検出装置１００Ｋは、静止指標算出部１０３と、距離算出部１０４と、重み付き距離算出部１０６と、領域分割部１０７とを備える。つまり、動画像を構成する複数のブロックのそれぞれにおけるピクチャの移動軌跡が予め算出されている場合には、移動体検出装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ３０３、Ｓ３０４、Ｓ３０６およびＳ３０７の処理を実行してもよい。また、移動軌跡をサブクラスに分類することなく、重み付き距離算出部１０６は、全ての移動軌跡間で測地距離を算出することとしてもよい。なお、請求の範囲では、重み付き距離算出部１０６および領域分割部１０７をあわせて領域検出部と呼んでいる。
　また、本発明は、移動体検出装置として実現されたが、移動体検出装置１００の機能を持つものであれば、動画像において関節状動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置として実現することができるのは言うまでもない。
　なお、本実施の形態では線形距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の線形距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
　また、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
　また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
　さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な不揮発性の記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの不揮発性の記録媒体に記録されている上記デジタル信号であるとしても良い。
　また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
　また、上記プログラムまたは上記デジタル信号を上記不揮発性の記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
　さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含むピクチャを領域抽出することによってピクチャ中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。
　　１００、１００Ａ～１００Ｌ　　移動体検出装置
　　１０１　　画像入力部
　　１０２　　移動軌跡算出部
　　１０３、１０３Ａ、２７０２、３００１　　静止指標算出部
　　１０４　　距離算出部
　　１０５、２１０１、２２０１、２４０１、２６０１、２６０２、２６０３　　サブクラス分類部
　　１０６、１０６Ａ、２８０２、２８０６、３００２、３１０２、３４０１　　重み付き距離算出部出部
　　１０７、３４０２　　領域分割部
　　１１０　　カメラ
　　１２０　　ディスプレイ
　　２００　　コンピュータ
　　２０１　　Ｉ／Ｆ
　　２０２　　ＣＰＵ
　　２０３　　ＲＯＭ
　　２０４　　ＲＡＭ
　　２０５　　ＨＤＤ
　　２０６　　ビデオカード
　　７０１、３００４　　幾何拘束推定部
　　７０２　　誤差算出部
　　７０３　　静止指標画像作成部
　１２０１、１５０１、２８０１　　ユークリッド距離算出部
　１２０２　　移動軌跡間測地距離算出部
　１５０２、２１０２、２２０３　　クラスタリング部
　１７０１　　代表測地距離算出部
　１７０２、１７０２Ａ、２８０４　　静止指標付加部
　１７０３　　閾値入力部
　２２０２　　第２距離算出部
　２４０２　　第３距離算出部
　２４０３　　サブクラス候補生成部
　２４０４　　サブクラス候補選択部
　２６０４　　ユークリッド距離ロード部
　２６０５　　距離ロード部
　２７０１　　幾何拘束推定用移動軌跡算出部
　２８０３　　サブクラス間ユークリッド距離算出部
　２８０５　　サブクラス間重み付き測地距離算出部
　３００３、３１０１、３２０１　　カメラ動き取得部
　３２０２　　移動体上センサ
　３４０３　　代表静止指標算出部

Claims (32)

  1. 　各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出する移動体検出装置であって、
    　動画像を構成する２枚以上のピクチャ間における前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物の移動軌跡らしさを表す静止指標を算出する静止指標算出部と、
    　前記移動軌跡間の類似度を表す距離を算出する距離算出部と、
    　前記移動軌跡の静止指標および前記移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記変換した移動軌跡間の距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出部と
    　を備える移動体検出装置。
  2. 　前記距離算出部は、前記移動軌跡間の距離に基づいて、２つの移動軌跡以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である測地距離を算出し、
    　前記領域検出部は、前記移動軌跡の静止指標および前記移動軌跡間の測地距離に基づいて、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の測地距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する
    　請求項１記載の移動体検出装置。
  3. 　前記静止指標算出部は、前記複数の移動軌跡から各移動軌跡が静止物の移動軌跡である場合に成立する幾何拘束を推定し、推定した前記幾何拘束を満たす度合いを前記静止指標として算出する
    　請求項１記載の移動体検出装置。
  4. 　前記静止指標算出部は、複数の移動軌跡からエピポーラ拘束、ホモグラフィ拘束、三重線形拘束および構造一致性拘束のいずれかの幾何拘束を推定し、推定した前記幾何拘束を満たす度合いを前記静止指標として算出する
    　請求項３記載の移動体検出装置。
  5. 　前記領域検出部は、
    　前記移動軌跡間の距離に基づいて、前記移動軌跡間の測地距離を算出し、前記移動軌跡の静止指標に基づいて、算出した各測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、重み付き測地距離を算出する重み付き距離算出部と、
    　前記重み付き距離算出部が算出した前記重み付き測地距離に基づいて、前記重み付き測地距離が所定の閾値以上となる移動軌跡同士を異なるクラスに分類することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する領域分割部とを含む
    　請求項１～４のいずれか１項に記載の移動体検出装置。
  6. 　前記距離算出部は、移動軌跡間の類似度を表す測地距離を算出し、
    　前記重み付き距離算出部は、前記静止指標に基づいて、前記距離算出部が算出した前記測地距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の測地距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の測地距離の比が大きくなるような重みを付けることにより、前記重み付き測地距離を算出する
    　請求項５記載の移動体検出装置。
  7. 　前記距離算出部は、移動軌跡間の類似度を表す線形距離を算出し、
    　前記重み付き距離算出部は、前記静止指標に基づいて、前記距離算出部が算出した前記線形距離に対して、重み付け前に比べ、任意の静止物の移動軌跡間の線形距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の線形距離の比が大きくなるような重みを付けることにより、重み付き線形距離を算出し、算出した前記重み付き線形距離から前記重み付き測地距離を算出する
    　請求項５記載の移動体検出装置。
  8. 　前記領域検出部は、
    　前記移動軌跡間の距離に基づいて、前記移動軌跡間の測地距離を算出する重み付き距離算出部と、
    　静止物の移動領域と移動体の移動領域を異なるクラスに分類するか否かを判断するために用いられる前記測地距離の閾値に対して、前記静止指標に基づく重みを付けることにより得られる重み付き閾値と前記重み付き距離算出部が算出した前記測地距離との比較結果から静止物の移動軌跡と移動体の移動軌跡とを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する領域分割部とを含む
    　請求項１～４のいずれか１項に記載の移動体検出装置。
  9. 　前記領域分割部は、２つの移動軌跡の静止指標がそれぞれ「静止物」および「静止物」を表す値であるときの前記測地距離の閾値に対する重みを、２つの移動軌跡の静止指標がそれぞれ「移動体」および「静止物」を表す値であるときの前記測地距離の閾値に対する重みよりも大きくする
    　請求項８記載の移動体検出装置。
  10. 　さらに、前記複数の移動軌跡を、各々が類似する移動軌跡の部分集合である複数のサブクラスに分類するサブクラス分類部を備え、
    　前記重み付き距離算出部は、移動軌跡の静止指標、移動軌跡間の距離、およびサブクラスの分類結果に基づいて、前記静止指標に基づく前記重みが付けられた前記移動軌跡間の測地距離を算出し、
    　前記領域分割部は、前記重み付き距離算出部が算出した前記重み付けされた測地距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する
    　請求項５記載の移動体検出装置。
  11. 　さらに、前記複数の移動軌跡を、各々が類似する移動軌跡の部分集合である複数のサブクラスに分類するサブクラス分類部を備え、
    　前記重み付き距離算出部は、移動軌跡の静止指標、移動軌跡間の距離、およびサブクラスの分類結果に基づいて、前記静止指標に基づく前記重みが付けられたサブクラス間の測地距離を算出し、
    　前記領域分割部は、前記重み付き距離算出部が算出した前記サブクラス間の測地距離に基づいて、静止物のサブクラスと移動体のサブクラスとを分離することにより、各ピクチャ上の静止物の領域と移動体の領域を分割する
    　請求項５記載の移動体検出装置。
  12. 　前記距離算出部は、移動軌跡間の類似度を表す測地距離を算出し、
    　前記重み付き距離算出部は、サブクラス間の測地距離の代表値に対して、サブクラスに含まれる移動軌跡の静止指標の代表値に基づく重みをかけることにより、前記サブクラス間の測地距離を算出する
    　請求項１１記載の移動体検出装置。
  13. 　前記距離算出部は、移動軌跡間の類似度を表す線形距離を算出し、
    　前記重み付き距離算出部は、サブクラス間の線形距離の代表値に対して、サブクラスに含まれる移動軌跡の静止指標の代表値に基づく重みをかけ、重み付けされたサブクラス間の線形距離の代表値に基づいて、前記サブクラス間の測地距離を算出する
    　請求項１１記載の移動体検出装置。
  14. 　前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「移動体」および「静止物」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１よりも大きい値に設定する
    　請求項１１記載の移動体検出装置。
  15. 　前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「静止物」および「静止物」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１未満の値に設定する
    　請求項１１または１４に記載の移動体検出装置。
  16. 　前記重み付き距離算出部は、２つのサブクラス間で、前記２つのサブクラスに含まれる移動軌跡の静止指標の代表値がそれぞれ「移動体」および「移動体」を表す値であったときに、前記サブクラス間の測地距離の前記重みを、１に設定する
    　請求項１４または１５に記載の移動体検出装置。
  17. 　前記サブクラス分類部は、移動軌跡間の類似度に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類する
    　請求項１０または１１記載の移動体検出装置。
  18. 　前記サブクラス分類部は、移動軌跡間での、各移動軌跡に属するブロック同士の輝度の類似度に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類する
    　請求項１０または１１記載の移動体検出装置。
  19. 　前記サブクラス分類部は、
    　前記移動軌跡間の測地距離を算出する第２距離算出部と、
    　前記第２距離算出部が算出した前記移動軌跡間の測地距離の次元圧縮を行い、次元圧縮された前記移動軌跡間の測地距離に基づいて、各移動軌跡を前記複数のサブクラスのいずれかに分類するクラスタリング部とを含む
    　請求項１０または１１記載の移動体検出装置。
  20. 　前記サブクラス分類部は、前記複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の距離のうち、前記所定の距離閾値以下の距離を選択し、選択しなかった距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、前記測地距離を算出し、移動軌跡間の測地距離が有限の値となる移動軌跡の集まりを同一のサブクラスに分類することにより、各移動軌跡を前記複数のサブクラスのいずれかに分類する
    　請求項１０または１１記載の移動体検出装置。
  21. 　前記静止指標算出部は、静止物の移動軌跡に対して成立する幾何拘束を推定するための移動軌跡から前記幾何拘束を推定し、推定した前記幾何拘束に基づいて、前記距離算出部において距離を算出するのに用いられる各移動軌跡の静止指標を算出する
    　請求項１～２０のいずれか１項に記載の移動体検出装置。
  22. 　さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、
    　前記重み付き距離算出部は、前記カメラの動き情報の大きさに基づいて、重み付けの際の静止指標の重みを変化させる
    　請求項５記載の移動体検出装置。
  23. 　前記重み付き距離算出部は、前記カメラの動き情報が大きいほど、静止物の移動軌跡と移動体の移動軌跡との間の距離の重み付けを大きくする
    　請求項２２記載の移動体検出装置。
  24. 　さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、
    　前記重み付き距離算出部は、前記２つのサブクラスの静止指標の代表値がそれぞれ「移動体」および「静止物」を表す値であったときに、前記２つのサブクラス間の測地距離に重み付けを行い、
    　前記カメラの動き情報が所定の閾値以上の場合の重みをＷＢとし、前記カメラの動き情報が前記所定の閾値よりも小さい場合の重みをＷＳとした場合に、ＷＢ＞ＷＳ＞１の関係を満たす
    　請求項１１記載の移動体検出装置。
  25. 　さらに、前記動画像を撮影するカメラの動き情報を取得するカメラ動き取得部を備え、
    　前記重み付き距離算出部は、前記２つのサブクラスの静止指標の代表値がそれぞれ「静止物」および「静止物」を表す値であったときに、前記２つのサブクラス間の測地距離に重み付けを行い、
    　前記カメラの動き情報が所定の閾値以上の場合の重みをＷＢとし、前記カメラの動き情報が前記所定の閾値よりも小さい場合の重みをＷＳとした場合に、ＷＢ＜ＷＳ＜１の関係を満たす
    　請求項１１記載の移動体検出装置。
  26. 　前記カメラ動き取得部は、カメラに対する操作制御信号から前記カメラの動き情報を取得する
    　請求項２２～２５のいずれか１項に記載の移動体検出装置。
  27. 　前記カメラ動き取得部は、車載センサから前記カメラの動き情報を取得する
    　請求項２２～２５のいずれか１項に記載の移動体検出装置。
  28. 　前記重み付き距離算出部は、さらに、前記移動軌跡の静止指標と静止指標閾値とを比較することにより、前記静止指標閾値以下の静止指標を有する前記移動軌跡を静止物の移動軌跡と判断し、前記静止指標閾値よりも大きい静止指標を有する前記移動軌跡を移動体の移動軌跡と判断する
    　請求項５～２０および２２～２７のいずれか１項に記載の移動体検出装置。
  29. 　前記重み付き距離算出部は、静止指標閾値を受け付ける閾値入力部を含み、前記移動軌跡の静止指標と前記閾値入力部が受け付けた前記静止指標閾値とを比較することにより、前記静止指標閾値以下の静止指標を有する前記移動軌跡を静止物の移動軌跡と判断し、前記静止指標閾値よりも大きい静止指標を有する前記移動軌跡を移動体の移動軌跡と判断し、
    　前記領域検出部は、さらに、検出した前記移動体領域を前記表示部に表示させる
    　請求項２８に記載の移動体検出装置。
  30. 　前記静止指標算出部は、さらに、前記ピクチャを構成する各ブロックを、算出した前記静止指標の値に応じた表示態様で、表示部に表示させる
    　請求項１～２９のいずれか１項に記載の移動体検出装置。
  31. 　各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出する移動体検出方法であって、
    　動画像を構成する２枚以上のピクチャ間における前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡の各々について、当該移動軌跡の静止物の移動軌跡らしさを表す静止指標を算出する静止指標算出ステップと、
    　前記移動軌跡間の類似度を表す距離を算出する距離算出ステップと、
    　前記移動軌跡の静止指標および前記移動軌跡間の距離に基づいて、任意の静止物の移動軌跡間の距離に対する任意の静止物の移動軌跡と任意の移動体の移動軌跡との間の距離の比が、変換前と比べて大きくなるような変換処理を行ない、前記移動軌跡間の距離に基づいて、静止物の移動軌跡と移動体の移動軌跡とを分離することにより、移動体の移動軌跡に対応する移動体領域を検出する領域検出ステップと
    　を含む、
    　移動体検出方法。
  32. 　各々が動画像中の各領域に対応する複数の移動軌跡から、移動体領域を検出するためのプログラムであって、
    　請求項３１に記載の移動体検出方法に含まれるステップをコンピュータに実行させるためのプログラム。
PCT/JP2011/004173 2010-07-27 2011-07-25 移動体検出装置および移動体検出方法 WO2012014430A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180008077.8A CN102741884B (zh) 2010-07-27 2011-07-25 移动体检测装置及移动体检测方法
JP2012501494A JP4979840B2 (ja) 2010-07-27 2011-07-25 移動体検出装置および移動体検出方法
US13/454,577 US8599252B2 (en) 2010-07-27 2012-04-24 Moving object detection apparatus and moving object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-168704 2010-07-27
JP2010168704 2010-07-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/454,577 Continuation US8599252B2 (en) 2010-07-27 2012-04-24 Moving object detection apparatus and moving object detection method

Publications (1)

Publication Number Publication Date
WO2012014430A1 true WO2012014430A1 (ja) 2012-02-02

Family

ID=45529663

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004173 WO2012014430A1 (ja) 2010-07-27 2011-07-25 移動体検出装置および移動体検出方法

Country Status (4)

Country Link
US (1) US8599252B2 (ja)
JP (1) JP4979840B2 (ja)
CN (1) CN102741884B (ja)
WO (1) WO2012014430A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014241012A (ja) * 2013-06-11 2014-12-25 株式会社メガチップス 動体検出装置、動体検出方法及び制御プログラム
US9236090B2 (en) 2012-07-20 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Video generating apparatus and video generating method
JP2016505181A (ja) * 2013-02-04 2016-02-18 ハーマン インターナショナル インダストリーズ インコーポレイテッド 移動物体を検出するための方法及びシステム
WO2021166604A1 (ja) * 2020-02-17 2021-08-26 Ｎｅｃソリューションイノベータ株式会社 抽出装置
JP2022534556A (ja) * 2019-05-30 2022-08-02 モービルアイ ビジョン テクノロジーズ リミテッド カメラを使用した車両環境モデル化
US11973921B2 (en) 2020-05-21 2024-04-30 Subaru Corporation Image processing apparatus

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2488445A (en) * 2009-08-06 2012-08-29 Toshiba Res Europ Ltd Correlated probabilistic trajectories pedestrian motion detection using a decision forest
JP5475138B2 (ja) * 2010-09-08 2014-04-16 トヨタ自動車株式会社 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
US8855406B2 (en) * 2010-09-10 2014-10-07 Honda Motor Co., Ltd. Egomotion using assorted features
AU2011265430B2 (en) * 2011-12-21 2015-03-19 Canon Kabushiki Kaisha 3D reconstruction of partially unobserved trajectory
US9567097B2 (en) * 2012-02-03 2017-02-14 Rosemount Aerospace Inc. System and method for real-time aircraft performance monitoring
JP5648647B2 (ja) * 2012-03-21 2015-01-07 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6013884B2 (ja) * 2012-11-08 2016-10-25 日立オートモティブシステムズ株式会社 物体検出装置及び物体検出方法
US9224210B2 (en) * 2013-02-06 2015-12-29 University Of Virginia Patent Foundation Systems and methods for accelerated dynamic magnetic resonance imaging
US9165208B1 (en) * 2013-03-13 2015-10-20 Hrl Laboratories, Llc Robust ground-plane homography estimation using adaptive feature selection
CN104063740B (zh) * 2013-03-21 2017-11-17 日电（中国）有限公司 办公室实体组识别系统、方法及装置
US9129161B2 (en) * 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification
JP5886809B2 (ja) * 2013-09-27 2016-03-16 富士重工業株式会社 車外環境認識装置
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置
KR101511450B1 (ko) * 2013-12-09 2015-04-10 포항공과대학교 산학협력단 산등성이 데이터를 이용한 객체의 움직임 추적 장치 및 방법
CN104899894B (zh) * 2014-03-05 2017-09-01 南京理工大学 一种采用多台摄像机进行运动目标跟踪的方法
GB2537780B (en) * 2014-03-11 2019-04-17 Mitsubishi Electric Corp Person detecting device and person detecting method
US9626802B2 (en) 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
US9761008B2 (en) * 2014-05-08 2017-09-12 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
DE102014209137B4 (de) 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
KR102051142B1 (ko) * 2014-06-13 2019-12-02 현대모비스 주식회사 차량용 운전자 위험 지수 관리 시스템 및 그 방법
US10091411B2 (en) * 2014-06-17 2018-10-02 Lg Electronics Inc. Mobile terminal and controlling method thereof for continuously tracking object included in video
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN105518702B (zh) * 2014-11-12 2018-06-26 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US9536320B1 (en) * 2014-12-23 2017-01-03 John H. Prince Multiple coordinated detectors for examination and ranging
JP6497987B2 (ja) * 2015-03-12 2019-04-10 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US20170109586A1 (en) * 2015-10-16 2017-04-20 Canary Connect, Inc. Sensitivity adjustment for computer-vision triggered notifications
CN105469361B (zh) * 2015-12-24 2018-12-04 努比亚技术有限公司 一种局部图像处理方法和装置
JP6975945B2 (ja) * 2016-02-24 2021-12-01 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、プログラムおよびプログラムを記録した記録媒体
TWI586936B (zh) * 2016-05-20 2017-06-11 國立交通大學 實體影像與虛擬影像之間轉換的方法及其系統
RU2657308C2 (ru) * 2016-06-03 2018-06-13 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Способ определения направления на источник оптического излучения по рассеянной в атмосфере составляющей
CN107798272B (zh) * 2016-08-30 2021-11-02 佳能株式会社 快速多目标检测与跟踪系统
AU2016421610B2 (en) * 2016-09-05 2020-03-19 Umitron Pte. Ltd. Feeding system and feeding method
CN106529482A (zh) * 2016-11-14 2017-03-22 叶瀚礼 一种采用集合距离的交通路标识别方法
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
CN106515578A (zh) * 2016-12-22 2017-03-22 百度在线网络技术（北京）有限公司 无人车驾驶状态的识别装置、识别方法及无人车
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
JP6822906B2 (ja) * 2017-06-23 2021-01-27 株式会社東芝 変換行列算出装置、位置推定装置、変換行列算出方法および位置推定方法
CN110473232B (zh) * 2017-07-14 2024-02-09 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及电子设备
WO2019089591A1 (en) * 2017-10-30 2019-05-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on human activity
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
JP6587006B2 (ja) * 2018-03-14 2019-10-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム
CN110299063B (zh) * 2018-03-22 2022-01-25 阿里巴巴集团控股有限公司 轨迹数据的可视化展示方法及装置
US10896531B1 (en) * 2018-05-18 2021-01-19 Tableau Software, Inc. Using visual distortion to emphasize targeted regions of data visualizations according to geodesic curves
CN109255315B (zh) * 2018-08-30 2021-04-06 跨越速运集团有限公司 一种出车途中人车分离判断方法及装置
US11270132B2 (en) * 2018-10-26 2022-03-08 Cartica Ai Ltd Vehicle to vehicle communication and signatures
US10817733B2 (en) * 2019-02-13 2020-10-27 Sap Se Blind spot implementation in neural networks
US10984546B2 (en) * 2019-02-28 2021-04-20 Apple Inc. Enabling automatic measurements
JP2020201674A (ja) * 2019-06-07 2020-12-17 キヤノン株式会社 映像解析装置及びその制御方法及びプログラム
TWI730509B (zh) * 2019-11-22 2021-06-11 英業達股份有限公司 影像偵測區域取得方法及空間使用情況的判定方法
CN111009012B (zh) * 2019-11-29 2023-07-28 四川沃洛佳科技有限公司 一种基于计算机视觉的无人机测速方法、存储介质及终端
JP7484574B2 (ja) * 2020-08-26 2024-05-16 トヨタ自動車株式会社 自律移動ロボット制御システム、その制御方法、その制御プログラム及び自律移動ロボット制御装置
US11670144B2 (en) 2020-09-14 2023-06-06 Apple Inc. User interfaces for indicating distance
US11854224B2 (en) 2021-07-23 2023-12-26 Disney Enterprises, Inc. Three-dimensional skeleton mapping
CN115578862B (zh) * 2022-10-26 2023-09-19 中国建设基础设施有限公司 交通流量转换方法、装置、计算设备和存储介质
CN116972831B (zh) * 2023-09-25 2024-02-02 山东亚历山大智能科技有限公司 一种基于显著特征的动态场景移动机器人定位方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146185A (ja) * 2006-12-06 2008-06-26 Univ Waseda 移動物体検出装置及び移動物体検出装置用プログラム
WO2010050110A1 (ja) * 2008-10-27 2010-05-06 パナソニック株式会社 移動体検出方法及び移動体検出装置
WO2010079556A1 (ja) * 2009-01-09 2010-07-15 パナソニック株式会社 移動体検出方法および移動体検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3780017B2 (ja) * 1994-12-06 2006-05-31 オリンパス株式会社 時系列画像解析装置及びその解析方法
JP4477439B2 (ja) * 2004-07-12 2010-06-09 日立ソフトウエアエンジニアリング株式会社 画像分割処理システム
JP5054206B2 (ja) * 2008-03-14 2012-10-24 パナソニック株式会社 画像処理方法及び画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146185A (ja) * 2006-12-06 2008-06-26 Univ Waseda 移動物体検出装置及び移動物体検出装置用プログラム
WO2010050110A1 (ja) * 2008-10-27 2010-05-06 パナソニック株式会社 移動体検出方法及び移動体検出装置
WO2010079556A1 (ja) * 2009-01-09 2010-07-15 パナソニック株式会社 移動体検出方法および移動体検出装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9236090B2 (en) 2012-07-20 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Video generating apparatus and video generating method
JP2016505181A (ja) * 2013-02-04 2016-02-18 ハーマン インターナショナル インダストリーズ インコーポレイテッド 移動物体を検出するための方法及びシステム
US9852341B2 (en) 2013-02-04 2017-12-26 Harman International Industries, Incorporation Method and system for detecting moving objects
JP2014241012A (ja) * 2013-06-11 2014-12-25 株式会社メガチップス 動体検出装置、動体検出方法及び制御プログラム
JP2022534556A (ja) * 2019-05-30 2022-08-02 モービルアイ ビジョン テクノロジーズ リミテッド カメラを使用した車両環境モデル化
US11803981B2 (en) 2019-05-30 2023-10-31 Mobileye Vision Technologies Ltd. Vehicle environment modeling with cameras
JP7383870B2 (ja) 2019-05-30 2023-11-21 モービルアイ ビジョン テクノロジーズ リミテッド デバイス、方法、システムおよびコンピュータプログラム
WO2021166604A1 (ja) * 2020-02-17 2021-08-26 Ｎｅｃソリューションイノベータ株式会社 抽出装置
JPWO2021166604A1 (ja) * 2020-02-17 2021-08-26
JP7319013B2 (ja) 2020-02-17 2023-08-01 Ｎｅｃソリューションイノベータ株式会社 抽出装置
US11973921B2 (en) 2020-05-21 2024-04-30 Subaru Corporation Image processing apparatus

Also Published As

Publication number Publication date
CN102741884A (zh) 2012-10-17
US8599252B2 (en) 2013-12-03
JPWO2012014430A1 (ja) 2013-09-12
CN102741884B (zh) 2016-06-08
JP4979840B2 (ja) 2012-07-18
US20120206597A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
JP4979840B2 (ja) 移動体検出装置および移動体検出方法
Luiten et al. Track to reconstruct and reconstruct to track
US8401243B2 (en) Articulated object region detection apparatus and method of the same
US8340357B2 (en) Moving object detection method and moving object detection apparatus
US11037325B2 (en) Information processing apparatus and method of controlling the same
EP2548174B1 (en) Method and apparatus for trajectory estimation, and method for segmentation
US8582822B2 (en) Moving object detection apparatus and moving object detection method
US8929599B2 (en) Articulation region display apparatus, articulation region detecting apparatus, articulation region belongingness calculating apparatus, articulated object region belongingness calculating apparatus, and articulation region display method
JP4668360B2 (ja) 移動体検出方法及び移動体検出装置
Vidas et al. Real-time mobile 3D temperature mapping
Djelouah et al. Sparse multi-view consistency for object segmentation
JP6985897B2 (ja) 情報処理装置およびその制御方法、プログラム
Smith ASSET-2: Real-time motion segmentation and object tracking
Seer et al. Kinects and human kinetics: a new approach for studying crowd behavior
Madrigal et al. Motion priors for multiple target visual tracking
Ghedia et al. Moving Objects Detection Using Machine Learning
Liu et al. Implementation of levels-of-detail in Bayesian tracking framework using single RGB-D sensor
Xuezhi et al. Scene flow estimation methodologies and applications—A review
Chang Robust Tracking of Multiple People Using Two Widely Separated Cameras
Jie Robust moving object detection by information fusion from multiple cameras
Smith Technical Report TR95SMS2b
Luo et al. Multiple People Tracking Based on Dynamic Visibility Analysis

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180008077.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012501494

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11812032

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11812032

Country of ref document: EP

Kind code of ref document: A1