WO2012127815A1 - 移動体検出装置および移動体検出方法 - Google Patents

移動体検出装置および移動体検出方法 Download PDF

Info

Publication number
WO2012127815A1
WO2012127815A1 PCT/JP2012/001731 JP2012001731W WO2012127815A1 WO 2012127815 A1 WO2012127815 A1 WO 2012127815A1 JP 2012001731 W JP2012001731 W JP 2012001731W WO 2012127815 A1 WO2012127815 A1 WO 2012127815A1
Authority
WO
WIPO (PCT)
Prior art keywords
subclass
movement
image
subclasses
movement trajectory
Prior art date
Application number
PCT/JP2012/001731
Other languages
English (en)
French (fr)
Inventor
岩崎　正宏
登　一生
亜矢子 甲本
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201280003439.9A priority Critical patent/CN103189898B/zh
Priority to JP2012530450A priority patent/JP5102410B2/ja
Publication of WO2012127815A1 publication Critical patent/WO2012127815A1/ja
Priority to US13/665,255 priority patent/US8605946B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image processing technique for detecting a moving body by specifying a region of the moving body in an image, and in particular, detecting a moving body based on motion information in a moving image in an environment where shielding is likely to occur.
  • the present invention relates to a moving body detection device to be extracted.
  • a region extraction technique for detecting a moving body by extracting a moving body region in an image from an image including a moving body image (hereinafter simply referred to as a “moving body”) has been widely performed. It is coming.
  • the technology for extracting the area of a moving object is a focus control in a digital video camera or a digital still camera, an image quality improvement process, a safe driving support system for an automobile, or a collision avoidance control or collision avoidance with a moving object in a robot. It is a basic technology that is used in common.
  • Non-Patent Document 1 learning shape information about a moving object in advance and scanning the image while learning the shape information
  • Non-Patent Documents 2 to 5 disclose a method for tracking a moving object in a crowded scene that is likely to be shielded. Unlike Non-Patent Document 1, these methods do not use shape information, extract a movement trajectory from a moving image, and cluster each movement trajectory based on the similarity of the movement trajectories to make different movements. Each moving object can be extracted and tracked as a class. In particular, the moving object extraction method using shape information is effective for tracking a obscured object that is difficult to extract.
  • Patent Document 1 As described in Patent Document 1 described above, particularly in a scene that is likely to be shielded, such as in a congested environment, only a part of the shape information of the moving object can be seen, and the degree of matching becomes low. For this reason, there is a problem that the detection target object cannot be detected.
  • Non-Patent Documents 2 to 5 described above mainly focuses on tracking a moving object rather than extracting a region. It assumes a scene that is not occluded. That is, this is a technique that can be used when a part of each mobile object can be tracked without being shielded. For this reason, there is a problem that the scene is limited to a scene taken from a bird's-eye view from a camera installed at a high position.
  • the present invention solves the problem of limiting the shooting position of a camera and the problem of false detection, and provides a mobile object detection device and a mobile object detection method capable of appropriately detecting and extracting a mobile object even in an environment where shielding is likely to occur
  • the purpose is to provide.
  • a moving body detection apparatus performs a region division that identifies all or a part of a moving body in a moving image, thereby moving the moving body in the moving image.
  • a moving body detection apparatus that detects a plurality of pictures including at least three pictures constituting a moving image, and includes at least two pictures from the plurality of pictures.
  • a movement trajectory calculating unit that extracts a plurality of image subsets and calculates a plurality of movement trajectories that are movement trajectories of a block composed of one or more pixels constituting the picture between the pictures included in the image subset for each image subset; For each image subset, a subclass that classifies a plurality of movement trajectories calculated by the movement trajectory calculation unit included in the image subset into subclasses.
  • the share ratio of the movement trajectory indicating the degree of sharing the same movement trajectory between the lath classifier and any two subclasses is calculated, and the similarity between the subclasses is calculated based on the share ratio.
  • a moving body detection unit that detects a moving body in a moving image by specifying blocks corresponding to movement loci included in the same class as a region of the moving body.
  • the present invention it is possible to solve the problem of limiting the shooting position of the camera and the problem of erroneous detection, and to appropriately detect and extract a moving body even in an environment where shielding is likely to occur.
  • FIG. 1A is a diagram illustrating an example of a problem to be solved by the present invention.
  • FIG. 1B is a diagram illustrating an example of a problem to be solved by the present invention.
  • FIG. 2 is a diagram showing a basic configuration of the moving object detection device according to the first embodiment of the present invention.
  • FIG. 3 is a configuration diagram of hardware that executes software when the mobile object detection device according to Embodiment 1 of the present invention is realized by software.
  • FIG. 4 is a flowchart showing the basic operation of the moving object detection apparatus according to Embodiment 1 of the present invention.
  • FIG. 5A is a diagram showing a processing example of a division method into image subsets according to Embodiment 1 of the present invention.
  • FIG. 5B is a diagram illustrating a processing example of the movement trajectory calculation unit according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram illustrating a processing example of the subclass label assigning unit according to Embodiment 1 of the present invention.
  • FIG. 7A is a diagram showing a calculation example of the share ratio of the movement trajectory in Embodiment 1 of the present invention.
  • FIG. 7B is a diagram showing a calculation example of the share ratio of the movement trajectory in Embodiment 1 of the present invention.
  • FIG. 8A is a diagram showing a processing example of the label propagation unit and the moving body detection unit in Embodiment 1 of the present invention.
  • FIG. 8B is a diagram showing a processing example of the label propagation unit and the moving object detection unit in Embodiment 1 of the present invention.
  • FIG. 8C is a diagram showing a processing example of the label propagation unit and the moving body detection unit in Embodiment 1 of the present invention.
  • FIG. 9 is an explanatory diagram of the pace in walking a person.
  • FIG. 10 is a diagram illustrating a basic configuration of the moving object detection device according to the second embodiment of the present invention.
  • FIG. 11 is a flowchart showing the basic operation of the moving object detection device according to the second embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a processing example of the subclass label assigning unit according to the second embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a configuration of the moving object detection device according to the third embodiment of the present invention.
  • FIG. 14 is a flowchart showing the basic operation of the moving object detection device according to Embodiment 3 of the present invention.
  • FIG. 15 is a diagram illustrating an example of the effect of the geodetic distance in the third embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a processing example of the subclass label assigning unit according to the third embodiment of the present invention.
  • FIG. 17 is a diagram illustrating a processing example of the subclass label assigning unit according to Embodiment 3 of the present invention.
  • FIG. 18 is a diagram illustrating a basic configuration of a moving object detection device according to the fourth embodiment of the present invention.
  • FIG. 19 is a flowchart showing the basic operation of the moving object detection device according to the fourth embodiment of the present invention.
  • FIG. 20 is a diagram illustrating a processing example of the movement trajectory recovery unit in the fourth embodiment of the present invention.
  • FIG. 21 is a diagram showing a basic configuration of the moving object detection device according to the first modification of the first to fourth embodiments of the present invention.
  • FIG. 22 is a diagram showing an example of recording / transmission data in the first modification of the first to fourth embodiments of the present invention.
  • FIG. 23 is a diagram illustrating a configuration example of the moving object detection device according to the second modification of the first to fourth embodiments of the present invention.
  • FIG. 20 is a diagram illustrating a processing example of the movement trajectory recovery unit in the fourth embodiment of the present invention.
  • FIG. 21 is a diagram showing a basic configuration of the moving object detection device according to the first modification of the first to fourth embodiments of the present invention.
  • FIG. 22 is a diagram showing an example of recording / transmission data in
  • FIG. 24 is a flowchart showing the basic operation of the moving object detection device according to the second modification of Embodiments 1 to 4 of the present invention.
  • FIG. 25 is a diagram showing an example of motion prediction in the second modification example of the first to fourth embodiments of the present invention.
  • FIGS. 1A and 1B it has been found that there is a problem that it is difficult to track a moving object for a long time in an environment where shielding by a guardrail or another object is likely to occur. In order to solve this problem, it has been found that if the moving body tracking technique is applied based on short-time motion information, erroneous detection occurs in the examples shown in FIGS. 1A and 1B. .
  • the head of the moving body when a part of the moving body is temporarily shielded by a guardrail or a person, the head of the moving body as in detection results a-1, a-2 and detection results b-1, b-2. And the legs are extracted as separate moving bodies, and it has been found that there is a problem of false detection in which one moving body is originally detected as two moving bodies.
  • FIG. 1A when the movement locus is obtained for a long time, the movement locus is interrupted at a time after the time when the shielding occurs. For this reason, it has been found that if a person's waist, legs, head, etc. are sequentially shielded, a movement locus cannot be obtained as a result. That is, it has been found that when a movement trajectory is obtained over a long period of time, there is a problem that a dense movement trajectory cannot be obtained.
  • the mobile object detection device performs region segmentation that specifies all or a part of the region of the mobile object in the video image.
  • a moving body detection apparatus for detecting a moving body comprising: an image input unit that receives a plurality of pictures including at least three pictures constituting a moving image; and at least two pictures from the plurality of pictures A plurality of image subsets to be extracted, and a plurality of movement trajectory calculation units for calculating a plurality of movement trajectories that are movement trajectories of blocks including one or more pixels constituting the picture between the pictures included in the image subset for each image subset For each image subset, the plurality of movement trajectories calculated by the movement trajectory calculation unit included in the image subset are classified into subclasses.
  • the share ratio of the movement track indicating the degree of sharing the same movement track between the subclass classification unit and any two subclasses is calculated, and the similarity between the subclasses is calculated based on the share ratio.
  • the movement trajectory is calculated for each image subset.
  • a dense movement trajectory can be calculated in the image subset.
  • the movement trajectory classified into the first subclass in the first image subset is separated into the second subclass and the third subclass in the second image subset at the next time due to the influence of occlusion.
  • the sharing ratio between the first subclass and the second subclass and the sharing ratio between the first subclass and the third subclass are both high.
  • the first to third subclasses are classified into the same class and detected as the same mobile object. The Therefore, it is possible to solve the problem of limiting the shooting position of the camera and the problem of erroneous detection, and appropriately detect and extract the moving object even in an environment where shielding is likely to occur.
  • the subclass classification unit classifies, for each image subset, a plurality of movement trajectories calculated by the movement trajectory calculation unit included in the image subset into subclasses, and the subclass in which the movement trajectory is classified into each movement trajectory.
  • a subclass label assigning unit that assigns a subclass label that is an identifier of the subclass, and the intersubclass similarity calculation unit includes the same block between the first and second subclass arbitrarily selected from all the subclasses
  • Including a label propagation unit for propagating subclass labels between subclasses, and the mobile object detection unit is provided with the same subclass label.
  • the blocks corresponding to the movement trajectory included in the same class may be specified as the areas of the moving body to detect the moving body in the moving image.
  • the movement trajectory is calculated for each image subset.
  • a dense movement trajectory can be calculated in the image subset.
  • the movement trajectory classified into the first subclass in the first image subset is separated into the second subclass and the third subclass in the second image subset at the next time due to the influence of occlusion.
  • the sharing ratio between the first subclass and the second subclass and the sharing ratio between the first subclass and the third subclass are both high.
  • the same subclass label is reassigned to the first to third subclasses and detected as the same mobile object. Therefore, it is possible to solve the problem of limiting the shooting position of the camera and the problem of erroneous detection, and appropriately detect and extract the moving object even in an environment where shielding is likely to occur.
  • sub-labels obtained by classifying movement trajectories that are shorter in time into subclasses and using the strength of temporal association between subclasses as the share of movement trajectories.
  • By updating the subclass label that is temporally related to the same class label it is possible to extract a region that is temporally coherent. Therefore, it becomes possible to give the same label as one moving body which is temporarily separated into two, and there is an effect that false detection can be reduced in moving body detection.
  • a short movement trajectory is used, it is possible to reduce the risk that the corresponding point disappears and the movement trajectory cannot be calculated in a scene where shielding frequently occurs. Thereby, it becomes possible to extract a moving body with higher density and to improve detection accuracy. Furthermore, it is possible not only to detect the moving body but also to extract the moving body from the image.
  • the movement trajectory calculation unit extracts a plurality of image subsets from the plurality of pictures so that some pictures overlap between temporally adjacent image subsets, and each image subset is included in the image subset.
  • a plurality of movement trajectories that are movement trajectories of a block made up of one or more pixels constituting the picture, and the label propagation unit is used for pictures shared between the first and second subclasses. It is determined that the greater the ratio of the movement trajectory passing through the same position to the movement trajectories included in the first and second subclasses, the higher the share of the movement trajectory between the first and second subclasses. The higher the sharing ratio of the movement trajectory, the more the same subclass label is reassigned to the first and second subclasses. Class label may be used as propagating between subclasses.
  • Image subsets are extracted so that pictures overlap between temporally adjacent image subsets. For this reason, in a picture having overlap (overlap) between temporally adjacent image subsets, the movement trajectory is the same. Accordingly, the sharing ratio between the first and second subclasses can be easily calculated.
  • the label propagation unit may further increase the subclass with a higher reliability of the subclass, which is a value corresponding to the number of movement trajectories included in the subclass or a spatial size formed by the movement trajectory included in the subclass.
  • the subclass label may be propagated between subclasses by reassigning the same subclass label as the subclass label assigned by the subclass label assigning unit.
  • the above-described moving body detection device can further calculate a movement that can be calculated only with the number of pictures that is smaller than the number of pictures that constitute the image subset among the movement trajectories calculated by the movement trajectory calculation unit.
  • the body detection unit further identifies blocks corresponding to the movement trajectory included in the same class including the movement trajectory classified by the movement trajectory recovery unit as a moving body region, thereby moving the moving body in the moving image. May be detected.
  • the subclass label assigning unit classifies similar movement trajectories among a plurality of movement trajectories calculated by the movement trajectory calculation unit included in the image subset for each image subset into the same subclass.
  • a plurality of movement trajectories may be classified into subclasses, and a subclass label that is an identifier of the subclass in which the movement trajectory is classified may be assigned to each movement trajectory.
  • the subclass label assigning unit sets, to the same subclass, the combination of the most similar moving tracks among the plurality of moving tracks calculated by the moving track calculating unit included in the image subset.
  • the plurality of movement trajectories are classified into subclasses, and the movement trajectory is classified into each movement trajectory.
  • a subclass label that is an identifier of the subclass may be assigned.
  • the subclass label assigning unit calculates (a) a distance representing similarity between the movement trajectories for the plurality of movement trajectories calculated by the movement trajectory calculation unit, and (b) of the calculated distances, By connecting a distance smaller than a predetermined threshold, the calculated distance is converted into a geodetic distance, and (c) for each image subset, calculated by the movement trajectory calculation unit included in the image subset
  • the geodetic distance obtained by calculating the geodetic distance which is the distance of the route from one of the two movement trajectories to the other, using any other movement trajectory as a relay point for any two of the movement trajectories Discontinuous points in the distance distribution are detected, and moving trajectories separated by a geodetic distance smaller than the detected discontinuous points are grouped into the same subclass by making them one cluster.
  • a plurality of moving loci are classified into subclasses, may confer subclass label is an identifier of a subclass to which the movement locus is classified into the movement
  • another preferable mode is that, for each image subset, the subclass label assigning unit uses at least one of an edge, a color, and luminance from at least one image included in the image subset.
  • the image is divided into a plurality of areas, subclasses are generated, and subclass labels are assigned to the movement trajectories passing through the divided areas.
  • the above moving body detection device is further classified into the same class by the moving body detection unit with respect to at least one of the plurality of pictures received by the image input unit.
  • an output unit may be provided that performs image processing so as to have a display mode different from that of other moving body regions and outputs a picture subjected to the image processing.
  • each extracted moving object can be displayed on an image. For this reason, it becomes easy for the user to recognize the moving body.
  • the above-described moving body detection device may further include a recording / transmission unit that writes the detection result of the moving body by the moving body detection unit to the recording device or transmits the result to the outside via a transmission path. .
  • the above-described moving body detection device further calculates a representative movement locus representing the class among the movement locus constituting the class specified by the moving body detection unit, and according to the calculated representative movement locus, A motion prediction unit that predicts the motion of the mobile object by predicting that the area of the mobile object corresponding to the class moves between pictures may be provided.
  • Predicting the motion of a moving object using a trajectory that represents the trajectory of a plurality of blocks enables motion prediction with high noise resistance.
  • the subclass similarity calculation unit repeatedly multiplies the matrix W having the movement trajectory sharing ratio between the subclasses as an element by the matrix Z having the similarity between the subclasses as an element, thereby calculating the similarity between the subclasses.
  • the degree of similarity between the subclasses may be calculated by updating the matrix Z having as elements.
  • similarity between subclasses can be calculated by multiplication between matrices, similarity between subclasses can be calculated at high speed.
  • the inter-subclass similarity calculation unit further has a value corresponding to the number of movement tracks included in the subclass or a spatial size formed by the movement track included in the subclass in the updated matrix Z.
  • the similarity between the subclasses may be calculated by weighted addition of the matrix Y having the reliability of the subclass as an element.
  • the reliability of similarity between subclasses can be increased by calculating the similarity between subclasses taking into account the reliability of subclasses.
  • FIG. 2 is a diagram illustrating a configuration of the moving object detection device according to the first embodiment.
  • the moving body detection apparatus 200 includes an image input unit 201, a movement trajectory calculation unit 202, a subclass classification unit 213, an intersubclass similarity calculation unit 214A, a moving body detection unit 204B, and an output unit 205. Prepare.
  • This moving body detection device 200 is a device that detects a moving body in a moving image by classifying the moving locus in the moving image by classifying all or a part of the area of the moving body. That is, the moving body detection device 200 is a device that detects a moving body in a moving image by performing region division that specifies all or a part of the moving body in the moving image.
  • the image input unit 201 is a processing unit that receives input of a plurality of temporally different pictures forming a moving image, and is, for example, a video camera or a communication interface connected to the video camera. That is, the image input unit 201 accepts a plurality of pictures including at least three pictures constituting a moving image.
  • a picture is also referred to as an image.
  • the movement trajectory calculation unit 202 divides at least three pictures received by the image input unit 201 into a plurality of image subsets. Here, it is assumed that the image subset includes at least two pictures. Then, the movement trajectory calculation unit 202 calculates a movement trajectory for each image subset. The movement trajectory calculation unit 202 detects image motion between at least two pictures for each block composed of one or more pixels constituting a picture, and connects the detected motions for a plurality of pictures. The movement trajectory is calculated. That is, a block is a unit for calculating a movement locus, and is a collection of one or more pixels.
  • the movement trajectory calculation unit 202 extracts a plurality of image subsets composed of at least two pictures from a plurality of pictures, and configures a picture between the pictures included in the image subset for each image subset. A plurality of movement trajectories that are motion trajectories of the block including the above pixels are calculated.
  • the subclass classification unit 213 classifies, for each image subset, a plurality of movement trajectories calculated by the movement trajectory calculation unit included in the image subset into subclasses.
  • the subclass classification unit 213 includes a subclass label assignment unit 203.
  • the subclass label assigning unit 203 classifies the plurality of movement trajectories calculated by the movement trajectory calculation unit 202 included in the image subset into subclasses, and the subclass in which the movement trajectory is classified into each movement trajectory.
  • a subclass label that is an identifier is assigned.
  • the subclass similarity calculation unit 214A calculates a sharing ratio of the movement trajectory indicating the degree of sharing the same movement trajectory between any two subclasses, and based on the sharing ratio, the similarity between the subclasses Calculate the degree.
  • the subclass similarity calculation unit 214A includes a label propagation unit 204A.
  • the label propagation unit 204A shares the same movement locus (movement locus indicating the movement of the same block) between the first and second subclasses arbitrarily selected from all the subclasses.
  • the share ratio of the movement trajectory shown is calculated, and the higher the calculated share ratio, the more the same subclass label is assigned to the first and second subclasses, thereby propagating the subclass label between the subclasses.
  • the label propagation unit 204A propagates the subclass label information between the subclasses using the sharing ratio of the movement trajectory as the subclass pair similarity (temporal relation strength) in an arbitrary subclass pair.
  • the sharing ratio of the movement trajectory is a ratio of holding the same movement trajectory between the subclasses, and details will be described later.
  • the subclass label information is updated from the result of the propagation of the subclass label information. That is, the subclasses with the same subclass label indicate that the similarity between the subclasses is high.
  • the mobile body detection unit 204B classifies the subclasses into classes so that the collection of subclasses with higher similarity between subclasses calculated by the subclass similarity calculation unit 214A is further classified into the same class.
  • a moving object in a moving image is detected by specifying blocks corresponding to the movement trajectory included in the same class as a moving object region.
  • the moving body detection unit 204B classifies a group of subclasses assigned with the same subclass label into the same class, so that blocks corresponding to the movement trajectory included in the same class are used as areas of the moving body.
  • the moving object in the moving image is detected by specifying.
  • the moving object detection unit 204B determines that the subclasses having the same subclass label are the same class by updating the label information. As described above, the moving object detection unit 204B can perform clustering having temporal coherency by determining whether the subclasses obtained from the image subsets are the same class. Thereby, the same class label is given to the movement trajectories belonging to the subclasses determined to be the same class. As a result, since one class corresponds to one moving object, if each moving locus can be classified into classes, the area of the moving object is specified, and the moving object can be detected.
  • a class is a collection of at least one subclass, and subclasses belonging to the same class correspond to the same mobile object.
  • the output unit 205 outputs the detection result of the moving body in the moving image performed by the moving body detection unit 204B.
  • the output unit 205 includes a moving object region classified into the same class by the moving object detection unit 204B with respect to at least one picture among a plurality of pictures received by the image input unit 201. Each time, image processing is performed so that the display mode is different from that of the other moving object regions, and a picture subjected to the image processing is output.
  • the output unit 205 outputs the picture subjected to image processing to a display device or the like.
  • area means a detection technique for extracting an image area where a specific target object exists, and a class classification technique for classifying an image area (movement trajectory) for each object without distinguishing the target object. Of both. Since the detection technique and the classification technique have many common parts, they are not distinguished in this specification.
  • each component (the image input part 201, the movement locus
  • FIG. 3 is a diagram illustrating a hardware configuration of the moving object detection device according to the present embodiment realized by software.
  • a camera 301 captures and outputs an image.
  • the computer 302 acquires an image from the camera 301 and performs a moving body detection process to generate an image that displays the moving body detection result.
  • a display 303 acquires and displays an image generated by the computer 302.
  • the computer 302 includes an I / F 304, a CPU 305, a ROM 306, a RAM 307, an HDD 308, and a video card 309.
  • a program for operating the computer 302 is stored in the ROM 306 or the HDD 308 in advance.
  • the program is read from the ROM 306 or the HDD 308 to the RAM 307 and expanded by the CPU 305 as a processor.
  • the CPU 305 executes each coded instruction in the program expanded in the RAM 307.
  • the I / F 304 takes an image captured by the camera 301 into the RAM 307 in accordance with the execution of the program.
  • the video card 309 outputs an image generated in accordance with the execution of the program, and the display 303 displays the image.
  • the computer program is not limited to the ROM 306 or the HDD 308 which is a semiconductor, and may be stored, for example, on an optical disc.
  • the data may be transmitted via a wired or wireless network, broadcast, or the like and taken into the RAM 307 of the computer.
  • FIG. 4 is a flowchart showing the operation of the moving object detection apparatus 200 of the present embodiment.
  • steps S401 to S403 correspond to the image input unit 201, the movement trajectory calculation unit 202, and the subclass label assignment unit 203 in FIG. 2, respectively.
  • Step S404 corresponds to the label propagation unit 204A and the moving object detection unit 204B in FIG.
  • step S405 corresponds to the output unit 205 in FIG. That is, the image input unit 201 performs image input step S401, the movement track calculation unit 202 performs movement track calculation step S402, the subclass label assignment unit 203 includes subclass label assignment step S403, and the label propagation unit 204A and the moving body detection unit 204B perform label propagation /
  • the output unit 205 executes each operation of the image output step S405.
  • image input step S ⁇ b> 401 the image input unit 201 acquires a plurality of pictures constituting a moving image from the camera 301.
  • T T ⁇ 3
  • the movement trajectory calculation unit 202 sets the T pictures received by the image input unit 201 as time-sequentially using F (F ⁇ 2) pictures as one image subset. Divide into D image subsets. However, T> F.
  • the movement trajectory calculation unit 202 desirably divides the picture into image subsets 502 so that the pictures at the same time overlap. Then, the movement trajectory calculation unit 202 calculates a movement trajectory for each image subset.
  • the movement trajectory calculation unit 202 calculates motion information 503 between a plurality of pictures included in each image subset 502, and generates and outputs a movement trajectory.
  • a corresponding pixel in another (F-1) picture is searched with reference to a pixel i504 at point I on one picture among the plurality of pictures.
  • I small rectangular regions may be used as a reference instead of the I-point pixel.
  • the corresponding points of the I points of F pictures in each image subset are calculated by sequentially obtaining corresponding coordinates.
  • Non-Patent Document 6 The specific method for calculating the corresponding points between a plurality of pictures is described in detail in Non-Patent Document 6 or Non-Patent Document 7, and detailed description thereof is omitted here.
  • the image subset does not necessarily divide T pictures so that the pictures at the same time overlap, and the pictures from time (t + 1) to time (t + F) are 1 It is also possible to divide the pictures without overlapping, such as one image subset and one image subset from time (t + F + n) to time (t + 2F-1 + n). In this way, when the pictures at the same time are divided so as not to overlap between the image subsets, the movement trajectory calculation unit 202 is an image between the time (t + F) and the time (t + F + n) that is an image between the image subsets. The corresponding points between the two images are calculated by matching between the blocks.
  • the movement trajectory calculation unit 202 corresponds to each pixel from the set of pixel coordinates of corresponding points, which is motion information over F pictures of the pixels at the point I, for each image subset.
  • I movement trajectories to be generated are generated as shown in Equation 1 below.
  • F is the number of pictures included in the image subset, that is, the number of pictures used to calculate the movement trajectory.
  • Figure 5B is a diagram showing an example of a movement trajectory x i in a single image subset.
  • Movement trajectory x i is the input image 501 at time (t + F-1) from the time t, from the pixel I504, was calculated from the motion information 503 to the pixel corresponding to the pixel I504 on other pictures, a collection of pixel coordinates Is a vector.
  • a movement trajectory having a shorter time is used as compared with the case where the movement trajectory is calculated without dividing T pictures into image subsets. Therefore, there is an effect that it is possible to reduce a risk that the movement trajectory cannot be calculated without obtaining a motion vector correctly due to shielding.
  • it is difficult to be influenced by the shielding there is an effect that more movement trajectories can be obtained as compared with the case of calculating a movement trajectory at a long time.
  • subclass label assigning unit 203 classifies the I movement trajectories shown in Expression 1 into S subclasses for each image subset D.
  • classification into subclasses various methods can be used as long as similar movement trajectories can be classified into the same subclass. For example, using the I movement trajectories shown in Equation 1 as an input, pp. If the k-means method as shown in 526-528 is used and the number of subclasses is set to S, similar movement trajectories can be classified into the same subclass, and I movement trajectories can be classified into S subclasses. it can.
  • a dendrogram-based clustering algorithm such as shown at 550-555 can also be used.
  • the process of sequentially setting the pair of moving tracks having the highest similarity (the shortest distance) as the same subclass is repeated until the number of subclasses reaches S, or is performed a prescribed number of times.
  • the similarity of the movement trajectory may be the Euclidean distance between the movement trajectory vectors, or the distance obtained by normalizing the Euclidean distance using the number of movement trajectories belonging to the subclass. It may be used.
  • the similarity (distance) of the movement trajectory pair is calculated, if normalization processing is performed using the number of movement trajectories belonging to the same subclass, a uniform subclass can be easily generated as shown in FIG. . That is, the variation in the number of movement tracks belonging to each subclass is reduced.
  • the distance calculation method is not limited to the above, and any distance or similarity that can determine the similarity between the movement trajectory vectors may be used. In these cases, the smaller the distance, the higher the degree of similarity. That is, here, a process is performed in which pairs of movement trajectories having the highest similarity or the shortest distance are set to the same subclass.
  • each movement trajectory x belonging to each image subset D belongs to one of the subclasses Ds among the S subclasses as shown in Equation 2. Become. That is, a label of subclass Ds (hereinafter referred to as “subclass label Ds”) is given to each movement trajectory.
  • the classification into subclasses may be performed so that the subclass has the same size as or smaller than the minimum size of the moving object to be detected.
  • the number of subclasses may be set so as to be larger than the number of moving objects assumed in advance.
  • one mobile object may be divided into a plurality of subclasses. Therefore, the number of subclasses S does not necessarily have to be the same as the number of moving objects present in the image, and may be set to a value larger than the number of moving objects, so the specific number of moving objects in the shooting scene is not known. Even in this case, it is not necessary to make a strict setting.
  • the processing is performed independently for each image subset, the number of subclasses S does not have to be the same among the image subsets, and the number of pictures F included in the image subset may be different for each image subset.
  • the label propagation unit 204A performs subclass label information on the subclass Ds obtained from each image subset D based on the share of the movement trajectory between the subclasses. Is propagated between subclasses. Then, the label propagation unit 204A determines whether or not to update the subclass label by determining whether or not any subclass pair, including subclasses obtained from different image subsets, belongs to the same class. Then, a subclass label is assigned to each movement trajectory. When the plurality of subclasses are updated to the same label, the moving object detection unit 204B determines that the plurality of subclasses belong to the same class.
  • classifying each movement locus into a class specifies the area of the moving body, and as a result, the moving body can be detected.
  • subclasses having a high movement trajectory sharing ratio can be determined as the same class. . For this reason, compared with the case of using a long time movement trajectory, there is an effect that it is less affected by the shielding, and it is possible to perform area division having temporal coherency as in the case of using a long time movement trajectory. .
  • each moving trajectory is given a subclass label Ds obtained from each image subset.
  • Ds subclass label
  • each image subset can be processed independently, the number of image subsets is not limited to two, and even if two or more image subsets can be processed in the same manner. is there. 7A and 7B show only a part of the movement trajectory in consideration of visibility, but the number of movement trajectories is not limited in this embodiment.
  • FIG. 7A shows an image subset 1 composed of pictures from time (t + 1) to time (t + F) and an image subset 2 composed of pictures from time (t + 1) to time (t + 2F-1).
  • FIG. 7B shows the movement trajectory shared between the picture at time (t + F) included in the image subset 1 in FIG. 7A and the picture at time (t + F) included in the image subset 2 in FIG. 7A.
  • images at the same time (t + F) are used in the image subset 1 and the image subset 2, they are shared between subclasses calculated from different image subsets on the image at the time (t + F).
  • the number of moving trajectories can be calculated.
  • the same movement trajectory exists between a plurality of subclasses, that is, when a movement trajectory indicating the movement of the same block exists between the plurality of subclasses, the same movement trajectory (the movement of the same block is determined).
  • the movement trajectory shown) is expressed as a shared movement trajectory. More specifically, as shown in FIG. 7B, in the image at time (t + F), the movement trajectory point included in the subclass 1-1 and the movement trajectory point included in the subclass 2-1 are the same pixel. Position. For this reason, movement trajectories connected to the same pixel position show the same movement trajectory. Corresponding points between the subclass 1-1 and the subclass 2-1 correspond to the same movement trajectory, and thus share the movement trajectory. Similarly, the subclass 1-2 or 1-3 and the subclass 2-2 also share the movement trajectory.
  • the number of movement trajectories shared between the subclasses Da and Db is assumed to be share_DaDb.
  • Da and Db each correspond to a subclass label.
  • the share ratio W Da, Db of the movement track of the subclass Db with respect to the subclass Da can be expressed by Equation 3.
  • the label propagation unit 204A calculates the share ratio W of the movement trajectory for an arbitrary subclass pair.
  • the subclass labels Da and Db are subclasses obtained from different image subsets.
  • N_Da is the number of movement tracks included in the subclass Da.
  • the subclass label assigning process in subclass label assigning step S403 is performed independently for each image subset. In this step, the subclass processed independently is used and the similarity relationship between the subclasses ( The strength of temporal relevance) is expressed as a share of the movement trajectory.
  • W 1-1 , 2-2 0.
  • the share ratio W of the movement trajectory for the subclass pairs in the same image subset is set to 0.
  • W 1-1 , 1-2 0.
  • the share ratio W of the movement trajectory for subclass pairs between image subsets that are not temporally adjacent may be set to 0.
  • the share ratio W of the movement trajectory can be expressed as an asymmetric matrix as shown in Equation 4.
  • the share ratio W of the movement trajectory may be a symmetric matrix.
  • the average value of the share ratio W Da, Db of the movement trajectory of the subclass Db with respect to the subclass Da and the share ratio W Db, Da of the movement trajectory of the subclass Da with respect to the subclass Db is calculated as the share ratio W Da, Db and WDb and Da may be reset.
  • the shared proportion W Da movement locus, Db and W Db, the value of the greater of Da, covalently ratio W Da movement locus, Db and W Db may be re-set as each Da. By performing such resetting, the share ratio W of the movement trajectory can be expressed as a symmetric matrix.
  • the label propagation unit 204A propagates the label information as follows using the share ratio W of the movement locus calculated by Expression 3.
  • the method is disclosed in Non-Patent Document 9, but there is no description about a method of calculating the similarity between subclasses from subclasses calculated independently, and the similarity is moved to a trajectory.
  • the share ratio There are no examples of the share ratio.
  • label propagation is performed as follows by expressing the similarity between subclasses from independently calculated subclasses by the sharing ratio of the movement trajectory. That is, in this embodiment, label propagation is performed by repeatedly calculating the similarity between subclasses.
  • the similarity between subclasses is indicated as an element of a subclass matrix Z described later.
  • the first term on the right side represents label propagation using similarity between subclasses.
  • the iterative calculation of the first term in (Formula 5) using the share of the movement trajectory corresponds to label propagation with the share of the movement trajectory as a weight.
  • the second term represents the reliability of a subclass described later.
  • z 1 T [1, 0, 0,..., 0]
  • z 2 T [0, 1, 0,. That is, in the initial state, the subclass matrix Z is a unit matrix whose example is shown in Expression 6.
  • y p T is a reliability vector of subclass p, and has the same number of elements as the number of subclass labels like subclass label vector z p T, and only the element corresponding to each subclass label has a value greater than 0.
  • the reliability can be set as follows. For example, the reliability may be set so that the reliability of the subclass increases as the number of the movement trajectories belonging to each subclass increases, or the average time length of the movement trajectories belonging to each subclass increases. The reliability may be set so that the reliability of the subclass is increased. Further, the reliability may be set so that the reliability of the subclass increases as the spatial size of the movement trajectory belonging to each subclass increases.
  • the label propagation unit 204A performs the process of repeating the calculation of Equation 5 a specified number of times. Note that such repeated calculation processing is referred to as label propagation processing in Non-Patent Document 9. Then, it is determined whether to update the subclass label according to the following equation.
  • Expression 8 indicates the row number having the maximum value for each column of the subclass matrix Z of p columns and q rows.
  • the subclass matrix Z is as shown in Equation 9.
  • the value in the third row is 1.5, which is the maximum in the first column.
  • 3 is obtained as the row number with the maximum value for the first column according to Equation 8. This indicates that 3 is reassigned as a subclass label to a subclass whose subclass label is 1 in the initial state.
  • the label propagation unit 204A indicates the subclass label in which the column number of the subclass label vector z calculated by Expression 5 is in the initial state, and updates the row number having the maximum value in each column as a new subclass label.
  • a plurality of subclass labels become the same class, so that a plurality of different subclasses including a subclass calculated from independent image subsets can be determined as the same class.
  • the relationship between subclasses obtained from the same image subset is automatically taken into account by the processing of Equations 5 and 8. Therefore, for the problems shown in FIG. 1A and FIG. 1B, the subclasses a-1 and a-2 are the same class, and the subclasses b-1 and b-2 are the same class.
  • FIG. 8A represents the respective subclasses calculated from the three image subsets.
  • the difference in the texture of the subclass indicates that it is a different subclass. That is, the textures of subclasses with the same subclass label are the same.
  • a subclass calculated from temporally different image subsets as shown in FIG. 8B ⁇ 1 ⁇ 2
  • the two subclasses on the left in FIG. ⁇ 2 can be integrated.
  • a plurality of subclasses belonging to one mobile object that is one of the causes of false detection are converted into one class by the label propagation / update step S404.
  • the relationship between the subclass generated from the image subset on the left in the figure that is not temporally adjacent to the subclass generated from the image subset on the right in the figure is It can be handled by iterative calculations and the processing of Equation 8.
  • the image subset is not limited to two temporally adjacent. Even when there are three or more image subsets, it is possible to determine whether or not the subclass pairs in the image subsets that are not adjacent are in the same class.
  • the problem of shielding caused by the shooting position of the camera the problem of false detection in which one moving object is divided into a plurality of parts is solved, and the moving object can be appropriately moved even in an environment where shielding is likely to occur. Can be detected and extracted. Furthermore, as shown in FIG.
  • the calculation of the share of the movement trajectory between subclasses generated from different image subsets does not necessarily have to be performed on the images at the same time, and as shown in FIG. 8C, two times of time (t + F) and time (t + F + n) It can also be calculated from the number of movement trajectories shared on one image. Specifically, the corresponding point between images at time (t + F) and time (t + F + n) is obtained by the movement trajectory calculation unit 202. For this reason, the label propagation unit 204A obtains the corresponding point on the time (t + F + n) of the movement locus belonging to the subclass Ds on the time (t + F) using the information on the corresponding point.
  • n is 1 or more.
  • the sharing ratio can be calculated by the same method as described above from the number of movement trajectories belonging to the subclass D-s at time (t + F + n) and the number of corresponding points belonging to the subclass Ds at time (t + F + n).
  • a corresponding point on time (t + F) is obtained from the movement locus belonging to subclass D-s on time (t + F + n) using the motion information calculated in movement locus calculation step S402.
  • the sharing ratio can be calculated from the number of moving tracks belonging to the subclass Ds at time (t + F) and the number of the corresponding points belonging to the subclass Ds at time (t + F + n).
  • the output unit 205 outputs the detection result of the moving object in the moving image performed in the label propagation / update step S404.
  • image processing is performed on the moving image received in the image input step S401 so that, for example, a different display mode is provided for each moving body region ⁇ detected in the label propagation / update step S404.
  • the processed image is output to a display device or the like. Thereby, it is possible to perform display while distinguishing each moving body and maintaining coherency in time.
  • the pace indicating how many steps per minute is 110 to 120 for a normal adult, about 70 to 80 for a slow walk, and about 140 for a hurry. Therefore, the time taken for one step can be considered as 0.43 to 0.86 seconds.
  • FIG. 9 when a pedestrian is photographed from the side, one leg is completely shielded by the other leg by proceeding one step. For such a problem peculiar to a joint object, it is possible to reduce the influence of shielding by determining the number of images F corresponding to a time shorter than the time taken for half a step.
  • the number of images corresponding to a time shorter than 0.22 seconds is preferably F.
  • F the number of images corresponding to a time shorter than 0.22 seconds.
  • the number is 12 or less.
  • the number of image subsets may be two or more.
  • Embodiment 2 Next, the moving body detection apparatus in Embodiment 2 of this invention is demonstrated.
  • FIG. 10 is a diagram illustrating a configuration of the moving object detection apparatus 200a according to the second embodiment.
  • a moving body detection apparatus 200a according to Embodiment 2 includes an image input unit 201, a movement locus calculation unit 202, a subclass label assignment unit 203a, a label propagation unit 204A, a moving body detection unit 204B, and an output unit 205. including.
  • Such a moving body detection apparatus 200a according to the second embodiment has the same configuration except for the structure of the moving body detection apparatus 200 according to the first embodiment and the subclass label assignment unit 203a. Is omitted.
  • the subclass label assigning unit 203a is included in the subclass classifying unit 213 shown in FIG. 2, but the description of the subclass classifying unit 213 is omitted in this figure.
  • the label propagation unit 204A is included in the inter-subclass similarity calculation unit 214A shown in FIG. 2, but the description of the inter-subclass similarity calculation unit 214A is omitted in this figure.
  • the subclass label assigning unit 203a For each image subset, the subclass label assigning unit 203a generates a subclass by dividing the image into a plurality of regions using at least one of an edge, a color, and luminance from at least one image included in the image subset. Subclass labels are assigned to the movement trajectories that pass through the divided areas.
  • the subclass label assigning unit 203a creates a similar image region using brightness, edge information, color, and the like from at least one of the plurality of images received by the image input unit 201. Process to classify into the same subclass.
  • the subclass label assigning unit 203a assigns a subclass label of an image region through which the movement locus passes to the movement locus calculated by the movement locus calculation unit 202. That is, the subclass label assigning unit 203a classifies the movement trajectory into the same subclass by attaching the same subclass label to the movement trajectory passing through the image areas classified into the same subclass.
  • the difference from the first embodiment is that classification into subclasses is performed from image information rather than movement trajectory, and a subclass label is assigned to the movement trajectory based on the information.
  • the subclass classification processing of the image area in the subclass label assigning unit 203a can be performed without using information regarding the movement trajectory. Therefore, the subclass classification processing of the image area is not necessarily performed after the processing of the movement trajectory calculation unit 202, and both may be processed in parallel, or the subclass classification processing of the image region may be performed by the processing of the movement trajectory calculation unit 202. It may be done before.
  • steps S401 and S402 are the same as those in the first embodiment, description thereof is omitted.
  • the subclass label assignment unit 203a performs image region division using at least one image among the plurality of images input in the image input step S401.
  • any method may be used as long as it is a method of performing region segmentation by inputting pixel (luminance) values, color information, edge information, and the like and position information thereof.
  • the method of Non-Patent Document 10 can be used.
  • an image area is divided into a plurality of small areas using edge information and smoothness of pixel values near the space.
  • the result is as if the person was finely divided as shown in FIG.
  • region division may be performed using a temporally intermediate image among a plurality of images, or region division may be performed using the first or last image in time within the image subset, It does not limit the selection of images.
  • the pixel value and the pixel position may be arranged to form a three-dimensional vector, and as an input, the image region may be divided by a clustering algorithm such as the k-means method.
  • a clustering algorithm such as the k-means method.
  • a five-dimensional vector in which color information such as RGB and pixel position information are arranged may be used. That is, any method may be used to divide the region as long as the method can spatially divide the image.
  • a subclass label is assigned to the movement trajectory based on the relationship between the time of the image selected to perform the area division and the movement trajectory calculated in the movement trajectory calculation step S402 with the divided area as a subclass.
  • the subclass label assigning unit 203a considers each area obtained by spatial division as a subclass, and moves each movement trajectory in the image at time t ′ selected for area division.
  • a subclass label is assigned depending on which subclass passed through. For example, the movement trajectories 1 to 4 pass through the subclasses Da to Dd, respectively, at time t ′. Therefore, the subclass label assigning unit 203a assigns the corresponding subclass labels Da to Dd to the movement trajectories 1 to 4, respectively. If such a process is performed on the corresponding movement trajectory, each movement trajectory x belongs to one of the subclasses Ds as shown in Expression 2. That is, each movement trajectory is given a label of subclass Ds as in the processing in subclass label assignment step S403 of the first embodiment. This process is performed for each image subset.
  • the second embodiment it is possible to detect a moving body in an image from a movement locus even in a congested environment where shielding is likely to occur. Furthermore, since information such as color and brightness can be explicitly used as compared with the first embodiment, for example, when detecting a moving body wearing a single-colored clothes, a more accurate moving body Can be detected.
  • FIG. 13 is a diagram illustrating a configuration of the moving object detection apparatus 200b according to the third embodiment.
  • the configuration of the moving body detection apparatus 200b in the third embodiment includes an image input unit 201, a movement trajectory calculation unit 202, a subclass label assignment unit 203b, a label propagation unit 204A, a moving body detection unit 204B, and an output unit 205. Including.
  • Such a moving body detection apparatus 200b according to Embodiment 3 has the same configuration except for the configuration of the moving body detection apparatus 200 according to Embodiment 1 and the subclass label assignment unit 203b. Is omitted.
  • the subclass label assigning unit 203b is included in the subclass classification unit 213 shown in FIG. 2, but the description of the subclass classification unit 213 is omitted in this figure.
  • the label propagation unit 204A is included in the inter-subclass similarity calculation unit 214A shown in FIG. 2, but the description of the inter-subclass similarity calculation unit 214A is omitted in this figure.
  • the subclass label assignment unit 203b calculates (a) a distance representing the similarity between the movement trajectories for the plurality of movement trajectories calculated by the movement trajectory calculation unit 202, and (b) determines a predetermined one of the calculated distances.
  • the calculated distance is converted into a geodetic distance by concatenating a distance smaller than the determined threshold value, and (c) for each image subset, a plurality of movement trajectory calculation units 202 included in the image subset are calculated.
  • the geodesic distance that is the distance of the route from one of the two movement loci to the other is calculated using the other movement loci as relay points.
  • the plurality of moving loci are classified into subclasses, imparts a subclass label is an identifier of a subclass to which the movement locus is classified into the movement locus.
  • the subclass label assigning unit 203b classifies the movement trajectories of the respective image subsets calculated by the movement trajectory calculation unit 202 into subclasses so that similar movement trajectories are in the same class. Then, a label is assigned to the subclass that is the result of classification for each movement trajectory.
  • the difference from the first embodiment is that the geodetic distance is used as the similarity of the movement trajectory when classification into subclasses is performed.
  • Steps S401 and S402 are the same as those in the first embodiment, and a description thereof will be omitted.
  • the subclass label assigning unit 203b calculates a distance matrix including similarity of pixel motion using the movement trajectory i calculated in Expression 2 for each image subset.
  • the linear distance f (i, j) between the movement trajectory i and the movement trajectory j can be calculated as follows.
  • w is a weighting factor and is a parameter set by the designer.
  • the temporal variation of the distance between the movement trajectories shown in Expression 12 is an element of the linear distance f (i, j).
  • the temporal variation in the distance between the movement trajectories shown in Expression 12 indicates the similarity of the movement of the pixels, whereby not only the rigid body in which the relationship between the distances between the pixels does not change with time but also the joints. It is possible to capture changes in the shape of an object or the like. However, here, it is not always necessary to perform the above distance calculation, and any distance may be used as long as it is a distance scale representing the similarity of the movement trajectories.
  • the R movement trajectories j are selected in ascending order of the linear distance from the movement trajectory i, and the distance from the selected movement trajectory j is not changed. Change the distance to infinity.
  • the movement trajectory j is selected in ascending order of the linear distance f (i, j).
  • the non-linearization process may be performed by setting a threshold value R as in the following equation.
  • the subclass label assigning unit 203b selects a predetermined number of movement trajectories in ascending order of distance, and is not selected.
  • Each of the plurality of distances may be converted into a geodetic distance after performing a non-linearization that changes the distance to the travel locus to infinity.
  • the subclass label assigning unit 203b pays attention to the movement trajectory i
  • the subclass label assigning unit 203b has a predetermined threshold R for each of the plurality of movement trajectories j calculated by the movement trajectory calculation unit 202.
  • Each of the plurality of distances may be converted into a geodetic distance after the following movement trajectory j is selected and nonlinearization is performed to change the distance from the movement trajectory not selected to infinity.
  • the distance non-linearization is not limited to the above function, and any distance can be used as long as the nonlinear transformation is performed on the distances related to the movement trajectory i and the movement trajectory j.
  • the subclass label assigning unit 203b calculates a geodetic distance using the non-linearized distance f '(i, j) as in the following equation.
  • min (x, y) is a function that returns the smaller of the values x and y.
  • the movement locus s is a relay point for tracing from the movement locus i to the movement locus j.
  • the relay point s in f ′ (i, s) + f ′ (s, j) is not limited to one point.
  • This method is a shortest path search method called the Dijkstra method, and is described in Non-Patent Document 11 below.
  • the distance between the pixel i 1402 at the head and the pixel j 1403 at the hand is the distance indicated by the linear distance 1401.
  • the threshold R is appropriately set by performing nonlinear processing such as Expression 14 to Expression 16 as shown in FIG. 15B, the head pixel i 1402 and the hand pixel j 1403 are shown. Is a distance as a linear sum as indicated by an arrow from the pixel k1404 to the pixel j. Therefore, while the linear distance 1401 cannot continuously represent the shape of joints of joint objects such as a person as data, it can express the continuity of the shape of joints by using geodetic distance. It becomes possible. Note that the geodesic distance calculation method is not limited to Equation 16.
  • FIG. 16A is a diagram showing the movement trajectories a to h calculated in step S402.
  • FIG. 16B is a conceptual diagram of a high-dimensional space composed of the movement trajectories a to h shown in FIG.
  • the number of movement trajectories is eight, but the number is not limited to eight.
  • a movement locus corresponding to each pixel may be used, or a movement locus obtained in units of blocks may be used.
  • one point in the high-dimensional space 1502 made up of the movement trajectory corresponds to one movement trajectory shown in Equation 1, respectively. In other words, this is a result of tracking pixels not only in the area on one picture but also over a plurality of pictures that differ in time. Further, on the high-dimensional space 1502, the distance between the points corresponds not to the Euclidean distance between vectors but to a geodetic distance as shown in Expression 16.
  • FIG. 16 (c) is a diagram showing the clustering result.
  • the distance between the movement trajectory a and the movement trajectory b shown in Expression 10 is f (a, b)
  • the threshold is set as R
  • g (e, f), g (c, d), and g (f, g) are infinite even if the geodetic distance is obtained by Expression 15.
  • the subclass label assigning unit 203b has discontinuous points between the movement locus c and the movement locus d, between the movement locus e and the movement locus f, and between the movement locus f and the movement locus g, respectively. judge.
  • the movement trajectories a, b, and c can be traced without passing through discontinuous points. Therefore, the movement trajectories a, b, and c do not take infinite values.
  • the movement trajectory is infinite because it passes through the discontinuity point g (c, d) of the geodesic distance.
  • the set of the movement trajectory i and the movement trajectory j where the geodetic distance is not infinite is the same subclass, and if it is infinite, it is a different subclass. Then, a group in which the geodesic distance is infinite and a group in which the geodesic distance is not infinite can be arranged and separated into a total of four subclasses D-1, D-2, D-3, and D-4.
  • the property of the threshold value R will be described. There is a trade-off that, as the threshold value R is smaller, a smaller moving object can be detected on the image, while false detection (false positive) increases.
  • the threshold value R may be set in accordance with the minimum size of the moving object to be detected and the movement on the image.
  • the threshold value R may be set large so that a plurality of moving objects are separated from each other as shown in FIG.
  • the threshold value R may be set large so that a plurality of moving objects are separated from each other as shown in FIG.
  • the threshold value R may be set to be larger than the threshold value R set for dividing a part of one mobile object, as shown in the clustering result of FIG. 17C, the geodetic distance g ( i, j) becomes infinite, and two moving bodies can be separated from each other as shown in FIG.
  • a set of movement trajectories where the geodetic distance is not infinite can be determined as the same subclass by making it continuous, and a set of movement trajectories where the geodetic distance is infinite is made discontinuous, Based on discontinuous points, the movement trajectory can be separated into subclasses. That is, each movement trajectory is given a label of subclass Ds as in the processing in subclass label assignment step S403 of the first embodiment.
  • a moving body in an image can be detected from a movement locus even in a congested environment where shielding is likely to occur.
  • similar movement trajectories are classified into the same subclass based on the geodetic distance.
  • the difference between the head movement and the arm movement The difference in movement from the lower leg (hard) is reflected, and the head, arm, upper leg, and lower leg can be classified as separate subclasses.
  • subclasses can be integrated as a class that maintains temporal coherency by label propagation / update.
  • Embodiment 4 Next, the moving body detection apparatus in Embodiment 4 of this invention is demonstrated.
  • FIG. 18 is a diagram illustrating a configuration of the moving object detection device 200c according to the fourth embodiment.
  • the moving body detection apparatus 200c according to Embodiment 4 includes an image input unit 201, a movement locus calculation unit 202, a subclass label assignment unit 203, a label propagation unit 204A, a moving body detection unit 204B, and a recovery movement locus.
  • a holding unit 1701, a movement trajectory recovery unit 1702, and an output unit 205 are included.
  • Such a moving body detection apparatus 200c according to Embodiment 4 has the same configuration except for the structures of the moving body detection apparatus according to Embodiments 1 to 3, the recovery movement locus holding section 1701, and the movement locus recovery section 1702. Therefore, description of the same component is omitted.
  • the first embodiment will be described as a basic form, the present embodiment can be applied to the second and third embodiments without losing generality.
  • the subclass label assigning unit 203 is included in the subclass classifying unit 213 shown in FIG. 2, but the description of the subclass classifying unit 213 is omitted in this figure.
  • the label propagation unit 204A is included in the inter-subclass similarity calculation unit 214A shown in FIG. 2, but the description of the inter-subclass similarity calculation unit 214A is omitted in this figure.
  • the recovery movement trajectory holding unit 1701 holds a movement trajectory that can be calculated with only the number of pictures that is smaller than the number of pictures that constitute the image subset among the movement trajectories calculated by the movement trajectory calculation unit 202. Storage device.
  • the movement trajectory recovery unit 1702 classifies the movement trajectory held in the recovery movement trajectory holding part 1701 into the same class as the class to which another movement trajectory continuous with the movement trajectory belongs.
  • the moving object detection unit 204B moves blocks corresponding to the movement trajectory included in the same class including the movement trajectory classified by the movement trajectory recovery unit 1702.
  • a moving body in a moving image is detected by specifying it as a body region.
  • the movement trajectory recovery unit 1702 detects motion from the subclass pair between temporally adjacent image subsets determined by the moving object detection unit 204B as the same class due to the influence of shielding or the like in the movement trajectory calculation unit 202.
  • the same label as the subclass pair determined to be the same class is given to the movement trajectory that cannot be calculated for F sheets.
  • the recovery movement trajectory holding unit 1701 holds a temporally short movement trajectory that could not be calculated for F sheets used in the processing of the movement trajectory recovery unit 1702.
  • the moving body detection unit 204B detects and extracts the moving body more accurately by giving labels to a larger number of movement trajectories.
  • the lengths of the vectors need to be the same.
  • the similarity is not calculated, and instead the class obtained by the processing of the moving object detection unit 204B. Label with information. Thereby, detection and extraction of a moving body are performed using a larger number of movement trajectories.
  • Steps S401, S403, and S404 are the same as those in the first embodiment, and a description thereof will be omitted.
  • the movement trajectory calculation unit 202 calculates a movement trajectory as shown in Expression 1.
  • the movement trajectory may not be calculated for F images included in the image subset due to reasons such as occlusion.
  • a movement trajectory that is less than F sheets is separately held in the recovery movement trajectory holding unit 1701 as a recovery movement trajectory.
  • the example in which the movement locus is calculated in the forward direction from time (t + 1) to time (t + F) has been described. Here, however, separately from time (t + F) to time (t + 1). It is desirable to calculate the movement trajectory in the opposite direction toward).
  • the movement trajectory recovery unit 1702 holds the movement trajectory for recovery from the subclass information calculated from the temporally different image subsets integrated as the same class in the label propagation / update step S404.
  • Class label information is assigned to the recovery movement trajectory held in the unit 1701.
  • the moving object detection unit 204B specifies blocks corresponding to the movement trajectory included in the same class including the movement trajectory classified by the movement trajectory recovery unit 1702 as an area of the moving object. Detect moving objects.
  • FIG. 20 shows an example in which class label information is given to the recovery movement locus using three image subsets.
  • two or more image subsets are sufficient, and the number of image subsets is not limited.
  • label propagation / update step S404 it is determined whether or not the subclasses between different image subsets are the same class. In the figure, classes having the same texture are the same class.
  • the movement trajectory recovery unit 1702 newly assigns a class label to the recovery movement trajectory calculated in the movement trajectory calculation step S402c.
  • the movement trajectory indicated by the broken line in FIG. 20 is the recovery movement trajectory, and class labels of class ⁇ 1 and class ⁇ 2 are assigned thereto, respectively.
  • Class labels ⁇ 1 , ⁇ 2 are assigned.
  • the number of class labels is not limited.
  • the recovery movement locus 1901 is connected to the movement locus of the class of the class label ⁇ 1 obtained from the image subset one time ago. Therefore, class labels theta 1 is assigned to recover for movement locus 1901.
  • a class label obtained in the image subset after one time is attached to the recovery movement trajectory connected to the movement locus obtained in the image subset after one time for the image subset.
  • the recovery movement trajectory 1902 is connected to the movement trajectory of the class of the class label ⁇ 1 obtained from the image subset after one time. For this reason, the class label ⁇ 1 is given to the recovery movement locus 1902.
  • the labeling can be performed on the movement trajectory that is less than F sheets because the class label obtained from the temporally preceding and following image subsets and the class label obtained from the image subsets are temporally.
  • the label is propagated by the label propagation / update step S404 so as to keep the coherency.
  • the moving trajectory can be labeled with higher density than in the first to third embodiments, as a result, the moving body can be detected and extracted more accurately. Furthermore, there is an effect that the moving body can be extracted more accurately.
  • the output unit 205 outputs the result including the detection result of the moving body in the moving image performed in the movement trajectory recovery step S1801.
  • the moving image received in the image input step S401 for example, an image is displayed so as to have a different display mode for each moving body region detected in the label propagation / update step S404 and the movement trajectory recovery step S1801. Processing is performed, and the image subjected to image processing is output to a display device or the like. Thereby, it is possible to perform display while distinguishing each moving body and maintaining coherency in time.
  • the moving body detection apparatus 200e has an image input unit 201, a movement trajectory calculation unit 202, a subclass label assignment unit 203, a label propagation unit 204A, and a moving body detection unit 204B. Further, it can be realized by adding a recording / transmission unit 2001 to the above.
  • the subclass label assigning unit 203 is included in the subclass classifying unit 213 shown in FIG. 2, but the description of the subclass classifying unit 213 is omitted in this figure.
  • the label propagation unit 204A is included in the inter-subclass similarity calculation unit 214A shown in FIG. 2, but the description of the inter-subclass similarity calculation unit 214A is omitted in this figure.
  • the recording / transmission unit 2001 writes the detection result of the moving object by the moving object detection unit 204B to the recording device or transmits the result to the outside via a transmission path. That is, the recording / transmission unit 2001 identifies the moving object region in the picture received by the image input unit 201 based on the result of the moving object detection by the moving object detection unit 204B, and moves the moving object for each identified moving object region. It is a processing unit that records information indicating an area on a recording medium such as a memory or a hard disk, or transmits the information to the outside via a communication interface or the like.
  • the recording / transmission unit 2001 records or transmits information indicating an image as a result of detecting the moving object separately according to the class label ⁇ , as in the case of image display.
  • the motion information can be compressed by averaging the motion information belonging to each class as follows. Normally, it is necessary to hold motion information for each pixel, but if the following processing is performed, it is only necessary to hold one motion for one moving body. For example, when the motion vector (u t i , v t i ) of the pixel i is used as the motion information, the motion information averaged for each of the divided areas can be calculated as follows.
  • FIG. 22 shows an example of classifying the T image from time t as an input and recording and transmitting the extraction area of the moving object using the result as one of the processing results in this modification.
  • each class label theta m as an identifier, the pixel position and the pixel value of the picture at time t belonging to the class label theta m, Then, the motion vector u t from the time t corresponding to the class label theta m to time (t + T) m, v t m, u t + 1 m, v t + 1 m,. . . , U t + T m , v t + T m are recorded and transmitted.
  • each class label may be attached to each picture with respect to one picture at time t and transmitted.
  • the moving body detection device 200f in the present embodiment provides motion prediction to the image input unit 201, the movement trajectory calculation unit 202, the subclass label assignment unit 203, the label propagation unit 204A, and the moving body detection unit 204B.
  • the moving body detection unit 204B By adding a unit 2201 and an output unit 2202, a function of predicting the movement of the moving object is provided.
  • the subclass label assigning unit 203 is included in the subclass classifying unit 213 shown in FIG. 2, but the description of the subclass classifying unit 213 is omitted in this figure.
  • the label propagation unit 204A is included in the inter-subclass similarity calculation unit 214A shown in FIG. 2, but the description of the inter-subclass similarity calculation unit 214A is omitted in this figure.
  • the motion prediction unit 2201 calculates a representative movement locus from the movement locus of the pixels included in each class based on the detection result of the moving body, and predicts the movement of the moving body based on the representative movement locus. That is, the motion predicting unit 2201 calculates a representative moving track representing the class among the moving tracks constituting the class specified by the moving object detecting unit 204B, and corresponds to the class according to the calculated representative moving track. The motion of the moving object is predicted by predicting that the area of the moving object that moves between the pictures.
  • FIG. 24 shows a flowchart of processing according to this modification. Steps S401 to S404 are the same as those in the first embodiment, and a description thereof will be omitted.
  • step S2301 the motion prediction unit 2201 obtains the representative point of each class and its representative movement locus from the movement locus belonging to each class based on the result of the moving body detection by the moving body detection unit 204B.
  • the movement trajectory of the pixel belonging to the class ⁇ m is expressed as x Cm .
  • x Cm the movement locus of the representative in each class theta m.
  • weighting or the like may be performed for each movement trajectory x Cm in the following calculation, or the center of gravity of a class on an image may be calculated.
  • the movement trajectory of the corresponding pixel may be used as the representative movement trajectory.
  • C m is the number of pixels belonging to the class ⁇ m or the number of pixel trajectories.
  • Figure 25 shows an example of obtaining a movement locus of a representative for each class theta m based on the equation 19.
  • FIG. 25 shows only representative movement trajectories relating to the class ⁇ 1 corresponding to a certain moving object and the class ⁇ 2 corresponding to another moving object.
  • “X” in the figure represents a representative movement locus corresponding to time t.
  • the pixel position which is an element of is shown. According to this method, it is possible to calculate a representative movement trajectory using only the movement trajectories of pixels with similar movements as compared to a method of simply obtaining the time average of the movement trajectories of adjacent pixels. For this reason, the representative movement trajectory can be obtained with higher accuracy. In this way, by obtaining a representative movement trajectory for each class, it is possible to accurately and easily represent the movement of each moving object or each part.
  • step S2302 the motion prediction unit 2201 predicts the position of the moving body at a time earlier than time T from the representative movement trajectory calculated in step S2301.
  • acceleration is calculated from a representative movement locus and the position of the moving body after time (T + 1) is predicted will be described.
  • the representative movement trajectory is as shown in Equation 20 below.
  • u t m is a motion vector of the pixel m at time t, and can be expressed as the following Expression 21.
  • the motion prediction unit 2201 moves the position of the moving object pos m (at time (T + t ′)) for each moving object.
  • T + t ′) can be predicted according to Equation 22 below.
  • the output unit 2202 outputs the position of the moving body and the position of the moving body part predicted in step S2301.
  • the position of the moving body can be predicted by reflecting the acceleration when the movement is rapidly accelerated or stopped suddenly.
  • an affine parameter may be used instead of the motion vector. Since the affine parameter can express a motion including a rotational motion and is suitable for a rotational motion of an arm or a leg, the position of the joint object can be predicted more accurately.
  • An N-order function can be fitted to position information on T images included in.
  • the position pos m (T + t ′) on the image at time (T + t ′) can be estimated along the value of the fitted function.
  • fitting a function it is possible to express a smoother motion, and thus it is possible to predict a motion with higher accuracy.
  • the accuracy of motion prediction is high when the fitted function is close to the original motion.
  • position prediction on these images can also be used for temporal interpolation.
  • the movement trajectories of pixels with similar motion can be calculated as the same class, so that the representative movement trajectory can be obtained with high accuracy.
  • the present invention includes a form realized by arbitrarily combining characteristic components in each embodiment.
  • the moving object detection apparatus in the above embodiment includes the image input unit 201 and the movement trajectory calculation unit 202, but the present invention does not require these components. That is, when the movement trajectory of the image in each of the plurality of blocks constituting the moving image is calculated in advance, the moving object detection apparatus 200 acquires such a movement trajectory from the outside, and acquires the acquired movement trajectory. In contrast, the processing in steps S403 and S404 may be executed.
  • the moving body detection device in the above embodiment includes the output unit 205 or 205a, the present invention does not necessarily require the output unit. In other words, the detection result of the moving object may be used for other processing without being displayed on the display or the like.
  • the present invention has been realized as a moving object detection device, it goes without saying that the present invention can be realized as an image processing device that extracts or divides a region of an object having a motion in a moving image.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor as illustrated in FIG. 3 reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the moving object detection device of each of the above embodiments is the following program.
  • the moving object detection method is a moving object detection method for detecting a moving object in a moving image by performing region division for specifying all or a part of the moving object in the moving image.
  • the block corresponding to the movement trajectory included in the same class is specified as a region of the moving object, and the step of detecting the moving object in the moving image is included. .
  • the present invention provides a moving body detection apparatus that detects a moving body in an image by extracting an image including a moving body such as a person who moves while changing its shape based on movement in a plurality of pictures. Further, it can be used as a motion analysis device, a monitoring device, a moving body detection device incorporated in an AV device such as a video camera or a TV.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

　移動体検出装置（２００）は、画像サブセットごとに移動軌跡を複数算出する移動軌跡算出部（２０２）と、画像サブセットごとに、複数の移動軌跡をサブクラスに分類するサブクラス分類部（２１３）と、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するサブクラス間類似度計算部（２１４Ａ）と、前記サブクラス間類似度計算部が計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、動画像中の移動体を検出する移動体検出部（２０４Ｂ）とを備える。

Description

移動体検出装置および移動体検出方法
　本発明は、画像中の移動体の領域を特定することによって移動体を検出する画像処理技術に関し、特に、遮蔽の起きやすい環境下において、動画像中の動き情報に基づいて移動体を検出、抽出する移動体検出装置等に関する。
　従来、移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。移動体の領域を抽出する技術は、デジタルビデオカメラもしくはデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、または、ロボットにおける移動体との衝突回避制御もしくは衝突回避のための警報などに、共通して利用される基礎技術である。
　画像中の移動体を検出する技術のうち一般的な手法として、例えば非特許文献１のように、あらかじめ移動体に関する形状情報を学習しておき、画像中をスキャンしながら、学習した形状情報と画像中の領域とのマッチングを行い、マッチング度が高い領域を検出対象物体として抽出する手法がある。
　また、非特許文献２から５では、遮蔽の起こりやすい混雑シーンにおいて、移動体を追跡する方法が開示されている。これらの方法は、非特許文献１とは異なり、形状情報は用いずに、動画像から移動軌跡を抽出し、移動軌跡の類似性に基づいて各移動軌跡をクラスタリングすることで、異なる動きをする移動体をそれぞれクラスとして抽出、追跡することができる。特に、形状情報を用いた移動体抽出方法では抽出が難しい遮蔽物体の追跡に対して効果がある。
Ｂ．Ｌｅｉｂｅ，　Ｋ．Ｓｃｈｉｎｄｌｅｒ，　Ｎ．Ｃｏｒｎｅｌｌｉｓ　ａｎｄ　Ｌ．Ｖａｎ　Ｇｏｏｌ，　"Ｃｏｕｐｌｅｄ　Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｔｒａｃｋｉｎｇ　ｆｒｏｍ　Ｓｔａｔｉｃ　Ｃａｍｅｒａｓ　ａｎｄ　Ｍｏｖｉｎｇ　Ｖｅｈｉｃｌｅｓ"，　ＩＥＥＥ　Ｔｒａｎｓ．　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　Ｖｏｌ．３０，　Ｎｏ．１０，　１６８３－１６９８，　２００８ Ｇ．　Ｊ．　Ｂｒｏｓｔｏｗ　ａｎｄ　Ｒ．　Ｃｉｐｏｌｌａ，　"Ｕｎｓｕｐｅｒｖｉｓｅｄ　Ｂａｙｅｓｉａｎ　Ｄｅｔｅｃｔｉｏｎ　ｏｆ　Ｉｎｄｅｐｅｎｄｅｎｔ　Ｍｏｔｉｏｎ　ｉｎ　Ｃｒｏｗｄｓ"，　Ｉｎ　Ｐｒｏｃ．　ｏｆ　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　２００６ Ｌ．　Ｋｒａｔｚ　ａｎｄ　Ｋ．　Ｎｉｓｈｉｎｏ，　"Ｔｒａｃｋｉｎｇ　ｗｉｔｈ　Ｌｏｃａｌ　Ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ　Ｍｏｔｉｏｎ　Ｐａｔｔｅｒｎｓ　ｉｎ　Ｅｘｔｒｅｍｅｌｙ　Ｃｒｏｗｄｅｄ　Ｓｃｅｎｅｓ"，　Ｉｎ　Ｐｒｏｃ．　ｏｆ　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　２０１０ Ｖ．　Ｒａｂａｕｄ　ａｎｄ　Ｓ．　Ｂｅｌｏｎｇｉｅ，　"Ｃｏｕｎｔｉｎｇ　Ｃｒｏｗｄｅｄ　Ｍｏｖｉｎｇ　Ｏｂｊｅｃｔｓ"，　Ｉｎ　Ｐｒｏｃ．　ｏｆ　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　２００６ Ｄ．　Ｓｕｇｉｍｕｒａ，　Ｋ．　Ｋｉｔａｎｉ，　Ｔ．　Ｏｋａｂｅ，　Ｙ．　Ｓａｔｏ，　ａｎｄ　Ａ．　Ｓｕｇｉｍｏｔｏ，　"Ｕｓｉｎｇ　Ｉｎｄｉｖｉｄｕａｌｉｔｙ　ｔｏ　Ｔｒａｃｋ　Ｉｎｄｉｖｉｄｕａｌｓ：　Ｃｌｕｓｔｅｒｉｎｇ　Ｉｎｄｉｖｉｄｕａｌ　Ｔｒａｊｅｃｔｏｒｉｅｓ　ｉｎ　Ｃｒｏｗｄｓ　ｕｓｉｎｇ　Ｌｏｃａｌ　Ａｐｐｅａｒａｎｃｅ　ａｎｄ　Ｆｒｅｑｕｅｎｃｙ　Ｔｒａｉｔ"，　Ｉｎ　Ｐｒｏｃ．　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　２００９
　しかしながら、上述した特許文献１に記載の手法によると、特に混雑環境下等の遮蔽が起こりやすいシーンにおいては、移動体の形状情報の一部しか見えない場合が起こり、前記マッチング度が低くなることが原因で検出対象物体を検出できないといった問題がある。
　また、上述した非特許文献２から５に代表される混雑下での移動体追跡の技術は、領域抽出ではなく移動体の追跡に主眼が置かれているため、長期間移動体の一部が遮蔽されないシーンを前提としている。すなわち、各移動体の一部が遮蔽されずに追跡可能である場合において利用可能な手法である。そのため、高い位置に設置されたカメラから俯瞰的に撮影したシーン等に限定されるといった問題がある。
　そこで本発明は、カメラの撮影位置限定の課題と誤検出の課題とを解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能な移動体検出装置および移動体検出方法を提供することを目的とする。
　上記目的を達成するために、本発明の一態様に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付ける画像入力部と、前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出する移動軌跡算出部と、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類するサブクラス分類部と、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するサブクラス間類似度計算部と、前記サブクラス間類似度計算部が計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する移動体検出部とを備える。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、またはコンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、およびコンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明により、カメラの撮影位置限定の課題と誤検出の課題とを解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出することができる。
図１Ａは、本発明が解決する課題の一例を示す図である。 図１Ｂは、本発明が解決する課題の一例を示す図である。 図２は、本発明の実施の形態１における移動体検出装置の基本構成を示す図である。 図３は、本発明の実施の形態１における移動体検出装置をソフトウェアで実現する場合における、ソフトウェアを実行するハードウェアの構成図である。 図４は、本発明の実施の形態１における移動体検出装置の基本動作を示すフローチャートである。 図５Ａは、本発明の実施の形態１における画像サブセットへの分割方法の処理例を示す図である。 図５Ｂは、本発明の実施の形態１における移動軌跡算出部の処理例を示す図である。 図６は、本発明の実施の形態１におけるサブクラスラベル付与部の処理例を示す図である。 図７Ａは、本発明の実施の形態１における移動軌跡の共有割合の算出例を示す図である。 図７Ｂは、本発明の実施の形態１における移動軌跡の共有割合の算出例を示す図である。 図８Ａは、本発明の実施の形態１におけるラベル伝播部および移動体検出部の処理例を示す図である。 図８Ｂは、本発明の実施の形態１におけるラベル伝播部および移動体検出部の処理例を示す図である。 図８Ｃは、本発明の実施の形態１におけるラベル伝播部および移動体検出部の処理例を示す図である。 図９は、人物歩行における歩調についての説明図である。 図１０は、本発明の実施の形態２における移動体検出装置の基本構成を示す図である。 図１１は、本発明の実施の形態２における移動体検出装置の基本動作を示すフローチャートである。 図１２は、本発明の実施の形態２におけるサブクラスラベル付与部の処理例を示す図である。 図１３は、本発明の実施の形態３における移動体検出装置の構成を示す図である。 図１４は、本発明の実施の形態３における移動体検出装置の基本動作を示すフローチャートである。 図１５は、本発明の実施の形態３における測地距離の効果の一例を示す図である。 図１６は、本発明の実施の形態３におけるサブクラスラベル付与部の処理例を示す図である。 図１７は、本発明の実施の形態３におけるサブクラスラベル付与部の処理例を示す図である。 図１８は、本発明の実施の形態４における移動体検出装置の基本構成を示す図である。 図１９は、本発明の実施の形態４における移動体検出装置の基本動作を示すフローチャートである。 図２０は、本発明の実施の形態４における移動軌跡リカバリ部の処理例を示す図である。 図２１は、本発明の実施の形態１から４の第１変形例における移動体検出装置の基本構成を示す図である。 図２２は、本発明の実施の形態１から４の第１変形例における記録・送信データの一例を示す図である。 図２３は、本発明の実施の形態１から４の第２変形例における移動体検出装置の構成例を示す図である。 図２４は、本発明の実施の形態１から４の第２変形例における移動体検出装置の基本動作を示すフローチャートである。 図２５は、本発明の実施の形態１から４の第２変形例における動き予測の一例を示す図である。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、先行技術文献に関し、以下の問題が生じることを見出した。
　車載カメラや可搬型のカメラの多くは、比較的低い場所からの撮影に用いられることが多い。特に、低い位置から混雑したシーンを撮影する場合においては、高い位置から俯瞰的に撮影したシーンと比べて、手前に存在する移動体によって奥の移動体が遮蔽されやすい。そのため、図１Ａおよび図１Ｂに示すように、ガードレールまたは他の物体等による遮蔽が起きやすい環境下においては、長時間移動体を追跡することが難しいという問題が生じることを見出した。この問題に対して、短時間の動き情報をもとに前記移動体追跡の技術を適用すると、図１Ａおよび図１Ｂに示すような例において誤検出が発生することが課題となることを見出した。例えば、一時的にガードレールまたは人等によって移動体の一部が遮蔽された場合においては、検出結果ａ－１、ａ－２および検出結果ｂ－１、ｂ－２のように移動体の頭部と脚部が別々の移動体として抽出され、本来一つの移動体が二つの移動体として検出される誤検出が問題となることを見出した。例えば、図１Ａでは、長い時間にわたって移動軌跡を求めると、遮蔽が起こった時刻以降の時刻では移動軌跡が途切れてしまう。このため、人物の腰部、脚部、頭部などで遮蔽が順次起こると、結果として移動軌跡が求められないという問題が生じることを見出した。つまり、長い時間にわたって移動軌跡を求めると密な移動軌跡を求めることができないという問題が生じることを見出した。
　このような問題を解決するために、本発明の一態様に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付ける画像入力部と、前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出する移動軌跡算出部と、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類するサブクラス分類部と、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するサブクラス間類似度計算部と、前記サブクラス間類似度計算部が計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する移動体検出部とを備える。
　この構成によると、画像サブセットごとに移動軌跡を算出している。このように短い時間間隔で移動軌跡を算出することで、画像サブセット内では密な移動軌跡を算出することができる。このような密な移動軌跡をサブクラスに分類し、共有割合に基づいてサブクラス間の類似度を計算することにより、遮蔽が起こったとしても適切に移動体を検出することができる。例えば、第１の画像サブセットにおいて第１のサブクラスに分類されていた移動軌跡が遮蔽の影響により次の時刻の第２の画像サブセットにおいて第２のサブクラスおよび第３のサブクラスに分離した場合であっても、第１のサブクラスと第２のサブクラスとの間の共有割合および第１のサブクラスと第３のサブクラスとの間の共有割合はともに高くなる。このため、共有割合に基づいて計算されたサブクラス間の類似度を用いてサブクラスのクラス分類を行うと、第１～第３のサブクラスには同一のクラスに分類され、同一の移動体として検出される。よって、カメラの撮影位置限定の課題と誤検出の課題とを解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出することができる。
　例えば、前記サブクラス分類部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するサブクラスラベル付与部を含み、前記サブクラス間類似度計算部は、すべてのサブクラスの中から任意に選択される第１及び第２のサブクラスの間で、同一のブロックの動きを示す移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播するラベル伝播部を含み、前記移動体検出部は、同一のサブクラスラベルが付与されたサブクラスの集まりを同一のクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出しても良い。
　この構成によると、画像サブセットごとに移動軌跡を算出している。このように短い時間間隔で移動軌跡を算出することで、画像サブセット内では密な移動軌跡を算出することができる。このような密な移動軌跡をサブクラスに分類し、共有割合に基づいてサブクラスラベルをサブクラスラベル間で伝播することにより、遮蔽が起こったとしても適切に移動体を検出することができる。例えば、第１の画像サブセットにおいて第１のサブクラスに分類されていた移動軌跡が遮蔽の影響により次の時刻の第２の画像サブセットにおいて第２のサブクラスおよび第３のサブクラスに分離した場合であっても、第１のサブクラスと第２のサブクラスとの間の共有割合および第１のサブクラスと第３のサブクラスとの間の共有割合はともに高くなる。サブクラスラベルの伝播処理を行なうことにより、第１～第３のサブクラスには同一のサブクラスラベルが再付与され、同一の移動体として検出される。よって、カメラの撮影位置限定の課題と誤検出の課題とを解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出することができる。
　つまり、従来の移動軌跡のクラスタリング法と比較して、時間的に短い移動軌跡をサブクラスに分類し、サブクラス間の時間的な関連の強さを移動軌跡の共有割合として用い、得られたサブクラスラベルを伝播することにより、時間的に関連の強いサブクラスラベルを同一のクラスラベルに更新することによって、時間的にコヒーレンシーを保った領域抽出が可能となる。そのため、一時的に２つに分離された１つの移動体を、１つの移動体として同一のラベルを付与することが可能となり、移動体検出において誤検出を削減できるという効果がある。さらには、時間的に短い移動軌跡を用いるために、遮蔽が頻繁に起こるシーンにおいて、対応点が消滅し移動軌跡が算出できなくなる危険性を減らすことができる。それにより、より高密度に移動体を抽出することが可能になり、検出精度を向上できる。さらに、移動体を検出するだけでなく、移動体を画像中から抽出ことも可能である。
　また、前記移動軌跡算出部は、時間的に隣接する画像サブセット間で一部のピクチャが重なるように、前記複数枚のピクチャから、複数の画像サブセットを抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出し、前記ラベル伝播部は、前記第１及び第２のサブクラス間で共有するピクチャにおいて同一の位置を通る移動軌跡の前記第１及び第２のサブクラスに含まれる移動軌跡に対する割合がより大きいほど、前記第１及び第２のサブクラスの間の移動軌跡の共有割合がより高いと判断し、前記移動軌跡の共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播するとしても良い。
　時間的に隣接する画像サブセット間でピクチャが重なるように画像サブセットを抜き出している。このため、時間的に隣接する画像サブセット間の重なり合い(オーバーラップ)を有するピクチャにおいては、移動軌跡が同じになる。よって、第１及び第２のサブクラス間での共有割合を簡単に算出することができる。
　また、前記ラベル伝播部は、さらに、サブクラスに含まれる移動軌跡の数または当該サブクラスに含まれる移動軌跡が構成する空間的な大きさに対応する値であるサブクラスの信頼度がより大きいサブクラスほど前記サブクラスラベル付与部が付与したサブクラスラベルと同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播するとしても良い。
　サブクラスの信頼度を用いることにより、より高精度に時間的にコヒーレンシーを有する領域分割を行うことができる。このため、移動体を正しく領域抽出し、これによって画像中の移動体を確実に検出することが可能である。
　また、上述の移動体検出装置は、さらに、前記移動軌跡算出部で算出された移動軌跡のうち、画像サブセットを構成するピクチャの枚数よりも少ないピクチャの枚数でしか算出することができなかった移動軌跡を保持する保持部と、前記保持部に保持されている移動軌跡を、当該移動軌跡に連続する他の移動軌跡が属するクラスと同一のクラスに分類する移動軌跡リカバリ部とを備え、前記移動体検出部は、さらに、前記移動軌跡リカバリ部により分類された移動軌跡を含めて同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出するとしても良い。
　サブクラスの生成時に用いなかった移動軌跡を、その移動軌跡に連続する他の移動軌跡が属するクラスに分類することにより、より高密度に移動体を抽出することが可能になる。
　また、前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち類似する移動軌跡を同一のサブクラスに分類することにより、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するとしても良い。具体的には、前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち最も類似する移動軌跡の組み合わせを同一のサブクラスに分類する処理を、規定回数または前記複数の移動軌跡が規定のサブクラス数に分類されるまで繰り返し実行することによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するとしても良い。
　これにより、類似する移動軌跡を同一のサブクラスに分類することが可能になる。
　また、前記サブクラスラベル付与部は、（ａ）前記移動軌跡算出部で算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出し、（ｂ）算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記算出された距離を測地距離に変換し、（ｃ）画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち、任意の２つの移動軌跡について、それ以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である測地距離を算出し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって同一のサブクラスに分類する処理を行うことによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するとしても良い。
　このように移動軌跡間の類似性を表すために移動軌跡間の測地距離を用いることによって、人物等の関節物体に対して、より正確に移動体を検出、抽出することが可能となる。
　さらに、サブクラスの生成方法に関して、別の好ましい形態は、前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる少なくとも一枚の画像から、エッジ、色、輝度の少なくとも一つを用いて、画像を複数の領域に分割しサブクラスを生成し、分割した領域を通る移動軌跡に対して、それぞれサブクラスラベルを付与するとしたものである。
　このようにエッジ、輝度、色等の画像の空間的な情報を用いて移動軌跡をサブクラスに分類することも可能である。
　また、上述の移動体検出装置は、さらに、前記画像入力部において受け付けられた前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記移動体検出部で同一のクラスに分類された移動体領域ごとに、他の移動体領域と異なる表示態様となるように画像処理を施し、画像処理が施されたピクチャを出力する出力部を備えるとしても良い。
　ＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）機器、画像監視装置等において、抽出した移動体をそれぞれ画像上に表示することができる。このため、ユーザーが移動体を認識しやすくなる。
　また、上述の移動体検出装置は、さらに、前記移動体検出部による移動体の検出結果を、記録装置に書き込む、または、伝送路を介して外部に送信する記録・送信部を備えるとしても良い。
　例えば、各移動体画像の中から必要な移動体画像のみを選択して保存したり、外部に出力したりすることによって、図形要素として効率的な保存及び出力が可能になる。そのため、携帯電話等、処理能力の限られた機器に、移動体画像を保存及び送信する場合に有効に作用する。
　また、上述の移動体検出装置は、さらに、前記移動体検出部により特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する移動体の領域が、ピクチャ間で移動すると予測することにより、前記移動体の動きを予測する動き予測部を備えるとしても良い。
　複数のブロックの移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、ノイズ耐性の高い動き予測が可能となる。
　また、前記サブクラス間類似度計算部は、サブクラス間の移動軌跡の共有割合を要素とする行列Ｗに、サブクラス間の類似度を要素とする行列Ｚを繰返し掛け合わせることにより、サブクラス間の類似度を要素とする行列Ｚを更新することで、サブクラス間の類似度を計算しても良い。
　サブクラス間の類似度の計算を行列間の掛け算で行うことができるため、高速にサブクラス間の類似度を計算することができる。
　また、前記サブクラス間類似度計算部は、さらに、更新後の行列Ｚに、サブクラスに含まれる移動軌跡の数または当該サブクラスに含まれる移動軌跡が構成する空間的な大きさに対応する値であるサブクラスの信頼度を要素とする行列Ｙを重み付け加算することで、サブクラス間の類似度を計算しても良い。
　サブクラスの信頼度を加味してサブクラス間の類似度を計算することにより、サブクラス間の類似度の信頼性を高めることができる。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下、本発明の実施の形態について、図面を用いて詳細に説明する。
　なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　以下、本発明の実施の形態について、図面を用いて説明する。
　図２は、実施の形態１における移動体検出装置の構成を示す図である。図２に示されるように、この移動体検出装置２００は、画像入力部２０１、移動軌跡算出部２０２、サブクラス分類部２１３、サブクラス間類似度計算部２１４Ａ、移動体検出部２０４Ｂおよび出力部２０５を備える。
　この移動体検出装置２００は、移動軌跡を用いて、動画像中の移動体の全部又は一部の領域を特定するクラス分類をすることによって動画像中の移動体を検出する装置である。つまり、移動体検出装置２００は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する装置である。
　画像入力部２０１は、動画像を構成する時間的に異なる複数枚のピクチャの入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。つまり、画像入力部２０１は、動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付ける。以下、ピクチャのことを画像ともいう。
　移動軌跡算出部２０２は、画像入力部２０１で受け付けた少なくとも３枚のピクチャを、複数の画像サブセットに分割する。ここで、画像サブセットは、少なくとも２枚のピクチャからなるものとする。そして、移動軌跡算出部２０２は、画像サブセットごとに移動軌跡を算出する。移動軌跡算出部２０２は、ピクチャを構成する１個以上の画素からなるブロックごとに、少なくとも２枚のピクチャ間での画像の動きを検出し、検出した動きを複数枚のピクチャについて連結することで、移動軌跡を算出する。つまり、ブロックとは、移動軌跡を算出する単位であり、１個以上の画素の集まりである。つまり、移動軌跡算出部２０２は、複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出する。
　サブクラス分類部２１３は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類する。サブクラス分類部２１３は、サブクラスラベル付与部２０３を含む。サブクラスラベル付与部２０３は、画像サブセットごとに、当該画像サブセットに含まれる移動軌跡算出部２０２で算出された複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する。
　サブクラス間類似度計算部２１４Ａは、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算する。サブクラス間類似度計算部２１４Ａは、ラベル伝播部２０４Ａを含む。ラベル伝播部２０４Ａは、すべてのサブクラスの中から任意に選択される第１及び第２のサブクラスの間で、同一の移動軌跡（同一のブロックの動きを示す移動軌跡）を共有している程度を示す移動軌跡の共有割合を算出し、算出した共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播する。つまり、ラベル伝播部２０４Ａは、任意のサブクラスペアにおけるサブクラスペアの類似度（時間的な関連の強さ）として、移動軌跡の共有割合を用いて、サブクラスのラベル情報をサブクラス間で伝播する。なお、移動軌跡の共有割合とは、サブクラス間で同一の移動軌跡を保持している率であり、詳細は後述する。ここで、サブクラスのラベル情報を伝播した結果から、サブクラスのラベル情報を更新する。つまり、同一のサブクラスラベルが付されたサブクラス同士は、サブクラス間の類似度が高いことを示している。
　移動体検出部２０４Ｂは、サブクラス間類似度計算部２１４Ａが計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する。
　類似度が高い２つのサブクラスには同一のサブクラスラベルが付与されている。このため、移動体検出部２０４Ｂは、同一のサブクラスラベルが付与されたサブクラスの集まりを同一のクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する。
　つまり、移動体検出部２０４Ｂは、ラベル情報の更新により、同一のサブクラスラベルが付与されたサブクラスは同一のクラスであると判定する。このように、移動体検出部２０４Ｂは、各画像サブセットから得られたサブクラスが同一のクラスであるかを判定することで、時間的にコヒーレンシーを有するクラスタリングを行うことができる。これにより、同一のクラスと判定されたサブクラスに属する移動軌跡には、同じクラスラベルが付与される。その結果、一つのクラスが一つの移動体に対応するため、各移動軌跡をクラスに分類することができれば、移動体の領域を特定することになり、移動体を検出できる。ここでは、クラスは、少なくとも１つからなるサブクラスの集まりであり、同一のクラスに属するサブクラスは、同一の移動体に対応する。
　出力部２０５は、移動体検出部２０４Ｂで行った動画像中の移動体の検出結果を出力する。具体的には、出力部２０５は、画像入力部２０１において受け付けられた複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、移動体検出部２０４Ｂで同一のクラスに分類された移動体領域ごとに、他の移動体領域と異なる表示態様となるように画像処理を施し、画像処理が施されたピクチャを出力する。なお、出力部２０５は、画像処理が施されたピクチャをディスプレイ装置等に出力する。
　なお、本明細書において、「領域」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物の区別なく物体ごとに画像領域（移動軌跡）を分類するクラス分類技術の両者を含んでいる。なお、検出技術とクラス分類技術とは、共通する部分が多いため、本明細書においては両者を区別しない。
　なお、上記した移動体検出装置２００を構成する各構成要素（画像入力部２０１、移動軌跡算出部２０２、サブクラスラベル付与部２０３、ラベル伝播部２０４Ａ、移動体検出部２０４Ｂ、出力部２０５）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図３は、ソフトウェアによって実現された本実施の形態における移動体検出装置のハードウェア構成を示す図である。図３において、カメラ３０１は、画像を撮影して出力する。コンピュータ３０２は、カメラ３０１から画像を取得して移動体検出処理を行って、移動体検出結果を表示する画像を生成する。ディスプレイ３０３は、コンピュータ３０２で生成された画像を取得して表示する。コンピュータ３０２は、Ｉ／Ｆ３０４、ＣＰＵ３０５、ＲＯＭ３０６、ＲＡＭ３０７、ＨＤＤ３０８およびビデオカード３０９を含む。コンピュータ３０２を動作させるプログラムは、ＲＯＭ３０６またはＨＤＤ３０８にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ３０５によって、ＲＯＭ３０６またはＨＤＤ３０８からＲＡＭ３０７に読み出されて展開される。ＣＰＵ３０５は、ＲＡＭ３０７に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ３０４は、プログラムの実行に応じて、カメラ３０１で撮影された画像を、ＲＡＭ３０７へ取り込む。ビデオカード３０９は、プログラムの実行に応じて生成された画像を出力し、ディスプレイ３０３がその画像を表示する。
　なお、コンピュータプログラムは、半導体であるＲＯＭ３０６またはＨＤＤ３０８に限られず、例えば光ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ３０７に取り込まれてもよい。
　以下、本実施の形態の移動体検出装置２００の動作を、図４を用いて説明する。
　図４は、本実施の形態の移動体検出装置２００の動作を表すフローチャートである。
　図４において、ステップＳ４０１～Ｓ４０３は、それぞれ図２の画像入力部２０１、移動軌跡算出部２０２およびサブクラスラベル付与部２０３に対応している。また、ステップＳ４０４は、図２のラベル伝播部２０４Ａおよび移動体検出部２０４Ｂに対応している。さらに、ステップＳ４０５は、図２の出力部２０５に対応している。すなわち、画像入力部２０１では画像入力ステップＳ４０１、移動軌跡算出部２０２では移動軌跡算出ステップＳ４０２、サブクラスラベル付与部２０３ではサブクラスラベル付与ステップＳ４０３、ラベル伝播部２０４Ａおよび移動体検出部２０４Ｂではラベル伝播・更新ステップＳ４０４、出力部２０５では画像出力ステップＳ４０５の各動作を実行する。
　画像入力ステップＳ４０１において、画像入力部２０１は、カメラ３０１から、動画像を構成する複数のピクチャを取得する。ここではＴ（Ｔ≧３）枚のピクチャが入力されたものとする。
　次に、移動軌跡算出ステップＳ４０２において、移動軌跡算出部２０２は、画像入力部２０１で受け付けたＴ枚のピクチャを、Ｆ（Ｆ≧２）枚からなるピクチャを１つの画像サブセットとして時系列的にＤ個の画像サブセットに分割する。ただし、Ｔ＞Ｆである。ここで、移動軌跡算出部２０２は、図５Ａに示すように、同一時刻のピクチャがオーバーラップするようにピクチャを画像サブセット５０２に分割することが望ましい。そして、移動軌跡算出部２０２は、画像サブセットごとに移動軌跡を算出する。ここでは、図５Ｂに示すように、移動軌跡算出部２０２は、各画像サブセット５０２に含まれる複数のピクチャ間の動き情報５０３を算出し、移動軌跡を生成して出力する。複数のピクチャ間の動きを算出する手法として、複数のピクチャのうちのある１つのピクチャ上のＩ点の画素ｉ５０４を基準に、他の（Ｆ－１）枚のピクチャ中の対応する画素を探索する。なお、Ｉ点の画素の代わりに、Ｉ個の小矩形領域（ブロック）を基準にしても良い。例えば、移動軌跡算出部２０２は、時刻ｔと時刻（ｔ＋１）に撮影されたピクチャを用いて、時刻ｔのピクチャ上の画素ｉの画素座標（ｘｉｔ，ｙｉｔ）（ｉ＝１…Ｉ）に対応する、時刻（ｔ＋１）のピクチャ上の画素座標（ｘｉｔ＋１，ｙｉｔ＋１）を推定する。ピクチャが３枚以上ある場合は、順次対応する座標を求めていくことで、各画像サブセットのＦ枚のピクチャのＩ点の対応点が算出される。
　上記した複数のピクチャ間の対応点を算出する具体的な手法は、非特許文献６または非特許文献７などに詳しく記載されているため、ここでは詳細な説明を省略する。
　なお、本実施の形態においてＴは３以上、Ｆは２以上であればよい。また、画像サブセットは、図５Ａの例のように、必ずしも同一時刻のピクチャがオーバーラップするようにＴ枚のピクチャを分割する必要はなく、時刻（ｔ＋１）から時刻（ｔ＋Ｆ）までのピクチャを１つの画像サブセットとし、時刻（ｔ＋Ｆ＋ｎ）から時刻（ｔ＋２Ｆ－１＋ｎ）を１つの画像サブセットとするなどのように、ピクチャをオーバーラップさせずに分割しても構わない。このように、画像サブセット間で同一時刻のピクチャをオーバーラップしないように分割した場合には、移動軌跡算出部２０２は、画像サブセット間の画像である時刻（ｔ＋Ｆ）と時刻（ｔ＋Ｆ＋ｎ）との画像間で、ブロック間のマッチングを行うことにより、２枚の画像間の対応点を算出しておく。
Ｐ．Ａｎａｎｄａｎ，"Ａ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｆｒａｍｅｗｏｒｋ　ａｎｄ　ａｎ　Ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｔｈｅ　Ｍｅａｓｕｒｅｍｅｎｔ　ｏｆ　Ｖｉｓｕａｌ　Ｍｏｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｖｏｌ．２，　ｐｐ．２８３－３１０，１９８９
Ｖｌａｄｉｍｉｒ　Ｋｏｌｍｏｇｏｒｏｖ　ａｎｄ　Ｒａｍｉｎ　Ｚａｂｉｈ，　"Ｃｏｍｐｕｔｉｎｇ　Ｖｉｓｕａｌ　Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ　ｗｉｔｈ　Ｏｃｃｌｕｓｉｏｎｓ　ｖｉａ　Ｇｒａｐｈ　Ｃｕｔｓ"，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，２００１
　そして、この移動軌跡算出ステップＳ４０２では、移動軌跡算出部２０２は、各画像サブセットについて、Ｉ点の画素のＦ枚のピクチャにわたる動き情報である、対応点の画素座標の組から、画素ごとに対応する移動軌跡を、下記式１のようにＩ本生成する。
　以下、１つの画像サブセットについて移動軌跡を算出する例について説明する。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｆは画像サブセットに含まれるピクチャの枚数、すなわち移動軌跡の算出に用いたピクチャの枚数である。
　図５Ｂは、ひとつの画像サブセットにおける移動軌跡ｘｉの例を示す図である。移動軌跡ｘｉは、時刻ｔから時刻（ｔ＋Ｆ－１）の入力画像５０１において、画素ｉ５０４から、他のピクチャ上の画素ｉ５０４に対応する画素への動き情報５０３から算出した、画素座標の集まりからなるベクトルである。このように、画像サブセットごとに移動軌跡を求めることによって、Ｔ枚のピクチャを画像サブセットに分割せずに移動軌跡を算出する場合と比較して、より短い時間の移動軌跡を用いることになる。そのため、遮蔽により動きベクトルが正しく求まらずに移動軌跡を算出できなくなる危険性を減らすことができるという効果がある。さらに、遮蔽の影響を受けにくいために、長い時刻の移動軌跡を算出する場合と比較して、より多くの移動軌跡を求めることができるという効果もある。
　次に、サブクラスラベル付与ステップＳ４０３にて、サブクラスラベル付与部２０３は、各画像サブセットＤについて、式１に示したＩ本の移動軌跡をＳ個のサブクラスに分類する。
　サブクラスへの分類は、類似した移動軌跡を同一のサブクラスに分類できれば良いため、様々な方法を用いることができる。例えば、式１に示したＩ本の移動軌跡を入力として、非特許文献８のｐｐ．５２６－５２８に示されるようなｋ－ｍｅａｎｓ法を用い、サブクラス数をＳ個と設定すれば、類似した移動軌跡を同一のサブクラスとして、Ｉ本の移動軌跡をＳ個のサブクラスに分類することができる。
　さらには、Ｉ本の移動軌跡を入力として、非特許文献８のｐｐ．５５０－５５５に示すようなデンドログラムをベースとしたクラスタリングアルゴリズムを用いることもできる。ここでは、最も類似度の高い（最も距離が小さい）移動軌跡のペアを順次同一のサブクラスとする処理をサブクラス数がＳ個になるまで繰り返し行うか、もしくは、規定回数行う。なお、ここで、移動軌跡の類似度は、移動軌跡ベクトル間のユークリッド距離を用いても良いし、前記ユークリッド距離に対して、サブクラスに属する移動軌跡の数を用いて正規化を行った距離を用いても良い。
　例えば、移動軌跡ペアの類似度（距離）を計算する時に、同一のサブクラスに属する移動軌跡の数を用いて正規化する処理を行えば、図６に示すように均一的なサブクラスが生成されやすい。すなわち、各サブクラスに属する移動軌跡の数のばらつきが小さくなる。なお、上記の距離算出方法に限定するものではなく、移動軌跡ベクトル間の類似性を判定できる距離もしくは類似度であれば良い。なお、これらの場合は、距離が小さいほど、類似度が高いということになる。すなわち、ここでは、類似度が最も大きいか、距離が最も小さい移動軌跡のペアを同一のサブクラスとする処理を行う。
Ｒｉｃｈａｒｄ　Ｏ．Ｄｕｄａ，　Ｐｅｔｅｒ　Ｅ．Ｈａｒｔ　ａｎｄ　Ｄａｖｉｄ　Ｇ　Ｓｔｏｒｋ，　"Ｐａｔｔｅｒｎ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ"，　Ｊｏｈｎ　Ｗｉｌｅｙ　＆　Ｓｏｎｓ，　Ｉｎｃ．，２００１
　上記のようなクラスタリングアルゴリズムを用いた処理により、各画像サブセットＤに属する各移動軌跡ｘは、Ｓ個のサブクラスのうち、式２に示すように、それぞれサブクラスＤ－ｓのいずれかに属することになる。すなわち、各移動軌跡には、サブクラスＤ－ｓのラベル（以下、「サブクラスラベルＤ－ｓ」と言う。）がそれぞれ付与されることになる。
Figure JPOXMLDOC01-appb-M000002
　なお、サブクラスへの分類は、検出したい移動体の最小サイズと同じか、それより小さいサイズのサブクラスになるように行っても良い。また、サブクラス数が、あらかじめ想定される移動体数よりも多くなるように設定しても良い。ここで、１つの移動体がサブクラスとして複数に分割されても構わない。そのため、サブクラス数Ｓは、必ずしも画像中に存在する移動体数と同じである必要はなく、移動体数よりも多い値に設定すれば良いため、撮影シーンにおける具体的な移動体数が分からない場合でも厳密な設定を行う必要はない。このとき、各画像サブセットについて独立に処理を行うので、画像サブセット間でサブクラス数Ｓが同一になる必要はないし、画像サブセットに含まれるピクチャの枚数Ｆも画像サブセットごとに異なっていても構わない。
　次に、ラベル伝播・更新ステップＳ４０４にて、ラベル伝播部２０４Ａは、前記各画像サブセットＤから得られたサブクラスＤ－ｓに対して、サブクラス間の移動軌跡の共有割合に基づいてサブクラスのラベル情報をサブクラス間で伝播する。そして、ラベル伝播部２０４Ａは、異なる画像サブセットから得られたサブクラスを含めて、任意のサブクラスペアが同一のクラスに属するか否かを判定することで、サブクラスのラベルを更新するか否かを判定し、各移動軌跡にサブクラスラベルを付与する。移動体検出部２０４Ｂは、複数のサブクラスが同一のラベルに更新された場合は、これら複数のサブクラスが同一のクラスに属すると判定する。この結果として、１つのクラスが１つの移動体に対応するため、各移動軌跡をクラスに分類することが移動体の領域を特定することになり、結果として移動体を検出できる。また、これにより時間的に異なる画像サブセットに属するサブクラス間で、移動軌跡の共有割合を用いてラベル伝播を行うことで、移動軌跡の共有割合が高いサブクラス同士を同一のクラスと判定することができる。このため、長い時間の移動軌跡を用いる場合と比べて遮蔽の影響を受けにくく、かつ長い時間の移動軌跡を用いる場合と同様に時間的にコヒーレンシーを有する領域分割を行うことができるという効果がある。
　以下、具体的に説明する。式２、図７Ａおよび図７Ｂに示すように、各移動軌跡には各画像サブセットから得られたサブクラスラベルＤ－ｓが付与されている。ここでは、画像サブセットが２つの場合について説明するが、各画像サブセットは独立に処理可能であるため、画像サブセット数は２に限定されるものではなく、２以上であっても同様に処理可能である。また、図７Ａおよび図７Ｂでは見やすさを考慮して、一部の移動軌跡のみを示しているが、本実施の形態では移動軌跡の本数を限定するものではない。
　図７Ａは、時刻（ｔ＋１）から時刻（ｔ＋Ｆ）のピクチャから構成される画像サブセット１と、時刻（ｔ＋１）から時刻（ｔ＋２Ｆ－１）のピクチャから構成される画像サブセット２を示している。また、図７Ｂは、図７Ａの画像サブセット１に含まれる時刻（ｔ＋Ｆ）のピクチャと図７Ａの画像サブセット２に含まれる時刻（ｔ＋Ｆ）のピクチャにおいて共有されている移動軌跡を示す。
　図７Ａに示すように、サブクラスラベル付与ステップＳ４０３にて画像サブセット１からサブクラス数Ｓが３個、画像サブセット２からサブクラス数Ｓが２個のサブクラスが生成されたとする。図７Ｂに示すように、画像サブセット１と画像サブセット２で同一時刻（ｔ＋Ｆ）の画像を用いた場合、時刻（ｔ＋Ｆ）の画像上で、互いに異なる画像サブセットから算出されたサブクラス間で共有されている移動軌跡の本数を計算することができる。ここで、複数のサブクラス間に同一の移動軌跡が存在する場合、つまり、複数のサブクラス間に同一のブロックの動きを示す移動軌跡が存在する場合に、同一の移動軌跡（同一のブロックの動きを示す移動軌跡）を共有されている移動軌跡と表現する。具体的に説明すると、図７Ｂに示すように、時刻（ｔ＋Ｆ）の画像においては、サブクラス１－１に含まれる移動軌跡の点とサブクラス２－１に含まれる移動軌跡の点とが同一の画素位置となる。このため、同一の画素位置に接続される移動軌跡同士が同一の移動軌跡を示すことになる。サブクラス１－１とサブクラス２－１との対応点は互いに、それぞれ同一の移動軌跡に対応するため、互いに移動軌跡を共有していることになる。また、同様に、サブクラス１－２または１－３とサブクラス２－２とも互いに移動軌跡を共有している。ここで、サブクラスＤａとＤｂの間で共有している移動軌跡の本数をｓｈａｒｅ＿ＤａＤｂとする。ここで、ＤａとＤｂはそれぞれサブクラスラベルに対応する。さらに、各サブクラスに属する移動軌跡の本数をＮ＿Ｄａとすると、サブクラスＤａに対するサブクラスＤｂの移動軌跡の共有割合ＷＤａ，Ｄｂを、式３で表すことができる。
Figure JPOXMLDOC01-appb-M000003
　ここで、ラベル伝播部２０４Ａは、任意のサブクラスペアについて移動軌跡の共有割合Ｗを計算する。この時、サブクラスラベルＤａとＤｂは、異なる画像サブセットから得られたサブクラスである。また、Ｎ＿Ｄａは、サブクラスＤａに含まれる移動軌跡数である。なお、サブクラスラベル付与ステップＳ４０３におけるサブクラスラベル付与の処理は、各画像サブセットに対して独立に処理を行うが、本ステップにおいては、独立に処理されたサブクラスを用いて、そのサブクラス間の類似関係（時間的な関連の強さ）を移動軌跡の共有割合として表すものである。
　図７Ａおよび図７Ｂの例で補足すると、サブクラス１－１に対するサブクラス２－１の移動軌跡の共有割合は、Ｗ１－１，２－１＝３／３となる。また、サブクラス２－１に対するサブクラス１－１の移動軌跡の共有割合は、Ｗ２－１，１－１＝３／３となる。一方、サブクラス２－２に対するサブクラス１－２の移動軌跡の共有割合は、Ｗ２－２，１－２＝３／４となる。また、サブクラス１－２に対するサブクラス２－２の移動軌跡の共有割合は、Ｗ１－２，２－２＝３／３となる。また、サブクラス２－２に対するサブクラス１－３の移動軌跡の共有割合は、Ｗ２－２，１－３＝１／４となる。また、サブクラス１－３に対するサブクラス２－２の移動軌跡の共有割合は、Ｗ１－３，２－２＝１／１となる。ここで、移動軌跡を共有しないサブクラスペアの移動軌跡の共有割合をＷ＝０とする。例えば、Ｗ１－１，２－２＝０である。また、同一画像サブセット内のサブクラスペアについての移動軌跡の共有割合Ｗ＝０とする。例えば、Ｗ１－１，１－２＝０である。さらに、時間的に隣接していない画像サブセット間のサブクラスペアについての移動軌跡の共有割合Ｗ＝０として構わない。また、Ｗの対角成分は、サブクラス自身を表すため、共有割合Ｗ＝１とすることが望ましい。
　さらに、移動軌跡の共有割合Ｗは、式４のように非対称行列として表現することができる。しかし、移動軌跡の共有割合Ｗが、対称行列となるようにしてもよい。具体的には、サブクラスＤａに対するサブクラスＤｂの移動軌跡の共有割合ＷＤａ，ＤｂとサブクラスＤｂに対するサブクラスＤａの移動軌跡の共有割合ＷＤｂ，Ｄａとの平均値を、移動軌跡の共有割合ＷＤａ，ＤｂおよびＷＤｂ，Ｄａの各々として再設定しても良い。また、移動軌跡の共有割合ＷＤａ，ＤｂおよびＷＤｂ，Ｄａのうち大きいほうの値を、移動軌跡の共有割合ＷＤａ，ＤｂおよびＷＤｂ，Ｄａの各々として再設定しても良い。このような再設定を行うことにより移動軌跡の共有割合Ｗを対称行列として表現することができる。
Figure JPOXMLDOC01-appb-M000004
　次に、式３にて算出した移動軌跡の共有割合Ｗを用いて、ラベル伝播部２０４Ａは、以下のようにラベル情報を伝播する。ラベル伝播の手法としては、非特許文献９にその方法が開示されているが、独立に計算されたサブクラスから、サブクラス間の類似度を計算する方法については記載が無く、さらに類似度を移動軌跡の共有割合で表した例も無い。
　本実施の形態においては、独立に計算されたサブクラスからサブクラス間の類似度を移動軌跡の共有割合で表すことで、以下のようにラベル伝播を行う。つまり、本実施の形態では、サブクラス間の類似度を繰返し計算することにより、ラベル伝播を行う。ここで、サブクラス間の類似度は、後述するサブクラス行列Ｚの要素として示される。
Figure JPOXMLDOC01-appb-M000005
　ここで、右辺の第１項がサブクラス間の類似度を用いたラベル伝播を表す。ここでは、移動軌跡の共有割合を用いた（式５）の第１項の繰返し計算が、移動軌跡の共有割合を重みとしたラベル伝播に相当する。また、第２項は、後述するサブクラスの信頼度を表す。サブクラス行列はＺ＝［ｚ１ Ｔ，ｚ２ Ｔ，．.,ｚｐ Ｔ．...，ｚΓ Ｔ］であり、ｚｐ Ｔは、サブクラスｐのサブクラスラベルベクトルである。ｚｐ Ｔは、サブクラスラベル数Γの要素数を持ち、初期状態（ｌ＝１）においては、各サブクラスに対応する要素のみが１で他の要素は０で表されるベクトルである。例えば、ｚ１ Ｔ＝［１，０，０，…，０］であり、ｚ２ Ｔ＝［０，１，０，…，０］である。つまり、初期状態において、サブクラス行列Ｚは、式６に一例を示す単位行列である。
Figure JPOXMLDOC01-appb-M000006
　ｌは繰り返し回数を表す。α≦１であり、サブクラスの信頼度をすべてのサブクラス間で均一とみなすのであれば、α＝１とすれば良いし、サブクラスの信頼度を考慮する場合には、α＝０．９９などとすれば良い。
　サブクラスの信頼度行列は、Ｙ＝［ｙ１ Ｔ，ｙ２ Ｔ，・・・,ｙｐ Ｔ，・・・,ｙΓ Ｔ］であり、Ｙは対角行列である。ｙｐ Ｔは、サブクラスｐの信頼度ベクトルであり、サブクラスラベルベクトルｚｐ Ｔと同様に、サブクラスラベル数の要素数を持ち、各サブクラスラベルに対応する要素のみが０より大きい値をもち、他の要素は０で表されるベクトルである。例えば、ｙ１ Ｔ＝［２，０，０，…，０］であり、ｙ２ Ｔ＝［０，３，０，…，０］である。ｙ１ Ｔにおける「２」がサブクラス１に対する信頼度を示し、ｙ２ Ｔにおける「３」がサブクラス２に対する信頼度を示す。つまり、サブクラスの信頼度行列Ｙは、式７に一例を示す対角行列である。
Figure JPOXMLDOC01-appb-M000007
　信頼度は以下のように設定すればよい。例えば、各サブクラスに属する移動軌跡の本数が大きいほど、当該サブクラスの信頼度が大きくなるように信頼度を設定しても良いし、各サブクラスに属する移動軌跡の平均の時間長が大きいほど、当該サブクラスの信頼度が大きくなるように信頼度を設定しても良い。また、各サブクラスに属する移動軌跡が構成する空間的な大きさが大きいほど、当該サブクラスの信頼度が大きくなるように信頼度を設定しても良い。
　ラベル伝播部２０４Ａは、式５の計算を規定回数繰り返す処理を行う。なお、このような繰り返し演算処理を非特許文献９において、ラベル伝播処理と呼んでいる。そして、次式によりサブクラスラベルを更新するか否かを決定する。
Figure JPOXMLDOC01-appb-M000008
　ここで、式８は、ｐ列ｑ行のサブクラス行列Ｚの各列について、値が最大となる行番号を示している。例えば、サブクラス行列Ｚが式９のようになっているとする。この場合、１列目に着目すると３行目の値が１．５となっており、１列目の中で最大となっている。このため、式８により、１列目に対して値が最大となる行番号として３が求められる。これは、初期状態でサブクラスラベルが１であったサブクラスにサブクラスラベルとして３が再付与されることを示している。
Figure JPOXMLDOC01-appb-M000009
　つまり、ラベル伝播部２０４Ａは、式５によって算出したサブクラスラベルベクトルｚの列番号が初期状態のサブクラスラベルを示しており、各列において最大値を有する行番号を新たなサブクラスラベルとしてとして更新する。この処理によって、複数のサブクラスラベルが同一のクラスとなることによって、独立した画像サブセットから算出されたサブクラスも含めて、異なる複数のサブクラスを同一のクラスとして判定することができる。さらに、式５、および式８の処理によって、同一画像サブセットから得られたサブクラス間の関係も自動的に考慮される。そのため、図１Ａおよび図１Ｂに示したような課題に対して、サブクラスａ－１およびａ－２が同一クラス、サブクラスｂ－１およびｂ－２が同一クラスとなり、誤検出を削減できるという効果がある。すなわち、時間的に異なる画像サブセットから算出されたサブクラス同士についても同一クラスに属するか否かを判定することができる。このため、遮蔽によって移動軌跡が算出できなくなる危険性を減らしながら、時間的にコヒーレンシーを保った移動体の検出が可能になる。
　具体的な効果を、図８Ａ～図８Ｃを用いて説明する。図８Ａは、３つの画像サブセットから算出したそれぞれのサブクラスを表す。図８Ａ～図８Ｃでは、サブクラスのテクスチャの違いが、異なるサブクラスであることを表す。つまり、同一のサブクラスラベルが付されたサブクラスのテクスチャは同一である。次に、式５および式８に示したラベル伝播処理およびラベル更新処理を行うことによって、図８Ｂのように、時間的に異なる画像サブセットから算出したサブクラスを、時間的にコヒーレンシーを保ったクラス（図８Ｂの例では、θ１θ２）として、それぞれ１つのクラスとして統合することができる。さらには、図１Ａおよび図１Ｂに示したように１つの移動体が複数のサブクラスに分離する例と同様の例として、図８Ａの左の２つのサブクラスを、ラベル伝播処理により１つのクラス（クラスθ２）に統合することができる。このように、一つの移動体が複数のサブクラスに分割されたとしても、ラベル伝播・更新ステップＳ４０４によって、誤検出の原因の１つである１つの移動体に属する複数のサブクラスを、１つのクラスとして統合することができる。さらには、図８Ｂに示すように、時間的に隣接していない図中左の画像サブセットから生成されたサブクラスと、図中右の画像サブセットから生成されたサブクラスとの関係についても、式５の繰り返し演算、および式８の処理によって取扱うことができる。すなわち、隣接する画像サブセットから生成されたサブクラス間の移動軌跡の共有割合の情報のみから、時間的に隣接していない画像サブセットが同一のクラスか否かを判定することができる。すなわち、画像サブセットは時間的に隣接する２個に限定されるものではない。画像サブセットが３個以上の場合であっても、隣接していない画像サブセットにおけるサブクラスペアについて、同一クラスであるか否かを判断することが可能である。その結果として、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。さらには、図１Ｂに示すように、遮蔽が頻繁に起こりうる環境下においても、短い時間の画像で構成された画像サブセットを複数用いてサブクラスを生成し、ラベル伝播処理を行うことによって、より高密度に移動体を抽出することが可能であるという効果もある。具体的には、短い時間の画像で構成された画像サブセットを用いることで、遮蔽の影響を削減することができるため、より高密度にサブクラスを生成することが可能になる。そして、サブクラス間のコヒーレンシーをラベル伝播処理によって持たせることが可能になる。一方、長時間の移動軌跡を用いた場合、図１Ｂの白色の移動体（検出結果ｂ－１）のように、頭部のみしか追跡することができず、胴体および脚部などの他の移動軌跡は途中で追跡が不能になる。そのため、高密度に移動体を抽出することが難しい。
Ｆ．　Ｗａｎｇ　ａｎｄ　Ｃ．　Ｚｈａｎｇ，　"Ｌａｂｅｌ　ｐｒｏｐａｇａｔｉｏｎ　ｔｈｒｏｕｇｈ　ｌｉｎｅａｒ　ｎｅｉｇｈｂｏｒｈｏｏｄｓ"，　Ｉｎ　Ｐｒｏｃ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ，　２００６
　なお、異なる画像サブセットから生成したサブクラス間の移動軌跡の共有割合の算出は、必ずしも同一時刻の画像上で行われる必要はなく、図８Ｃに示すように時刻（ｔ＋Ｆ）と時刻（ｔ＋Ｆ＋ｎ）の２枚の画像上で共有されている移動軌跡の本数から計算することもできる。具体的には、時刻（ｔ＋Ｆ）と時刻（ｔ＋Ｆ＋ｎ）との画像間の対応点は移動軌跡算出部２０２により求められている。このため、ラベル伝播部２０４Ａは、その対応点の情報を用いて、時刻（ｔ＋Ｆ）上のサブクラスＤ－ｓに属する移動軌跡の、時刻（ｔ＋Ｆ＋ｎ）上での対応点を求める。ここで、ｎは１以上である。そして、時刻（ｔ＋Ｆ＋ｎ）におけるサブクラスＤ－ｓに属する移動軌跡の数と時刻（ｔ＋Ｆ＋ｎ）におけるサブクラスＤ－ｓに属する前記対応点の数から前述と同様の方法で共有割合を計算することができる。そして、同様に時刻（ｔ＋Ｆ＋ｎ）上のサブクラスＤ－ｓに属する移動軌跡から、移動軌跡算出ステップＳ４０２で算出した動き情報を用いて、時刻（ｔ＋Ｆ）上での対応点を求める。そして、時刻（ｔ＋Ｆ）におけるサブクラスＤ－ｓに属する移動軌跡の数と時刻（ｔ＋Ｆ＋ｎ）におけるサブクラスＤ－ｓに属する前記対応点の数から共有割合を計算することができる。時刻（ｔ＋２Ｆ－１＋ｎ）と時刻（ｔ＋２Ｆ－１＋２ｎ）の場合についても同様である。このように、画像サブセット間において必ずしも同一時刻の画像がオーバーラップしている必要はない。
　次に画像出力ステップＳ４０５では、出力部２０５は、ラベル伝播・更新ステップＳ４０４で行った動画像中の移動体の検出結果を出力する。具体的には、画像入力ステップＳ４０１で受け付けた動画像に対して、例えば、ラベル伝播・更新ステップＳ４０４で検出された移動体領域θごとに異なる表示態様となるように、画像処理を施し、画像処理が施された画像をディスプレイ装置等に出力する。これにより、それぞれの移動体を区別しながら、かつ時間的にコヒーレンシーを保った表示を行うことができる。
　ここで、移動体を歩行者とした場合の、画像サブセットの画像枚数Ｆの決定方法について説明する。一分間に何歩進めるかを表す歩調は、通常の成人では１１０～１２０、ゆっくり歩く場合で７０～８０程度、急いでいる場合で１４０程度である。そのため、一歩にかかる時間は、０．４３～０．８６秒と考えることができる。一方、図９に示すように、歩行者を横から撮影した場合、一歩進むことによって、片脚が他方の脚に完全に遮蔽されてしまう。このような、関節物体特有の問題に対しては、半歩にかかる時間より少ない時間に対応する画像枚数Ｆを決定する事で、遮蔽の影響を減らす事が可能である。すなわち、早く歩く場合を想定した場合で、０．２２秒より短い時間に対応する画像枚数をＦとすることが望ましく、例えば、３０ｆｐｓ（フレーム／秒）で撮影した場合には、Ｆを６枚以下とすることが望ましい。また、遅く歩く場合は、同様に３０ｆｐｓで撮影すると仮定すると、１２枚以下が望ましい。なお、前述したように画像サブセットの数については、２以上であれば良い。
　以上のように、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。
　よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
　（実施の形態２）
　次に、本発明の実施の形態２における移動体検出装置について説明する。
　ここでは、サブクラスラベル付与部２０３によるサブクラスラベル付与処理を、実施の形態１とは異なる方法で行う例について説明する。図１０は、実施の形態２における移動体検出装置２００ａの構成を示す図である。実施の形態２に係る移動体検出装置２００ａは、画像入力部２０１と、移動軌跡算出部２０２と、サブクラスラベル付与部２０３ａと、ラベル伝播部２０４Ａと、移動体検出部２０４Ｂと、出力部２０５とを含む。
　このような実施の形態２に係る移動体検出装置２００ａは、実施の形態１に係る移動体検出装置２００とサブクラスラベル付与部２０３ａの構成を除いて、同じ構成であるため、同一構成要素の説明は省略する。
　なお、サブクラスラベル付与部２０３ａは、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。
　サブクラスラベル付与部２０３ａは、画像サブセットごとに、当該画像サブセットに含まれる少なくとも一枚の画像から、エッジ、色、輝度の少なくとも一つを用いて、画像を複数の領域に分割しサブクラスを生成し、分割した領域を通る移動軌跡に対して、それぞれサブクラスラベルを付与する。
　つまり、サブクラスラベル付与部２０３ａは、画像サブセットごとに、画像入力部２０１で受け付けた複数枚の画像のうち少なくとも１枚の画像から、輝度、エッジ情報、色などを用いて、類似した画像領域を同一のサブクラスに分類する処理を行う。次に、サブクラスラベル付与部２０３ａは、移動軌跡算出部２０２で算出された移動軌跡に対して、移動軌跡が通る画像領域のサブクラスラベルを付与する。つまり、サブクラスラベル付与部２０３ａは、同一のサブクラスに分類された画像領域を通る移動軌跡に、同一のサブクラスラベルを付すことにより、上記移動軌跡を同一のサブクラスに分類する。実施の形態１と異なるのは、サブクラスへの分類を移動軌跡ではなく、画像の情報から行い、その情報に基づいて、移動軌跡に対してサブクラスラベルを付与する点である。なお、サブクラスラベル付与部２０３ａにおける画像領域のサブクラス分類処理は、移動軌跡に関する情報を用いずに行うことができる。そのため、必ずしも画像領域のサブクラス分類処理は、移動軌跡算出部２０２の処理の後に行う必要はなく、両者を並列に処理してもよいし、画像領域のサブクラス分類処理を移動軌跡算出部２０２の処理より前に行ってもよい。
　以下、本実施の形態２の移動体検出装置２００ａの動作を、図１１を用いて説明する。
　ステップＳ４０１、Ｓ４０２については、実施の形態１と同様であるため、説明を省略する。
　次に、サブクラスラベル付与ステップＳ４０３ａにおいて、サブクラスラベル付与部２０３ａは、画像入力ステップＳ４０１で入力された複数の画像のうち少なくとも１枚の画像を用いて、画像の領域分割を行う。ここでは、画素（輝度）値や色情報、エッジ情報等とその位置情報などを入力として領域分割を行う手法であれば何でもよく、例えば、非特許文献１０の方法を用いることができる。
Ｘ．Ｒｅｎ　ａｎｄ　Ｊ．Ｍａｌｉｋ，　"Ｌｅａｒｎｉｎｇ　ａ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　Ｍｏｄｅｌ　ｆｏｒ　Ｓｅｇｍｅｎｔａｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｖｏｌ．１，　ｐ．１０－１７，２００３
　非特許文献１０の方法では、エッジ情報や空間近傍の画素値のスムーズネスを用いて画像領域を複数の小さな領域に分割する。例えば、対象が人物の場合は、図１２のように、人物を細かく分割したような結果となる。ここでは、各画像サブセットに対して、例えばＦ枚のフレームの画像が入力された時に、その中から１枚の画像を選択して領域分割を行っても良い。ここで、複数の画像のうちの時間的に中間の画像を用いて領域分割を行っても良いし、画像サブセット内で時間的に最初もしくは最後の画像を用いて領域分割を行っても良く、画像の選択に制限を加えるものではない。
　他にも、例えば、画素値と画素位置とを並べて３次元ベクトルとし、それを入力として、ｋ－ｍｅａｎｓ法などのクラスタリングアルゴリズムにより画像領域を分割しても良いし、もちろん、上記３次元ベクトルの代わりに、ＲＧＢなどの色情報と画素位置情報とを並べた５次元ベクトルを用いても良い。つまり、空間的に画像を領域分割できる手法であればどのような方法を用いて領域分割を行っても良い。
　そして、各画像サブセットについて、分割された領域をサブクラスとして、領域分割を行うために選択した画像の時刻と移動軌跡算出ステップＳ４０２で算出した移動軌跡との関係から、移動軌跡にサブクラスラベルを付与する。
　具体的には、サブクラスラベル付与部２０３ａは、図１２に示すように、空間的に領域分割をした各領域をサブクラスと考え、領域分割のために選択した時刻ｔ’の画像において、各移動軌跡がどのサブクラスを通過したかによって、サブクラスラベルを付与する。例えば、移動軌跡１から４は、それぞれ時刻ｔ’において、サブクラスＤ－ａからＤ－ｄをそれぞれ通過する。このため、サブクラスラベル付与部２０３ａは、移動軌跡１から４に、対応するサブクラスラベルＤ－ａからＤ－ｄをそれぞれ付与する。このような処理を該当する移動軌跡に対して行えば、各移動軌跡ｘは、式２に示すように、それぞれサブクラスＤ－ｓのいずれかに属することになる。すなわち、各移動軌跡には、実施の形態１のサブクラスラベル付与ステップＳ４０３での処理と同様に、サブクラスＤ－ｓのラベルがそれぞれ付与されることになる。この処理を、各画像サブセットについて行う。
　ラベル伝播・更新ステップＳ４０４以降の処理は、実施の形態１と同じであるため、説明を省略する。
　以上のように、実施の形態２によると、移動軌跡から、遮蔽の起こりやすい混雑環境下においても画像中の移動体の検出をすることができる。さらに、実施の形態１と比べて、色や輝度などの情報を明示的に用いることができるため、例えば単一色の服などを着た移動体を検出する場合には、より高精度な移動体の検出が行える。
　以上のように、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。
　よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
　（実施の形態３）
　次に、本発明の実施の形態３における移動体検出装置について説明する。ここでは、サブクラスラベル付与部２０３によるサブクラスラベル付与処理を、実施の形態１および２とは異なる方法で行う例について説明する。図１３は、実施の形態３における移動体検出装置２００ｂの構成を示す図である。実施の形態３における移動体検出装置２００ｂの構成は、画像入力部２０１と、移動軌跡算出部２０２と、サブクラスラベル付与部２０３ｂと、ラベル伝播部２０４Ａと、移動体検出部２０４Ｂと、出力部２０５とを含む。このような実施の形態３に係る移動体検出装置２００ｂは、実施の形態１に係る移動体検出装置２００とサブクラスラベル付与部２０３ｂの構成を除いて、同じ構成であるため、同一構成要素の説明は省略する。
　なお、サブクラスラベル付与部２０３ｂは、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。
　サブクラスラベル付与部２０３ｂは、（ａ）移動軌跡算出部２０２で算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出し、（ｂ）算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記算出された距離を測地距離に変換し、（ｃ）画像サブセットごとに、当該画像サブセットに含まれる移動軌跡算出部２０２で算出された複数の移動軌跡のうち、任意の２つの移動軌跡について、それ以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である測地距離を算出し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって同一のサブクラスに分類する処理を行うことによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する。
　つまり、サブクラスラベル付与部２０３ｂは、実施の形態１と同様に、移動軌跡算出部２０２で算出した各画像サブセットの移動軌跡に対して、類似した移動軌跡が同じクラスになるようにサブクラスに分類し、各移動軌跡に対して分類した結果であるサブクラスにラベルを付与する。実施の形態１と異なるのは、サブクラスへの分類を行う時に移動軌跡の類似度として、測地距離を用いる点である。
　以下、本実施の形態３の移動体検出装置２００ｂの動作を、図１４を用いて説明する。ステップＳ４０１、Ｓ４０２については、実施の形態１と同様であるため、説明を省略する。
　次に、サブクラスラベル付与ステップＳ４０３ｂにおいて、サブクラスラベル付与部２０３ｂは、各画像サブセットについて、式２で算出した移動軌跡ｉを用いて画素の動きの類似性を含む距離マトリクスを算出する。移動軌跡ｉと移動軌跡ｊとの線形距離ｆ（ｉ，ｊ）は以下のように算出できる。
Figure JPOXMLDOC01-appb-M000010
　ここで、ｗは重み係数であり、設計者が設定するパラメータである。
　また、ｐｔｎｉｊ、ｍｔｎｉｊについては以下に示す。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　ここで、
Figure JPOXMLDOC01-appb-M000013
　式１０に示されるように、式１１に示した移動軌跡間距離の時間平均値に加えて、式１２に示した移動軌跡間距離の時間的ばらつきを前記線形距離ｆ（ｉ，ｊ）の要素とする。特に式１２に示した移動軌跡間距離の時間的ばらつきは、画素の動きの類似性を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、関節物体等の形状変化を捉えることができる。ただし、ここでは、必ずしも上記の距離計算を行う必要はなく、移動軌跡の類似性を表す距離尺度であれば、どのような距離を用いても良い。
　次に、式１０で算出した線形距離ｆ（ｉ，ｊ）に対して閾値Ｒを用いて、その閾値に対して以下のように非線形化処理を行いｆ’（ｉ，ｊ）を算出する。
Figure JPOXMLDOC01-appb-M000014
　移動軌跡ｉに着目した時に移動軌跡ｉとの線形距離が小さい順にＲ個の移動軌跡ｊを選択し、選択された移動軌跡ｊとの距離は変更せず、選択されなかった移動軌跡ｊとの距離を無限大に変更する。なお、ここでは、線形距離ｆ（ｉ，ｊ）が小さい順に移動軌跡ｊを選択したが、次式のように閾値Ｒを設定して、非線形化処理を行なっても良い。
Figure JPOXMLDOC01-appb-M000015
　つまり、サブクラスラベル付与部２０３ｂは、移動軌跡算出部２０２で算出された画像サブセットごとに、複数の移動軌跡のそれぞれについて、距離が小さい順に予め定められた個数の移動軌跡を選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。または、サブクラスラベル付与部２０３ｂは、式１５に示すように、移動軌跡ｉに着目した時に、移動軌跡算出部２０２で算出された複数の移動軌跡ｊのそれぞれについて、距離が予め定められた閾値Ｒ以下の移動軌跡ｊを選択し、選択されなかった移動軌跡との距離を無限大に変更する非線形化をした後に、複数の距離のそれぞれを測地距離に変換してもよい。
　なお、距離の非線形化に関しては、上記の関数に限定されるものではなく、移動軌跡ｉと移動軌跡ｊに関する距離に対して非線形変換を行うものであれば何でもよい。
　次に、サブクラスラベル付与部２０３ｂは、非線形化された距離ｆ’（ｉ，ｊ）を用いて、次式のように測地距離を算出する。
Figure JPOXMLDOC01-appb-M000016
　なお、ｍｉｎ（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。また、移動軌跡ｓは、移動軌跡ｉから移動軌跡ｊに辿（たど）りつくための中継点である。ここで、ｆ’（ｉ，ｓ）＋ｆ’（ｓ，ｊ）における中継点ｓは１点に限るものではない。この方法は、ダイクストラ法と呼ばれる最短経路探索手法であり、以下の非特許文献１１に記載されている。
Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，"Ａ　ｎｏｔｅ　ｏｎ　ｔｗｏ　ｐｒｏｂｌｅｍｓ　ｉｎ　ｃｏｎｎｅｘｉｏｎ　ｗｉｔｈ　ｇｒａｐｈｓ"，Ｎｕｍｅｒｉｓｃｈｅ　Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９－２７１，１９５９
　ここで、式１４から式１６に示した非線形化処理の効果について、図１５（ａ）および図１５（ｂ）を用いて説明する。ここでは、線形距離ｆ（ｉ，ｊ）と測地距離ｇ（ｉ，ｊ）の違いを分かりやすく説明するため、式１１に示すような時刻ｔにおける移動軌跡間距離を例とする。実際には、移動軌跡間距離に加えて、式１２に示したように画素の動きの類似性として移動軌跡間距離の変動成分を用いることにより、関節物体等の形状だけではなく形状変化をも捉えることができる。図１５（ａ）は、式１４から式１６の処理を行わない場合の例である。例えば、頭部の画素ｉ１４０２と手先部の画素ｊ１４０３との距離は、線形距離１４０１に示す距離となる。一方、式１４から式１６のような非線形処理を行うことによって、閾値Ｒが適切に設定されていれば、図１５（ｂ）に示されるように、頭部の画素ｉ１４０２と手先部の画素ｊ１４０３との距離は、画素ｋ１４０４を通って画素ｊにたどり着くまでの矢印で示したような線形和としての距離となる。そのため、線形距離１４０１では人物のような関節物体の関節が繋がった形状をデータとして連続的に表現できないのに対して、測地距離を用いることにより関節が繋がった形状の連続性を表現することが可能となる。なお、測地距離の計算方法は、式１６に限定されるものではない。
　次に、閾値Ｒに対応する測地距離変換を行ったｇ（ｉ，ｊ）を用いて、不連続点を検出することによって移動軌跡をサブクラスに分類し、サブクラスラベルを付与する。ここでは、ｇ（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間が不連続点である。閾値Ｒに対して得た測地距離変換の結果の例を図１６を用いて説明する。ここで、図１６（ａ）は、ステップＳ４０２で算出した移動軌跡ａ～ｈを示す図である。図１６（ｂ）は、図１６（ａ）に示した移動軌跡ａ～ｈからなる高次元空間の概念図である。ここでは、移動軌跡の数を８本としたが、８本に限定されるものではない。実際には、各画素に対応する移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、移動軌跡からなる高次元空間１５０２の１点が、それぞれ式１に示した一つの移動軌跡に対応する。すなわち、各点が１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果である。さらに、高次元空間１５０２上で、点と点との距離は、ベクトル間のユークリッド距離ではなく、式１６に示すような測地距離に対応する。
　図１６（ｃ）は、クラスタリング結果を示す図である。ここで、図１６（ｃ）において、式１０に示した移動軌跡ａと移動軌跡ｂとの距離をｆ（ａ，ｂ）とした時に、ｆ（ｅ，ｆ）＞ｆ（ｃ，ｄ）＞ｆ（ｆ，ｇ）＞Ｒ＞ｆ（ｂ，ｃ）である。ここでは、閾値をＲとして設定した場合に、距離ｆ（ｆ，ｇ）は、閾値Ｒよりも大きな値を持つとする。この場合、式１５によって測地距離を求めてもｇ（ｅ，ｆ）、ｇ（ｃ，ｄ）、ｇ（ｆ，ｇ）はそれぞれ無限大となる。よって、サブクラスラベル付与部２０３ｂは、それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡ｅと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定する。この結果、移動軌跡ａ、ｂ、ｃは、互いに不連続点を通らずに辿ることができるため、無限大の値はとらず、逆に、例えば、移動軌跡ａ、ｂ、ｃから、他の移動軌跡に対しては、測地距離の不連続点ｇ（ｃ，ｄ）を通るため無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じサブクラスとし、無限大となる場合は別のサブクラスとする。そして、測地距離が無限大となる組と無限大にならない組とを整理して、Ｄ－１、Ｄ－２、Ｄ－３、Ｄ－４の合計４つのサブクラスに分離することができる。ここで、閾値Ｒの性質について述べる。閾値Ｒが小さいほど、画像上でより小さな移動体を検出可能となる一方で、誤検出（フォルスポジティブ）が増加するというトレードオフがある。そこで、例えば、監視用途等、移動体検出を行いたい範囲が事前に分かっている場合には、検出したい移動体の最小サイズとその画像上での動きに合わせて閾値Ｒを設定すればよい。また、ここでは、移動体をサブクラスとして細かく分類する例について述べたが、図１７に示すように、複数の移動体をそれぞれ分離するように、閾値Ｒを大きく設定してもよい。例えば、図１７（ａ）のように動画像中に２つの移動体が存在し、複数の移動軌跡が求められている場合には、前記高次元空間は、図１７（ｂ）のようになる。１つの移動体の部位を分割するために設定された閾値Ｒよりも、閾値Ｒを大きく設定することによって、図１７（ｃ）のクラスタリング結果に示すように、異なる移動体間の測地距離ｇ（ｉ，ｊ）が無限大となり、図１７（ｄ）のように２つの移動体をそれぞれ分離する事ができる。
　以上の処理によって、測地距離が無限大とならない移動軌跡の組は連続とすることで同じサブクラスと判定することができ、測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとに移動軌跡をサブクラスに分離することができる。すなわち、各移動軌跡には、実施の形態１のサブクラスラベル付与ステップＳ４０３での処理と同様に、サブクラスＤ－ｓのラベルがそれぞれ付与されることになる。
　ラベル伝播・更新ステップＳ４０４以降の処理は、実施の形態１と同じであるため、説明を省略する。
　以上のように、実施の形態３によると、移動軌跡から、遮蔽の起こりやすい混雑環境下においても画像中の移動体の検出をすることができる。なお、本実施の形態では、測地距離に基づいて、類似した移動軌跡を同一のサブクラスに分類するため、図１６の例では、頭部の動きと腕の動きの違い、上腿（じょうたい）と下腿（かたい）との動きの違いが反映され、頭部、腕、上腿、下腿を別々のサブクラスとして分類することができる。その結果を用いて、ラベル伝播・更新により時間的にコヒーレンシーを保ったクラスとして、サブクラスを統合することができる。さらに、本方法は、同様の方法によって、複数人が存在するシーンにおいて、それぞれの移動体を検出することも可能である。
　以上のように、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。
　よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
　（実施の形態４）
　次に、本発明の実施の形態４における移動体検出装置について説明する。
　図１８は、実施の形態４における移動体検出装置２００ｃの構成を示す図である。実施の形態４に係る移動体検出装置２００ｃは、画像入力部２０１と、移動軌跡算出部２０２と、サブクラスラベル付与部２０３と、ラベル伝播部２０４Ａと、移動体検出部２０４Ｂと、リカバリ用移動軌跡保持部１７０１と、移動軌跡リカバリ部１７０２と、出力部２０５とを含む。
　このような実施の形態４に係る移動体検出装置２００ｃは、実施の形態１から３に係る移動体検出装置とリカバリ用移動軌跡保持部１７０１と移動軌跡リカバリ部１７０２の構成を除いて、同じ構成であるため、同一構成要素の説明は省略する。なお、実施の形態１を基本形態として説明するが、本実施の形態は、実施の形態２および３についても一般性を失うことなく適用可能である。
　なお、サブクラスラベル付与部２０３は、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。
　リカバリ用移動軌跡保持部１７０１は、移動軌跡算出部２０２で算出された移動軌跡のうち、画像サブセットを構成するピクチャの枚数よりも少ないピクチャの枚数でしか算出することができなかった移動軌跡を保持している記憶装置である。
　移動軌跡リカバリ部１７０２は、リカバリ用移動軌跡保持部１７０１に保持されている移動軌跡を、当該移動軌跡に連続する他の移動軌跡が属するクラスと同一のクラスに分類する。
　なお、移動体検出部２０４Ｂは、実施の形態１に示した処理に加えて、移動軌跡リカバリ部１７０２により分類された移動軌跡を含めて同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する。
　つまり、移動軌跡リカバリ部１７０２は、移動体検出部２０４Ｂにおいて、同一のクラスと判定された時間的に隣接する画像サブセット間のサブクラスペアから、移動軌跡算出部２０２において、遮蔽等の影響により動き検出ができずにＦ枚分算出できなかった移動軌跡に対して、前記同一クラスと判定されたサブクラスペアと同一のラベルを付与する。そして、リカバリ用移動軌跡保持部１７０１は、移動軌跡リカバリ部１７０２の処理で用いられるＦ枚分算出できなかった時間的に短い移動軌跡を保持しておく。これにより、移動体検出部２０４Ｂは、より多い数の移動軌跡に対してラベルを付与する事で、移動体をより正確に検出・抽出するものである。通常、移動軌跡の類似度もしくは距離を計算する場合、ベクトルの長さが同一である必要がある。一方、本実施の形態では、移動軌跡のベクトルの要素数が一定値に満たない移動軌跡に対しては、類似度の計算を行わず、代わりに移動体検出部２０４Ｂの処理により得られたクラス情報を用いることでラベル付けする。これにより、より多い本数の移動軌跡を用いて移動体の検出および抽出を行うものである。
　以下、本実施の形態４の移動体検出装置２００ｃの動作を、図１９を用いて説明する。ステップＳ４０１、Ｓ４０３、Ｓ４０４については、実施の形態１と同様であるため、説明を省略する。
　移動軌跡算出ステップＳ４０２ｃにおいて、実施の形態１から３で説明したように、移動軌跡算出部２０２は、式１に示すような移動軌跡を算出する。ここで、画像サブセットに含まれるＦ枚の画像について、遮蔽等の理由により移動軌跡が算出できない場合がある。このような場合を考慮して、Ｆ枚に満たない移動軌跡については、リカバリ用移動軌跡保持部１７０１にリカバリ用移動軌跡として別途保持しておく。また、実施の形態１から３においては、移動軌跡を時刻（ｔ＋１）から時刻（ｔ＋Ｆ）のように順方向に算出する例について説明したが、ここでは、別途、時刻（ｔ＋Ｆ）から時刻（ｔ＋１）に向かって逆方向に移動軌跡を算出することが望ましい。
　次に、移動軌跡リカバリステップＳ１８０１において、移動軌跡リカバリ部１７０２は、ラベル伝播・更新ステップＳ４０４で同一のクラスとして統合された時間的に異なる画像サブセットから算出したサブクラスの情報から、リカバリ用移動軌跡保持部１７０１に保持された前記リカバリ用移動軌跡に対してクラスラベル情報を付与する。なお、移動体検出部２０４Ｂは、移動軌跡リカバリ部１７０２により分類された移動軌跡を含めて同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する。
　図２０に、３つの画像サブセットを用いて、リカバリ用移動軌跡にクラスラベル情報を付与する例を示す。ここでは、画像サブセットは２つ以上あればよく、画像サブセットの数を限定するものではない。ラベル伝播・更新ステップＳ４０４により、異なる画像サブセット間のサブクラスが同一のクラスか否かが判定される。図中では、同一のテクスチャを持つクラスが同一のクラスである。ここで、図２０中央の画像サブセットに対して、移動軌跡リカバリ部１７０２は、移動軌跡算出ステップＳ４０２ｃで算出したリカバリ用移動軌跡に新たにクラスラベルを付与する。ここでは、図２０の破線で示した移動軌跡がリカバリ用移動軌跡であり、それに対して、クラスθ１、クラスθ２のクラスラベルをそれぞれ付与する。すなわち、当該画像サブセットに対して、一時刻前の画像サブセットで得られた移動軌跡と接続しているリカバリ用移動軌跡に対して、一時刻前の画像サブセットで得られたクラスラベル（図中ではクラスラベルθ１、θ２）を付与する。もちろん、クラスラベル数を限定するものではない。例えば、リカバリ用移動軌跡１９０１については、一時刻前の画像サブセットで得られたクラスラベルθ１のクラスの移動軌跡と接続されている。このため、リカバリ用移動軌跡１９０１にはクラスラベルθ１が付与される。
　同様に、当該画像サブセットに対して、一時刻後の画像サブセットで得られた移動軌跡と接続しているリカバリ用移動軌跡に対して、一時刻後の画像サブセットで得られたクラスラベルを付与する。例えば、リカバリ用移動軌跡１９０２については、一時刻後の画像サブセットで得られたクラスラベルθ１のクラスの移動軌跡と接続されている。このため、リカバリ用移動軌跡１９０２にはクラスラベルθ１が付与される。
　このように、Ｆ枚に満たない移動軌跡に対してラベル付けを行うことができるのは、時間的に前後の画像サブセットから得られたクラスラベルと当該画像サブセットから得られたクラスラベルとが時間的にコヒーレンシーを保つようにラベル伝播・更新ステップＳ４０４によりラベル付けされているためである。以上のようにして、実施の形態１から３と比較して、より高密度に移動軌跡にラベル付けを行うことができるため、結果として、より正確に移動体を検出、抽出することができる。さらには、移動体をより精度よく抜出すことができるという効果もある。
　次に、画像出力ステップＳ４０５ｃでは、出力部２０５は、移動軌跡リカバリステップＳ１８０１で行った動画像中の移動体の検出結果を含めて出力する。具体的には、画像入力ステップＳ４０１で受け付けた動画像に対して、例えば、ラベル伝播・更新ステップＳ４０４と移動軌跡リカバリステップＳ１８０１で検出された移動体領域ごとに異なる表示態様となるように、画像処理を施し、画像処理が施された画像を、ディスプレイ装置等に出力する。これにより、それぞれの移動体を区別しながら、かつ時間的にコヒーレンシーを保った表示を行うことができる。
　以上のように、カメラの撮影位置の問題によって起こる遮蔽の問題を解決しながら、１つの移動体が複数に分割される誤検出の課題を解決し、遮蔽の起こりやすい環境下においても適切に移動体を検出、抽出可能となる。さらに、遮蔽の起こりやすい環境下では、長時間の移動軌跡を算出することが難しいため、上記のように短い移動軌跡に対してもラベル付けを行うことで、より高精度な移動体の検出が可能になる。
　よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
　（実施の形態１から４の第１変形例）
　次に、本発明の実施の形態１から４の第１変形例における移動体検出装置について説明する。ここでは、実施の形態１から４においてクラス判定を行い、移動体を検出した結果をそれぞれ検出した領域ごとに記録・送信する機能を付加した例について説明する。ここでは、実施の形態１における変形例について述べるが、実施の形態２～４においても同様に適用可能である。このような第１変形例に係る移動体検出装置２００ｅは、図２１に示すように、画像入力部２０１、移動軌跡算出部２０２、サブクラスラベル付与部２０３、ラベル伝播部２０４Ａおよび移動体検出部２０４Ｂに、記録・送信部２００１を付加することによって実現が可能である。
　なお、サブクラスラベル付与部２０３は、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。
　記録・送信部２００１は、移動体検出部２０４Ｂによる移動体の検出結果を、記録装置に書き込む、または、伝送路を介して外部に送信する。つまり、記録・送信部２００１は、移動体検出部２０４Ｂでの移動体検出の結果に基づいて、画像入力部２０１で受け付けたピクチャにおける移動体領域を特定し、特定した移動体領域ごとに移動体領域を示す情報を、メモリやハードディスク等の記録媒体に記録する、又は、通信インターフェース等を介して外部に送信する処理部である。つまり、この記録・送信部２００１は、画像表示の場合と同様に、移動体を検出した結果画像を示す情報をクラスラベルθに応じてそれぞれ別々に記録または送信する。また、各クラスに属する動き情報を以下のように平均化することで、動き情報を圧縮することも可能である。通常であれば画素ごとに動き情報を保持する必要があるが、以下の処理を行えば１つの移動体に対して１つの動きを保持するだけでよい。例えば、動き情報として画素ｉの動きベクトル（ｕｔ ｉ，ｖｔ ｉ）を用いた場合には、以下のように分割された領域ごとに平均化した動き情報を計算することができる。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　ここで、Ｃｍは、クラスθｍに属する移動軌跡の数である。ｕｔ Ｃｍ、ｖｔ Ｃｍは、それぞれ、クラスθｍに属する画素の動きベクトルのｘ成分およびｙ成分である。図２２に本変形例における処理結果の１つとして、時刻ｔからＴ枚の画像を入力としてクラス分類を行い、その結果を用いて移動体の抽出領域を記録、送信する例を示す。識別子として各クラスラベルθｍと、各クラスラベルθｍに属する時刻ｔにおけるピクチャの画素位置と画素値、そして、各クラスラベルθｍに対応する時刻ｔから時刻（ｔ＋Ｔ）までの動きベクトルｕｔ ｍ，ｖｔ ｍ，ｕｔ＋１ ｍ，ｖｔ＋１ ｍ，．．．，ｕｔ＋Ｔ ｍ，ｖｔ＋Ｔ ｍを記録、送信する。もちろん、画像の画素位置と画素値を用いる代わりに、時刻ｔにおける１枚のピクチャに対して、画素ごとに各クラスラベルを付けて送信してもかまわない。これにより、動き情報をクラス数分送信するだけで済むために、ピクチャをＴ枚送信する場合と比べて、効率よく移動体の検出結果を記録、送信することができるといった効果がある。特には、クラス数が画素数に比べて少なければ少ないほど効率がよい。
　（実施の形態１から４の第２変形例）
　次に、実施の形態１から４の第２変形例として、移動体を検出した結果から、移動体の動きを予測する機能を付加した移動体検出装置について説明する。ここでは、実施の形態１に沿って説明するが、実施の形態２～４においても同様に実現可能である。
　図２３に示すように、本実施の形態における移動体検出装置２００ｆは、画像入力部２０１、移動軌跡算出部２０２、サブクラスラベル付与部２０３、ラベル伝播部２０４Ａおよび移動体検出部２０４Ｂに、動き予測部２２０１および出力部２２０２を付加することによって移動体の動きを予測する機能を有する。
　なお、サブクラスラベル付与部２０３は、図２に示したサブクラス分類部２１３に含まれるが、本図ではサブクラス分類部２１３の記載を省略する。また、ラベル伝播部２０４Ａは、図２に示したサブクラス間類似度計算部２１４Ａに含まれるが、本図ではサブクラス間類似度計算部２１４Ａの記載を省略する。
　動き予測部２２０１は、移動体を検出した結果から、各クラスに含まれる画素の移動軌跡から代表移動軌跡を算出し、前記代表移動軌跡をもとに移動体の動きを予測する。つまり、動き予測部２２０１は、移動体検出部２０４Ｂにより特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する移動体の領域が、ピクチャ間で移動すると予測することにより、移動体の動きを予測する。
　図２４に本変形例による処理のフローチャートを示す。ステップＳ４０１からＳ４０４までは、実施の形態１と同様であるため説明を省略する。
　次に、ステップＳ２３０１では、動き予測部２２０１は、移動体検出部２０４Ｂでの移動体検出の結果に基づいて、各クラスに属する移動軌跡から、各クラスの代表点及びその代表移動軌跡を求める。
　ここで、クラスθｍに属する画素の移動軌跡をｘＣｍと表現することとする。次式のように、クラスθｍごとに代表の移動軌跡を求める。ここでは、代表の移動軌跡として、平均移動軌跡を算出する例について説明するが、下記の計算に対して移動軌跡ｘＣｍごとに重み付け等を行ってもよいし、画像上でのクラスの重心に対応する画素の移動軌跡を代表の移動軌跡としてもよい。
Figure JPOXMLDOC01-appb-M000019
　ここで、Ｃｍは、クラスθｍに属する画素数もしくは画素の移動軌跡の数である。
　図２５に、式１９に基づいてクラスθｍごとに代表の移動軌跡を求める例を示す。図２５には、ある移動体に対応するクラスθ１と他の移動体に対応するクラスθ２とにそれぞれ関する代表の移動軌跡のみを示している。図中の「×」は、それぞれ時刻ｔに対応する代表移動軌跡
Figure JPOXMLDOC01-appb-M000020
の要素である画素位置を示している。この方法によると、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて代表の移動軌跡を算出することができる。このため、より高精度に代表の移動軌跡を求めることができる。このように、クラスごとに代表の移動軌跡を求めることによって、移動体ごと、もしくは部位ごとの動きを正確かつ簡便に表現することができる。
　次に、ステップＳ２３０２では、動き予測部２２０１が、ステップＳ２３０１にて算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。初めに、代表の移動軌跡から加速度を算出し、時刻（Ｔ＋１）以降の移動体の位置を予測する例について説明する。３枚以上の時系列画像が入力された場合は、次式２０のように代表の移動軌跡
Figure JPOXMLDOC01-appb-M000021
 ごとに加速度ベクトルｓｍを得ることができる。
Figure JPOXMLDOC01-appb-M000022
　ここで、ｕｔ ｍは、時刻ｔにおける画素ｍの動きベクトルであり、次式２１のように表すことができる。
Figure JPOXMLDOC01-appb-M000023
　式２０の加速度ベクトルを用いて、図２５にて破線の矢印及び「○」で示したように、動き予測部２２０１は、移動体ごとに、時刻（Ｔ＋ｔ’）における移動体の位置ｐｏｓｍ（Ｔ＋ｔ’）を以下の式２２に従って予測することができる。
Figure JPOXMLDOC01-appb-M000024
　そして、出力部２２０２は、ステップＳ２３０１で予測した移動体の位置や移動体部位の位置を出力する。これにより、加速度を加味した動き予測が可能となる。動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して移動体の位置を予測することができるといった効果がある。また、動きベクトルの代わりにアフィンパラメータを用いてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕あるいは足の回旋運動の表現に適しているため、特に関節物体の位置をより正確に予測することができる。
　さらに、上述した動きベクトルと加速度の代わりに、代表の移動軌跡ｘｍに対して直接、Ｎ次関数をフィッティングすることも可能である。Ｔ枚の時系列に並んだ画像を入力とした場合、代表の移動軌跡
Figure JPOXMLDOC01-appb-M000025
に含まれるＴ個の画像上での位置情報に対してＮ次関数をフィッティングすることができる。これにより、フィッティングした関数の値に沿うように、時刻（Ｔ＋ｔ’）における画像上での位置ｐｏｓｍ（Ｔ＋ｔ’）を推定することが可能となる。具体的には、関数をフィッティングすることによって、より滑らかな動きを表現することが可能となるため、より高精度な動き予測が可能となる。特には、フィッティングした関数に沿った動き予測が可能であるため、フィッティングした関数が本来の動きに近い場合に動き予測の精度が高い。もちろん、これらの画像上での位置予測は、時間的内挿にも利用可能である。
　以上のように、本変形例によれば、動きが類似した画素の移動軌跡を同一のクラスとして算出できるため、高精度に代表の移動軌跡を求めることができる。
　以上、本発明に係る移動体検出方法及び移動体検出装置について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。
　また、各実施の形態における特徴的な構成要素を任意に組合せて実現される形態も本発明に含まれる。
　また、上記実施の形態における移動体検出装置は、画像入力部２０１及び移動軌跡算出部２０２を備えているが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおける画像の移動軌跡が予め算出されている場合には、移動体検出装置２００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ４０３、Ｓ４０４の処理を実行してもよい。
　また、上記実施の形態における移動体検出装置は、出力部２０５または２０５ａを備えているが、本発明は、出力部を必須とするものではない。つまり、移動体の検出結果をディスプレイ等に表示せずに、他の処理に利用するものであっても良い。
　また、本発明は、移動体検出装置として実現されたが、動画像において動きをもつオブジェクトの領域を抽出、あるいは、分割する画像処理装置として実現することができるのは言うまでもない。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、図３に示したようなＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の移動体検出装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、移動体検出方法に含まれる全てのステップを実行させる。この移動体検出方法は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出方法であって、動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付けるステップと、前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出するステップと、画像サブセットごとに、当該画像サブセットに含まれる、算出された複数の移動軌跡をサブクラスに分類するステップと、任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するステップと、計算されたサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出するステップとを含む。
　本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域抽出することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。
　　２００、２００ａ、２００ｂ、２００ｃ、２００ｅ、２００ｆ　　移動体検出装置
　　２０１　　画像入力部
　　２０２　　移動軌跡算出部
　　２０３、２０３ａ、２０３ｂ、２０３ｄ、２０３ｅ、２０３ｆ　　サブクラスラベル付与部
　　２０４Ａ　ラベル伝播部
　　２０４Ｂ　移動体検出部
　　２０５、２２０２　　出力部
　　２１３　　サブクラス分類部
　　２１４Ａ　　サブクラス間類似度計算部
　　３０１　　カメラ
　　３０２　　コンピュータ
　　３０３　　ディスプレイ
　　３０４　　Ｉ／Ｆ
　　３０５　　ＣＰＵ
　　３０６　　ＲＯＭ
　　３０７　　ＲＡＭ
　　３０８　　ＨＤＤ
　　３０９　　ビデオカード
　　５０１　　入力画像
　　５０２　　画像サブセット
　　５０３　　動き情報
　　５０４、１４０２　　画素ｉ
　１４０１　　線形距離
　１４０３　　画素ｊ
　１４０４　　画素ｋ
　１５０２　　高次元空間
　１７０１　　リカバリ用移動軌跡保持部
　１７０２　　移動軌跡リカバリ部
　１９０１、１９０２　　リカバリ用移動軌跡
　２００１　　記録・送信部
　２２０１　　動き予測部

Claims (16)

  1. 　動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、
    　動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付ける画像入力部と、
    　前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出する移動軌跡算出部と、
    　画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類するサブクラス分類部と、
    　任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するサブクラス間類似度計算部と、
    　前記サブクラス間類似度計算部が計算したサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する移動体検出部と
    　を備える移動体検出装置。
  2. 　前記サブクラス分類部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与するサブクラスラベル付与部を含み、
    　前記サブクラス間類似度計算部は、すべてのサブクラスの中から任意に選択される第１及び第２のサブクラスの間で、同一のブロックの動きを示す移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播するラベル伝播部を含み、
    　前記移動体検出部は、同一のサブクラスラベルが付与されたサブクラスの集まりを同一のクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する
    　請求項１記載の移動体検出装置。
  3. 　前記移動軌跡算出部は、時間的に隣接する画像サブセット間で一部のピクチャが重なるように、前記複数枚のピクチャから、複数の画像サブセットを抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出し、
    　前記ラベル伝播部は、前記第１及び第２のサブクラス間で共有するピクチャにおいて同一の位置を通る移動軌跡の前記第１及び第２のサブクラスに含まれる移動軌跡に対する割合がより大きいほど、前記第１及び第２のサブクラスの間の移動軌跡の共有割合がより高いと判断し、前記移動軌跡の共有割合がより高いほど前記第１及び第２のサブクラスに同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播する
    　請求項２記載の移動体検出装置。
  4. 　前記ラベル伝播部は、さらに、サブクラスに含まれる移動軌跡の数または当該サブクラスに含まれる移動軌跡が構成する空間的な大きさに対応する値であるサブクラスの信頼度がより大きいサブクラスほど前記サブクラスラベル付与部が付与したサブクラスラベルと同一のサブクラスラベルをより再付与することで、サブクラスラベルをサブクラス間で伝播する
    　請求項２または３記載の移動体検出装置。
  5. 　さらに、前記移動軌跡算出部で算出された移動軌跡のうち、画像サブセットを構成するピクチャの枚数よりも少ないピクチャの枚数でしか算出することができなかった移動軌跡を保持する保持部と、
    　前記保持部に保持されている移動軌跡を、当該移動軌跡に連続する他の移動軌跡が属するクラスと同一のクラスに分類する移動軌跡リカバリ部とを備え、
    　前記移動体検出部は、さらに、前記移動軌跡リカバリ部により分類された移動軌跡を含めて同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出する
    　請求項２～４のいずれか１項に記載の移動体検出装置。
  6. 　前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち類似する移動軌跡を同一のサブクラスに分類することにより、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する
    　請求項２～５のいずれか１項に記載の移動体検出装置。
  7. 　前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち最も類似する移動軌跡の組み合わせを同一のサブクラスに分類する処理を、規定回数または前記複数の移動軌跡が規定のサブクラス数に分類されるまで繰り返し実行することによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する
    　請求項６記載の移動体検出装置。
  8. 　前記サブクラスラベル付与部は、（ａ）前記移動軌跡算出部で算出された複数の移動軌跡について、移動軌跡間の類似性を表す距離を算出し、（ｂ）算出された距離のうち、予め定められた閾値よりも小さい距離を連結することで、前記算出された距離を測地距離に変換し、（ｃ）画像サブセットごとに、当該画像サブセットに含まれる前記移動軌跡算出部で算出された複数の移動軌跡のうち、任意の２つの移動軌跡について、それ以外の移動軌跡を中継点として前記２つの移動軌跡の一方から他方にたどりつく経路の距離である測地距離を算出し、得られた測地距離の分布における不連続点を検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡を一つのクラスタとすることによって同一のサブクラスに分類する処理を行うことによって、前記複数の移動軌跡をサブクラスに分類し、各移動軌跡に当該移動軌跡が分類されたサブクラスの識別子であるサブクラスラベルを付与する
    　請求項６記載の移動体検出装置。
  9. 　前記サブクラスラベル付与部は、画像サブセットごとに、当該画像サブセットに含まれる少なくとも一枚の画像から、エッジ、色、輝度の少なくとも一つを用いて、画像を複数の領域に分割しサブクラスを生成し、分割した領域を通る移動軌跡に対して、それぞれサブクラスラベルを付与する
    　請求項２～５のいずれか１項に記載の移動体検出装置。
  10. 　さらに、
    　前記画像入力部において受け付けられた前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記移動体検出部で同一のクラスに分類された移動体領域ごとに、他の移動体領域と異なる表示態様となるように画像処理を施し、画像処理が施されたピクチャを出力する出力部を備える
    　請求項２～９のいずれか１項に記載の移動体検出装置。
  11. 　さらに、
    　前記移動体検出部による移動体の検出結果を、記録装置に書き込む、または、伝送路を介して外部に送信する記録・送信部を備える
    　請求項２～９のいずれか１項に記載の移動体検出装置。
  12. 　さらに、
    　前記移動体検出部により特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する移動体の領域が、ピクチャ間で移動すると予測することにより、前記移動体の動きを予測する動き予測部を備える
    　請求項２～９のいずれか１項に記載の移動体検出装置。
  13. 　前記サブクラス間類似度計算部は、サブクラス間の移動軌跡の共有割合を要素とする行列Ｗに、サブクラス間の類似度を要素とする行列Ｚを繰返し掛け合わせることにより、サブクラス間の類似度を要素とする行列Ｚを更新することで、サブクラス間の類似度を計算する
    　請求項１記載の移動体検出装置。
  14. 　前記サブクラス間類似度計算部は、さらに、更新後の行列Ｚに、サブクラスに含まれる移動軌跡の数または当該サブクラスに含まれる移動軌跡が構成する空間的な大きさに対応する値であるサブクラスの信頼度を要素とする行列Ｙを重み付け加算することで、サブクラス間の類似度を計算する
    　請求項１３記載の移動体検出装置。
  15. 　動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出方法であって、
    　動画像を構成する少なくとも３枚のピクチャからなる複数枚のピクチャを受け付けるステップと、
    　前記複数枚のピクチャから、少なくとも２枚のピクチャから構成される画像サブセットを複数抜き出し、画像サブセットごとに当該画像サブセットに含まれるピクチャ間で、ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である移動軌跡を複数算出するステップと、
    　画像サブセットごとに、当該画像サブセットに含まれる、算出された複数の移動軌跡をサブクラスに分類するステップと、
    　任意の２つのサブクラスの間で、同一の移動軌跡を共有している程度を示す移動軌跡の共有割合を算出し、前記共有割合に基づいて、サブクラス間の類似度を計算するステップと、
    　計算されたサブクラス間の類似度がより高いサブクラスの集まりほど、より同一のクラスに分類されるように、サブクラスをクラスに分類することにより、同一のクラスに含まれる移動軌跡に対応するブロック同士を移動体の領域として特定することによって動画像中の移動体を検出するステップと
    　を含む移動体検出方法。
  16. 　請求項１５に記載の移動体検出方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。
PCT/JP2012/001731 2011-03-22 2012-03-13 移動体検出装置および移動体検出方法 WO2012127815A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280003439.9A CN103189898B (zh) 2011-03-22 2012-03-13 移动体检测装置以及移动体检测方法
JP2012530450A JP5102410B2 (ja) 2011-03-22 2012-03-13 移動体検出装置および移動体検出方法
US13/665,255 US8605946B2 (en) 2011-03-22 2012-10-31 Moving object detection apparatus and moving object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011063297 2011-03-22
JP2011-063297 2011-03-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/665,255 Continuation US8605946B2 (en) 2011-03-22 2012-10-31 Moving object detection apparatus and moving object detection method

Publications (1)

Publication Number Publication Date
WO2012127815A1 true WO2012127815A1 (ja) 2012-09-27

Family

ID=46878995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001731 WO2012127815A1 (ja) 2011-03-22 2012-03-13 移動体検出装置および移動体検出方法

Country Status (4)

Country Link
US (1) US8605946B2 (ja)
JP (1) JP5102410B2 (ja)
CN (1) CN103189898B (ja)
WO (1) WO2012127815A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186547A (ja) * 2013-03-22 2014-10-02 Toshiba Corp 移動物体追跡システム、方法及びプログラム
JP2014206934A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2016057998A (ja) * 2014-09-12 2016-04-21 株式会社日立国際電気 物体識別方法
JP2019186859A (ja) * 2018-04-16 2019-10-24 Kddi株式会社 接続装置、接続方法及び接続プログラム
KR20220050390A (ko) * 2020-10-16 2022-04-25 한양대학교 산학협력단 이동체 판단 장치 및 그 판단 방법
WO2022113273A1 (ja) * 2020-11-27 2022-06-02 日本電信電話株式会社 時系列データ分析装置、時系列データ分析方法、及び時系列データ分析プログラム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014007680A (ja) * 2012-06-27 2014-01-16 Xacti Corp 画像生成装置
US20140126779A1 (en) * 2012-11-03 2014-05-08 Greg Duda System for license plate identification in low-quality video
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
FR3006799B1 (fr) * 2013-06-10 2016-10-21 Renault Sa Procede et systeme correspondant de suivi d'objets en mouvement
US9213901B2 (en) * 2013-09-04 2015-12-15 Xerox Corporation Robust and computationally efficient video-based object tracking in regularized motion environments
US20150222646A1 (en) 2014-01-31 2015-08-06 Crowdstrike, Inc. Tagging Security-Relevant System Objects
JP6194963B2 (ja) * 2014-02-14 2017-09-13 日本電気株式会社 映像処理システム
US10482658B2 (en) * 2014-03-31 2019-11-19 Gary Stephen Shuster Visualization and control of remote objects
US9836635B2 (en) * 2014-10-09 2017-12-05 Cognex Corporation Systems and methods for tracking optical codes
US11501244B1 (en) 2015-04-06 2022-11-15 Position Imaging, Inc. Package tracking systems and methods
US11416805B1 (en) 2015-04-06 2022-08-16 Position Imaging, Inc. Light-based guidance for package tracking systems
US10853757B1 (en) 2015-04-06 2020-12-01 Position Imaging, Inc. Video for real-time confirmation in package tracking systems
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
WO2017123920A1 (en) 2016-01-14 2017-07-20 RetailNext, Inc. Detecting, tracking and counting objects in videos
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
CN106548302B (zh) * 2016-12-01 2020-08-14 携程旅游信息技术（上海）有限公司 互联网交易的风险识别方法及系统
US10634503B2 (en) * 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10634506B2 (en) 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US11120392B2 (en) 2017-01-06 2021-09-14 Position Imaging, Inc. System and method of calibrating a directional light source relative to a camera's field of view
US10095234B2 (en) 2017-03-07 2018-10-09 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10234864B2 (en) 2017-03-07 2019-03-19 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10281920B2 (en) * 2017-03-07 2019-05-07 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10114375B1 (en) * 2017-04-06 2018-10-30 Delphi Technologies, Inc. Motion-characteristic based object classification for automated vehicle
US10706561B2 (en) * 2017-12-21 2020-07-07 612 Authentic Media Systems and methods to track objects in video
US10891741B2 (en) * 2017-12-29 2021-01-12 RetailNext, Inc. Human analytics using fusion of image and depth modalities
CN113424197A (zh) 2018-09-21 2021-09-21 定位成像有限公司 机器学习辅助自改进对象识别系统和方法
WO2020146861A1 (en) 2019-01-11 2020-07-16 Position Imaging, Inc. Computer-vision-based object tracking and guidance module
US10817733B2 (en) * 2019-02-13 2020-10-27 Sap Se Blind spot implementation in neural networks
KR20210112672A (ko) 2020-03-05 2021-09-15 삼성전자주식회사 객체를 검출하기 위한 프로세서 및 객체 검출 방법
CN111860189B (zh) * 2020-06-24 2024-01-19 北京环境特性研究所 一种目标跟踪方法和装置
US11733054B2 (en) 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
US11954916B2 (en) * 2022-02-07 2024-04-09 GM Global Technology Operations LLC Systems and methods for classifying detected objects in an image at an automated driving system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0373075A (ja) * 1989-08-14 1991-03-28 Nippon Telegr & Teleph Corp <Ntt> 移動物体検出装置
JPH1166319A (ja) * 1997-08-21 1999-03-09 Omron Corp 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置
JP4763863B1 (ja) * 2009-12-28 2011-08-31 パナソニック株式会社 関節状領域検出装置およびその方法
JP4782901B2 (ja) * 2009-12-28 2011-09-28 パナソニック株式会社 移動体検出装置および移動体検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1050110A (ja) * 1996-07-31 1998-02-20 Ichikoh Ind Ltd 車両用灯具
JPH1079556A (ja) * 1996-09-04 1998-03-24 Akihiko Yoshikawa 発光素子用電極
US6678394B1 (en) * 1999-11-30 2004-01-13 Cognex Technology And Investment Corporation Obstacle detection system
WO2009112790A1 (en) * 2008-03-14 2009-09-17 Panasonic Corporation Image processing method and image processing apparatus
US8340357B2 (en) 2008-10-27 2012-12-25 Panasonic Corporation Moving object detection method and moving object detection apparatus
JP4542207B1 (ja) 2009-01-09 2010-09-08 パナソニック株式会社 移動体検出方法および移動体検出装置
CN101866429B (zh) * 2010-06-01 2012-09-05 中国科学院计算技术研究所 多运动目标动作行为识别的训练方法和识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0373075A (ja) * 1989-08-14 1991-03-28 Nippon Telegr & Teleph Corp <Ntt> 移動物体検出装置
JPH1166319A (ja) * 1997-08-21 1999-03-09 Omron Corp 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置
JP4763863B1 (ja) * 2009-12-28 2011-08-31 パナソニック株式会社 関節状領域検出装置およびその方法
JP4782901B2 (ja) * 2009-12-28 2011-09-28 パナソニック株式会社 移動体検出装置および移動体検出方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186547A (ja) * 2013-03-22 2014-10-02 Toshiba Corp 移動物体追跡システム、方法及びプログラム
JP2014206934A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2016057998A (ja) * 2014-09-12 2016-04-21 株式会社日立国際電気 物体識別方法
JP2019186859A (ja) * 2018-04-16 2019-10-24 Kddi株式会社 接続装置、接続方法及び接続プログラム
KR20220050390A (ko) * 2020-10-16 2022-04-25 한양대학교 산학협력단 이동체 판단 장치 및 그 판단 방법
KR102396830B1 (ko) * 2020-10-16 2022-05-11 한양대학교 산학협력단 이동체 판단 장치 및 그 판단 방법
WO2022113273A1 (ja) * 2020-11-27 2022-06-02 日本電信電話株式会社 時系列データ分析装置、時系列データ分析方法、及び時系列データ分析プログラム

Also Published As

Publication number Publication date
JP5102410B2 (ja) 2012-12-19
US20130051624A1 (en) 2013-02-28
JPWO2012127815A1 (ja) 2014-07-24
CN103189898B (zh) 2016-01-20
US8605946B2 (en) 2013-12-10
CN103189898A (zh) 2013-07-03

Similar Documents

Publication Publication Date Title
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
JP4782901B2 (ja) 移動体検出装置および移動体検出方法
US8599252B2 (en) Moving object detection apparatus and moving object detection method
JP5404918B2 (ja) 移動軌跡算出方法およびその装置、ならびに領域分割方法
Rout A survey on object detection and tracking algorithms
JP2016099941A (ja) オブジェクト位置推定システム、及びそのプログラム
GB2502187A (en) Determining parking lot occupancy from digital camera images
Ferryman et al. Performance evaluation of crowd image analysis using the PETS2009 dataset
US20170006215A1 (en) Methods and systems for controlling a camera to perform a task
Santoro et al. Crowd analysis by using optical flow and density based clustering
Sengar et al. Motion detection using block based bi-directional optical flow method
Jiang et al. Multiple pedestrian tracking using colour and motion models
CN107154051B (zh) 背景剪除方法及装置
Lin et al. A new network-based algorithm for human activity recognition in videos
JP5371040B2 (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
CN113396423A (zh) 处理来自基于事件的传感器的信息的方法
Nguyen et al. Confidence-aware pedestrian tracking using a stereo camera
JP2016143335A (ja) グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
Jeon et al. Leveraging future trajectory prediction for multi-camera people tracking
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
JP2015210823A (ja) 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
Nguyen et al. 3d pedestrian tracking using local structure constraints
Rougier et al. 3D head trajectory using a single camera

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2012530450

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12760355

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12760355

Country of ref document: EP

Kind code of ref document: A1