WO2007026744A1 - 広域分散カメラ間の連結関係推定法および連結関係推定プログラム - Google Patents

広域分散カメラ間の連結関係推定法および連結関係推定プログラム Download PDF

Info

Publication number
WO2007026744A1
WO2007026744A1 PCT/JP2006/317067 JP2006317067W WO2007026744A1 WO 2007026744 A1 WO2007026744 A1 WO 2007026744A1 JP 2006317067 W JP2006317067 W JP 2006317067W WO 2007026744 A1 WO2007026744 A1 WO 2007026744A1
Authority
WO
WIPO (PCT)
Prior art keywords
route
camera
view
estimating
path
Prior art date
Application number
PCT/JP2006/317067
Other languages
English (en)
French (fr)
Inventor
Norimichi Ukita
Original Assignee
National University Corporation NARA Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University Corporation NARA Institute of Science and Technology filed Critical National University Corporation NARA Institute of Science and Technology
Priority to JP2007533280A priority Critical patent/JP4852765B2/ja
Priority to US11/991,137 priority patent/US20090268033A1/en
Publication of WO2007026744A1 publication Critical patent/WO2007026744A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a method for estimating a connection relationship between distributed camera groups and a program for estimating a connection relationship between distributed cameras for the purpose of monitoring and tracking a large number of objects in a wide area.
  • Tracking an object is one of the most fundamental technologies for realizing a real-world visual system.
  • tracking an object using a multi-camera captures detailed information and observes the object from multiple directions. It is an important technology for wide area.
  • the most important function for object tracking is object identification.
  • object identification When identifying target information that is simultaneously observed in a shared field of view of multiple camera images while tracking the target with multiple cameras, if the 3D position and orientation of the camera group are known, the 3D position information of the detection target Technology that makes it easy to identify objects by using the consistency of
  • Patent Document 2 a method of performing difference processing / binarization processing / labeling processing by comparing a camera input image with a background image
  • a multi-camera system usually assumes the case where multiple camera fields of view are observed in the entire observation area and the camera fields of view overlap each other (all-field coupled camera arrangement). ing.
  • connection relationship information between the camera fields of view is given manually by humans, so the connection relationship between the camera fields of view suddenly becomes complicated as the observation range expands and the number of cameras increases. There is a limit naturally.
  • the connection relationship information should be able to be updated automatically in response to equipment failures (cameras and control computers) and environmental changes (such as changes in obstacle placement). It is.
  • the multi-camera arrangement includes the above-described all-field connection type and all-field non-connection type.
  • the dynamic situation the person's shake
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-005462
  • Patent Document 2 Japanese Patent Laid-Open No. 2003-284059
  • Non-Patent Document 2 V. Kettnaker and R. Zabih, "Bayesian Multi-camera Surveillance, in Proc. Of CVPR99, pp.253259, 1999.
  • connection relationship between distributed camera groups is represented by the camera field of view and the path in the field of view or between the fields of view.
  • path the movement trajectory connecting two consecutive points in the point cloud where the object enters and exits the field of view
  • start point the end points
  • end point the end points
  • a route is, for example, the one shown by the arrow “Route” in (a) and (b) in Figure 1-1, and it is the point cloud detected first and last in the camera field of view. It means the target trajectory connecting two adjacent points.
  • the observed point is called the start point, and the later observed point is called the end point.
  • x′y is used to indicate a route from the start point X to the end point y.
  • the arrows in the figure extend to the starting point and end point of the path.
  • the route information is defined only by information at the moment when the object enters and exits the field of view, and does not handle the movement trajectory of the object within and outside the field of view. This is essentially information in the three-dimensional spatial coordinates as in the field of view, but in the present invention, only the information of the two-dimensional coordinates on the image is handled, and the three-dimensional information is not restored.
  • the data that the object entered / exited into the field of view (information that the object entered / exited at time T in the image coordinates P (C) of camera C) is called IN information and OUT information, respectively.
  • An object of the present invention is to provide a method for automatically estimating the connection relationship of distributed camera groups that is useful for continuous tracking of a large number of objects in an environment in which overlapping areas of camera fields of view are scattered.
  • the connection relationship between camera groups can be broadly divided into the following two types (class V information and class R information), and will be explained below for each type.
  • class V means the relationship between camera fields of view. Specifically, for all combinations of camera pairs (arbitrary camera field combinations are expressed as Ci and Cj), the following 3 Types of information (VI, V2, V3) will be provided.
  • V3 When there is an overlap, the relative position / posture (translation / rotation) parameters between Ci and Cj
  • V3 can be estimated by using a known calibration method .
  • An object of the present invention is to estimate the relationship between the visual fields of the information VI and V2.
  • Class R means the characteristics of the route (information about how much the object passes and how long the object passes).
  • the object tracking is to find the INZOUT information of the same object immediately before T 15 when the entry / exit of the object is detected at the time T E at the image coordinates P E (C E ) of the camera C E.
  • the superscripts B and E represent the cameras and coordinates corresponding to the start and end points of the route. The same applies hereinafter.
  • Class R information consists of the following two information (Rl and R2) forces.
  • the target detection information before the detection time is compared with the class R, and the tracking result candidate of the new detection target is determined. It can be narrowed down.
  • the information VI and V2 described above are closely related to the relative positional relationship of the cameras.
  • measurement methods using sensors that do not depend on image analysis such as distance measurement using a GPS or wireless transmitter attached to the camera, are known.
  • these measurement methods have the disadvantages that camera posture information cannot be obtained and that they cannot be used indoors where there are many shielding objects that block signals.
  • Class R information cannot be acquired unless the image of the actual target moving environment is analyzed.
  • the connection relationship estimation method between wide-area distributed cameras according to the present invention can be applied to a group of cameras with mixed visual fields and can estimate information of class V (V1 and V2) and class R (R1 and R2). It provides a method based on the analysis of camera images only.
  • connection relation estimation method and the connection relation estimation program between wide-area distributed cameras is that the actual observation is performed in order to obtain information useful for tracking an arbitrary object in the real environment. By analyzing only the image information, it is possible to obtain the connection relation information of the camera group.
  • connection relationship estimation method Means for solving the problem
  • connection relationship estimation program between wide-area distributed cameras according to the present invention.
  • connection relationship estimation method between wide-area distributed cameras according to the present invention will be described.
  • connection relationship estimation method between wide-area distributed cameras is a process of estimating a connection relationship of distributed camera groups in object tracking by a multi-camera.
  • the step of detecting the target entry / exit point in the field of view of each camera is to detect and track a target group entering / exiting the camera image observed independently by each camera, and to detect the target in the camera image.
  • This is a process for acquiring the image coordinates and time of each moment detected first and last.
  • the voting step that associates all entry / exit points means that all acquired data observed by each camera is temporarily associated with all acquired data for all powers observed before the detection time.
  • This is a process of counting the number of data associated with each elapsed time.
  • this elapsed time / number of observations is represented by a histogram, for example, the elapsed time of the correct association data accompanying the movement of the same object shows a remarkable peak.
  • the step of classifying the correct correspondence route and the incorrect correspondence route based on the similarity of the voting start point / end point coordinate and the passage time is based on the difference between both coordinates of the correspondence data and the observation time.
  • the correspondence data corresponding to the actual path excluding the incorrect correspondence is detected and the correspondence data to each path is classified.
  • the connection between the camera fields of view is performed. It is a process to acquire the relationship (that is, route information).
  • the steps for estimating the characteristics of each field of view and route include estimating the relationship between each field of view, estimating the start point / end point coordinates of the path between fields of view and the time required for passing, and estimating the path type of each path. It is a process to perform.
  • the step of estimating the characteristics of each visual field and path includes one visual field passing path, single visual field crossing path, overlapping region passing path, loop path, or between invisible visual fields. It is preferable to obtain the geometric relationship between the fields of view from the comparison of any path type of the path with the detected correct corresponding path.
  • Path type classification is a method that can also be used to estimate the relationship VI and V3 between camera views from a detected path set and to eliminate false detection paths for detected path set power.
  • the step of estimating the characteristics of each field of view and the route in the method for estimating the connection relation between the wide-area distributed cameras is to estimate the probabilistic information of the start point and the end point coordinate collective force voted for each route. It is preferable to include at least a step of estimating the probability of passage transit time of the voting time corresponding to each route.
  • the classification in the step of classifying the correct correspondence route and the incorrect correspondence route based on the similarity of the start point end point coordinate and the passage time includes the start point coordinate, the end point coordinate, and the passage time. It is preferable to use a similarity classification of multidimensional vectors included in at least vector elements.
  • classification can be performed in consideration of the uniformity of the passage time of the route and the uniformity of the start and end point coordinates when a large amount of data is observed.
  • the step of classifying the correct corresponding route and the incorrect corresponding route based on the similarity between the start point / end point coordinates and the passing time is performed between routes including votes having the same target entry / exit point. It is preferable to classify the route and its combined route according to the transit time.
  • an object detection and tracking method including at least a connection relation estimation method between the wide-area distributed cameras.
  • connection relationship estimation program between wide-area distributed cameras is the above-described connection relationship between wide-area distributed cameras.
  • Each step of the estimation method is executed by the computer.
  • a computer-readable storage medium characterized by storing a connection relationship estimation program between the wide-area distributed cameras.
  • connection relationship estimation method and the connection relationship estimation program between wide-area distributed cameras it is useful for a distributed camera group in which the presence or absence of overlapping of fields of view is mixed, whether indoors or outdoors, and the path type.
  • classification class V
  • path characteristics class R
  • connection relationship estimation method and the connection relationship estimation program between wide-area distributed cameras according to the present invention, observation of an object that is actually moving without the need to perform object tracking with high uncertainty in object identification. Since only information is used, the conditions of the observation environment for successful tracking are necessary (for example, t, where only one object moves in the observation environment during connection learning, etc.).
  • connection relationship can be estimated based on the identification of the moving object only by recognizing the camera image, there is no restriction on the camera placement, and the camera can be placed freely.
  • connection relationship estimation method between distributed camera fields of view includes a step of detecting target entry / exit points in each camera field of view (S1), a provisional correspondence voting step of all entry / exit points (S2), a correct correspondence path and an incorrect correspondence path.
  • connection relation estimation method between wide-area distributed cameras is to estimate the connection relation of camera groups. It is represented by a route. Therefore, in the present invention, first, the route is detected, and then the connection information between fields of view is estimated based on the observation information of the target that has passed through each route.
  • the route is determined by its start point and end point, and the start point and end point correspond to the entry / exit points of the object in the field of view. Therefore, the minimum information required for route detection is the entry / exit point.
  • object tracking In order to obtain the entry / exit points of an object, it is necessary to perform object tracking to obtain the entry / exit points of each object by associating the target area detection from the camera image and the detection object information in time series.
  • object detection is performed for a short time due to the fact that there is no major problem even if there is some over-detection in the detection area in the image, or because of occlusion. Even if there is a delay or no detection, the detection result can be obtained sufficiently stably because the possibility that the entry / exit of the object cannot be detected at all is very low.
  • the same target information can be correctly associated at the start and end of tracking, where failure is likely to occur due to long-term occlusion by obstacles and mutual occlusion of similar moving objects.
  • the reliability of object detection is high, the short-term tracking results for correctly detecting the moment when each object enters the field of view can be reliable. Therefore, when moving between the fields of view of multiple cameras, the field entry / exit information (image coordinates at which entry / exit to the field of view and its time), which is the most important for the analysis of event, is stabilized by existing methods. Can be obtained.
  • Entry / exit point information power to the camera view of the target
  • the data observation image coordinates and time, and camera identifier
  • the data obtained from the force field of view is referred to as OUT information.
  • the start and end points of the route are the same pair It corresponds to a pair of elephant's continuous INZOUT information.
  • Ini and OUTi are the points where the target enters the camera field of view (the detection point of the new object in each camera field of view), the point of exit of the camera field of view (the tracking end point in the camera field of view) ).
  • the path is composed of successive IN or OUT pairs such as IN / OUT, OUT ⁇ IN, IN -IN, or OUT 'OUT.
  • ⁇ ⁇ ⁇ represents the path from point X to point Y.
  • IN -OUT means a path that traverses within the single camera field of view.
  • those belonging to route type 2 are: IN-OUT in (a) in Fig. 3, IN-OUT in (c) in Fig. 3, and IN-OUT in (d) in Fig. 3.
  • Route type 3 Overlaid area passing route If IN and OUT are the entry and exit points of different camera fields, IN -OUT means the path between overlapping force fields. For example, what belongs to route type 3 in FIG. 3 is IN-OUT in (b) of FIG.
  • OUT-IN means a path that returns to the same field of view after exiting the camera field of view. For example, in Fig. 3, what belongs to route type 4 is OUT ⁇ IN in Fig. 3 (a).
  • OUT and IN are entry / exit points of different camera fields
  • OUT -IN means a path between camera fields without overlap. For example, what belongs to route type 5 in Fig. 3 is OUT ⁇ IN of (d) in Fig. 3.
  • connection relationship (class V information) of the camera field of view measuring the start point and the end point of the route can be obtained.
  • the definition of the route in this specification is “a line having two consecutive points in the target locus as the start and end points”. For example, if an object passes through a camera field of view that includes multiple camera fields as shown in Fig. 4, a camera field entry / exit point pair that straddles another camera field of view (for example, IN-IN in Fig. 4). Multiple routes so
  • the compound route consisting of the concatenation of these is not detected as a route. Therefore, when the relationship between camera fields of view is obtained by processing only the path, it is not possible to detect the relationship between camera field pairs that do not have a path and are overlapping (for example, camera fields C1 and C3 in Fig. 4).
  • Transit time uniformity is a special case where certain types of objects (pedestrians, people running, cars, etc.) stop on the way or move outside the observation environment when passing through each route. It takes almost the same amount of time except for other situations. Therefore, by observing a large amount of INZOUT information, assuming all pairs of INZOUT information that can be combined as the start and end points of the route and calculating the elapsed time between them, the elapsed time between pairs corresponding to the actual route is observed. The frequency will be high.
  • the path detection and classification are performed in consideration of the uniformity of this transit time, if there is an object that passes through the same route at a significantly different speed, the difference in transit time is the same route in terms of position. May be detected as a different route.
  • the purpose of the estimation method according to the present invention is to estimate the connection relationship of the distributed camera groups used for object tracking, and the connection information between fields of view includes time information required for passage of each route. It is. Therefore, there is no problem in expressing a route with a significantly different transit time as a separate route.
  • the uniformity of the start point end point coordinates means that the difference in observation time is about the same.
  • the INZOUT information pairs by chance include the IN / OUT information pairs of different target trajectories observed at that time interval. It may be lost.
  • the INZOUT information pair corresponding to the start point and end point of the actual route may include a pair corresponding to the start point and end point of a plurality of routes having the same transit time.
  • each route is composed of different start and end cameras and image coordinates, each INZOUT information pair can be classified as appropriate route information based on the similarity of the INZOUT information at the start and end points. is there.
  • a route composed of wrong correspondence will be called a wrong correspondence route
  • a route composed of correct correspondence will be called a right correspondence route.
  • each INZOUT information is the total INZOUT of all powers detected before the observation time.
  • the information is paired with each other, and each is assumed to be the end point / start point of the route.
  • the temporary association set of INZOUT information is handled as an independent temporary association set according to the camera in which the INZOUT information of the start point and the end point is observed.
  • a temporary association set with the start point corresponding to camera B and the end point corresponding to camera E is expressed as S B ' E
  • the INZOUT information that is observed by camera B and camera E respectively at the start point and end point is temporarily associated. Will be voted on to the set S B ' E.
  • a histogram (the horizontal axis is the elapsed time between paths, and the vertical axis is the number of observations) is displayed for each camera pair at each start point and end point.
  • the number of votes corresponding to the passage time of the correct correspondence route shows a remarkably large value.
  • the estimation method according to the present invention does not perform path detection by simple peak detection, but the above-described uniformity of transit time and In addition, the route is detected by classification considering the uniformity of the start and end point coordinates.
  • the first problem is that in the case of route detection by simple peak detection, the movement time of an object passing through a certain route does not fall within the sampling unit of the time axis, and therefore, multiple peaks are near V and time intervals. When it is present in! /, The peak is not observed.
  • the second problem is that if there are multiple correct correspondence paths with similar elapsed time values, the corresponding voting results will be included in the same discrete travel time!
  • voting results include not only correct responses but also incorrect responses.
  • the observed entry / exit coordinate sets are classified into adjacent entry / exit points, and the elapsed time between these classification points (corresponding to the start and end points of the route) is histogrammed. Voted to detect peaks.
  • the entry / exit point classification is performed independently for each image, and the connection of the start and end points is not taken into consideration, and the classification of the input / output point coordinate set is performed by class identification based on the Gaussian mixture distribution. (The number of start and end points in each image) is unknown, and if the points that should be classified differently when the end points of multiple paths are close, the class R information of the multiple paths Are mixed in one piece of route information.
  • the correct correspondence route includes not only a route that is an estimation target but also a composite route that is a combination of a plurality of routes. However, it is impossible to identify these two types of routes only by peak detection.
  • the INZOUT information For each temporarily associated set S " j , classify a 5-dimensional vector that arranges the image coordinates and elapsed time of the start and end points of the voting results, and extracts only the correct correspondence path from S 1 ' j.
  • Each sutra It is decided to classify each voting result corresponding to the road.
  • step (S3) of classifying the correct correspondence route and the incorrect correspondence route based on the similarity between the start point / end point coordinates and the passing time (S3) is performed.
  • processing 1 to processing 5 will be described separately.
  • ⁇ V, ⁇ , ⁇ be a five-dimensional vector set consisting of the start and end coordinates of each voting result and the elapsed time in each set S j temporarily associated with IN / OUT information.
  • Vi (x B , y B , x E , y E , t) is the image coordinates of the start point and end point (x E , y E ) (where i ⁇ ⁇ 1, and the path between this start point and end point It is a five-dimensional vector consisting of time t, and is the total number of votes in S ".
  • ⁇ V 1,..., V ⁇ are classified by the LBG (Linde-Buzo-Gray) algorithm.
  • LBG Longde-Buzo-Gray
  • the algorithm divides a vector in a set into two based on similarity, and obtains a code vector (a representative vector that best approximates the vector in the set) of each obtained subset.
  • the division is repeated until the average distance to the code vector is equal to or less than the threshold value for each of the divided and generated subsets.
  • the threshold value a sufficiently small value is empirically given so that the correct correspondence route and the incorrect correspondence route are classified into different subsets.
  • route type 1 with start and end points of ⁇ ⁇ ⁇ or OUT ⁇ OUT will always have different fields of view. Therefore, if the start point and end point are IN'IN or OUT 'OUT, and the field of view of the start point and end point is the same, the route can be removed as a miscorresponding route.
  • the correct correspondence routes obtained in the above-described processes 1 to 5 include a composite route formed by connecting consecutive detection target routes.
  • This over-detected complex route can be removed by detecting a set of routes having the same point as the end point and starting points in different fields of view.
  • the removal process of the composite route will be described.
  • the route R Bj ' E corresponding to the latter is likely to be a composite route of other routes.
  • the entry / exit point pair is voted in order to detect the path connecting the camera fields of view.
  • pairs of INZOUT information of the same target that passed through the start and end points of the route are voted in the correct correspondence set corresponding to each correct correspondence route.
  • each voting result in the correct correspondence set corresponds to the tracking result of the object moved between the camera views. Therefore, it can be understood that the present invention can perform offline object tracking in the course of route detection. [0058] (Estimation step of each visual field and path feature: S4)
  • Each field of view and path feature estimation step consists of a process of estimating the connection relationship information between the camera fields of the detected path collective force, and an acquisition processing power of the elapsed time information between the path start point information and the start point end point.
  • Each detected route can be categorized as compared to the above five route types. For example, all routes whose start and end points are IN ⁇ IN or OUT ⁇ OUT are classified as type 1 routes. However, in order to detect all overlapping camera field-of-view relationships, as described above, entry / exit point pairs other than paths must also be classified. For this reason, in the present invention, it is the classification target for all the correct correspondence route sets.
  • class VI information and class V3 information of a route which is connection information between camera fields of view, can be acquired.
  • Class VI means that camera field pairs with path types 1 and 3 have overlap, and other field combinations do not overlap.
  • Class V3 is an invisible path between field-of-view pairs with path type 5 in between, no other overlap! There is no path between field-of-view pairs! .
  • the average (X, y) ⁇ ⁇ , ⁇ ⁇ and the covariance matrices ⁇ ⁇ , ⁇ ⁇ of the start point and end point of r are obtained from the set of positive corresponding routes classified into each route r.
  • the class R1 information that is, when a new object is detected in the image coordinates P E of the camera field of view CE .
  • the probability P (C B , P B , C E , P E )) that the object was last observed at the coordinates P B of the field of view C B is
  • the probability new detection coordinates [rho E corresponds to the end point of the route R '' E ⁇ P (P E,
  • Class R1 information can be obtained from Equation 3 below.
  • class R1 information can be estimated when all field of view coordinates are regarded as the start and end points from the average coordinates and covariances of the start and end points of all routes. It is.
  • a target is moved from the coordinates P B of the camera field of view C B to the coordinates P E of the camera field of view C E, and it is possible to obtain a probability that the elapsed time was T.
  • FIG. Figure 6 shows the case where three cameras are observing two types of target trajectories, and the detection target paths are ⁇ 1, ⁇ 2, IN2-OUT1, OUT1-OUT2, IN4-OUT4, OUT4- There are six types, IN3 and IN3-OUT3.
  • each INZOUT information is first detected before the observation time among the INZOUT information obtained by observing a large number of objects entering and exiting the visual field. It is assumed that each pair is matched with all INZOUT information of the full power and each is regarded as the end point / start point of the route.
  • the threshold is given as a time with a slight margin added to the time required to pass the OUT4'IN3 route, which is the longest route.
  • the temporary correspondence set of INZOUT information is handled as an independent temporary correspondence set according to the camera in which the INZOUT information of the start point and the end point is observed. If there are three cameras (cameras 1 to 3), camera 1 camera SS 1 ' 2 ), camera 1 camera 1 ' 3 ), camera 2 camera 3 (S 2 ' 3 ), camera 2 camera KS 2 ' 1 ), Camera 3 ⁇ Camera KS 3 ' 1 ), Camera 3 ⁇ Camera 2 (S 3 ' 2 ), Camera 1 ⁇ Camera KS 1 ' 1 ), Camera 2 ⁇ Camera 2 (S 2 ' 2 ), 9 combinations of camera 3 and camera 3 (S 3 ' 3 )
  • Fig. 7-1 and Fig. 7-2 show the temporary correspondence set obtained when observing the case shown in Fig. 6 for each camera pair at the start point and end point.
  • the axis is the result of the display).
  • the peak surrounded by an ellipse corresponds to the estimated target route, and the other peaks are compound routes.
  • FIG. 8 shows an example of a temporary association set obtained when the case of FIG. 6 is observed.
  • the arrow in FIG. 8 illustrates an example of a temporary association set.
  • FIG. 8A shows the correspondence in the set S 1 ′ 2
  • FIG. 8B shows the correspondence in the set S 2 ′ 2 .
  • “False correspondence” in FIG. 8 is an example of a voting result of an incorrect correspondence route, and such an incorrect correspondence route is included in each set j (an arbitrary camera identifier).
  • Example 2 shows how the path detection result according to the present invention changes from the ideal value according to the error and variation in the movement time between the object detection coordinate and the camera visual field and the number of objects moving simultaneously by simulation. This is to confirm and verify the robustness of the present invention.
  • FIG. 9 shows a bird's-eye view of the entire observation scene used in the simulation experiment of Example 2. This mimics the situation in which the movement of an object on a planar scene is observed with a vertically downward camera.
  • the rectangle Vi i ⁇ ⁇ 1, 2,..., 12 ⁇
  • the camera Ci represents the field of view of the camera Ci (corresponding to the imaging range of 640 ⁇ 480 pixels)
  • the dotted line represents the movement locus of the object.
  • the number of paths to be detected under ideal conditions is 78 (37 bidirectional paths and 4 unidirectional paths).
  • the variation of the object detection coordinates is the actual object movement variation in the environment and the image. Force generated by these detection errors In Experiment 1, both factors are combined and expressed by variations from the true trajectory on the observed image. This variation is given assuming a normal distribution independent of the X and Y coordinates.
  • the moving speed of each target in the environment is given a value that is obtained by changing a certain reference speed value based on the normal distribution.
  • Coordinate variance “Coordinate variance”, “velocity variance”, and “number of simultaneous observations” in the above table are the variance of the detected input / output (X, y) coordinates [pixel], the variance of the target moving speed in the scene, and the unit, respectively.
  • time It is the average value of the number of entrances and exits observed in each image.
  • the variation in the object detection coordinates in Tables 1 to 3 above was given assuming a normal distribution independent of the X and y coordinates.
  • a value for the movement speed of each target in the environment was adopted by changing a certain reference speed based on the normal distribution.
  • “variance of detection coordinates is Opixel”
  • “moving speed of all objects is constant”
  • “number of objects to be detected simultaneously is 1”
  • the threshold value was set under the condition that an appropriate constant value was adopted throughout all experiments.
  • FIG. 10 shows an example of detection path increase / decrease in the simulation of the second embodiment.
  • (A) shows experiment 1,
  • (b) shows experiment 2, and
  • (c) shows increase / decrease of detection path in experiment 3.
  • the increase / decrease value of the number of detected paths varies depending on the threshold value for stopping the temporary association set classification by the LBG algorithm, but the characteristics regarding the path increase / decrease are unchanged.
  • the increase / decrease routes other than the miscorresponding route correspond to the result of the increase / decrease of the entry / exit point classification due to the effect of observation noise.
  • This increase / decrease is not a problem when applying the same estimation result to target detection as the increase / decrease of the route by the threshold setting of the LBG algorithm.
  • the problem is the number of mis-corresponding routes, and as the number increases, target tracking is narrowed down in consideration of target routes that are not possible in practice, leading to failure of tracking.
  • the estimation result can provide useful information for the subsequent target tracking.
  • Example 3 in an indoor environment in which 12 cameras C to C are dispersedly arranged.
  • Photographing was performed during the daytime (AM9: 00 to PM7: 00) for three days on weekdays. During the day, about 300 people were engaged in daily activities.
  • Each camera uses 320 x 240 pixel image sequences taken at 1-second intervals as input. I have confirmed the operation. First, foreground extraction was performed by a known method, and then the center of gravity of each target area detected based on the proximity of the extracted pixels was simulated as target coordinates. In addition, the object tracking in the observation image was performed based on the proximity of simple coordinates and the similarity of region size.
  • the observation targets are all pedestrians (however, the walking speed varies), and the number of objects detected in each observation image sequence of each camera is 7238, 79 in the order of cameras C to C.
  • FIG. 12 shows an example of detection of entering / exiting a pedestrian's camera view in an observation image of the camera.
  • Fig. 12 (a) shows an example of successful tracking within the field of view of camera C
  • Fig. 12 (b) shows the camera.
  • Figures 12 (a) and 12 (b) are observation images of a camera installed at a height of about 2.2m above the floor and slightly downward from the horizontal.
  • the target ID is not included in the INZOUT information that is the input information of the connection relationship estimation method of the present invention, such a target tracking failure has no effect at all.
  • the only important input information in the connection relation estimation method of the present invention is the target input / output coordinates and time. As shown in Figs. 12 (a) and 12 (b), tracking of targets A and B was successful in a short time, and the IN / OUT information of the targets was obtained. However, if multiple objects overlap in the image at the time of entry / exit, the detected coordinates will deviate somewhat from the true coordinate force.
  • FIG. 13 shows an example of the detection path of the third embodiment.
  • the ellipse and the arrow indicate the correspondence between the start point and end point position variance and the start point and end point, respectively, and the numbers on the arrows indicate the average elapsed time between routes.
  • the thickness of the arrow is proportional to the number of associations voted for the route.
  • the routes that can be regarded as overdivided are combined into one, and the close start and end points of different routes are also shown. Combined into one ellipse.
  • class R information obtained in the same manner as class V information (views of C 1, C 3, and C in FIG. 13).
  • the mean and variance of point A in the observation image of camera C are (56.1, 71.8) and (4.1, 2.2), respectively.
  • the average transit time (seconds) of each route is indicated by the number of the arrow in the observed image of FIG.
  • the threshold values in the present invention are the following three types (1) to (3).
  • the maximum value of the difference between the detection times of the (1) provisional association INZOUT information pair can be easily determined manually, and the threshold for the (3) compound path detection is a threshold value. Since the results have already been shown to be very stable with respect to variations, here we will experimentally evaluate the influence of the threshold for the end of provisional partitioning by the (2) LBG algorithm.
  • the graph of Fig. 14 shows the experimental results of the influence of the threshold value of the end of provisional division by the LBG algorithm.
  • (a) in FIG. 14 shows the increase / decrease in the detection path rate of the correct correspondence 'false correspondence' with respect to the number of voting pairs
  • (b) shows the increase / decrease in the detection route rate of the incorrect correspondence 'false correspondence'. Is shown.
  • the horizontal axis of the graph shown in Fig. 14 (a) is the average value (number of voting pairs) of the number of correspondences of INZOUT information classified into each route. If the number of voting pairs exceeds 700, it will be shown that both detection omissions and false detections disappear.
  • the horizontal axis of the graph shown in Fig. 14 (b) is the threshold value for determining the end of classification by the LBG algorithm. However, each element of the five-dimensional vector to be classified is normalized to 1. It is shown that both detection omission and false detection disappeared around 0.01-0.05.
  • the present invention realizes the actual connection relationship estimation of the distributed camera group. It was confirmed that it was possible.
  • calibration of a large number of cameras can be automated. For example, it can be used in all real-world visual systems that require continuous object observation by a plurality of cameras arranged in a wide area. Be expected. Specifically, it is useful for security systems such as road traffic monitoring systems.
  • FIG.1-2 Explanatory diagram of target input / output points and paths in the observation field of view of the distributed camera system
  • FIG.2 Overall processing flow diagram of the connection relation estimation method between wide-area distributed camera views according to the present invention
  • FIG.3 Diagram showing the combination of camera view (where the ellipse represents the camera view and the arrow represents the target trajectory)
  • FIG. 4 A diagram showing an example of a route passing through a plurality of inclusion relational fields of view.
  • FIG. 10 Diagram showing an example of increase / decrease of detection path in the simulation of Example 2 (In the figure, the source of the arrow represents the ideal detection result, and the tip of the arrow indicates the increase / decrease of the detection path according to the observation result Represents.)
  • A shows the increase or decrease of the detection path in Experiment 1,
  • B in Experiment 2,
  • FIG. 11 Bird's eye view and observation image of the entire observation scene in Example 3 (upper: 1st floor, lower: 2nd floor)
  • FIG. 12 Detection of entry / exit of pedestrians into / from camera's field of view in camera observation image in Example 3 (A) shows an example of successful tracking within the field of view of camera C, and (b) shows the camera.
  • FIG. 13 is a diagram showing an example of a detection path in Example 3.
  • ⁇ 14] A diagram showing the experimental results of the influence of the threshold value for determining the end of provisional association division by the LBG algorithm.
  • (A) shows the increase / decrease in the detection path rate of the correct correspondence / incorrect correspondence to the number of voting pairs. ) Indicates an increase or decrease in the detected path ratio of the correct response to the threshold value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　広域における多数対象の監視及び追跡への利用を目的として、分散カメラ群の連結関係の推定法と推定プログラムを提供する。本発明の特徴は、カメラ画像の認識によるカメラ間の対象対応付けを必要としない。まず各カメラで独立に観測画像中に出入りする対象群を検出・追跡して、画像中で各対象を最初と最後に検出した各瞬間の画像座標と時刻を獲得する。各カメラで観測された全獲得データを、その検出時刻以前に観測された全カメラにおける全獲得データと仮に対応づけ、その対応データ間の経過時間ごとに対応付けられたデータ数をカウントする。この経過時間・観測回数のヒストグラム中、同一対象の移動に伴う正しい対応付けデータの経過時間は顕著なピークを示すことを利用して、このピーク検出結果に基づき、カメラ視野間の連結関係（視野の重なりの有無，入出の生じる画像座標，経過時間，通過確率）を得るものである。

Description

広域分散カメラ間の連結関係推定法および連結関係推定プログラム 技術分野
[0001] 本発明は、広域における多数対象の監視および追跡への利用を目的として、分散 カメラ群の連結関係の推定法並びに広域分散カメラ間の連結関係推定プログラムに 関するものである。
背景技術
[0002] 実世界視覚システムを実現する上で、対象の追跡は最も基盤となる技術の一つで 、特に、マルチカメラによる対象追跡は、対象を多方向から観測した詳細情報獲得や 観測範囲の広域ィ匕のための重要な技術とされて 、る。
この対象追跡にとって最も重要な機能は対象同定である。マルチカメラによる対象 追跡下で、複数カメラ画像の共有視野で同時観測される対象情報の同定を行う際に は、カメラ群の 3次元位置および姿勢が既知であれば、検出対象の 3次元位置情報 の整合性を利用することにより対象同定が容易となる技術が知られている (特許文献 D o
また、カメラ入力画像に対し背景画像との比較により差分処理 · 2値化処理'ラベリ ング処理を行う方法が知られて ヽる（特許文献 2)。
[0003] 但し、多数カメラによる広域観測では、カメラ同士の共有視野は狭くなる上に空間 中に点在してしまい、また、通常の広域環境では往来を遮断した静的シーンの観測 は難しいことから、一般的なキャリブレーションターゲットに頼ったカメラキヤリブレーシ ヨンは困難である。
[0004] そこで、同定容易な移動物体の同時観測結果を利用したカメラキャリブレーション 方法として、同期カメラ群用のキャリブレーション方法、非同期カメラ群用のキヤリブレ ーシヨン方法、それにより得られた初期解の精度を向上させるキャリブレーション方法 、 GPSにより位置の特定された広域分散ランドマークの観測結果を利用するキヤリブ レーシヨン方法などが提案されている (例えば、非特許文献 1を参照。 ) ο
[0005] 上記の移動物体の同時観測結果を利用したカメラキャリブレーション方法を用いた マルチカメラシステムでは、通常、図 1 1 (a)に示すように全観測領域を複数のカメ ラ視野が観測し、カメラ視野同士に重なりがあるケース (全視野連結型のカメラ配置） を想定している。
よって、会議室やロビーなどの大きな空間の詳細観測には適しているものの、さら に広域 (ビル全体，屋外交通網など）における移動物体の活動状況の調査などに利 用するためには、全移動経路を網羅したカメラ配置が必要になってくる。この全移動 経路を網羅したカメラ配置はコスト'管理の両面から実質的に困難である。そのため、 図 1 1 (b)に示すようなカメラ視野に重なりの無い（孤立視野の）ケース (全視野非連 結型のカメラ配置）による広域追跡が必要になってくる。こうした不可視領域を含んだ 対象追跡における複数カメラ間での対象同定は、上述の視野の重なり領域における 対象同定と比較して非常に困難な問題である。
[0006] 既に、この問題の対処法として、いくつかの方法が提案されているが（例えば、非特 許文献 2を参照。）、いずれの方法もカメラ視野間の連結関係 (視野重畳領域の有無 ,不可視領域を挟んだ隣接視野の対応づけ，不可視経路の移動時間や通行確率な ど）を考慮して同定精度を上げているものである。
これらの方法では、カメラ視野間の連結関係情報を人間の手作業により与えている ため、観測範囲の拡大とカメラ数の増加にともない、カメラ視野間の連結関係は急激 に複雑ィ匕してしまうことから自ずと限界がある。また、長期間継続的なオンライン観測 を目的とするならば、機器 (カメラや制御コンピュータ)の故障や環境の変化 (障害物 配置の変化など）に応じて連結関係情報は自動的に更新できるべきである。
よって、人間の手作業ではなぐ自動的にカメラ視野間の連結関係を推定できるキ ヤリブレーシヨン方法が切望されて 、るのである。
[0007] また、マルチカメラの配置として上述した全視野連結型と全視野非連結型があるが 、実際のマルチカメラによる対象追跡の用途では、対象追跡の観察場所における動 的状況 (人物の振る舞 、など)を詳細観測しなければならな 、領域と広域を移動する 対象の軌跡観測のみが要求される領域が混在しているのが一般的である。
本発明は、カメラ視野の重畳領域が点在する環境において、多数対象の継続的追 跡に有用な分散カメラ群の連結関係を自動推定する方法を提供するものである。 [0008] 特許文献 1：特開 2004— 005462号公報
特許文献 2：特開 2003 - 284059号公報
特干文献 1 : R. し ollins, A. Lipton, H. Fujiyoshi, and T. Kanade, Algorithms for C ooperative Multisensor Surveillance, in . Proc. of the IEEE, Vol.89, No.10, pp.1456 1477, 2001.
非特許文献 2 : V. Kettnaker and R. Zabih, "Bayesian Multi-camera Surveillance, in Proc. of CVPR99, pp.253259, 1999.
発明の開示
発明が解決しょうとする課題
[0009] 一般的に、分散カメラ群の連結関係は、カメラ視野と視野中や視野間の経路によつ て表される。以下、本明細書中では，対象が視野へ入出する点群の中で、連続した 2 点を結んだ移動軌跡を「経路」と称し、また、その端点を「始点」、「終点」と称する。す なわち、経路とは、例えば、図 1—1において（a) , (b)中の矢印" Route"のようなもの を指し、カメラ視野で最初と最後に検出された点群の中で隣接する 2点同士を結んだ 対象軌跡を意味するものとする。
実際には、カメラの画像中で観測されるのは三次元空間中の領域である。図 1—2 に示されるように、カメラ力 延びる円錐内の領域が三次元領域を指すことになる。図 1 2の例で、観測画像の枠内に収まっていても、建物などの障害物により常時観測 不可能な領域は視野外とみなすことにしている（図 1—2の" Unobservable area") 0 また、経路に関して、「前フレームにおいて視野外にいた対象が新たに画像上で検 出された」， 「次フレームにおいて視野外に出る対象が最後に画像上で検出された」 というイベントをそれぞれ視野における対象の入 ·出と呼ぶことにする。
対象がカメラ視野へ入出する瞬間の対象座標点群（図 1—2中の点 IN , OUT , I N , OUT )の中で、時系列的に連続した 2点の組を経路と呼び、この 2点のうち先に
2 2
観測された点を始点、後に観測された点を終点と呼ぶ。
図 1—2の例では、 3本の経路 INl 'OUTl, OUT1 -IN2, IN2OUT2が存在し ている。本明細書においては、 x 'yは、始点 Xから終点 yまでの経路を表す意味で用 いている。 図中の矢印は、経路の始点力 終点に延びている。経路情報は対象が視野に入 出する瞬間の情報のみにより定義され、視野内外での対象の移動軌跡は扱わないも のとする。これは、本来、経路も視野と同様に三次元空間座標における情報であるが 、本発明においては、画像上の二次元座標の情報のみを扱い、三次元情報復元は 行わな 、。対象が視野に入出したデータ (カメラ Cの画像座標 P (C)で時刻 Tにお ヽ て対象が入出したという情報）をそれぞれ IN情報、 OUT情報と呼ぶことにする。
[0010] 本発明は、カメラ視野の重畳領域が点在する環境において、多数対象の継続的追 跡に有用な分散カメラ群の連結関係を自動推定する方法を提供することを目的とす る。ここで、カメラ群の連結関係とは、以下の 2種類 (クラス V情報，クラス R情報）に大 別できるため、以下に種類毎に説明していく。
[0011] 先ず、クラス Vとは、カメラ視野間の関係を意味し、具体的には、カメラペアの全組 み合わせ (任意のカメラ視野の組み合わせを Ciと Cjと表記）について、下記の 3種類 の情報 (VI, V2, V3)が提供されることになる。
•VI：任意のカメラ視野のペア（Ciと Cj)の視野間を結ぶ経路の有無同士の重なりの
• V2：任意のカメラ視野のペア（Ciと Cj)の視野同士の重なりの有無
• V3：重なりがある場合は、 Ciと Cj間の相対的な位置 ·姿勢 (並進 ·回転)パラメータ ここで、公知のキャリブレーション法を用いることで、上記情報 V3が推定できること が知られている。
本発明は、上記情報 VIおよび V2の視野間関係を推定することを目的とする。
[0012] 次に、クラス Rについて説明する。クラス Rは、経路の特徴（どれくらいの確率で対象 が通るか，どれくらいの時間で対象が通過するかの情報）を意味する。
カメラ CEの画像座標 PE (CE)で時刻 TEにおいて、対象の入出が検出された際、 T15 直前の同対象の INZOUT情報を見つけることが対象追跡である。ここで、肩付文字 B, Eは経路の始点と終点に対応するカメラおよび座標を表すものとする。以下本明 細書において同様である。
対象は、経路を通過するはずなので、 TE以前の全 IN/OUT情報を追跡解の候補 とする必要はなぐ「PE (CE)付近に終点をもつ経路のいずれかの始点付近で検出さ れた」かつ「その経路の通過に時間 Tを要する場合、 TEよりも T前頃に検出された」 IN ZOUT情報のみが候補解となる。この制約条件を確率的に表現した下記 2種類の 情報 (R1と R2)が、座標 PE (CE)付近に終点をもつ経路集合の特徴として参照される
PEで時刻 T15において新たに対象が検出された際、この対象の TE以前における観 測情報が PEを終点に持つ経路のクラス R情報として提供される。クラス R情報は、以 下の 2つの情報（Rl, R2)力 なる。
•R1 :座標 PE (CE)で入出を検出された対象が、座標 PB (CB)を始点とする経路を使 用した確率
•R2 :経路 PB (CB) 'PE (CE)の通過に要する時間 TE— TBが Tである確率 (但し、 TB は PB (CB)における対象検出時刻である。 )
[0013] クラス Rが既知であれば、あるカメラのある座標で対象が新たに検出された際、その 検出時刻以前の対象検出情報とクラス Rを比較して新検出対象の追跡結果の候補 を絞り込むことができるのである。
[0014] 上述した情報 VIと V2は、カメラの相対的な位置関係と密接に関連している。カメラ の位置推定には、カメラに取りつけた GPSや無線発信器による距離計測など、画像 解析に依存しないセンサによる計測方法が知られている。しかし、これらの計測方法 は、カメラの姿勢情報が得られない、信号を遮る遮蔽物の多い屋内では利用できな い、といった欠点がある。カロえて，実際の対象移動環境を観測した画像を解析しない 限り、クラス R情報は獲得できないという本質的な問題がある。本発明に係る広域分 散カメラ間の連結関係推定法は、重畳視野の有無が混在するカメラ群に適用ができ 、クラス V (V1および V2) ,クラス R(R1および R2)の情報を推定できる、カメラ画像の みの解析に基づ 、た方法を提供するのである。
[0015] 以上述べたように、本発明に係る広域分散カメラ間の連結関係推定法および連結 関係推定プログラムの課題は、実環境における任意対象の追跡に有用な情報を得る ために、実際の観測画像情報のみを解析して、カメラ群の連結関係情報を求め得る ことである。
課題を解決するための手段 [0016] 本発明者は、種々の検討 ·実験を行い、研究を重ねた結果、本発明に係る広域分 散カメラ間の連結関係推定法および連結関係推定プログラムを完成するに至った。 以下、本発明に係る広域分散カメラ間の連結関係推定法を説明する。
[0017] 上記目的を達成するため、本発明に係る広域分散カメラ間の連結関係推定法は、 マルチカメラによる対象追跡における分散カメラ群の連結関係の推定プロセスにお いて、各カメラの視野内の対象入出点の検出ステップと、全入出点を対応づける投 票ステップと、投票の始点終点座標および通過時間の類似性に基づ 、て正対応経 路と誤対応経路を分類するステップと、各視野と経路の特徴を推定するステップとを 備え、カメラの画像のみを用いて経路を検出できることを特徴とする。
[0018] 上記構成において、各カメラの視野内の対象入出点の検出ステップとは、各カメラ で独立に観測したカメラ画像中に出入りする対象群を検出'追跡して、カメラ画像中 で対象を最初と最後に検出した各瞬間の画像座標と時刻を獲得する処理である。 また、全入出点を対応づける投票ステップとは、各カメラで観測された全獲得デー タを、その検出時刻以前に観測された全力メラにおける全獲得データと仮に対応づ け、その対応データ間の経過時間ごとに対応付けられたデータ数をカウントして 、く 処理である。この経過時間 ·観測回数を、例えば、ヒストグラムで表した場合に、同一 対象の移動に伴う正しい対応付けデータの経過時間は顕著なピークを示すこととな るのである。
[0019] 次に、投票の始点終点座標および通過時間の類似性に基づいて正対応経路と誤 対応経路を分類するステップとは、対応付けデータの両座標および観測時刻の差を 類似性に基づいて分類することによって、誤対応を除いた実在の経路に相当する対 応付けデータの検出および各経路への対応付けデータの分類を行 \この分類結 果に基づ 、てカメラ視野間の連結関係 (すなわち経路情報)を取得する処理である。 また、各視野と経路の特徴を推定するステップとは、各視野間の関係の推定、視野 間経路の始点終点座標と通過に要する時間の確率的表現の推定、各経路の経路タ イブの推定を行う処理である。
[0020] また上記構成にぉ 、て、各視野と経路の特徴を推定するステップは、一方視野通 過経路，単一視野横断経路，重畳領域通過経路，ループ経路または不可視視野間 経路のいずれかの経路タイプと検出された正対応経路との比較から視野間の幾何学 的関係を得ることが好まし 、。
経路タイプの分類は、検出された経路集合からのカメラ視野間の関係 VI及び V3 の推定、および検出された経路集合力 の誤検出経路の除去にも用いることができ るカゝらである。
[0021] さらに上記構成において、広域分散カメラ間の連結関係推定法における、各視野と 経路の特徴を推定するステップは、各経路に投票された始点終点座標集合力 経路 座標の確率的情報を推定するステップと、各経路に対応する投票の通過時間集合 力 経路通過時間の確率的情報を推定するステップとを少なくとも備えることが好ま しい。
カメラ視野間の連結関係 (入出の生じる画像座標，経過時間，通過確率）が得られ るカゝらである。
[0022] また上記構成にぉ 、て、前記始点終点座標および通過時間の類似性に基づ 、て 正対応経路と誤対応経路を分類するステップにおける分類は、始点座標，終点座標 および通過時間を少なくともベクトル要素に含む多次元ベクトルの類似分類を用いる ことが好ましい。
大量のデータを観測した際の経路の通過時間の均一性および始点終点座標の均 一性を統合して考慮した分類を行えるからである。
また上記構成にぉ 、て、前記始点終点座標および通過時間の類似性に基づ 、て 正対応経路と誤対応経路を分類するステップは、同一の対象入出点を持つ投票を 含んだ経路間で通過時間の大小に応じて経路とその複合経路とを分類することが好 ましい。
[0023] また、上記広域分散カメラ間の連結関係推定法を少なくとも含む対象検出および 追跡法を提供する。
また、複数カメラがネットワークで結合され、各カメラ画像データがネットワークを介し てコンピュータに取り込まれるシステムにおいて、本発明に係る広域分散カメラ間の 連結関係推定プログラムは、上述した広域分散カメラ間の連結関係推定法の各ステ ップを該コンピュータに実行させることを特徴とする。 また、上記広域分散カメラ間の連結関係推定プログラムを格納したことを特徴とする コンピュータ読み取り可能な記憶媒体を提供する。
発明の効果
[0024] 本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラム では、屋内 ·屋外を問わず、視野の重なりの有無が混在する分散カメラ群に対して有 用で、経路タイプの分類 (クラス V)の推定が行えるという効果を有する。また、実際の 移動対象の軌跡を多数解析することによって経路の特徴 (クラス R)の推定が行えると いった効果を有する。
[0025] また、本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プロ グラムでは、対象同定に不確実性が高い対象追跡を行う必要がなぐ実際に移動し ている対象の観測情報のみを利用するため、追跡を成功させるための観測環境の条 件といったもの（例えば、連結関係学習時には観測環境中を 1対象のみが移動する t 、つた条件など）は必要な 、。
[0026] また、センサ（GPS等）を使ったキャリブレーション，環境を限定した (環境中の移動 対象数を減らす，検出 ·追跡しやす 、LEDなどのランドマークを利用する等)キヤリブ レーシヨンとは異なり、カメラ画像の認識のみによる移動対象の同定に基づいた連結 関係の推定を行えるので、カメラ配置に制約はなく自由に配置が行えるといった効果 を有する。
発明を実施するための最良の形態
[0027] 以下、本発明の実施形態について、図 2に示す本発明に係る分散カメラ視野間の 連結関係推定法の全体処理フロー図を参照しながら詳細に説明していく。
本発明に係る分散カメラ視野間の連結関係推定法は、各カメラ視野内の対象入出 点の検出ステップ (S1) ,全入出点の仮対応付け投票ステップ (S2) ,正対応経路と 誤対応経路の分類ステップ (S3) ,各視野と経路の特徴の推定ステップ (S4)ら構成 される。以下、各ステップに分けて順をおつて説明していくこととする。
[0028] (各カメラ視野内の入出点対象の検出ステップ: S1)
本発明に係る広域分散カメラ間の連結関係推定法の目的は、カメラ群の連結関係 を推定することであるが、このカメラ群の連結関係は、カメラ視野と視野中や視野間の 経路によって表されるものである。そこで、本発明では、先ず、経路を検出して、次に 各経路を通過した対象の観測情報に基づいて視野間連結情報を推定することとした
[0029] ここで、経路はその始点と終点によって定まり、始点と終点は視野における対象の 入出点と対応するものである。よって、経路検出のために最低限必要となる情報は対 象の入出点となる。対象の入出点を得るためには、カメラ画像中からの対象領域検 出および検出対象情報を時系列的に対応づけて各対象の入出点を得るための対象 追跡が必要である。
対象検出 '追跡については、それぞれ動的環境下における頑健な任意対象検出、 相互遮蔽に頑健な対象追跡などが数多く提案されている。
[0030] ここで、対象検出は、対象追跡を目的とした場合、画像中の検出領域に多少の過 検出'検出漏れがあっても大きな問題にはならないことや、遮蔽などにより短期間の 検出遅れや未検出が生じても、対象の入出を全く検出できない可能性は極めて低い という理由から、十分安定に検出結果を得ることができるのである。
[0031] 一方、対象追跡では、障害物による長時間の遮蔽や見えの類似した移動物体同士 の相互遮蔽により失敗が起こり易ぐ追跡開始時と終了時において同一対象情報が 正しく対応付いている可能性は十分に高いとは言えない問題がある。しかし、対象検 出の信頼性が高ければ、各対象が視野内に入った瞬間 '視野外に出た瞬間を正しく 検出するための短期間の追跡結果は信頼できる。よって、複数カメラの視野間を移 動すると 、うイベントの解析に対して最も重要である視野への入出情報 (視野への入 出が起きる画像座標とその時刻）は、既存の手法により安定して得ることが可能なの である。
[0032] このことから、本発明に係る推定法では、このカメラ視野への入出点情報のみを利 用すること〖こしたちのである。
[0033] 対象のカメラ視野への入出点情報力 経路検出を行うためには、対象の入出点と 経路の始点終点を対応づける必要がある。以下本明細書においては、対象がカメラ 視野に入ったデータ (観測画像座標と時刻，およびカメラ識別子)を IN情報と称し、力 メラ視野力 出たデータを OUT情報と称することとする。経路の始点終点は、同一対 象の連続した INZOUT情報のペアと対応していることになる。
[0034] ここで、経路の種類について以下に説明する。カメラ視野の重なりの有無が混在す るマルチカメラシステムでは、観測空間中で図 3に示すような対象の入出が起こり得る 。図 3中の INi, OUTi (iはカメラ識別子）は、それぞれ対象がカメラ視野へ侵入する点 (各カメラ視野における新対象の検出点）、カメラ視野力 退出する点 (カメラ視野内 の追跡終了点）を表すものとする。
IN/OUT, OUT · IN, IN -IN,又は， OUT ' OUTといった連続する INまたは OUTの ペアにより経路が構成される。ここで、 Χ·Υは点 Xから点 Yまでの経路を表すものとす る。
[0035] 図 3の（a)単一視野は単一のカメラ視野における入出を示し、（b)部分重なり， (c) 包含， （d)重なり無しは、 2つのカメラ視野間の入出を示している。 3つ以上のカメラ視 野構成における入出の全ては、（a)〜（d)の組み合わせにより表現できることになる。 図 3から全経路を以下の経路タイプ 1〜経路タイプ 5の 5種類に分類が可能である。
[0036] (1)先ず、 IN -IN 又は OUT -OUT (ここで、 i, j, p, qは任意のインデックスであ る。）は、 2つの視野で構成される経路タイプ 1に分類される。
•経路タイプ 1：一方視野通過経路
重なりを持つ 2つのカメラ視野のうち、片方のカメラ視野内にのみ含まれる経路のこ とを意味する。例えば、図 3の中で経路タイプ 1に属するものは、図 3中の（b)の IN ·Ι
3
Ν， OUT - OUT，と図 3中の（c)の IN -IN
6， OUT ·〇ΙΓΓである。
4 3 4 5 6 5
(2)次に、 IN 'OUTは、 INと OUTを観測した視野内に存在し、この始点と終点を 観測した視野の組合せに応じて以下の経路タイプ 2と経路タイプ 3の 2種類に分類さ れる。
•経路タイプ 2：単一視野横断経路
INと OUTが同一のカメラ視野の入出点である場合は、 IN -OUTは単一カメラ視 野内を横断する経路のことを意味する。例えば、図 3の中で経路タイプ 2に属するも のは、図 3中の（a)の IN - OUTと図 3中の（c)の IN - OUTと図 3中の（d)の IN - OUT
1 1 6 6 7 7
, IN - OUTである。
8 8
•経路タイプ 3：重畳領域通過経路 INと OUTが異なるカメラ視野の入出点である場合は、 IN -OUTは重なりのある力 メラ視野間の経路のことを意味する。例えば、図 3の中で経路タイプ 3に属するものは 、図 3中の（b)の IN - OUTである。
4 3
(3) OUT -INは、 OUTと INを観測した視野の外に存在し、この始点と終点を観測 した視野の組合せに応じて、以下の経路タイプ 4と経路タイプ 5の 2種類に分類される
'経路タイプ 4 :ループ経路
OUTと INが同一カメラ視野の入出点である場合は、 OUT -INはカメラ視野を出 た後に同一視野に戻る経路のことを意味する。例えば、図 3の中で経路タイプ 4に属 するものは、図 3中の（a)の OUT · INである。
2 2
•経路タイプ 5：不可視視野間経路
OUTと INが異なるカメラ視野の入出点である場合は、 OUT -INは重なりの無い カメラ視野間の経路のことを意味する。例えば、図 3の中で経路タイプ 5に属するもの は、図 3中の（d)の OUT · INである。
7 8
[0037] この経路の分類に基づ 、て、その経路の始点と終点を測定したカメラ視野の連結 関係 (クラス V情報)を求めることができる。但し、本明細書における経路の定義は、「 対象軌跡中の連続する 2点を始点終点に持つ線」である。例えば、図 4に示すような 複数のカメラ視野を包含するカメラ視野を対象が通過する場合には、他のカメラ視野 をまたいだカメラ視野の入出点ペア（例えば、図 4の IN -INなどのように複数の経路
1 3
の連結からなる複合経路）は経路として検出されない。よって、経路のみに対する処 理でカメラ視野間の関係を求めた場合は、経路を持たな 、が重なりのあるカメラ視野 ペア（例えば、図 4のカメラ視野 C1と C3など）の関係が検出できない。
そこで、経路の連結力 なる複合経路に対しても経路タイプを当てはめることとし、 その両端のカメラ視野間の関係を求める必要がある。本発明では、経路検出の過程 で複合経路も求まるため、必要なカメラ視野間関係をもれなく得ることが可能となるの である。
[0038] 上述の（1)〜（5)の経路タイプの分類は、検出された経路集合からのカメラ視野の 連結関係 VIと V3の推定、および後述する誤検出経路の除去に用いることができる。 [0039] (全入出点の仮対応付け投票ステップ： S2)
次に、全入出点を対応付ける投票ステップ (S2)について説明する。
複数対象が同時に移動する環境下では，単純に時系列的に連続する INZOUT 情報のペアを経路の始点終点と見なすことができない。そのため、大量のデータを観 測した際の経路の通過時間の均一性と始点終点座標の均一性に着目することにし た。
[0040] 先ず、通過時間の均一性につ 、て説明する。通過時間の均一性とは、ある種類の 対象 (歩行者，走っている人，車など）が各経路を通過する際には、途中で止まったり 、観測環境外へ移動してしまうような特殊な状況を除 、てほぼ同程度の時間を要す るというものである。従って、大量に INZOUT情報を観測して、全ての組み合わせ 可能な INZOUT情報のペアを仮に経路の始点終点と見なして、その間の経過時間 を計算すると、実在経路に相当するペア間の経過時間の観測頻度は高くなることに なる。
[0041] この通過時間の均一性を考慮にいれて経路の検出 ·分類を行うと、同じ経路を大き く異なる速度で通過する対象が存在する場合、位置的には同じ経路が通過時間の 違いによって異なる経路として検出されてしまうことが起こる。ただし、本発明に係る 推定法の目的は、対象追跡に利用する分散カメラ群の連結関係を推定することであ り、その中の視野間連結情報には各経路の通過に要する時間情報が含まれている。 従って、大きく通過時間の異る経路が別経路として表現されることに問題は生じない のである。
[0042] 次に、始点終点座標の均一性にっ 、て説明する。始点終点座標の均一性とは、観 測時刻の差が同程度になる INZOUT情報のペアの中には、偶然に、その時間間 隔で観測された異なる対象軌跡の IN/OUT情報ペアも含まれてしまうことがある。さ らに、実在経路の始点終点に相当する INZOUT情報ペアの中にも、通過時間が 等しい複数の経路の始点終点に対応するペアが含まれる可能性がある。しかし，各 経路はそれぞれ異なる始点終点のカメラと画像座標によって構成されるため、始点 終点の INZOUT情報の類似性に基づいて各 INZOUT情報のペアはそれぞれ適 切な経路の情報として分類することが可能である。 以下、本明細書では、誤対応から成る経路を誤対応経路、正対応から成る経路を 正対応経路と称することにする。
[0043] この分類処理の結果、対象の移動のたびに必ず観測される正対応経路と比べて， 誤対応経路に分類される INZOUT情報の数は極めて小さくなるはずである。
[0044] さて、これらの通過時間の均一性および始点終点座標の均一性に基づいて経路検 出を行うためには、まず INZOUT情報の全仮対応付けを獲得する必要がある。 本発明に係る推定法では、まず視野への対象の入出を大量に観測して得られる IN ZOUT情報間の中で、各 INZOUT情報をその観測時間よりも以前に検出された 全力メラの全 INZOUT情報とペアとして対応づけ、それぞれを仮に経路の終点 ·始 点と見なすことにしている。
ただし、十分に長時間離れて観測された INZOUT情報同士の対応付けを考慮す る必要はなく、観測時刻の間隔がある閾値以内の INZOUT情報の対応付けのみを 考慮すれば十分である。
[0045] INZOUT情報の仮対応付け集合は、その始点および終点の INZOUT情報が観 測されたカメラに応じてそれぞれ独立の仮対応付け集合として取り扱われる。すなわ ち、始点がカメラ B,終点がカメラ Eに相当する仮対応付け集合を SB' Eと表記すると、 始点，終点がそれぞれカメラ B,カメラ Eで観測された INZOUT情報同士の仮対応 付けは集合 SB' Eに投票されることとなる。ここで、カメラ数 Nに対しては P +N個の始
N 2 点終点のカメラペアが可能である。
[0046] (正対応経路と誤対応経路の分類ステップ: S3)
次に、上記処理によって求められた多数投票結果から対象経路を検出する処理、 すなわち、始点終点座標および通過時間の類似性に基づ ヽて正対応経路と誤対応 経路を分類するステップ (S3)について説明する。
[0047] 先ず、集合を各始点終点のカメラペア毎に、例えば、ヒストグラム (横軸が経路間の 経過時間，縦軸が観測回数)表示を行う。このヒストグラム表示においては、正対応 経路の通過時間に相当する投票数は顕著に大きな値を示すこととなる。これは、上 述した通過時間の均一性と 、う特徴を表して 、るものである。本発明に係る推定法は 、単純なピーク検出で経路検出を行うのではなぐ上述した通過時間の均一性およ び始点終点座標の均一性を統合して考慮した分類により、経路検出を行っているも のである。
これは、単純なピーク検出による経路検出には、以下に示すいくつかの問題がある ためである。
[0048] 第 1の問題点は、単純なピーク検出による経路検出の場合、ある経路を通る対象の 移動時間は、時間軸のサンプリング単位内に収まらずばらつくため、複数ピークが近 V、時間間隔に存在するときれ!/、なピークは観測されな ヽと 、うことである。
また、第 2の問題点は、経過時間の値が近い正対応経路が複数存在すると、それら に相当する投票結果が同じ離散移動時間内に含まれてしまうと!、うことである。
また、第 3の問題点は、投票結果には正対応だけではなく誤対応も混在していると いうことである。
[0049] これらの問題を軽減するため、まず観測された入出点座標集合を近接する入出点 ごとに分類して、この分類点群 (経路の始点終点に相当）の間の経過時間をヒストグラ ムに投票してピークを検出することとした。この処理により各ヒストグラムには、ある始 点または終点を端点に持つ経路情報のみが投票され、ピーク検出が容易になる。 ただし、各画像で独立に入出点分類が行われており始点終点の結び付きが考慮さ れないこと、入出点座標集合の分類はガウス混合分布に基づいたクラス識別により行 われているが、クラス数 (各画像中の始点終点の数）は未知であること、複数の経路 の端点が近接する場合に誤って別々に分類されるべき点が一点に分類されると、複 数経路のクラス R情報が一つの経路情報中に混在してしまうことといった問題がある。
[0050] 正対応経路の中には、推定目標である経路だけでなく複数経路の組み合わせによ る複合経路も含まれるが、ピーク検出だけではこの二種類の経路の識別が不可能で ある。
また、詳細な経路タイプ分類まで考慮されて!、な!、と!、つた問題がある。
[0051] そこで、本発明に係る推定法では、始点終点座標および通過時間の類似性に基づ V、て正対応経路と誤対応経路を分類するステップ (S3)にお ヽて、 INZOUT情報の 仮対応付けられた各集合 S" jごとに、投票結果の始点終点の画像座標と経過時間を 並べた 5次元ベクトルの分類を行い、 S1' jから正対応経路のみを抽出し、それを各経 路に相当する投票結果ごとに分類することにしている。
以下、始点終点座標および通過時間の類似性に基づ!/、て正対応経路と誤対応経 路を分類するステップ (S3)を、図 5に示す正対応経路と誤対応経路の分類処理フロ 一図を参照しながら、処理 1〜処理 5に分けて説明する。
処理 1 :多次元ベクトル化処理 (S31)
IN/OUT情報の仮対応付けられた各集合 S j中の、各投票結果の始点終点座標 と経過時間からなる 5次元ベクトル集合を {V ,· · ·,ν }とする。
1 Ni, j
ここで、 Vi=(xB ,yB ,xE ,yE ,t)は、始点、終点の画像座標 (xE ,yE) (但し、 i≡ {1, とこの始点終点間の経過時間 tからなる 5次元ベクトルである。また 、 は S"中の投票総数である。
処理 2 :正規化処理 (S32)
画像座標と経過時間には全く異なるオーダーの値が入力されることになるため正規 化する。
処理 3 :分類処理 (S33)
次に、 {V , · · · ,V }を LBG (Linde- Buzo- Gray)アルゴリズムにより分類する。 LBG
1 Ni, j
アルゴリズムとは、集合中のベクトルを類似性に基づいて 2分割し、得られた各部分 集合のコードベクトル (集合中のベクトルを最も良く近似した代表ベクトル)を求めるも のである。本発明に係る推定法では、分割生成された部分集合ごとに、その全要素 力もコードベクトルまでの平均距離が閾値以下になるまで分割を繰り返している。また
、閾値には、正対応経路と誤対応経路が異なる部分集合に分類されるように、十分 小さな値を経験的に与えることにしている。この処理 3により、各正対応経路に対応す る正対応経路集合と誤対応経路集合の分類が行えることとなる。
この処理 3の良くな 、結果として、ある経路に対応する投票結果が分割されたとして も、この過分割は検出経路情報を対象追跡に用いる際には特に問題にならないと考 える。その理由としては、対象追跡時に、あるカメラの座標 Xにおいて新たに対象が 検出された場合に、座標 Xを終点とする可能性のある全経路をこの対象の通過済経 路の候補として選び出し、これらの経路情報を統合して対象同定に必要な情報を得 るからである。過分割された経路情報は全て候補として選ばれることになる。 (4)処理 4：誤対応経路の除去処理 (S34)
上記処理 1乃至 3により S1' jから得られる各部分集合に含まれるベクトルの総数を求 めて、その数が (平均—標準偏差の 2.5倍)未満である部分集合を、投票数が極めて 小さ!ヽ誤対応経路として除去する。
処理 5：経路タイプとの比較処理 (S35)
上記処理 1乃至 4により、ほとんどのケースでは正対応経路のみを検出できることに なる。
しかし誤対応経路が極端に多い場合、前記処理 4により誤対応経路が除去し切れ ない可能性がある。そこで、本処理により、この除去し切れない誤対応経路を経路タ イブと比較処理することにより除去するのである。
例えば、始点と終点が ΙΝ·ΙΝ,または OUT · OUTとなる経路タイプ 1は、必ず始点と 終点の視野が異なることになる。よって、始点と終点が IN'IN,または OUT' OUTで、 かつ、始点と終点の視野が等 、経路は誤対応経路として除去できることとなるので ある。
[0053] 上記処理 1乃至 5は、全ての仮対応付け集合 jに対して行われる。その結果、得 られた各部分集合が、それぞれ一つの正対応経路に対応することになる。
以下の明細書においては、上記処理 1乃至 5から得られた正対応経路を RB' E={RB ' Ε |i {1, · ' · ,ΝΒ' Ε}})と表記することにする。 ΝΒ' Εはその始点カメラ Βと終点カメラ Ε における検出経路数である。また、経路 に分類された正対応経路集合 (すなわ ち上記処理 1乃至 5の部分集合)を TCSB' Eと表記することにする。
[0054] 上述の処理 1乃至 5で得られた正対応経路の中には、連続する検出目標経路が繋 力 て形成されている複合経路も含まれている。この過検出した複合経路は、同一 点を終点に有し、かつ異なる視野に始点を持つ経路集合の検出を行うことにより除去 できる。以下、複合経路の除去処理について説明する。
[0055] (複合経路の除去処理）
(a)処理 a
あるカメラ視野 Eが終点、かつ異なるカメラ視野 Bと Bを始点とする正対応経路の集 合を RBi' Eと RBj' Eと表した場合に、 RBi' E中の正対応経路 pに分類された対応付け集合 TCSBi' Eと RBj' E中の正対応経路 qに分類された対応付け集合 TCSBj' Eの中に、終
P q
点が同じ観測結果 (INZOUT情報）が含まれていると仮定して、終点が同じ ΙΝΖΟ UT情報の対応付けのうち、 TCSBi' E中の対応付けの始点終点間の経過時間のほう
P
が TCSBj' E中の対応付けのそれよりも長い場合には、前者に対応する経路 RBi' Eは q P
、後者に対応する経路 RBj' Eとその他の経路の複合経路である可能性が高いと判定 する。
(b)処理 b
上記処理 aでは対応付け集合の中の一つの対応付けでのみ判定を行って 、るため 、集合中の全対応付け同士を比較して複合経路の候補 RBi' Eとその構成経路 RBj' E
P q の関係を確認する必要がある。 TCS Eと TCS Eに含まれる対応付け間で、終点
P q
が同じで、かつ TCSBi' Eの対応付けの経過時間のほうが長い INZOUT情報の対応
P
付けの割合を計算する。この割合が閾値を超える場合、複合経路の候補 R Eを複
P
合経路とみなして除去するのである。
(c)処理 c
上記処理 a〜bを、全ての視野をカメラ視野 Eとみなして総力メラ数回だけ実行する。
[0056] 全力メラに対して処理を適用した後に、最終的に残る経路集合は、処理を行うカメラ の順序に依存することなく一定である。上記処理 a乃至 cによって、複合経路が全て 除去されることとなり、始点終点間の経過時間が最短の検出目標経路のみが残るの である。
以上の処理により、本発明に係る推定目標の 1つである全経路の検出が終了する。
[0057] (正対応投票結果からの対象追跡）
上述したように、本発明ではカメラ視野間を結ぶ経路を検出するために、入出点ぺ ァの投票を行っている。この投票結果の中で、各正対応経路に相当する正対応集合 中には、その経路の始点終点を通過した同一対象の INZOUT情報のペアが投票 されている。
すなわち、正対応集合中の各投票結果は、カメラ視野間を移動した対象の追跡結 果に相当する。従って、本発明は、経路検出の過程でオフラインの対象追跡を行うこ とができることが理解できょう。 [0058] (各視野と経路の特徴の推定ステップ： S4)
次に、各視野と経路の特徴の推定ステップ (S4)について説明する。各視野と経路 の特徴の推定ステップは、検出経路集合力 のカメラ視野間連結関係情報の推定処 理と、経路の始点情報と始点終点間の経過時間情報を取得処理力 構成される。 (1)検出経路集合力 のカメラ視野間連結関係情報の推定処理
検出された各経路は、上述した 5種類の経路タイプと比較してそれぞれに分類でき る。例えば、始点と終点が IN · IN,または OUT · OUTである全経路はタイプ 1の経路に 分類される。但し、重なりのあるカメラ視野関係をもれなく検出するためには、上述し たように経路以外の入出点ペアも分類対象とする必要がある。このため、本発明で分 類対象とするのは、全ての正対応経路集合である。
[0059] また、得られた 5種類の経路タイプ分類に基づ 、て、カメラ視野間の連結情報であ る経路のクラス VI情報とクラス V3情報を取得できるのである。
ここで、クラス VIとは、経路タイプ 1, 3を間に持つカメラ視野ペアには重なりがあり、 その他の視野の組み合わせ間には重なりがないというものである。
また、クラス V3とは、経路タイプ 5を間に持つ視野ペアの間には不可視経路が存在 し、その他の重なりのな!、視野ペア間には経路がな!ヽと!、うものである。
[0060] (2)経路の始点情報と始点終点間の経過時間情報を取得処理
次に、全経路の始点終点の平均座標データおよび分散データから経路の始点情 報と始点終点間の経過時間情報を取得処理について説明する。
各経路 rに分類された正対応経路の集合から、 rの始点と終点それぞれの平均 (X, y) μ Β , β Ε ,および共分散行列∑ Β , ∑ Εを求める。この平均座標と共分散行列 および集合中の正対応付けの数 Ncを重みとして、クラス R1情報 (すなわち、カメラ 視野 CEの画像座標 PEにお 、て新たに対象が検出された際、カメラ視野 CBの座標 PB で、その対象が最後に観測されていた確率 P (CB, PB, CE, PE))は、以下に示す手
R1
順 (a)〜（c)により求める。
[0061] (a)カメラ視野 CEに終点を持つ全経路 R'' E=R'' E , · · · , R' E (R'' Eは終点のみ
1 N i
が決まって 、る経路を表す）につ 、て、経路 R'' Eの終点 E (平均座標が E ,共分 散行列が∑E )の座標が、新検出座標 PEとなる確率 Q(PE, β Ε , ∑Ε)を正規分布と 仮定し、下記数 1により求めるものである。また、この Q(PE, ∑Ε)に重み Νをか
Figure imgf000021_0001
けたちの総和を用いて、新検出座標 ΡΕが経路 R''Eの終点 Ε に対応する確率 P(PE,
i Pi
E )を下記数 2により求める。
Pi
[0062] [数 1]
Q ( exp (Ρ— ∑—丄 (Ρ— /1
Figure imgf000021_0002
[0063] [数 2]
Figure imgf000021_0003
[0064] (b)経路 R'， の中で、カメラ視野 CBに始点を持つ経路の集合を RB， E =RB'E I, ··· , '15とすると、上記処理（1)と同様に、 '15中の全経路について、経路 '15の始 点 B の座標が PBとなる確率 Q(PB, ∑Β)を上記数 1により求めることができる。
Figure imgf000021_0004
[0065] (c)この確率 Qに同一経路の確率 Pをかけた値の総和力 本発明に係る推定法の 目的であるクラス R1情報となるのである。クラス R1情報は下記数 3により得ることがで きる。
[0066] [数 3]
B E
Ριιι(€Β,ΡΒ,σ ΡΕ) = > Ρ(ΡΕ,Ερ^(Ρ" μ^Έ
=1
[0067] 以上説明したように、全経路の始点終点の平均座標 ·共分散と観測された対応付 け総数から、あらゆる視野'座標同士を始点終点と見なした際のクラス R1情報を推定 可能である。
一方、クラス R2情報は、各経路 rに投票された正対応経路の集合中の始点終点間 の移動に要した経過時間の平均 μ Εおよび分散 σ Ε力 算出することが可能で める。 上記数 1に基づいて算出される Q(T, ^β'Ε γ, σΒ'^)力 この経路 rの移動に要する 時間が Tである確率を表して 、る。
対象追跡時にクラス R情報を利用する際には、クラス R1情報カゝら得られた確率とク ラス R2情報力 得られた確率をかけあわせた P (CB, PB, CE, PE)-Q(T, μΒ·Ε, σΒ
Rl r
' 1 ^を、対象がカメラ視野 CBの座標 PBからカメラ視野 CEの座標 PEに移動し、かつその 経過時刻が Tであった確率として得ることができるのである。
実施例 1
INZOUT情報の仮対応付けの獲得について、図 6を参照して説明する。図 6は、 カメラ 3台が 2種類の対象軌跡を観測している場合を表しており、検出目標である経 路は、 ΙΝ1·ΙΝ2, IN2-OUT1, OUT1-OUT2, IN4-OUT4, OUT4-IN3, IN3-OUT3の 6 種類となる。
上述したように、本発明に係る推定法では、まず視野への対象の入出を大量に観 測して得られる INZOUT情報間の中で、各 INZOUT情報をその観測時間よりも以 前に検出された全力メラの全 INZOUT情報とペアとして対応づけ、それぞれを仮に 経路の終点 ·始点と見なすことにして 、る。
十分に長時間離れて観測された INZOUT情報同士の対応付けを考慮する必要 はなく、観測時刻の間隔がある閾値以内の INZOUT情報の対応付けのみを考慮 すれば十分であることから、図 6の場合では、最長経路に相当する OUT4'IN3の経路 の通過に要する時間に若干の余裕をカ卩えた時間を閾値として与えることとするのであ る。
また、上述したように、 INZOUT情報の仮対応付け集合は、その始点および終点 の INZOUT情報が観測されたカメラに応じてそれぞれ独立の仮対応付け集合とし て取り扱うため、図 6の場合のように 3台のカメラ (カメラ 1〜3)があるとすると、カメラ 1· カメラ S S1'2),カメラ 1·カメラ 1'3),カメラ 2·カメラ 3 (S2'3),カメラ 2·カメラ KS2'1 ),カメラ 3·カメラ KS3'1),カメラ 3 ·カメラ 2 (S3' 2),カメラ 1·カメラ KS1'1),カメラ 2· カメラ 2 (S2' 2) ,カメラ 3 ·カメラ 3 (S3' 3)の 9通りの組み合わせ (カメラ数 Nに対しては
N
P +N個の始点終点のカメラペア）の仮対応付け集合が存在することになるのである [0069] 次に、図 6の場合を例にして、全入出点を仮対応付けた視野間の通過時間の投票 の具体例について、図 7— 1,図 7— 2を参照して説明する。
図 7—1,図 7— 2は，図 6に示したケースを観測した際に得られる仮対応付け集合 を、各始点終点のカメラペアごとにヒストグラム (横軸が経路間の経過時間，縦軸が観 測回数)表示した結果である。
図 7— 1,図 7— 2に示すように、通過時間の均一性から、正対応経路の通過時間 に相当する投票数は顕著に大きな値を示すことが理解されよう。
図 7—1,図 7— 2の例中、楕円で囲まれたピークが、推定目標である経路に対応し 、その他のピークは複合経路である。
[0070] 次に図 8は、図 6の場合を観測した際に得られる仮対応付け集合の例を示している 。図 8の中の矢印は、仮対応付け集合の例を図示している。ここで、図 8 (a)は集合 S1 ' 2中の対応付けを、図 8 (b)は集合 S2' 2中の対応付けを示している。図 8中の" False correspondence"が誤対応経路の投票結果例であり、こうした誤対応経路が各集合 jは任意のカメラ識別子）中に含まれているのである。
実施例 2
[0071] (シミュレーション実験結果）
実施例 2は、シミュレーションにより、対象検出座標とカメラ視野間移動時間の誤差 やばらつき、および同時に移動する対象数に応じて、本発明による経路検出結果が 、理想値からどのように変化するのかを確認し、本発明の頑健性を検証するものであ る。図 9は、実施例 2のシミュレーション実験で用いた観測シーン全体の鳥瞰図を示し ている。これは、平面シーン上の対象の移動を上方力も鉛直下向のカメラで観測して いる状況を模している。矩形 Vi (i≡ {1, 2 · · · , 12})がカメラ Ciの視野（640 X 480pi xelの撮像範囲に対応）を表し、点線が対象の移動軌跡を表している。観測ノイズお よび対象の移動軌跡のばらつきがない場合、すなわち理想的な条件下での検出目 標となる経路数は 78 (37の双方向経路と 4の一方向経路)である。
[0072] 上記実験設定の下で、以下の 3種類の実験を行っている。
( 1 )実験 1：対象検出座標のばらつきによる経路数の増減を確認
対象検出座標のばらつきは，環境中における実際の対象移動のばらつきと画像か らの検出の誤差によって生じるのである力 本実験 1では両方の要因をまとめて観測 画像上における真の軌跡からのばらつきによって表現するものとしている。このばら つきは X, y座標独立に正規分布を仮定して与えることとした。
(2)実験 2：対象速度のばらつきによる経路数の増減を確認
対象速度のばらつき表現のため、環境中における各対象の移動速度にはある基準 速度値を正規分布に基づいて変化させた値を与えることとした。
(3)実験 3：同時観測する対象数による経路数の増減を確認
[0073] 実験 1の結果を表 1に、実験 2の結果を表 2に、実験 3の結果を表 3に示す。ここで、 表中の経路数の欄には、理想値の 78本の経路力ゝらの増減 (+, -)と誤対応経路の本 数（下線付の値）が示されており、下表 3中の成功率の欄には、経路検出の結果得ら れる対象追跡結果にぉ 、て true-positiveの対応付けのみが 1つ得られた確率（単位 は％)が示されている。但し、同時観測対象数が 1体のみである実験 1と 2での成功率 は当然 100%になるので省略することにしている。
[0074] [表 1]
Figure imgf000024_0001
[0075] [表 2]
Figure imgf000024_0002
[0076] [表 3]
Figure imgf000024_0003
上記表中の「座標分散」， 「速度分散」，および「同時観測数」は、それぞれ検出され た入出 (X, y)座標 [pixel]の分散，シーン中の対象移動速度の分散，および単位時間 内に各画像で観測される対象入出数の平均値である。
また、上記表 1〜3中の対象検出座標のばらつきは、 X, y座標独立に正規分布を 仮定して与えた。また、対象速度のばらつき表現のため、環境中における各対象の 移動速度には、ある基準速度を正規分布に基づいて変化させて値を採用した。 また、各実験では変化させるパラメータによる影響のみを確認するため、変化パラメ ータ以外は「検出座標の分散は Opixel」「全対象の移動速度は一定」「同時観測する 対象検出数は 1」として、閾値は適切な一定値を、全実験を通して採用するといぅ条 件で行った。
[0078] 図 10に、実施例 2のシミュレーションにおける検出経路の増減の例を示す。（a)は 実験 1, (b)は実験 2, (c)は実験 3における検出経路の増減を示す。
実験 1での経路減少については、図 10 (a)における視野 V 力 V に入る理想経
9 10
路（図 10 (a)左図中の P ·Ρ と Ρ ·Ρ )の終点座標がばらつきにより混在して観測さ
1 2 1 5
れており、その結果、視野 V力 V に入る経路が一つに統合されたものである（右
9 10
図中の ρ ·ρ )。一方、この ρ付近を始点にして視野 V から V に入る経路の終点 Ρ
1 2 2 10 11
と ρ の距離は十分に離れているため、この二つの経路は多少の観測点のばらつき
3 6
が生じても独立に検出される。このとき Ρ付近で観測される IN情報は、終点が Pとな
2 3 る始点と Pになる始点の二種類（図 10 (a)右図中の P" と P ' )に分類され、経路 P'
6 2 2
•Pと P" ·Ρが構成される。
2 6 2 3
[0079] 実験 1での経路増加については、図 10 (a)におけるばらつきにより左図の点 Ρから
5
Ρに移動する際に視野 V を通らない軌跡が観測されたため、経路 Ρ' ·Ρ ' (図 10 (
8 11 2 6 a)右図中）が新たに検出されたものである。
[0080] 実験 2での経路増加については、図 10 (b)における対象の移動速度のばらつきに より点 P力 P (図 10 (b)左図中）への経過時間がばらついた結果、経路が経過時
1 2
間の異なる Ρ ·Ρと Ρ' ·Ρ ' (図 10 (b)右図中）に分割されたものである。
1 2 1 2
[0081] 実験 3での経路増加については、図 10図（c)における同時に観測される INZOU Τ情報が増加したため、 Ρ における IN情報、 P における OUT情報の誤対応が除
2 1
去しきれず、誤対応経路 P ·Ρ
2 1が検出されてしまったものである。この結果，視野 V
6と
Vが重なりありと判断されたものと考える。 [0082] 上記結果力も経路検出に関する以下の特徴が確認できることが理解できる。
実験 1の結果からは、検出座標のばらつきは検出経路の増カロ'減少を起こすものの
、誤対応は生じないことが確認できる。
実験 2の結果からは、対象速度のばらつきにより経路減少は起らないし、また、誤対 応も生じな 、ことが確認できる。
実験 3の結果からは、画像内への対象入出頻度の増加は誤対応経路の増加を起 こし、誤対応が検出されると、カメラ視野間の関係推定にも誤りが生じてしまうものの、 入出頻度が極端に大きくならない限り、本発明は安定に経路検出が可能であること が確認できる。
[0083] 検出経路数の増減値は、 LBGアルゴリズムによる仮対応付け集合分類の停止のた めの閾値によって変化するが、経路増減に関する特徴は不変である。この増減の中 で、誤対応経路以外の増減経路は、観測ノイズの影響で入出点の分類が増減した 結果に対応している。この増減は、 LBGアルゴリズムの閾値設定による経路の増減と 同じぐ推定結果を対象検出に適用する際には問題とならない。問題となるのは誤対 応経路の本数であり、これが増えるほど実際にはあり得ない対象経路を考慮して対 象追跡の絞り込が行われるため、追跡失敗の原因となってしまう。
よって、検出座標，および対象の移動速度がばらついたとしても、推定結果は後の 対象追跡に対して有用な情報を提供できることが確認できた。
[0084] また、上記表 3の結果から、経路検出の結果として得られた対象追跡結果の成功率 は、誤対応経路が検出されて ヽる場合を除 ヽて極めて高 ヽことが確認できる。
実施例 3
[0085] 実施例 3では、図 11のように、 12台のカメラ C〜C を分散配置した屋内環境下で
1 12
、本発明の動作を確認した。全てのカメラは非同期撮影を行っているが、各カメラの 撮影を制御するコンピュータの内部時計を同期させることにより、全画像の観測時刻 を既知としている。
撮影は平日 3日間の日中（AM9 : 00〜PM7 : 00)に実施した。 日中の間は、約 30 0人程度の人数が日常の活動を行っていた。
各カメラにお 、て 1秒間隔で撮影した 320 X 240pixelの画像系列を入力として本発 明の動作を確認している。先ず公知の手法により前景抽出した後、抽出画素の近接 性に基づいて検出した各対象領域の重心を対象座標と擬制した。また、観察画像内 の対象追跡は、単純な座標の近接性と領域サイズの類似性に基づいて実施した。観 察対象はすべて歩行者であり（但し、歩行速度にはばらつきがある。）、各カメラの各 観測画像系列において検出された対象の入出数は、カメラ C〜C の順に 7238, 79
1 12
10, 11789, 13782, 12376, 6792, 7067, 7856, 8178, 12574, 12456, 12786であった。
[0086] 図 12に、カメラの観測画像における歩行者のカメラ視野への入出の検出例を示す 。ここで、図 12 (a)はカメラ Cの視野内の追跡成功例を示しており、図 12 (b)はカメラ
2
Cの視野内の追跡失敗例を示している。図 12 (a) (b)共に、カメラを床から 2.2m程 度の高さで、水平より若干下向きに設置したカメラの観察画像である。
水平より若干下向きに設置したカメラ画像の場合、対象を真上から観測した画像（ 例えば、図 11におけるカメラ C , C , C の観察画像)と比較して安定な対象が難
10 11 12
しい。例えば、図 12 (b)で、（画像 1)で IN検出された対象 Aと、（画像 2)で IN検出さ れた対象 Bが、（画像 3)において重なったため対象 Aと対象 Bとを識別することが不 可能になってしまった。この結果、（画像 4)で対象 Aの OUT情報を誤って対象 Bの O UT情報とみなしている。
[0087] しかし、本発明の連結関係推定法の入力情報である INZOUT情報には対象 ID が含まれないため、このような対象追跡の失敗は全く影響がないのである。上述した ように、本発明の連結関係推定法で重要な入力情報は、対象の入出座標と時刻の みである。図 12 (a) (b)で示されるように、対象 Aおよび Bの短時間の追跡には成功 しており、対象の IN/OUT情報が得られている。但し、入出時に複数の対象が画像 中で重なっている場合、検出座標は真の座標力 多少ずれてしまう。
[0088] この INZOUT情報から、 130の経路（59の双方向経路と 12の一方向経路）が検 出された。各経路に分類された正対応投票数の平均は 2139であった。
図 13に実施例 3の検出経路の例を示す。楕円と矢印がそれぞれ始点ゃ終点の位 置'分散と始点終点の対応付けを表し、矢印上の数字が経路間の平均経過時間を 示している。また、矢印の太さはその経路に投票された対応付けの数に比例している 。図 13中、過分割とみなせる経路は 1本にまとめ、異なる経路の近接した始点終点も 1つの楕円にまとめている。
なお、検出された経路を人手により観察画像と照合したところ、経路の過分割とみ なせる結果は数多く（40程度)存在したが、すべて実際の経路に対応しており誤検 出は見当たらなかった。また検出漏れも見当たらなかった。
[0089] 経路の検出結果力 クラス V情報が得られた。得られたクラス V情報を以下に示す。
•経路をもつ視野のカメラペア (VI)
C— C , C— C , C— C , 「C , C , C , C , C , C 中のすべての可能なペア
1 2 1 4 2 4 3 4 5 10 11 12
の組合せ」， C C , C C , C C , C C
6 7 7 8 7 9 8 9
•重畳領域をもつ視野のカメラペア (V2)
C— C , 「C , C , C , C , C , C 中のすべての可能なペアの組合せ」， C— C
1 2 3 4 5 10 11 12 6
, C C
7 8 9
[0090] 次に、クラス V情報と同様に得られたクラス R情報の一例（図 13の C , C , Cの観
5 2 1 察画像に関するもの）を以下に示す。
•R1
カメラ Cの観察画像中の点 Aの平均と分散は、それぞれ (56.1, 71.8)と (4.1, 2.2)
5
であった。
•R2
各経路の平均通過時間（秒）は図 13の観察画像中の矢印の数字で示した。
[0091] また、全観測シーケンスの中から対象のカメラ視野間移動をランダムに 300だけ抽 出し、経路検出時に得られた対象追跡結果と比較したところ、追跡失敗は 2つだけ存 在した。但し、本実験での対象検出では厳密な対象のセグメンテーションを行ってい ないため、対象検出時に複数人が近接している際にそれらが 1対象として検出される ことがある。本発明では、その群れ（1対象）を視野間で正しく対応付けることができて V、れば追跡成功と見なして 、る。
[0092] 次に、入力する INZOUT情報数と閾値設定の与える影響について検証を実施し た。本発明における閾値は、以下の（1)〜（3)の 3種類である。
(1)仮対応付けする INZOUT情報ペアの検出時刻の差の最大値
(2) LBGアルゴリズムによる仮対応付け分割終了判定の閾値 (3)複合経路検出の閾値
[0093] しかし、上記（1)仮対応付けする INZOUT情報ペアの検出時刻の差の最大値は 、人手で容易に決定可能であり、また、上記（3)複合経路検出の閾値は、閾値の変 ィ匕に対して結果は極めて安定であることは既に示していることから、ここでは、上記（2 ) LBGアルゴリズムによる仮対応付け分割終了判定の閾値の影響を実験的に評価し てみる。
[0094] 図 14のグラフは、 LBGアルゴリズムによる仮対応付け分割終了判定の閾値の影響 の実験結果を示している。ここで、図 14の（a)は、投票ペア数に対する正対応'誤対 応の検出径路率の増減を示しており、 (b)は閾値に対する正対応'誤対応の検出径 路率の増減を示している。
図 14 (a) (b)で示したグラフの縦軸は、共に、上述の実験結果における 130本の検 出経路を正解とみなした True-positive (正解経路を検出した割合 =検出した正解経 路数 Z正解経路数)と False-positive (正解経路以外を検出した割合 =誤検出した経 路数 Z正解経路数)を示して 、る。
また、図 14 (a)で示したグラフの横軸は、各経路に分類された INZOUT情報の対 応付け数の平均値 (投票ペア数)である。投票ペア数が 700を超えると、検出漏れ- 誤検出ともになくなって 、ることが示されて 、る。
また、図 14 (b)で示したグラフの横軸は、 LBGアルゴリズムによる分類の終了判定 の閾値である。但し、分類する 5次元ベクトルの各要素は 1に正規ィ匕している。 0.01〜 0.05付近で検出漏れ'誤検出ともになくなつていることが示されている。
[0095] しかし、閾値が 0.01未満になると誤検出が急増している。この要因としては、ほとん どの分割集合の要素数が極めて少なくなり、正対応と誤対応の集合の要素数に有意 差がなくなって、両者の識別が困難となったためであると考えられる。このことから、閾 値は小さ!/、ほどよ 、と 、つた極端な基準を用いた場合、適切な結果を取得することは 困難である。
[0096] 本発明において、複数対象がカメラ画像中で重なっている場合でも、各対象の重 心座標を正確に検出することにより、より安定した結果を得ることが可能である。
以上の実施例 3の結果から、本発明が実際の分散カメラ群の連結関係推定を実現 可能であることが確認できた。
産業上の利用可能性
[0097] 本発明に係る推定法によれば、多数カメラのキャリブレーションが自動化できるため 、例えば、広域分散配置された複数カメラによる継続的対象観測を必要とする全ての 実世界視覚システムに活用が期待される。具体的には、道路交通監視システムゃビ ル等のセキュリティシステムなどに有用である。
図面の簡単な説明
[0098] [図 1-1]分散カメラシステムの観測視野の説明図
[図 1-2]分散カメラシステムの観測視野における対象の入出力点と経路の説明図 [図 2]本発明に係る広域分散カメラ視野間の連結関係推定法の全体処理フロー図 [図 3]カメラ視野の入出の組み合わせを示す図（ここで、楕円はカメラ視野を、矢印は 対象の軌跡を表す。 )
[図 4]複数の包含関係視野を通過する経路の一例を示す図
[図 5]正対応経路と誤対応経路の分類処理フロー図
[図 6]カメラ視野および観測対象経路の一例を示す図
[図 7-1]各カメラペアにおける視野間の時間の投票のヒストグラム（1)
[図 7-2]各カメラペアにおける視野間の時間の投票のヒストグラム（2)
[図 8]カメラ画像上に重畳表示された対応付け投票結果の集合図例
[図 9]実施例 2のシミュレーション実験で用いた観測シーン全体の鳥瞰図
[図 10]実施例 2のシミュレーションにおける検出経路の増減の例を示す図（図中、矢 印の元が理想的な検出結果を表し，矢印の先が観測結果に応じた検出経路の増減 を表している。）。（a)は実験 1, (b)は実験 2, (c)は実験 3における検出経路の増減 を示す。
[図 11]実施例 3における観測シーン全体の鳥瞰図と観測画像 (上 : 1階，下 : 2階） [図 12]実施例 3におけるカメラの観測画像における歩行者のカメラ視野への入出の 検出例を示す図で、（a)はカメラ Cの視野内の追跡成功例を示しており、（b)はカメ
2
ラ Cの視野内の追跡失敗例を示している。
[図 13]実施例 3における検出経路の一例を示す図 圆 14]LBGアルゴリズムによる仮対応付け分割終了判定の閾値の影響の実験結果 を示す図で、 (a)は投票ペア数に対する正対応'誤対応の検出径路率の増減を示し ており、 (b)は閾値に対する正対応'誤対応の検出径路率の増減を示している。

Claims

請求の範囲
[1] マルチカメラによる対象追跡における分散カメラ群の連結関係の推定プロセスにお いて、各カメラ視野内の対象入出点の検出ステップと;全入出点を対応づける投票ス テツプと；投票の始点終点座標および通過時間の類似性に基づ 、て正対応経路と 誤対応経路を分類するステップと；各視野と経路の特徴を推定するステップとを備え 、カメラの画像のみを用いて経路検出できることを特徴とする広域分散カメラ間の連 結関係推定法。
[2] 請求項 1に記載の広域分散カメラ間の連結関係推定法にお!、て、始点終点座標お よび通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップに おける分類は、始点座標，終点座標，および通過時間を少なくともベクトル要素に含 む多次元ベクトルの類似分類を用いることを特徴とする広域分散カメラ間の連結関係 推定法。
[3] 請求項 1に記載の広域分散カメラ間の連結関係推定法にお!、て、始点終点座標お よび通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップは、 同一の対象入出点を持つ投票を含んだ経路間で通過時間の大小に応じて経路とそ の複合経路とを分類することを特徴とする広域分散カメラ間の連結関係推定法。
[4] 請求項 1に記載の広域分散カメラ間の連結関係推定法における、各視野と経路の 特徴を推定するステップは、一方視野通過経路，単一視野横断経路，重畳領域通 過経路，ループ経路，不可視視野間経路の 5つの経路タイプと検出された正対応経 路との比較力 視野間の幾何学的関係を得ることを特徴とする広域分散カメラ間の 連結関係推定法。
[5] 請求項 1に記載の広域分散カメラ間の連結関係推定法における、各視野と経路の 特徴を推定するステップは、各経路に投票された始点終点座標集合カゝら経路座標の 確率的情報を推定するステップと、各経路に対応する投票の通過時間集合から経路 通過時間の確率的情報を推定するステップとを少なくとも備えたことを特徴とする広 域分散カメラ間の連結関係推定法。
[6] 請求項 1乃至請求項 5のいずれかに記載の広域分散カメラ間の連結関係推定法を 少なくとも含む対象検出および追跡法。
[7] 請求項 1乃至請求項 5のいずれかに記載の広域分散カメラ間の連結関係推定法を コンピュータに実行させることを特徴とする広域分散カメラ間の連結関係推定プログ ラム。
[8] 請求項 7に記載の広域分散カメラ間の連結関係推定プログラムを格納したことを特 徴とするコンピュータ読み取り可能な記憶媒体。
PCT/JP2006/317067 2005-08-30 2006-08-30 広域分散カメラ間の連結関係推定法および連結関係推定プログラム WO2007026744A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007533280A JP4852765B2 (ja) 2005-08-30 2006-08-30 広域分散カメラ間の連結関係推定法および連結関係推定プログラム
US11/991,137 US20090268033A1 (en) 2005-08-30 2006-08-30 Method for estimating connection relation among wide-area distributed camera and program for estimating connection relation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005249549 2005-08-30
JP2005-249549 2005-08-30

Publications (1)

Publication Number Publication Date
WO2007026744A1 true WO2007026744A1 (ja) 2007-03-08

Family

ID=37808829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/317067 WO2007026744A1 (ja) 2005-08-30 2006-08-30 広域分散カメラ間の連結関係推定法および連結関係推定プログラム

Country Status (3)

Country Link
US (1) US20090268033A1 (ja)
JP (1) JP4852765B2 (ja)
WO (1) WO2007026744A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175836A1 (ja) * 2012-05-23 2013-11-28 ソニー株式会社 監視カメラ管理装置、監視カメラ管理方法およびプログラム
WO2014050432A1 (ja) * 2012-09-27 2014-04-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP2014155159A (ja) * 2013-02-13 2014-08-25 Nec Corp 情報処理システム、情報処理方法及びプログラム
EP2843591A1 (en) 2013-08-29 2015-03-04 Hitachi Ltd. Video monitoring system, video monitoring method, and video monitoring system building method
WO2021166032A1 (ja) * 2020-02-17 2021-08-26 日本電信電話株式会社 デバイス間位置関係推定装置、デバイス間位置関係推定方法およびプログラム
CN117725137A (zh) * 2023-08-25 2024-03-19 荣耀终端有限公司 相似路径匹配方法及电子设备

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101187909B1 (ko) * 2007-10-04 2012-10-05 삼성테크윈 주식회사 감시 카메라 시스템
KR20100094570A (ko) * 2007-12-11 2010-08-26 콸콤 인코포레이티드 카메라 지원 ｇｎｓｓ 방법 및 수신기
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
JP5570176B2 (ja) * 2009-10-19 2014-08-13 キヤノン株式会社 画像処理システム及び情報処理方法
JP2011128992A (ja) * 2009-12-18 2011-06-30 Canon Inc 情報処理装置およびその処理方法
US8463772B1 (en) * 2010-05-13 2013-06-11 Google Inc. Varied-importance proximity values
CN102263932A (zh) * 2010-05-27 2011-11-30 中兴通讯股份有限公司 视频监控阵列控制的方法、装置及系统
CN102831615A (zh) * 2011-06-13 2012-12-19 索尼公司 对象监控方法和装置,以及监控系统操作方法
AU2011265430B2 (en) * 2011-12-21 2015-03-19 Canon Kabushiki Kaisha 3D reconstruction of partially unobserved trajectory
US10609335B2 (en) * 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
US9641763B2 (en) * 2012-08-29 2017-05-02 Conduent Business Services, Llc System and method for object tracking and timing across multiple camera views
US9280833B2 (en) 2013-03-05 2016-03-08 International Business Machines Corporation Topology determination for non-overlapping camera network
US8913791B2 (en) 2013-03-28 2014-12-16 International Business Machines Corporation Automatically determining field of view overlap among multiple cameras
JP6187811B2 (ja) * 2013-09-09 2017-08-30 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US20160182814A1 (en) * 2014-12-19 2016-06-23 Microsoft Technology Licensing, Llc Automatic camera adjustment to follow a target
US20160379074A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
US10088549B2 (en) * 2015-06-25 2018-10-02 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
KR102334767B1 (ko) * 2015-07-23 2021-12-02 한화테크윈 주식회사 네트워크 카메라 제어 장치 및 방법
US10318836B2 (en) 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US11601583B2 (en) 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US10192414B2 (en) * 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
CN106023253B (zh) * 2016-05-18 2019-02-12 杭州智诚惠通科技有限公司 一种城市目标轨迹追踪的方法
CN106303442B (zh) 2016-08-26 2020-05-26 浙江大华技术股份有限公司 追踪路径拓扑结构建立方法、目标对象追踪方法及设备
EP3428884B1 (en) * 2017-05-12 2020-01-08 HTC Corporation Tracking system and tracking method thereof
CN111291585B (zh) * 2018-12-06 2023-12-08 杭州海康威视数字技术股份有限公司 一种基于gps的目标跟踪系统、方法、装置及球机
CN110717474B (zh) * 2019-10-18 2022-07-26 阿波罗智能技术(北京)有限公司 目标关联计算方法、装置、设备和介质
CN113473091B (zh) * 2021-07-09 2023-04-18 杭州海康威视数字技术股份有限公司 摄像机关联方法、装置、系统、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325695A (ja) * 2000-05-17 2001-11-22 Mitsubishi Electric Corp 交通流監視装置
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法
JP2005012415A (ja) * 2003-06-18 2005-01-13 Matsushita Electric Ind Co Ltd 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325695A (ja) * 2000-05-17 2001-11-22 Mitsubishi Electric Corp 交通流監視装置
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法
JP2005012415A (ja) * 2003-06-18 2005-01-13 Matsushita Electric Ind Co Ltd 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175836A1 (ja) * 2012-05-23 2013-11-28 ソニー株式会社 監視カメラ管理装置、監視カメラ管理方法およびプログラム
JPWO2013175836A1 (ja) * 2012-05-23 2016-01-12 ソニー株式会社 監視カメラ管理装置、監視カメラ管理方法およびプログラム
US9948897B2 (en) 2012-05-23 2018-04-17 Sony Corporation Surveillance camera management device, surveillance camera management method, and program
WO2014050432A1 (ja) * 2012-09-27 2014-04-03 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
US9589192B2 (en) 2012-09-27 2017-03-07 Nec Corporation Information processing system, information processing method, and program
JP2014155159A (ja) * 2013-02-13 2014-08-25 Nec Corp 情報処理システム、情報処理方法及びプログラム
EP2843591A1 (en) 2013-08-29 2015-03-04 Hitachi Ltd. Video monitoring system, video monitoring method, and video monitoring system building method
US9648286B2 (en) 2013-08-29 2017-05-09 Hitachi, Ltd. Video monitoring system, video monitoring method, and video monitoring system building method
WO2021166032A1 (ja) * 2020-02-17 2021-08-26 日本電信電話株式会社 デバイス間位置関係推定装置、デバイス間位置関係推定方法およびプログラム
JPWO2021166032A1 (ja) * 2020-02-17 2021-08-26
JP7287564B2 (ja) 2020-02-17 2023-06-06 日本電信電話株式会社 デバイス間位置関係推定装置、デバイス間位置関係推定方法およびプログラム
CN117725137A (zh) * 2023-08-25 2024-03-19 荣耀终端有限公司 相似路径匹配方法及电子设备

Also Published As

Publication number Publication date
JP4852765B2 (ja) 2012-01-11
JPWO2007026744A1 (ja) 2009-03-12
US20090268033A1 (en) 2009-10-29

Similar Documents

Publication Publication Date Title
JP4852765B2 (ja) 広域分散カメラ間の連結関係推定法および連結関係推定プログラム
US8254633B1 (en) Method and system for finding correspondence between face camera views and behavior camera views
US9569531B2 (en) System and method for multi-agent event detection and recognition
Ni et al. Multilevel depth and image fusion for human activity detection
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
Bondi et al. Real-time people counting from depth imagery of crowded environments
CN110517292A (zh) 目标跟踪方法、装置、系统和计算机可读存储介质
US20120274781A1 (en) Marginal space learning for multi-person tracking over mega pixel imagery
US20080123900A1 (en) Seamless tracking framework using hierarchical tracklet association
CN111402294A (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
Chen et al. A joint estimation of head and body orientation cues in surveillance video
CN102243765A (zh) 基于多相机的多目标定位跟踪方法及系统
Khan et al. Tracking in uncalibrated cameras with overlapping field of view
Stahlschmidt et al. Applications for a people detection and tracking algorithm using a time-of-flight camera
Li et al. Robust multiperson detection and tracking for mobile service and social robots
Denman et al. Automatic surveillance in transportation hubs: No longer just about catching the bad guy
Alahi et al. Tracking millions of humans in crowded spaces
CN114581990A (zh) 一种跑步智能测试方法以及装置
Ko et al. Rectified trajectory analysis based abnormal loitering detection for video surveillance
JP2015210823A (ja) 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
CN114092956A (zh) 门店客流统计方法、装置、计算机设备和存储介质
Bek et al. The crowd congestion level—A new measure for risk assessment in video-based crowd monitoring
CN111062294B (zh) 一种客流排队时间的检测方法、装置及系统
WO2019156599A1 (en) System and method of people's movement control
Shamoushaki et al. A high-accuracy, cost-effective people counting solution based on visual depth data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007533280

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 11991137

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06797042

Country of ref document: EP

Kind code of ref document: A1