WO2004057537A1 - 画像における移動物体の追跡方法及び装置 - Google Patents

画像における移動物体の追跡方法及び装置 Download PDF

Info

Publication number
WO2004057537A1
WO2004057537A1 PCT/JP2003/016058 JP0316058W WO2004057537A1 WO 2004057537 A1 WO2004057537 A1 WO 2004057537A1 JP 0316058 W JP0316058 W JP 0316058W WO 2004057537 A1 WO2004057537 A1 WO 2004057537A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
moving object
motion vector
block
time
Prior art date
Application number
PCT/JP2003/016058
Other languages
English (en)
French (fr)
Inventor
Shunsuke Kamijo
Masao Sakauchi
Original Assignee
The Foundation For The Promotion Of Industrial Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The Foundation For The Promotion Of Industrial Science filed Critical The Foundation For The Promotion Of Industrial Science
Priority to US10/540,217 priority Critical patent/US7929613B2/en
Priority to CA002505563A priority patent/CA2505563A1/en
Priority to EP03778936.9A priority patent/EP1574992B1/en
Priority to AU2003289096A priority patent/AU2003289096A1/en
Publication of WO2004057537A1 publication Critical patent/WO2004057537A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to a moving object tracking method and apparatus for processing a time-series image to track a moving object (a movable object such as a car, a bicycle, or an animal) in the image.
  • a moving object a movable object such as a car, a bicycle, or an animal
  • the recognition automation is expected. In order to raise the recognition rate of traffic accidents, it is necessary to process images captured by cameras and accurately track moving objects.
  • each image is divided into blocks each composed of, for example, 8 ⁇ 8 pixels, and each block is compared with the corresponding block of the background image. Is used to determine the presence or absence of a moving object.
  • an object of the present invention is to provide a method and apparatus for tracking a moving object in an image, which can track the moving object with a smaller number of temporarily stored time-series images. Is to provide.
  • Another object of the present invention is to provide a method and an apparatus for tracking a moving object in an image, which can improve the boundary recognition accuracy of the moving object without making it difficult to determine a motion vector. It is in.
  • Yet another object of the present invention is to provide an image processing method that does not require a special background image. To provide a tracking method and apparatus for a moving object.
  • each image is divided into blocks each including a plurality of pixels, and an identification code of the moving object is blocked. If the motion vector of the moving object is obtained in units of blocks and the motion vector of the moving object is obtained in units of blocks,
  • each object can be traced back in time before one cluster is separated into a plurality of objects.
  • the storage capacity of the image memory can be reduced, and the load on the CPU can be reduced by reducing the amount of image processing.
  • each image is divided into blocks each including a plurality of pixels, and the motion of the moving object If the vector is determined in block units and there is a first block whose motion vector is undetermined,
  • each image is divided into blocks each including a plurality of pixels.
  • the motion vector of the moving object is obtained in units of blocks while the identification code of
  • the motion vector and the identification code ID are determined rationally simultaneously. can do.
  • step (c) It may be a step.
  • the quantity relating to the degree of correlation in step (c) is, for example,
  • MVneigher is a motion vector of a block having the same ID as the identification code ID of the block BLK among the blocks around the block BLK, and ⁇ means the sum of the blocks having the same ID.
  • L is the number of blocks having the same ID,
  • each image is divided into blocks each including a plurality of pixels.
  • the motion vector of the moving object is obtained in units of blocks while the identification code of
  • the motion vector from the block size region of the image at time t1 to the target block of the image at time t2 is estimated as MV, and the motion vector is larger than the block size region.
  • the amount of similarity between the image of the first region concentric with the region of the same size and the image of the second region having the same shape as the first region and concentric with the block of interest is obtained,
  • the value of the evaluation function including the quantity relating to the similarity is obtained for each area by moving the first area within a predetermined range, and the motion vector MV is determined based on a substantially optimum value of the value.
  • an on-image moving object tracking method for processing a time-series image to track a moving object in the image
  • the background image is also regarded as one of the moving objects, and the identification code of the moving object is assigned in block units, and the motion vector of the moving object is obtained in block units. According to this configuration, it is not necessary to use a special background image, and the background image can be identified even if the camera shakes.
  • each image is divided into blocks each including a plurality of pixels
  • a plurality of object maps in which the motion vector of a moving object at a certain time is obtained in units of blocks are stored at different times, and
  • a motion vector of a region in which the region of interest has been moved in the positive or negative direction by the obtained motion vector is obtained based on an op map at a time after the movement, and the moved region is obtained as the motion vector.
  • the step (b) is repeated a plurality of times as a target area on the object map at the time after the movement, thereby tracking the target area.
  • FIG. 1 is a diagram schematically showing an intersection and a moving object tracking device according to a first embodiment of the present invention disposed at the intersection.
  • FIG. 2 is a functional block diagram of the moving object tracking device in FIG.
  • FIG. 3 is an explanatory diagram showing the slits set at the four entrances to the intersection and the four exits from the intersection in the frame image, and IDs of the moving objects given to the blocks, respectively.
  • FIG. 4 are diagrams schematically showing images at times t_1 and t, respectively, together with block boundaries.
  • FIG. 5 are diagrams schematically showing images at times t11 and t together with pixel boundaries.
  • FIG. 6 are diagrams schematically showing the images at times t11 and t together with the motion vector assigned to the block.
  • FIG. 7 are diagrams schematically illustrating a motion vector and an object boundary assigned to the object map at times t11 and t, respectively.
  • FIG. 8 is a flowchart showing a method for estimating an undetermined motion vector.
  • FIG. 11 is a flowchart showing a method for creating an object map according to the second embodiment of the present invention.
  • FIG. 12 are explanatory diagrams of the spatiotemporal texture correlation degree.
  • FIG. 13 are explanatory diagrams of the spatial ID correlation degree.
  • FIGS. 15A and 15B are diagrams showing experimental results of the second embodiment of the present invention
  • FIGS. 15A and 15B are diagrams showing an image taken at an intersection and an object map of its ID, respectively. .
  • FIGS. 16A and 16B are diagrams showing experimental results of the second embodiment of the present invention, wherein FIGS. 16A and 16B show a low-angle photographed image on an expressway and an object map of its ID, respectively.
  • FIG. 16A and 16B show a low-angle photographed image on an expressway and an object map of its ID, respectively.
  • FIGS. 17A and 17B are diagrams showing the experimental results of the second embodiment of the present invention, in which (A) and (B) show an image taken at a pedestrian crossing and an object map of this and an ID, respectively. It is a figure showing the image which superimposed on the mesh of the ID giving part.
  • FIG. 18 is a flowchart showing a method of determining whether or not the object boundary for dividing a cluster has been determined according to the third embodiment of the present invention.
  • FIG. 19 are diagrams for explaining the processing of FIG. 18.
  • FIG. 20 is an explanatory diagram of block matching according to the fourth embodiment of the present invention, in which (A) and (B) are diagrams schematically showing images at times t11 and t together with block boundaries. It is.
  • FIGS. 21A and 21B are diagrams for explaining the fifth embodiment of the present invention, wherein FIG. 21A is a diagram schematically showing an image, and FIG. FIG. 4 is a diagram showing an object map of a required motion vector.
  • FIG. 22 are views for explaining the fifth embodiment
  • (A) is a diagram showing an object map of the motion vector determined in the second stage.
  • (B) is a diagram showing an ID object map.
  • FIG. 23 is a diagram showing a time-series object map for describing a sixth embodiment of the present invention for tracking a region of interest.
  • FIG. 24 are explanatory diagrams of a method of tracking a region of interest by going back in time.
  • FIG. 26 is a diagram showing a histogram of the absolute value of the motion vector for one cluster.
  • FIG. 27 is a flowchart showing an op-nect boundary recognition method according to the eighth embodiment of the present invention.
  • FIG. 28 is a diagram schematically showing a time-series image captured by a camera installed above the center line of the road.
  • FIG. 1 schematically shows an intersection and a moving object tracking device according to a first embodiment of the present invention disposed at the intersection.
  • This device includes an electronic camera 10 that captures an intersection and outputs an image signal, and a moving object tracking device 20 that processes the image to track a moving object.
  • FIG. 2 is a functional block diagram of the moving object tracking device 20.
  • the components other than the storage unit can be configured by computer software, dedicated hardware, or a combination of computer software and dedicated hardware.
  • a time-series image captured by the electronic camera 10 is stored in the image memory 21 at a rate of, for example, 12 frames Z seconds, and the oldest frame is rewritten with a new frame image.
  • the image conversion unit 22 copies each frame image in the image memory 21 to the frame buffer memory 23, and uses the copied image data to generate a corresponding frame in the image memory 21. Convert the image to a spatial difference frame image. This conversion is performed in two stages.
  • the pixel value (luminance value) of the i-th row and the j-th column of the original frame image is G (i, j)
  • the pixel value H (i, j) of the i-th row and the j-th column after conversion in the first stage Is given by You.
  • C a natural number.
  • c l
  • the i-th row and j-th column This is the sum of the eight pixels adjacent to the pixel.
  • the pixel value G (i, j) and its neighboring pixel values G (i + di, j + dj) change in the same way, so that the image of H (i, j) Invariant.
  • H (i, j) is normalized as follows.
  • H (i, j) ⁇ I G (i + d i, j + d j)
  • Gi, j, max is the value of the original pixel used to calculate H (i, j)
  • Gmax can be a pixel value G (i, j)
  • the maximum value for example, 255 if the pixel value is represented by 8 bits.
  • This H (i, j) is converted to I (i, j) by the following equation using a sigmoid function.
  • the image conversion unit 22 converts the image having the pixel value G (i, j) into a spatial difference frame image having the pixel value I (i, j) based on the above equations (2) and (3). Stored in image memory 21.
  • the background image generation unit 24, the ID generation / disappearance unit 25, and the moving object tracking unit 27 perform processing based on the spatial difference frame image in the image memory 21.
  • the spatial difference frame image is simply referred to as a frame image.
  • the background image generation unit 24 includes a storage unit and a processing unit.
  • the processing unit accesses the image memory 21 and, for example, obtains a histogram of pixel values for corresponding pixels of all frame images in the past 10 minutes.
  • An image having the mode value as the pixel value of the pixel is generated as a background image in which no moving object exists, and is stored in the storage unit.
  • the background image is updated by performing this process periodically.
  • the ID generation / deletion unit 25 includes slits EN 1 to EN N4 and EX 1 to EX 4 that are respectively arranged at four entrances to the intersection and four exits from the intersection in the frame image. Position and size data are set in advance.
  • the ID generation / destruction section 25 reads the image data in the input loss slits EN 1 to EN 4 from the image memory 21 and determines whether or not a moving object exists in these entrance slits in units of blocks.
  • the mesh cells in FIG. 3 are blocks, and one block is, for example, 8 ⁇ 8 pixels. When one frame is 480 ⁇ 640 pixels, one frame is divided into 60 ⁇ 80 blocks.
  • Whether or not a moving object exists in a certain block is determined based on whether or not the sum of absolute values of differences between each pixel in the block and a corresponding pixel in the background image is equal to or larger than a predetermined value. This determination is also performed by the moving object tracking unit 27.
  • ID generation Z annihilation unit 25 determines that a moving object exists in the block, it assigns a new object identification code (ID) to the block.
  • ID generation Z disappear
  • the unit 25 assigns the same ID to the adjacent block as the assigned block.
  • the ID is assigned to the corresponding block in the object map storage unit 26.
  • the object map storage unit 26 stores the object map of 60 ⁇ 80 blocks in the case described above, and each block is provided with a flag indicating whether or not an ID is provided, and an ID. In this case, the number and a block motion vector described later are added as block information. In addition, without using the flag, when ID-0, it may be determined that the ID is not assigned. Alternatively, the most significant bit of ID may be used as a flag.
  • the moving object tracking unit 27 assigns an ID to the block in the moving direction and erases the ID for the block in the direction opposite to the movement, that is, performs a cluster tracking process. .
  • the tracking processing by the moving object tracking unit 27 is performed up to the exit slit for each cluster.
  • the ID generation / deletion unit 25 further checks whether or not IDs are assigned to the blocks in the exit slits EX1 to EX4 based on the contents of the object map storage unit 26.
  • the annihilation ID can be used as the next generation ID.
  • the moving object tracking unit 27 stores the time stored in the object map storage unit 26.
  • an object map at time t is created in the storage unit 26.
  • this will be described.
  • FIG. 4 to 7 schematically show images at times t-1 and t.
  • the dotted lines in FIG. 4, FIG. 6 and FIG. 7 are block boundaries, and the dotted line in FIG. 5 is a pixel boundary line.
  • the block at the i-th row and j-th column is B (i, j) at time t.
  • the block at the i-th row and the j-th column in is denoted as B (t: i, j).
  • Movement vector of block B (t-1: 1, 4) Is the MV.
  • the correlation between the image of block B (t: 1, 5) and the image of block AX at time t-1 is shifted by one pixel in region AX within a predetermined range AM. Ask for each (block matching).
  • the range AM is larger than the block, one side of which is, for example, 1.5 times the number of pixels on one side of the block.
  • the center of the range AM is a pixel at a position where the center of the block B (t: 1, 5) has been moved by approximately one MV.
  • the correlation is, for example, a spatiotemporal texture correlation, and is assumed to be larger as the evaluation value UD, which is the sum of absolute values of the differences between the corresponding pixel values of the block B (t: 1, 5) and the area AX, is smaller.
  • the area AX where the degree of correlation is maximum within the range AM is found, and the vector starting from the center of this area and ending at the center of block B (1, 5) is the motion of block B (t: 1, 5). Determined as a vector. Also, the ID of the block at the time t-1 closest to the area AX where the degree of correlation is maximum is determined as the ID of the block B (t: 1, 5).
  • the moving object tracking unit 27 assigns the same ID to a block whose absolute value of the difference between the motion vectors of adjacent blocks is equal to or less than a predetermined value. As a result, even one cluster is divided into a plurality of objects (moving objects) having different IDs. In Fig. 6, the boundaries between objects are shown by bold lines.
  • FIG. 6 schematically illustrates the moving object on the object map for easy understanding.
  • Figure 7 shows the boundaries of the objects in the object map in bold lines, and corresponds to Figure 6.
  • Patent Literature 1 individual objects are tracked back in time after one cluster is separated into a plurality of clusters.
  • the storage capacity of the image memory 21 can be reduced, and the amount of image processing can be reduced. CPU load can be reduced.
  • the motion vector of such a block is estimated by the method shown in FIG.
  • step S1 If there is an undetermined motion vector, the process proceeds to step S2; otherwise, the undetermined motion vector estimation process ends.
  • step S3 If there is a motion vector 1 and a motion vector determined in step S2, proceed to step S4, otherwise proceed to step S6.
  • step S6 The motion vector estimated in step S5 is regarded as the determined motion vector, and the process returns to step S1.
  • the undetermined motion vector can be uniquely estimated.
  • FIG. 9 (A) the motion vector of block B (i, j) in the i-th row and j-th column is denoted as MV (i, j).
  • Fig. 9 (A) the motion vectors of blocks B (2, 2), B (2, 4) and B (3, 3) are undecided.
  • the motion vector of the block around block B (2, 4) is a group of MV (2, 3), MV (3, 4) and MV (3, 5), and MV (1, 3), MV (1, 4), MV (1, 5) and MV (2, 5)
  • MV (2,4) (MV (1,3) + MV (1,4) + MV (1,5) + MV (2,5)) / 4
  • the motion vectors of the block around block B (3, 3) are MV (2, 3), MV (3, 2), MV (4, 2), MV (4, 4), and MV (3, 4). ) Because it is 1 drop
  • MV (3, 3) (MV (2, 3) + MV (3, 2) + MV (4, 2) + MV (4, 4) + MV (3, 4)) / 5
  • FIG. 9 (B) an object map as shown in FIG. 9 (B) is generated.
  • the boundaries of the objects are indicated by bold lines.
  • step S6 is regarded as the determined motion vector, and steps S1 to S5 are executed again to uniquely identify the motion vector of block B (3, 4). It is estimated as shown in Fig. 10 (C).
  • one cluster is divided into a plurality of objects having different IDs by assigning the same ID to a block whose absolute value of the difference between the motion vectors of adjacent blocks is equal to or less than a predetermined value.
  • the moving object tracking unit 27 stores the time series of the object map stored in the object map 26 as a tracking result on a hard disk (not shown).
  • the undetermined motion vector is determined based only on the motion vectors of the blocks around the undetermined motion vector, when there are many undetermined motion vectors, the IDs and IDs of the blocks are determined. ⁇ The accuracy of motion vector determination is reduced.
  • the ID and the motion vector of all the blocks are simultaneously determined based on the value of an evaluation function described later.
  • the moving object tracking unit 27 in FIG. 2 includes an object map at time (t ⁇ 1) stored in the object map storage unit 26 and an image map.
  • An object map at time t is created in the storage unit 26 based on the time (t — 1) stored in the memory 21 and the frame image at t.
  • the evaluation function U (i, j) of an arbitrary block B (t: i, j) including a part of a moving object will be described.
  • the evaluation function U (i, j) is expressed by a linear combination of four sub-evaluation functions as shown in the following equation.
  • a to c and f are constants and are determined by trial and error.
  • one block is assumed to be mXm pixels
  • the value of the pixel at the g-th row and the h-th column of the image at time t is represented by G (t: g, h)
  • the estimated motion vector of the block B (t: i, j) is obtained.
  • the vector MV is represented by (MVX, MVY). i ⁇ 0, j0.
  • the sub-evaluation function UD indicates the spatio-temporal texture correlation, and is described in the first embodiment. It is the same as described above, and is expressed by the following equation.
  • UD (i, j, MV) ⁇
  • Fig. 12 (B) shows the case where the estimated motion vector of the block of interest B (t: 1, 2) is MV
  • Fig. 12 (A) shows the case of block B (t-1: 1 2).
  • the area AX in which is shifted by one MV is shown.
  • an evaluation function UD (1, 2, MV) between the image of the block B (t: .1, 2) and the image of the area AX is calculated.
  • the value of the UD changes. The smaller the value of the UD, the greater the degree of texture correlation between the image of the block B (t: 1, 2) and the image of the area AX.
  • the MV when UD is at the minimum value is the most likely motion vector. Since the speed of the moving object is limited, the area AX is moved within a predetermined range from the center of the target block B (t: 1, 2), for example, within ⁇ 25 pixels vertically and ⁇ 25 pixels horizontally. To find the minimum value of UD. As described in the first embodiment, the predetermined range may be the range AM predicted using the motion vector at time t-11.
  • FIGS. 13 (A) and 13 (B) correspond to FIGS. 12 (A) and (B), respectively, and the hatched portion indicates a block that has been determined to have a moving object.
  • the sub-evaluation function UM indicates the spatio-temporal ID correlation, and is expressed by the following equation.
  • Fig. 13 (B) when it is estimated that the ID of the block of interest B (t: 1, 2) is ID1, eight blocks B (t: 0, 1), B ( t: 0, 2), B (t: 0, 3), B (t: l, 3), B (t: 2, 3), B (t: 2, 2), B (t: 2, 1 ) And B (t: 1, 1), let N be the number of blocks whose ID is ID1. If the IDs of the hatched portions in FIG. 13 (B) are all the same, the value of N of the block of interest B (t: 1, 2) is 5.
  • the sub-evaluation function UN indicates the spatial ID correlation, and is expressed by the following equation.
  • the area AX is moved within the above-mentioned predetermined range and the minimum value of a UD + b UM + c UN is determined, thereby simultaneously determining the ID and MV of the block of interest. It is possible.
  • the motion vector MV is not determined.
  • This motion vector MV can be estimated to be almost the same as the motion vector MV of the block near the block of interest and having the same ID. Therefore, the following sub-evaluation function UV that indicates the spatial MV correlation is defined.
  • UV (i, j) I MV-MVneigher
  • MV is the estimated motion vector of the block of interest B (t: i, j) described in (1) above
  • MVneigher is the eight blocks around the block of interest B (t: i, j).
  • ⁇ represents the sum of blocks having the same ID
  • L represents the sum of the blocks having the same ID This is the number of blocks having an ID.
  • UV (1, 2) (I MV— MV 1 I + I MV— MV 2
  • the evaluation function U of the above equation (1) becomes a minimum value. It is possible to determine the ID and MV of the block of interest at the same time.
  • the MVneigher only needs to be a block around the block of interest B (t: i, j). For example, four blocks, up, down, left and right, around the block of interest B (t: i, j) (one round) ) Of the 24 blocks around any one block or the block of interest B (t: i, j) (two rounds), the block of interest B (t: i, j) The motion vector of the block having the same ID as the estimated ID in (2) may be used. Further, the MVneigher may be approximated by a corresponding motion vector at time t-11.
  • the block to which the center of the area in which the block of interest B (t: i, j) is shifted by one MV belongs is B (t-1, p, q)
  • the block B (t-1, p, q) It may be a motion vector of a block having the same ID as the estimated ID of the block of interest B (t: i, j) among the nearby blocks.
  • ID and MV are determined by an approximation method as shown in Fig. 11 in order to shorten the processing time and enable real-time processing.
  • the motion vector MV that minimizes the value of the evaluation function UD in (2) is obtained. However, the motion vector MV cannot be obtained for a block that is not suitable for obtaining the above-described motion vector. Next, for each block that is not suitable for determining the motion vector,
  • the motion vector MV that minimizes the value of the evaluation function UV of (5) is obtained.
  • the motion vector MV may be uniquely determined by adding the processes of steps S1 to S3 and S6 in FIG.
  • steps S 13 and S 14 have been repeated a predetermined number of times, or if it is determined that the sum UT has converged, the process is terminated.
  • step S16 the MV of one block is shifted by one pixel within the predetermined range or the ID of one block is changed, and when returning to step S15, the sum UT is larger than the previous value, In step S16, the changed MV or ID is returned to its original state, and if it becomes smaller, the same change is made for the next block.
  • the predetermined range is, for example, +4 pixels for each of the upper, lower, left, and right sides.
  • a process of reducing the total UT is estimated in advance, and this process is performed to calculate the total UT or UTportion. If so, use that object map If not, the object map before processing may be adopted.
  • step S11 the motion vector of the block that is not suitable for obtaining the motion vector is not obtained, and the motion vector is obtained by the process of steps S13 to S15 or the above-described process instead. You may decide the motion vector of the block that is not suitable for the search.
  • Figures 16 (A) and (B) show the low-angle shot image on the expressway and its ID object map, respectively.
  • FIGS. 17 (A) and 17 (B) show an image taken at a pedestrian crossing, and an image obtained by superimposing this image on the mesh of the ID adding section of the ID object map.
  • the numbers given to the rectangles in FIGS. 16 (A) and 17 (B) are the IDs of the objects.
  • Movement vector of adjacent blocks Same ID for blocks whose MV difference is within the specified value This problem can also be solved by increasing the predetermined value in the rule of providing, but in this case, the starting point of the tracking process going back in time is delayed.
  • the method shown in FIG. 18 is performed to determine the starting point of the tracking process going back in time.
  • the correlation between the same objects in temporally adjacent images is equal to or greater than a predetermined value for N consecutive images, for example, three images, the boundary of the object boundary It is determined that the reliability is high.
  • step S23 If one cluster includes a plurality of objects, the process proceeds to step S24; otherwise, the process proceeds to step S27.
  • one object OBJ 1 (t-1) in Fig. 19 (A) corresponds to the figure moved by the average motion vector of this object, and the one in Fig. 19 (B).
  • the area AO may be the area AO of the figure of the object ⁇ B J 1 (t).
  • step S25 If A1 / AO is greater than or equal to the predetermined value r0, the process proceeds to step S26; otherwise, the process proceeds to step S27.
  • FIG. 20 is an explanatory diagram of an object map according to the fourth embodiment of the present invention.
  • the blocks B and i for determining the motion vector of each block B (i, j) to which the ID and the motion vector MV are assigned are described.
  • the size of (i, j) is larger than the size of block B (i, j).
  • Block B ′ (i, j) is concentric with block B (i, j), and block B ′ (i, j) contains block B (i, j).
  • block B ′ (t: 3,10) is for obtaining the motion vector of block B (t: 3,10).
  • the degree of texture correlation between the image of the block B '(t: 3, 10) and the image of the area AX having the block size at the time t-11 is calculated using the area AX within the predetermined range AM. Is calculated every time one pixel is moved.
  • the presence or absence of an object is checked by comparing the background image in units of blocks, so that the background image must be specially treated. Also, for example, since the background image is generated based on the captured images of the past 10 minutes, if the camera shakes, this shift cannot be reflected on the background image.
  • an object map is created by regarding a background image as an object.
  • the object map generation method is the same as the above-described first, second, third or fourth embodiment, except that it is compared with a background image to determine whether or not a moving object exists in a block. background Since images are also regarded as objects, block matching is performed on all blocks to assign IDs and determine MVs.
  • FIG. 21 (B) By performing this processing on the image as shown in FIG. 21 (A), an object map of a motion vector as shown in FIG. 21 (B) is obtained.
  • the dotted line is the boundary of the block, and the dot indicates that the motion vector is zero.
  • a motion vector MV that minimizes the value of the evaluation function U V in the above equation (5) is obtained.
  • an object map of the motion vector as shown in Fig. 22 (A) is obtained.
  • steps S12 to S15 is the same as in the second embodiment.
  • step S12 an ID object map as shown in FIG. 22 (B) is obtained.
  • an image is divided into blocks, the ID and MV of an object are determined in block units, and a part of a moving object irrelevant to a block boundary is tracked.
  • the object map storage unit 26 in FIG. Object maps OM (t) to OM (t-5) corresponding to the five time-series images are stored.
  • t ⁇ t-1 is set, that is, the object maps OM (t) to OM (t-5) are set to OM (t-1) to OM (t-6), respectively. Then, the oldest object map OM (t-6) is updated with the new object map OM (t).
  • tracking of a part of the moving object is performed as follows.
  • the motion vector of the region of interest A (t) on the object map ⁇ M (t) is MV (t).
  • the dotted line in FIG. 24 (A) is the block boundary, and in this example, the region of interest A (t) coincides with one block.
  • the area of interest A (t) is obtained by calculating the area of interest A (t-1) in the object map OM (t-1) corresponding to the area moved by MV (t). You.
  • the motion vector MV (t-1) of the region of interest A (t-1) is obtained by the following weighted average.
  • MV (t-1) (MV1S1 + MV2S2 + MV3S3 + MV4S
  • MV1 to MV4 are the motion vectors of the first to fourth blocks that overlap with the region of interest A (t-1), and S1 to S4 are the first vectors that overlap with the region of interest A (t-1).
  • the motion vector MV (t-2) of the region of interest A (t-2) is obtained in the same manner as above.
  • the target area can be tracked independently of the block boundaries. You. That is, for the region of interest A (t) at time t, the regions of interest A (t-1) to A (t-5) at times t1l to t-5 can be obtained.
  • the sixth embodiment of the present invention it is possible to track a region of interest which is a part of a moving object, for example, to analyze or classify an action pattern of the region of interest, or to specify a specific behavior pattern. Can be determined.
  • a specific behavior pattern is a relative behavior pattern between a plurality of regions of interest.
  • the motion vector of the region of interest is obtained by weighted averaging as described above.
  • the motion vector starts from the region of interest A (t-5) on the object map ⁇ M (t-5).
  • the region of interest may be tracked by moving the region of interest in the positive direction.
  • the attention area can be tracked by finding the attention area A (t) every time a new object map O M (t) is found.
  • region of interest may be larger or smaller than the block size.
  • the motion vectors of adjacent regions of interest A i (t) and A j (t) on the object map O M (t) are MV i (t) and MV j, respectively.
  • the regions of interest A i (t ⁇ 5) and A j (t ⁇ 5) on the op map OM (t ⁇ 5) are determined by the method of the sixth embodiment.
  • the motion vector from the center of the area A i (t—5) to the center of the area A i (t) MV i (t-5, t).
  • a motion vector from the center of the area A j (t-5) to the center of the area A j (t) is obtained as a fast-forward motion vector MV j (t-5, t).
  • IMVi (t_k, t) -MVj (t-k, t) 1 where k is 5 is explained, but the relative velocity on the image between overlapping moving objects is small. It is preferable to increase the value of k.
  • ⁇ is a constant determined by trial and error, and ⁇ means rounding to an integer.
  • FIG. 27 is a flowchart showing a moving object boundary recognition method according to the eighth embodiment of the present invention.
  • the value of k is changed from 0 to the maximum value kmax in the following two regions of interest in FIG. kmax is 5, for example, for 10 frame seconds.
  • step S32 IMVi (t_k, t) -MVj (t-k, t) If I> ⁇ , proceed to step S33, otherwise proceed to step S34.
  • the value of k is automatically determined without creating the histogram.
  • the present invention also includes various modified examples.
  • a moving object is tracked by processing a spatial difference image.
  • the present invention processes a moving object (including a part of the moving object) by processing various edge images and original images.
  • a configuration for tracking may be used.

Abstract

　より少数の、一時記憶される時系列画像で、移動物体を追跡するために、時系列画像のうち連続するＮ画像（Ｎ≧２）について、（ａ）隣り合うブロックの動きベクトルの差の絶対値が所定値以内のブロックに同一の識別符号を付与することにより、画像上で互いに重なった移動物体に互いに異なる識別符号を付与し、（ｂ）該Ｎ画像の各々において、第１識別符号が付与されたブロック群である第１オブジェクトと第２識別符号が付与されたブロック群である第２オブジェクトとが接し、かつ、該Ｎ画像について時間的に隣り合う画像の第１オブジェクト間の相関度が所定値以上であるかどうかを判定し、（ｃ）ステップ（ｂ）で肯定判定された後に、時間を遡って該第１オブジェクトと該第２オブジェクトとを追跡する。

Description

画像における移動物体の追跡方法及び装置 技術分野 本発明は、 時系列画像を処理して画像中の移動物体 （車、 自転車、 動物等の移 動可能なもの） を追跡する移動物体追跡方法及び装置に関する。 背景技術 交通事故の早期発見は、 迅速な救助活動により人命救助の成功率を高めるだけ でなく、 警察の実地検分などを迅速にすることにより事故渋滞を緩和することも できるので、 様々な交通事故の認識自動化が期待されている。 交通事故の認識率 を高めるためには、 カメラで撮像された画像を処理して移動物体を正確に追跡す る必要がある。
図, 28は、 高速道路の中央線上方に設置されたカメラで撮像された時刻 t = 1 〜 4の画像を模式的に示す。
画像上で車両同士が頻繁に重なるので、 画像処理により各車両を追跡するのが 困難になる。 この問題を解決するには、 道路に沿って複数台のカメラを設置し、 それらの画像を総合的に処理する必要がある。
し力 し、 カメラ及び画像処理装置を複数台備える必要があるので、 コスト高に なる。 また、 各カメラの撮影画像を関係付けて総合的に処理しなければならない ので、 処理が複雑になる。
そこで、 本願発明者らは、 次のように時間を遡って移動物体を追跡する方法で この問題を解決した （特開 2002- 1 33421) 。
時刻 t = 1〜4の時系列画像を一時記憶しておき、 t = 4から出発して車両 M 1と M2を識別し、 車両 M 1と M2の動きベク トルを求め、 この動きベク トルで t =4の画像中の車両 Mlと M 2を移動させて、 車両 Mlと M 2が識別されてい る t = 3の画像を想定し、 これと t = 3の実際の画像との相関関係から、 t = 3 の画像中の車両 M lと M 2を識別する。
次に、 t = 3と t = 2の画像について同様の処理により、 t = 2の画像中の車 両 M l と M 2を識別する。 次に、 t = 2と t = 1の画像について同様の処理によ り、 t = 1の画像中の車両 M 1と M 2を識別する。
このような処理により、 1台のカメラで車両 M 1と M 2とを追跡することが可 能となる。
しかしながら、 実際には例えば、 1 2フレーム/秒の画像を処理するので、 時 系列画像の記憶容量が大きくなるとともに、 処理時間が長くなるという問題点が ある。
また、 移動物体の境界認識精度を向上させるためにプロックサイズを小さくす ると、 ブロックマッチングにより動きべク トルを決定することが困難になるとい う問題点がある。
さらに、 上記特開 2 0 0 2— 1 3 3 4 2 1では、 各画像が、 例えば 8 X 8画素 からなるブロックに分割され、 各ブロックについて、 背景画像の対応するブロッ クと画像比較することにより、 移動物体の存否を判断している。
この背景画像は、 常に一定ではないので更新しなければならない。 例えば過去 1 0分間の全画像について、 対応する画素の画素値のヒストグラムを作成し、 そ の最頻値 （モード） をその画素の画素値とする画像を背景画像とする。 発明の開示 本発明の目的は、 このような問題点に鑑み、 より少ない数の、 一時記憶される 時系列画像で、 移動物体を追跡することが可能な、 画像における移動物体の追跡 方法及び装置を提供することにある。
本発明の他の目的は、 動きべク トルの決定を困難にすることなく移動物体の境 界認識精度を向上させることが可能な、 画像における移動物体の追跡方法及ぴ装 置を提供することにある。
本発明のさらに他の目的は、 特別な背景画像を用いる必要がない、 画像におけ る移動物体の追跡方法及び装置を提供することにある。
本発明の一態様では、 時系列画像を処理して画像中の移動物体を追跡する画像 上移動物体追跡方法において、 各画像が、 複数画素からなるブロックに分割され、 移動物体の識別符号がプロック単位で付与されているとともに該移動物体の動き べク トルがプロック単位で求められている場合に、
( a ) 隣り合うブロックの動きべク トルの差の絶対値が所定値以内のブロック に同一の識別符号を付与することにより、 画像上で互いに重なった移動物体に互 いに異なる識別符号を付与する。
この構成によれば、 1つのクラスタが複数のオブジェク トに分離する前に、 時 間を遡って個々のォブジヱクトを追跡することができるので、 時間を遡って各移 動物体を追跡する場合に、 画像メモリの記憶容量を低減でき、 また、 画像処理量 を低減して C P Uの負担を軽くすることができる。
本発明の他の態様では、 時系列画像を処理して画像中の移動物体を追跡する画 像上移動物体追跡方法において、 各画像が、 複数画素からなるブロックに分割さ れ、 移動物体の動きべク トルがブロック単位で求められ、 動きべク トルが未定の 第 1プロックが存在する場合、
( a ) 該第 1ブロックの回りの決定済動きべク トルを抽出し、
( b ) 該抽出された動きべクトルを、 相互のベタ トルの差の絶対値が所定値以 下になるようにグループに分け、
( c ) べク トル数が最大のグループに含まれる動きべク トルの略平均べク トル を、 該第 1ブロックの動きベク トルと推定する。
このアルゴリズムによれば、 未定の動きベク トル多く存在していても、 該未定 動きベク トルが合理的に推定される。 これにより、 複数のオブジェク トを含む 1 つのクラスタを動きべク トルに基づいて分割することが可能となる。
本発明の他の態様では、 時系列画像を処理して画像中の移動物体を追跡する画 像上移動物体追跡方法において、 各画像は、 複数画素からなるブロックに分割さ れており、 移動物体の識別符号をプロック単位で付与するとともに該移動物体の 動きべク トルをブロック単位で求める場合に、
( a ) 時刻 t 1の画像のプロックサイズの領域から時刻 t 2の画像の着目プロ ックへの動きべク トルを MVと推定し、 該着目プロックの識別符号を I Dと推定 し、
( b ) 該時刻 t 2の画像の該着目ブロックの回りのブロックのうち識別符号が I Dである少なくとも 1つのプロックの動きべク トルと該着目プロックの動きべ ク トル MVとの差の絶対値を含む、 相関度に関する量を求め、
( c ) 該相関度に関する量を含む評価関数の値を、 所定範囲内で該第 1領域を 移動させ各領域について求め、 該値の略最適値に基づいて該動きべク トル MV及 び該識別符号 I Dを決定する。
この方法によれば、 着目ブロックのテクスチャ情報量が少ないために単純ブ口 ックマッチングで動きべク トルを求めることができなくても、 動きべク トノレと識 別符号 I Dとを合理的に同時に決定することができる。
なお、 ステップ （b ) の替わりに、
( b ' ) 該着目ブロックを _ MV移動させた領域の中心が属する、 時刻 t lの 画像のブロック B L Kの回りのブロックのうち識別符号が I Dである少なくとも 1つのブロックの動きべクトルと該着目プロックの動きべク トル MVとの差の絶 対値を含む、 相関度に関する量を求める、
ステップであってもよい。 この場合、 該ステップ （c ) の相関度に関する量は例 えば、
I MV - MVneigher | / Lであり、
ここに、 MVneigherは、 該ブロック B L Kの回りのブロックのうち、 該ブ ロック B L Kの識別符号 I Dと同一 I Dを有するブロックの動きべク トルであり ∑は該同一 I Dを有するブロックについての総和を意味し、 Lは該同一 I Dを有 するブロックの数である、
本発明の他の態様では、 時系列画像を処理して画像中の移動物体を追跡する画 像上移動物体追跡方法において、 各画像は、 複数画素からなるブロックに分割さ れており、 移動物体の識別符号をプロック単位で付与するとともに該移動物体の 動きべク トルをブロック単位で求める場合に、
時刻 t 1の画像のブロックサイズの領域から時刻 t 2の画像の着目プロックへ の動きべク トルを MVと推定して、 該ブロックサイズの領域より大きく該ブロッ クサイズの領域と同心の第 1領域の画像と該第 1領域と同一形状で該着目ブロッ クと同心である第 2領域の画像との類似度に関する量を求め、
該類似度に関する量を含む評価関数の値を、 所定範囲内で該第 1領域を移動さ せ各領域について求め、 該値の略最適値に基づいて該動きべク トル MVを決定す る。
この構成によれば、 ブロックサイズを小さくすることにより、 動きベク トルの 決定を困難にすることなく移動物体の境界認識精度を向上させることが可能とな る。
本発明のさらに他の態様では、 時系列画像を処理して画像中の移動物体を追跡 する画像上移動物体追跡方法において、
( a ) 各画像を、 複数画素からなるブロックに分割し、
( b ) 背景画像も移動物体の 1つとみなして、 ブロック単位で移動物体の識別 符号を付与するとともにプロック単位で該移動物体の動きべク トルを求める。 この構成によれば、 特別な背景画像を用いる必要がなく、 また、 カメラが揺れ ても、 背景画像を識別することが可能となる。
本発明のさらに他の態様では、 時系列画像を処理して画像中の移動物体を追跡 する画像上移動物体追跡方法において、 各画像が、 複数画素からなるブロックに 分割され、
ある時刻での移動物体の動きべクトルをプロック単位で求めたオブジェク トマ ップを、 互いに異なる時刻について複数枚記憶しておき、
( a ) 該複数枚のオブジェク トマップのうちの 1つについて、 着目領域の動き べクトノレを求め、
( b ) 求めた動きべク トルだけ該着目領域を正又は負の方向へ移動させた領域 の動きべク トルを、 移動後の時刻におけるォプジヱク トマップに基づいて求め、 該移動させた領域を該移動後の時刻におけるオブジェク トマップ上の着目領域 として、 該ステップ （b ) を複数回繰り返すことにより、 該着目領域を追跡する。 この構成によれば、 画像をブロックに分割し、 ブロック単位でオブジェク トの 動きベク トルを求めても、 ブロックの境界と無関係な移動物体の一部 （着目領 域） を追跡することができる。 これにより、 例えば着目領域の行動パターンを解 析したり、 分類したり、 特定の行動パターンであると判定したりすることが可能 となる。 また、 複数の着目領域間の相対位置の行動パターンを解析したり、 分類 したり、 特定の行動パターンであると判定したりすることが可能となる。
本発明の他の目的、 構成及び効果は以下の説明から明らかになる。 図面の簡単な説明 図 1は、 交差点及びこれに配置された本発明の第 1実施形態の移動物体追跡装 置の概略を示す図である。
図 2は、 図 1中の移動物体追跡装置の機能プロック図である。
図 3は、 フレーム画像内の、 交差点への 4つの入口及ぴ交差点からの 4つの出 口にそれぞれ設定されたスリット及びプロックに付与された移動物体の I Dを示 す説明図である。
図 4の （A) 及び （B ) はそれぞれ、 時刻 t _ 1及び tの画像をブロック境界 線とともに模式的に示す図である。
図 5の （A) 及び （B ) はそれぞれ、 時刻 t一 1及ぴ tの画像を画素境界線と ともに模式的に示す図である。
図 6の （A) 及び （B ) はそれぞれ、 時刻 t一 1及ぴ tの画像を、 ブロックに 付与された動きべク トルとともに模式的に示す図である。
図 7の ( A) 及び ( B ) はそれぞれ、 時刻 t一 1及ぴ tのオブジェク トマップ に付与された動きべクトル及ぴォブジェク ト境界を模式的に示す図である。 図 8は、 未定動きべク トルの推定方法を示すフローチャートである。
図 9の （A) 及び （B ) は、 図 8の処理を説明するための、 ォブジェク トマツ プに付与された動きべクトル及ぴォブジェクト境界を模式的に示す図である。 図 1 0の （A) 〜 （C ) は、 図 8の処理を説明するための、 オブジェク トマツ プに付与された動きべク トル及びオブジェク ト境界を模式的に示す図である。 図 1 1は、 本発明の第 2実施形態のォブジェク トマップ作成方法を示すフロー チヤ一トである。
図 1 2の （A) 及ぴ （B ) は、 時空的テクスチャ相関度の説明図である。 図 1 3の （A) 及び （B) は、 空間的 I D相関度の説明図である。
図 1 4の （A) 及び （B) は、 空間的動きベク トル相関度の説明図である。 図 1 5は、 本発明の第 2実施形態の実験結果を示す図であって、 （A) 及び (B) はそれぞれ、 交差点での撮影画像及ぴその I Dのオブジェク トマップを示 す図である。
図 1 6は、 本発明の第 2実施形態の実験結果を示す図であって、 （A) 及び (B) はそれぞれ、 高速道路での低角度撮影画像及びその I Dのオブジェク トマ ップを示す図である。
図 1 7は、 本発明の第 2実施形態の実験結果を示す図であって、 （A) 及び (B) はそれぞれ、 横断歩道での撮影画像、 及び、 これと I Dのオブジェク トマ ップの I D付与部のメッシュとを重ね合わせた画像を示す図である。
図 1 8は、 本発明の第 3実施形態の、 クラスタを分割するオブジェク ト境界が 確定したかどうかを判断する方法を示すフローチヤ一トである。
図 1 9の （A) 〜 （C) は、 図 1 8の処理を説明するための図である。
図 20は、 本発明の第 4実施形態のプロックマッチング説明図であって、 (A) 及び （B) はそれぞれ、 時刻 t一 1及び tの画像をブロック境界線ととも に模式的に示す図である。
図 2 1の （A) 及び （B) は、 本発明の第 5実施形態を説明するための図であ つて、 （A) は画像を模式的に示す図、 （B) は第 1段階で求められる動きべク トルのオブジェク トマップを示す図である。
図 22の （A) 及び （B) は、 該第 5実施形態を説明するための図であって、
(A) は第 2段階で求められる動きべク トルのオブジェク トマップを示す図、
(B) は I Dのオブジェク トマップを示す図である。
図 23は、 着目領域を追跡する本発明の第 6実施形態を説明するための時系列 オブジェク トマップを示す図である。
図 24の （A) 〜 （C) は、 時間を遡って着目領域を追跡する方法の説明図で ある。
図 25の （A) 及び （B) は、 本発明の第 7実施形態のオブジェク ト境界認識 方法説明図である。 図 2 6は、 1つのクラスタについての、 動きベク トルの絶対値のヒス トグラム を示す図である。
図 2 7は、 本発明の第 8実施形態のォプジ nク ト境界認識方法を示すフローチ ヤートである。
図 2 8は、 道路中央線上方に設置されたカメラで撮像された時系列画像を模式 的に示す図である。 発明を実施するための最良の形態 以下、 図面を参照して本発明の実施形態を説明する。 複数の図中の対応する同 一又は類似の構成要素には、 同一又は類似の符号を付している。
[第 1実施形態]
図 1は、 交差点及びこれに配置された本発明の第 1実施形態の移動物体追跡装 置の概略を示す。
この装置は、 交差点を撮像して画像信号を出力する電子カメラ 1 0と、 その画 像を処理して移動物体を追跡する移動物体追跡装置 2 0とを備えている。
図 2は、 この移動物体追跡装置 2 0の機能ブロック図である。 移動物体追跡装 置 2 0の構成要素のうち、 記憶部以外はコンピュータソフトウェア、 専用のハー ドウエア又はコンピュータソフトウェアと専用のハードウエアの組み合わせで構 成することができる。
電子力メラ 1 0で撮影された時系列画像は、 例えば 1 2フレーム Z秒のレート で、 画像メモリ 2 1に格納され、 最も古いフレームが新しいフレーム画像で書き 換えられる。
画像変換部 2 2は、 画像メモリ 2 1内の各フレーム画像について、 これをフレ ームバッファメモリ 2 3にコピーし、 コピーされた画像のデータを用いて画像メ モリ 2 1内の対応するフレーム画像を空間的差分フレーム画像に変換する。 この 変換は 2段階で行われる。
元のフレーム画像の第 i行第 j列の画素値 （輝度値） を G ( i , j ) とすると、 第 1段階における変換後の第 i行第 j列の画素値 H ( i , j ) は、 次式で表され る。
H ( ί , j ) =∑ neighberpixcels I G ( 1 + d 1 , j + d j )
一 G ( i , j ) I (1)
ここに∑ neighberpixcelsは、 Cを自然数とすると、 d i =— C〜 C及び d j =— c〜 cにわたつての総和を意味し、 例えば c = lのとき、 第 i行第 j列の画素と 隣り合う 8画素にわたる総和である。 照度が変化すると、 画素値 G ( i， j ) と その付近の画素値 G ( i + d i , j + d j ) が同様に変化するので、 H ( i， j ) の画像は、 照度の変化に対し不変である。
ここで、 隣り合う画素の差分の絶対値は、 一般に画素値が大きいほど大きい。 移動物体追跡の成功率を高めるには、 画素値が小さくて差分が小さい場合も、 画 素値及び差分が大きい場合とほぼ等価にエッジ情報を取得した方が好ましい。 そ こで、 H ( i， j ) を次のように規格化する。
H ( i， j ) =∑ I G ( i + d i , j + d j )
一 G ( i， j ) I / (G i， j , max/ G max) (2) ここに、 G i , j , maxは、 H ( i , j ) の計算に用いた元の画素の値の最大 値であり、 例えば c = lの場合、 第 i行第 j列の画素を中心とする 3 X 3画素の 値の最大値であり、 Gmaxは画素値 G ( i , j ) の取り うる最大値、 例えば画 素値が 8ビットで表される場合、 25 5である。 以下、 c = l、 Gmax= 2 5 5 である場合について説明する。
H ( i， ； i ) の取りうる最大値は、 移動物体毎に異なる。 例えば G ( i , j ) = Gmax で第 i行第 j列の画素に隣り合う 8画素の値がいずれも 0で有る場合、 H ( i , j ) = 8 Gmaxとなって、 H ( i , j ) を 8ビットで表すことができ ない。
一方、 移動物体のエッジ部の H ( i , j ) の値のヒストグラムを作成してみる と、 頻度の大部分が H= 50〜1 1 0の範囲に含まれることがわかった。 すなわ ち、 Hの値が約 1 1 0より大きくなるほど移動物体追跡のためのエッジ情報の数 が少ないので、 重要度が低い。
したがって、 Hの値の大きい部分を抑圧して変換画素のビット長を短くするこ とにより、 画像処理を高速に行なったほうが好ましい。 そこで、 第 2段階として、 この H ( i， j ) を、 シグモイド関数を用いた次式により、 I ( i， j ) に変換 する。
I =Gmax/ { 1 + e x p [- β (H- α) 〕 } (3)
シグモイ ド関数は H= αの付近で線形性が良い。 そこで、 閾値ひの値を、 エツ ジ情報を持つ Ηの度数分布の最頻値、 例えば 80にする。
画像変換部 22は、 上式 （2) 及び （3) に基づいて、 画素値 G ( i , j ) の 画像を画素値 I ( i , j ) の空間的差分フレーム画像に変換し、 これを画像メモ リ 2 1に格納する。
背景画像生成部 24、 I D生成ノ消滅部 2 5及び移動物体追跡部 2 7は、 画像 メモリ 2 1中の空間的差分フレーム画像に基づいて処理を行う。 以下においては、 空間的差分フレーム画像を単にフレーム画像と称す。
背景画像生成部 24は、 記憶部と処理部とを備え、 処理部は、 画像メモリ 2 1 をアクセスし、 例えば過去 1 0分間の全てのフレーム画像の対応する画素につい て画素値のヒス トグラムを作成し、 その最頻値 （モード） をその画素の画素値と する画像を、 移動物体が存在しない背景画像として生成し、 これを該記憶部に格 納する。 背景画像は、 この処理が定期的に行われて更新される。
I D生成/消滅部 25には、 図 3に示す如くフレーム画像内の、 交差点への 4 つの入口及び交差点からの 4つの出口にそれぞれ配置されるスリット EN 1〜E N4及ぴ EX 1〜EX4の位置及ぴサイズのデータが予め設定されている。 I D 生成/消滅部 2 5は、 画像メモリ 2 1から入ロスリツト EN 1〜EN4内の画像 データを読み込み、 これら入口スリット内に移動物体が存在するかどうかをプロ ック単位で判定する。 図 3中のメッシュの升目はブロックであり、 1ブロックは 例えば 8 X 8画素であり、 1フレームが 48 0 X 640画素の場合、 1フレーム は 6 0 X 8 0プロックに分割される。 あるプロックに移動物体が存在するかどう かは、 このプロック内の各画素と背景画像の対応する画素との差の絶対値の総和 が所定値以上であるかどうかにより判定する。 この判定は、 移動物体追跡部 2 7 においても行われる。
I D生成 Z消滅部 25は、 ブロック内に移動物体が存在すると判定すると、 こ のブロックに新たなオブジェク ト識別符号 （ I D) を付与する。 I D生成 Z消滅 部 2 5は、 I D付与済ブロックと隣接しているプロックに移動物体が存在すると 判定すると、 この隣接ブロックに付与済ブロックと同一の I Dを付与する。 この I D付与済プロックは入口スリットに隣接しているプロックも含まれる。 例えば 図 3中の入ロスリ ッ ト E N 1内のプロックには I D = 1が付与される。
I Dの付与は、 オブジェク トマップ記憶部 2 6内の対応するブロックに対して 行われる。 オブジェク トマップ記憶部 2 6は、 上述の場合 6 0 X 8 0ブロックの オブジェク トマップを記憶するためのものであり、 各ブロックには、 I Dが付与 されているかどうかのフラグ、 I Dが付与されている場合にはその番号と後述の ブロック動きベク トルとがブロック情報として付与される。 なお、 該フラグを用 いずに、 I D - 0のとき I Dが付与されていないと判定してもよい。 また、 I D の最上位ビッ トをフラグとしてもよい。
入口スリ ッ トを通過したクラスタに対しては、 移動物体追跡部 2 7により、 移 動方向のブロックに対する I Dの付与及び移動と反対方向のブロックに対する I Dの消滅、 すなわちクラスタの追跡処理が行われる。 移動物体追跡部 2 7による 追跡処理は、 各クラスタについて出口スリ ット内まで行われる。
I D生成/消滅部 2 5はさらに、 オブジェク トマップ記憶部 2 6の内容に基づ き出口スリッ ト E X 1〜E X 4内のプロックに I Dが付与されているかどうかを 調べ、 付与されていれば、 出口スリッ トをクラスタが通過したときにその I Dを 消滅させる。 例えば図 3中の出ロスリ ッ ト E X 1内のプロックに I D = 3が付さ れている状態から、 I Dが付されない状態に変化したときに、 I D = 3を消滅さ せる。 消滅 I Dは、 次の生成 I Dとして用いることができる。
移動物体追跡部 2 7は、 オブジェク トマップ記憶部 2 6に格納されている時刻
( t - 1 ) のオブジェク トマップと、 画像メモリ 2 1に格納されている時刻 （ t 一 1 ) 及び tのフレーム画像とに基づいて、 時刻 tのオブジェク トマップを記憶 部 2 6内に作成する。 以下、 これを説明する。
図 4〜図 7はいずれも、 時刻 t一 1 と tの画像を模式的に示す。 図 4、 図 6及 ぴ図 7中の点線はプロックの境界線であり、 図 5中の点線は画素の境界線である 第 i行第 j列のブロックを B ( i , j ) 、 時刻 tでの第 i行第 j列のプロック を B ( t ： i , j ) と表記する。 プロック B ( t - 1 ： 1， 4 ) の動きべク トル が MVであるとする。 ブロック B (t— 1 ： 1， 4) を MV移動させた領域に最 も対応する、 時刻 tのブロックを見つける。 図 4 (B) の場合、 このブロックは B (t ： 1 , 5) である。 図 5に示すように、 ブロック B ( t ： 1， 5) の画像 と、 時刻 t— 1のプロックサイズの領域 A Xの画像との相関度を、 所定範囲 AM 内で領域 AXを 1画素移動させる毎に求める （ブロックマッチング） 。
範囲 AMはプロックよりも大きく、 その一辺は例えばブロックの一辺の画素数 の 1. 5倍である。 範囲 AMの中心は、 ブロック B ( t ： 1, 5) の中心を略一 MV移動させた位置にある画素である。
相関度は、 例えば時空的テクスチャ相関度であり、 ブロック B ( t ： 1, 5) と領域 A Xの対応する画素値の差の絶対値の総和である評価値 U Dが小さいほど、 大きいとする。
範囲 AM内で相関度が最大になる領域 A Xを求め、 この領域の中心を始点とし ブロック B (1, 5) の中心を終点とするベク トルを、 ブロック B (t ： 1 , 5) の動きベク トルと決定する。 また、 相関度が最大になる領域 AXに最も近い、 時刻 t— 1のブロックの I Dを、 プロック B ( t ： 1, 5) の I Dと決定する。 . 移動物体追跡部 27は、 隣り合うブロックの動きべク トルの差の絶対値が所定 値以下のブロックに同一の I Dを付与する。 これにより、 1つのクラスタであつ ても、 互いに異なる I Dをもつ複数のオブジェク ト （移動物体） に分割される。 図 6では、 オブジェクト間の境界を太線で示している。
オブジェク トマップ上には移動物体の画像が存在しないが、 図 6では理解を容 易にするためにォプジヱクトマップ上に移動物体が模式的に描かれている。 図 7 は、 オブジェク トマップにオブジェク トの境界を太線で示したものであり、 図 6 に対応している。
例えば図 3の入ロスリット E N 1で 1つのクラスタが検出され、 複数のォブジ エタトに分割されず、 その後、 時刻 t 1に上記のようにして複数のオブジェク ト に分割された場合、 時刻 t 1から時間を遡って、 時間が正方向の場合と同様にォ ブジェク トマップを求めることにより、 時刻 t 1よりも前のオブジェク トマップ に対し、 複数のオブジェクトに分割する。 これにより、 分割できなかったォブジ ェク トを分割して認識することができ、 個々のォブジェク トを追跡することがで きる。
特許文献 1では、 1つのクラスタが複数のクラスタに分離してから時間を遡つ て個々のオブジェク トを追跡していたが、 本実施形態によれば、 複数のクラスタ に分離する前に、 例えば図 2 8の t = 4より前の t = 2から、 時間を遡って個々 のオブジェク トを追跡することができるので、 画像メモリ 2 1の記憶容量を低減 でき、 また、 画像処理量を低減して C P Uの負担を軽くすることができる。
上記説明では、 クラスタ内のプロックの動きべクトルが求まる場合について説 明したが、 図 9 ( A) に示すように、 動きベク トルが求まらないブロックが存在 する場合、 その位置によっては該ブロックがどちらのォブジェク トに属するのか 不明である。 ある移動物体に属するプロック内の各画素の色がほぼ同一であった 場合、 上述のプロックマッチングにより動きべク トルを決定することができない。 例えば、 画像 （空間的差分フレーム画像） を 2値画像に変換し、 ブロック内に
' 1 ' の画素の数が所定値以下であれば、 上記方法により動きベク トルを求める のに適しないプロックと判定する。
このようなプロックの動きべク トルを、 図 8に示す方法で推定する。
( S 1 ) 未定の動きべク トルが存在すればステップ S 2へ進み、 そうでなけれ ば未定動きべクトル推定処理を終了する。
( S 2 ) 動きべク トルが未定のブロック B ( i， j ) の回りの 8個のブロック のうち、 決定されている動きべク トル MV 1〜M V nを取り出す。
( S 3 ) ステップ S 2で決定済動きべク 1、ルが存在すればステップ S 4へ進み、 そうでなければステツプ S 6へ進む。
( S 4 ) 動きべク トルMV l〜MV nを、 ベタ トル間の差の絶対値が所定値以 内のグノレープに分ける。
( S 5 ) ) 動きべクトル数が最大のグループの動きべク トルの平均値を、 プロ ック B ( i , j ) の動きベク トルと推定する。 動きベク トル数が最大のグループ が複数存在する場合、 任意の 1つのグループの動きベク トルの平均値を、 ブロッ ク B ( i， j ) の動きベク トルと推定する。 次にステップ S 1へ戻る。
なお、 同一グループの動きべクトルは互いに略等しいので、 該同一グループの 動きベク トルの任意の 1つをブロック B ( i , j ) の動きベク トルと推定しても よい。
(S 6) ステップ S 5で推定された動きベク トルを、 決定された動きベク トル とみなし、 ステップ S 1へ戻る。
このような処理により、 未定動きべク トルを一意的に推定することができる。 次に具体例を説明する。 図 9 (A) において、 第 i行第 j列のブロック B ( i， j ) の動きベク トルを MV ( i , j ) と表記する。 図 9 (A) では、 ブロック B (2, 2) 、 B (2, 4) 及び B (3， 3) の動きベク トルが未定である。
ブロック B (2， 2) の回りのブロックの動きベク トルは、 MV (2, 1) 、 MV (3, 1) 、 MV (3, 2) 及ぴ MV (2, 3 ) のグループと、 MV (1 , 2) 及ぴ MV (1， 3) のグループに分けられるので、 前者のグループを選択し、 MV ( 2 , 2) = (MV (2, 1 ) +MV (3， 1 ) +MV (3, 2) +MV (2, 3) ) /4
と推定する。
ブロック B ( 2 , 4) の回りのブロックの動きべク トルは、 MV ( 2 , 3 ) 、 MV (3， 4) 及び MV (3， 5 ) のグループと、 MV (1 , 3) 、 MV (1 , 4) 、 MV (1， 5 ) 及び MV (2, 5 ) のグループに分けられるので、 後者の グループを選択し、
MV (2， 4) = (MV (1， 3) +MV (1， 4) +MV (1 , 5) +MV (2, 5) ) /4
と推定する。
ブロック B (3， 3 ) の回りのブロックの動きベク トルは、 MV ( 2 , 3) 、 MV (3, 2) 、 MV (4， 2) 、 MV (4, 4) 及び MV (3, 4) の 1ダル ープであるので、
MV (3, 3) = (MV (2， 3) +MV (3， 2) +MV (4， 2) +MV (4, 4 ) +MV (3， 4) ) / 5
と推定する。
このようにして、 図 9 (B) に示すようなオブジェク トマップが生成される。 図 9 (B) では、 オブジェク トの境界を太線で示している。
図 1 0 (A) のように未定動きベク トルの数が多い場合であっても、 ステップ S 3で否定判定されるまで、 ステップ S 1〜S 5を繰り返すと、 一意的に動きべ ク トルが推定されて図 1 0 (B) のようになる。 次に、 ステップ S 6で推定動き ベクトルを、 決定された動きベクトルとみなして、 再度ステップ S 1〜S 5を実 行することにより、 ブロック B (3, 4) の動きベク トルが一意的に推定されて、 図 1 0 (C) のようになる。 次に、 隣り合うブロックの動きベク トルの差の絶対 値が所定値以下のプロックに同一の I Dを付与することにより、 1つのクラスタ が、 互いに異なる I Dをもつ複数のオブジェク トに分割される。
なお、 移動物体追跡部 2 7は、 オブジェク トマップ 26に格納されているォブ ジェクトマップの時系列を、 追跡結果として不図示のハードディスクに格納する。
[第 2実施形態]
上記第 1実施形態では、 未定動きべク トルをその周囲のブロックの動きべク ト ルのみに基づいて決定しているので、 未定動きベクトルが多く存在する場合、 そ れらのプロックの I D及ぴ動きべクトルの決定精度が低くなる。
この精度を向上させるために、 本発明の第 2実施形態では、 後述する評価関数 の値に基づいて、 全ブロックの I D及ぴ動きベク トルを同時に決定する。 この第 2実施形態においても上記第 1実施形態と同様に、 図 2の移動物体追跡部 2 7は、 オブジェクトマップ記憶部 26に格納されている時刻 ( t - 1 ) のオブジェク ト マップと、 画像メモリ 2 1に格納されている時刻 （ t _ 1 ) 及び tのフレーム画 像とに基づいて、 時刻 tのオブジェク トマップを記憶部 2 6内に作成する。
まず、 移動物体の一部を含む任意のブロック B ( t ： i , j ) の評価関数 U ( i， j ) について説明する。 評価関数 U ( i , j ) は、 次式のように 4つのサ ブ評価関数の一次結合で表される。
U ( i , j ) = a UD+ b UM+ c UN + f UV (1)
ここに a〜c及ぴ f は、 定数であり、 試行錯誤により定められる。
以下において、 1プロックを mXm画素とし、 時刻 tの画像の第 g行第 h列の 画素の値を G ( t ： g , h) で表し、 ブロック B ( t ： i， j ) の推定動きべク トル MVを （MVX, MVY) で表す。 i≥ 0、 j 0とする。
(1) 時空的テクスチャ相関度を示すサブ評価関数 UD
サブ評価関数 UDは、 時空的テクスチャ相関度を示し、 上記第 1実施形態で説 明したものと同一であって、 次式で表される。
UD ( i , j , MV) =∑ | G ( t : m i + x, m j +y)
-G ( t - 1 ： m i + x -MVX, m j + y -MV Y) | (2) ここに∑は、 x = 0〜m— 1及ぴ = 0〜m— 1についての総和を意味してい る。
図 1 2において、 点線はブロック境界線であり、 ハッチングを施した部分は移 動物体を示している。 図 1 2 (B) は、 着目ブロック B ( t ： 1, 2) の推定動 きベク トルが MVである場合を示し、 図 1 2 (A) は、 ブロック B ( t - 1 ： 1 2) を一 MV移動させた領域 AXを示す。 この場合、 ブロック B ( t ： .1 , 2) の画像と領域 AXの画像との評価関数 UD (1 , 2, MV) が算出される。 MV を変化させると UDの値が変化し、 UDの値が小さいほどブロック B ( t ： 1 , 2) の画像と領域 AXの画像との間のテクスチャ相関度が大きい。 UDが最小値 のときの MVが最も確からしい動きべク トルである。 移動物体の速度には限度が あるので、 着目プロック B ( t ： 1， 2) の中心から、 所定範囲内、 例えば上下 ±2 5画素、 左右 ± 2 5画素の範囲内で、 領域 AXを移動させて UDの最小値を 求める。 この所定範囲は、 第 1実施形態で述べたように、 時刻 t一 1の動きべク トルを用レ、て予測した範囲 AMであってもよい。
(2) 時空的 I D相関度を示すサブ評価関数 UM
図 1 3 (A) 及び （B) はそれぞれ図 1 2 (A) 及ぴ （B) に対応しており、 ハッチングを施した部分は移動物体が存在すると判定されたプロックを示してい る。
着目ブロック B ( t ： 1， 2) の I Dが I D 1であると推定したとき、 上記領 域 AX内に含まれる I D= I D 1の画素数を Mとする。 図 1 3 (A) の場合、 領 域 AX内のハッチングが施された部分の画素数が Mである。 但し、 着目プロック B ( t ： 1， 2) の推定 I Dが領域 AX内の I Dと全く異なる場合、 M= 0とな る。 Mの最大値は m2である。
サブ評価関数 UMは、 時空的 I D相関度を示し、 次式で表される。
UM ( i , j， MV) = (M-m2) 2 (3)
UMの値が小さいほど、 時間的 I D相関度が高い。 着目プロック B ( t ： i , j ) の中心から、 上記所定範囲内で領域 AXを移動 させて a UD+ b UMの最小値を求めることにより、 着目ブロックの I Dと MV を同時に決定することが可能である。
(3) 空間的 I D相関度を示すサブ評価関数 UN
図 1 3 (B) において、 着目プロック B ( t ： 1， 2) の I Dが I D 1である と推定したとき、 着目ブロックの回りの 8個のプロック B ( t ： 0， 1) 、 B ( t ： 0 , 2) 、 B ( t : 0, 3) 、 B ( t : l , 3) 、 B (t : 2, 3) 、 B ( t : 2， 2) 、 B ( t : 2, 1) 及び B ( t ： 1 , 1) のうち、 I Dが I D 1 であるブロックの数を Nとする。 図 1 3 (B) のハッチングが施された部分の I Dが全て同一である場合、 着目ブロック B ( t ： 1 , 2) の Nの値は 5である。 . サブ評価関数 UNは、 空間的 I D相関度を示し、 次式で表される。
UN ( i , j ) = (N - 8) 2 (4)
UNの値が小さいほど、 空間的 I D相関度が高い。
(4) 空間的 MV相関度を示すサブ評価関数 UV
着目プロック B ( t ： i , j ) の中心から、 上記所定範囲内で領域 AXを移動 させて a UD + b UM+ c UNの最小値を求めることにより、 着目ブロックの I Dと MVを同時に決定することが可能である。
しかしながら、 領域 AXを移動させたとき、 着目ブロックと同一テクスチャの 領域が複数存在する場合、 動きべク トル MVが定まらない。 この動きべク トル M Vは、 着目ブロックの近くかつ同一 I Dのブロックの動きべク トル MVとほぼ同 じと推定できる。 そこで、 空間的 MV相関度を示す次のようなサブ評価関数 UV を定義する。
UV ( i , j ) =
Figure imgf000019_0001
I MV-MVneigher | /L ( 5 )
ここに、 MVは上記 （1) で述べた着目ブロック B ( t ： i , j ) の推定動き ベタ トルであり、 MVneigherは、 着目ブロック B ( t ： i , j ) の回りの 8 個のブロックのうち、 着目ブロック B ( t ： i , j ) の推定 I Dと同一 I Dを有 するブロックの動きべク トルであり、 ∑は該同一 I Dを有するブロックについて の総和を意味し、 Lは該同一 I Dを有するブロックの数である。
図 1 4 (A) の場合、 ハッチングを施したプロックが同一 I Dであるとすると、 UV ( 1 , 2) = (I MV— MV 1 I + I MV— MV 2 | + | MV— MV 3 | + I MV-MV 4 I + I MV— MV 5 | ) /5
である。
時刻 t一 1での上記領域 AXが図 14 (B) の場合、 UV (1, 2) の値が大 きくなり、 推定動きベクトル MVの確からしさが小さい。 UVの値が小さいほど、 空間的 MV相関度が高い。
着目プロック B ( t ： i , j ) の中心から、 上記所定範囲内で領域 AXを移動 させて、 すなわち MVを変化させて、 上式 （1) の評価関数 Uが最小値になるよ うに、 着目プロックの I Dと MVを同時に決定することが可能である。
なお、 MVneigherは、 着目ブロック B ( t ： i , j ) の回りのブロックの ものであればよく、 例えば、 上下左右 4個のブロック、 着目ブロック B ( t ： i , j ) の回り （1回り） の 8個のブロックのうち任意の 1個のブロック又は着目ブ ロック B ( t ： i , j ) の回り （2回り） の 24個のプロックのうち、 着目ブロ ック B ( t ： i， j ) の推定 I Dと同一 I Dを有するプロックの動きべク トルで あってもよレ、。 また、 MVneigherは、 時刻 t一 1の対応する動きベク トルで 近似してもよい。 すなわち、 着目ブロック B ( t ： i , j ) を一 MV移動させた 領域の中心が属するブロックを B ( t - 1 , p， q) とすると、 ブロック B ( t - 1 , p, q) の近くのブロックのうち、 着目ブロック B (t ： i , j ) の推定 I Dと同一 I Dを有するブロックの動きべク トルであってもよい。
サブ評価関数 UN及び UVはいずれも時刻 tでの空間的相関度に関するので、 理想的には、 全てのブロックについての評価関数 Uの総和の最小値を求めること により、 時刻 tの全てのブロックの I Dと MVを同時に決定する。 実際には、 処 理時間を短く してリアルタイム処理を可能にするために、 図 1 1に示すような近 似法により I Dと MVを決定する。
(S 1 1 ) 時刻 tで移動物体の一部が含まれる各プロックについて、 上式
(2) の評価関数 UDの値を最小にする動きべク トル MVを求める。 但し、 上述 の動きべク トルを求めるのに適しないブロックについては動きべク トル MVを求 めない。 次に、 動きベク トルを求めるのに適しない各ブロックについて、 上式
(5) の評価関数 UVの値を最小にする動きベク トル MVを求める。 この場合、 図 8のステップ S 1〜S 3及ぴ S 6の処理を加えることにより、 一意的に動きべ ク トル MVを決定してもよい。
(5 1 2) 動きベク トル MVを有する各ブロックについて、 上式 （3) の評価 関数 UMが最小になるように I Dを決定する。 この動きベク トル MVは、 ステツ プ S 1 1で求められたものであり、 固定である。 時刻 t一 1で I Dが付与されて いない最初の画像については、 隣り合うブロックの動きべク トル MVの差が所定 値以内のプロックに同一 I Dを付与する。
(5 1 3) I D及び MVが求められた各ブロックの評価関数 Uの値の総和 UT を求める。
(5 14) 総和 UTをより小さくする I D及び MVの分布を求めるために、 該 分布を変更する。
(51 5) ステップ S 1 3及び S 1 4を所定回数繰り返したと判定され、 又は、 総和 UTが収束したと判定されれば、 処理を終了し、 そうでなければステップ S
1 5へ戻る。
このようにして、 総和 UTを略最小にする I D及び MVの分布をリアルタイム で求めることができる。
例えば、 ステップ S 1 6で、 1つのブロックの MVを所定範囲内で 1画素ずら し又は 1つのブロックの I Dを変更し、 ステップ S 1 5に戻って総和 UTが前の 値より大きくなれば、 ステップ S 1 6で、 変更した MV又は I Dを元に戻し、 小 さくなれば、 次のブロックについて同様の変更を行う。 該所定範囲は例えば、 上 下左右の各々について + 4画素である。
また、 1つのプロックの MV又は I Dを変更してもその影響は全てのプロック の評価関数に波及しないので、 総和 UTを求めずに、 全ブロックのうち影響を受 けるプロックの評価関数 Uの値の総和 UTportionを略最小にしてもよい。 こ の場合、 各ブロックの評価関数 Uの値を一時記憶しておき、 その前回値と今回値 を比較することにより、 影響の有無を判定することができる。
さらに、 ステップ S 1 3〜S 1 5の繰り返し処理を行う替わりに、 総和 UTを 小さくする処理を予め推定し、 この処理を行って総和 UT又は UTportionを 計算し、 その値が処理前より小さくなつていればそのォブジェク トマップを採用 し、 そうでなければ処理前のォブジェク トマップを採用するようにしてもよレ、。 この推定処理は例えば、 上式 （5) に基づく動きベク トルの空間的平均化である。 すなわち、 式 （5) 中の MVを、 MV=∑MVneigher_ Lとすることにより 式 （5) の値を最小にすることができるので、 既に求まっている MVneigher を用いて、 MVを MV二∑MVneigher/Lとする。
また、 ステップ S 1 1において、 動きベク トルを求めるのに適しないプロック の動きべク トルを求めないで、 ステップ S 1 3〜S 1 5の処理又はこれに替わる 前記処理により、 動きべクトルを求めるのに適しないブロックの動きべク トルを 決定してもよレ、。
次に、 第 2実施形態の実験結果を説明する。
定数 a〜 c及ぴ f は試行錯誤により、 a = 3 2/ 1 0 0 0 0 0 0、 b = l / 2 5 6、 0 = 1 /2 , f = l / 4と決定された。 また、 ステップ S 1 3〜S 1 5の 繰り返し処理を行う替わりに、 上記動きべク トルの空間的平均化処理を行った。 図 1 5 (A) 及ぴ （B) はそれぞれ、 交差点での撮影画像及びその I Dのォブ ジェタ トマップを示す。 図中の太線は、 同一 I Dが含まれる矩形を示す （以下同 様） 。
図 1 6 (A) 及び （B) はそれぞれ、 高速道路での低角度撮影画像及びその I Dのオブジェク トマップを示す。
図 1 7 (A) 及び （B) はそれぞれ、 横断歩道での撮影画像、 及ぴ、 これと I Dのオブジェク トマップの I D付与部のメッシュとを重ね合わせた画像を示す。 図 1 6 (A) 及ぴ図 1 7 (B) 中の矩形に付与された番号は、 オブジェク トの I Dである。
このような混雑し重なった移動物体を追跡することができた。
[第 3実施形態]
図 1 0 (C) のようにオブジェクト境界の両側に、 推定された動きベク トルの 数が多く、 かつ、 境界の両側の動きベク トルの差の絶対値が比較的小さい場合、 オブジェク ト境界の精度が悪くなる。 このような場合、 時間を遡ってォブジェク トを追跡すると、 追跡精度も悪くなる。
隣り合うプロックの動きべク トル MVの差が所定値以内のプロックに同一 I D を付与するという規則における該所定値を大きくすることにより、 この問題を解 決することもできるが、 この場合、 時間を遡る追跡処理の開始時点が遅れること になる。
そこで、 本発明の第 3実施形態ではこれらの問題を解決するため、 図 1 8に示 す方法を行うことにより、 時間を遡る追跡処理の開始時点を決定する。 この方法 では、 連続する N画像、 例えば 3画像について、 時間的に隣り合う画像における 同一オブジェク ト間の相関度 （オブジェク トの時空的相関度） が所定値以上であ る場合、 ォブジェク ト境界の信頼性が高いと判定する。
例えば図 1 9 (A) に示すような時刻 t一 1のオブジェク トマップが既に作成 されているとする。
(S 2 1 ) カウンタ CNTに初期値 0を代入する。
(S 2 2) 時刻 tのォブジヱタトマップを、 上記第 1実施形態で述べた方法で 作成する。 図 1 9 (B) は時刻 tのオブジェク トマップを示す。
(S 2 3) 1つのクラスタに複数のオブジェク トが含まれる場合にはステップ S 24へ進み、 そうでなければステップ S 2 7へ進む。
(S 24) 時刻 t一 1と tのオブジェク トマップについて、 オブジェク トの時 空的相関度を求める。
例えば、 図 1 9 (A) の一方のオブジェク ト O B J 1 ( t - 1 ) を、 このォブ ジェタ トの平均動きベク トルだけ移動した図形と、 図 1 9 (B) の該一方に対応 するオブジェク ト OB J 1 ( t ) の図形との図形論理積 （図 1 9 (C) のハッチ ングが施された図形） の面積 A 1を求め、 オブジェク ト OB J 1 ( t - 1 ) の図 形の面積 AOを求め、 比 A 1 /AOを相関度として求める。 面積 AOは、 ォブジ ェク ト〇B J 1 ( t ) の図形の面積 AOであってもよい。
(S 2 5) A 1 /AOが所定値 r 0以上であればステップ S 26へ進み、 そう でなければステップ S 27へ進む。
(S 2 6 ) カウンタ CNTを 1だけィンクリメントし、 ステップ S 2 8へ進む,
(S 2 7) カウンタ CNTをゼロクリアする。
(S 2 8) C NT <N— 1であればステップ S 29へ進み、 そうでなければス テツプ S 30へ進む。 ( S 2 9 ) 次の時刻 t + 1を tとしてステップ S 2 1へ戻る。
( S 3 0 ) オブジェク トの時空的相関度が高いと判定し、 時間 tから遡ってォ ブジェク トを追跡する。
[第 4実施形態]
図 2 0は、 本発明の第 4実施形態のオブジェク トマップ説明図である。
ブロックサイズを小さくすればオブジェク トの境界精度が向上する。 しかし、 ブロックサイズを小さくするほど、 ブロックマッチングにより動きべク トルを決 定することが困難になる。
この問題を解決するために、 本発明の第 4実施形態では、 I D及び動きべタ ト ル MVを付与する各ブロック B ( i , j ) の動きベク トルを決定するためのブロ ック B， （ i , j ) のサイズを、 ブロック B ( i， j ) のサイズよりも大きく し ている。 ブロック B ' ( i , j ) はブロック B ( i , j ) と同心であり、 ブロッ ク B ' ( i , j ) 内にブロック B ( i , j ) が含まれている。
例えば図 2 0において、 ブロック B ' ( t ： 3 , 1 0 ) は、 プロック B ( t ： 3 , 1 0 ) の動きベク トルを求めるためのものである。 図 5の場合と同様に、 ブ ロック B ' ( t ： 3 , 1 0 ) の画像と、 時刻 t一 1のプロックサイズの領域 A X の画像とのテクスチャ相関度を、 所定範囲 AM内で領域 A Xを 1画素移動させる 毎に求める。
他の点は、 上記第 1、 第 2又は第 3実施形態と同一である。
[第 5実施形態]
上記実施形態では、 プロック単位で背景画像と比較することにより、 オブジェ ク トが存在するかどうかを調べているので、 背景画像を特別扱いしなければなら ない。 また、 例えば過去 1 0分間の撮影画像に基づいて背景画像を生成している ので、 カメラが揺れた場合には、 この摇れを背景画像に反映させることができな い。
そこで、 本発明の第 5実施形態では、 このような問題を解決するために、 背景 画像もォブジェク トとみなしてオブジェク トマップを作成する。 オブジェク トマ ップ生成方法は、 背景画像と比較してプロックに移動物体が存在するかどうかを 判定する点以外は、 上記第 1、 第 2、 第 3又は第 4実施形態と同一である。 背景 画像もオブジェク トとみなすので、 全てのブロックについて、 ブロックマツチン グを行うことにより I Dを付与し MVを決定する。
次に、 図 1 1の処理により時刻 tのオブジェク トマップが作成される過程の概 略を図 2 1及び図 2 2に基づいて説明する。
( S 1 1 ) 時刻 tで各ブロックについて、 上式 （2 ) の評価関数 U Dの値を最 小にする動きべク トル MVを求める。 但し、 上述の動きべク トルを求めるのに適 しないプロックについては動きべク トノレ MVを求めない。
図 2 1 (A) に示すような画像に対し、 この処理を行うことにより、 図 2 1 ( B ) に示すような動きベク トルのオブジェク トマップが得られる。 図 2 1 ( B ) において、 点線はブロックの境界線であり、 ドッ トは動きベク トルが 0で あることを示している。
次に、 動きベク トルを求めるのに適しない各ブロックについて、 上式 （5 ) の 評価関数 U Vの値を最小にする動きベク トル MVを求める。 これにより、 図 2 2 (A) に示すような動きべク トルのオブジェク トマップが得られる。
ステップ S 1 2〜S 1 5の処理は第 2実施形態と同一である。
ステップ S 1 2の処理により、 図 2 2 ( B ) に示すような I Dのオブジェク ト マップが得られる。
このようにすれば、 特別な背景画像を用いる必要がなく、 また、 カメラが揺れ ても、 背景画像を識別することができる。 また、 画像上に入口スリ ッ トを設ける 必要がなくなる。 さらに、 画像の枠から出たオブジェク トの I Dを消滅させるこ とにより、 出口スリ ッ トを用いなくてもよい。
[第 6実施形態]
以上の実施形態では、 画像をブロックに分割し、 プロック単位でオブジェク ト の I D及び MVを決定していたので、 プロックの境界と無関係な移動物体の一部、 例えばプロックサイズの領域を追跡することができなかった。
本発明の第 6実施形態では、 画像をブロックに分割し、 ブロック単位でォブジ ェタ トの I D及ぴ MVを決定するとともに、 プロックの境界と無関係な移動物体 の一部を追跡する。
図 2のオブジェク トマップ記憶部 2 6には、 図 2 3に示すように、 時亥 ：〜 t 一 5の時系列画像に対応したオブジェク トマップ OM ( t ) 〜OM ( t— 5) が 格納されている。
次の時刻では、 t→ t一 1 とされ、 すなわちオブジェク トマップ OM ( t) 〜 OM ( t - 5) がそれぞれ OM ( t - 1 ) 〜OM ( t— 6) とされる。 そして、 最も古いオブジェク トマップ OM ( t— 6) が新たなオブジェク トマップ OM ( t) で更新される。
図 2の移動物体追跡部 27において、 移動物体の一部の追跡が以下のようにし て行われる。
図 24 (A) に示すように、 オブジェク トマップ〇M ( t ) 上の着目領域 A ( t) の動きベク トルが MV ( t ) であるとする。 図 24 (A) 中の点線はブロ ックの境界であり、 この例では着目領域 A ( t ) が 1つのブロックに一致してい る。
図 24 (B) に示すように、 着目領域 A ( t) を、 — MV ( t) 移動させた領 域に対応するオブジェク トマップ OM ( t - 1) の着目領域 A ( t - 1) を求め る。
着目領域 A ( t - 1 ) の動きベク トル MV ( t - 1 ) を、 次のような重み付き 平均により求める。
MV ( t - 1 ) = (MV 1 · S 1 +MV 2 · S 2 +MV 3 · S 3 +MV 4 · S
4 ) / (S 1 + S 2 + S 3 + S 4)
ここに、 MV 1〜MV4は着目領域 A ( t - 1 ) と重なった第 1〜4ブロック の動きベク トルであり、 S 1〜S 4は着目領域 A ( t— 1) と重なった第 1〜4 ブロックの重なり部分画素数である。
図 24 (C) に示すように、 着目領域 A ( t - 1) を、 一 MV ( t - 1 ) 移動 させた領域に対応するオブジェク トマップ OM ( t - 2) の着目領域 A ( t - 2) を求める。
着目領域 A ( t - 2) の動きベク トル MV ( t— 2) を、 上記同様にして求め る。
このような着目領域の移動と移動後の着目領域の動きべク トル算出の処理を繰 り返すことにより、 着目領域を、 ブロックの境界と無関係に追跡することができ る。 すなわち、 時刻 tの着目領域 A ( t ) に対し、 時刻 t一 l〜 t— 5の着目領 域 A ( t - 1 ) 〜A ( t - 5 ) を求めることができる。
本発明の第 6実施形態によれば、 移動物体の一部である着目領域を追跡するこ とができ、 例えば着目領域の行動パターンを解析したり、 分類したり、 特定の行 動パターンであると判定したりすることが可能となる。 また、 複数の着目領域間 の相対位置の行動パターンを解析したり、 分類したり、 特定の行動パターンであ ると判定したりすることが可能となる。
上記の例では、 時刻 tでの着目領域が 1つのプロックに一致する場合を説明し たが、 図 2 4 ( B ) のように着目領域が 1つのブロックに一致しない場合であつ てもよい。 この場合の着目領域の動きベク トルは、 上記のように重み付き平均に より求める。
また、 上記の例では、 時間を遡って着目領域を追跡する場合を説明したが、 ォ ブジェク トマップ〇M ( t - 5 ) 上の着目領域 A ( t - 5 ) から出発し、 動きべ ク トルの正方向へ着目領域を移動させることにより、 着目領域を追跡してもよい。 この場合、 新たなオブジェク トマップ O M ( t ) が求まる毎に、 着目領域 A ( t ) を求めることにより、 着目領域を追跡することができる。
さらに、 着目領域はプロックサイズより大きくても小さくてもよい。
[第 7実施形態]
次に、 オブジェク ト境界認識に上記第 6実施形態の方法を利用した例を、 第 7 実施形態として説明する。
図 2 5 (A) において、 オブジェク トマップ O M ( t ) 上の隣り合う着目領域 A i ( t ) 及び A j ( t ) の動きベク トルがそれぞれ MV i ( t ) 及ぴ MV j
( t ) であるとする。 領域 A i ( t ) 及び A j ( t ) が互いに異なる移動物体の 一部であっても、 I MV i ( t ) - MV j ( t ) I が比較的小さい場合、 両者を 異なる移動物体と認識することができない。 特に、 カメラから遠く離れた複数の 移動物体が互いに重なって見える場合、 この問題が生ずる。
そこで、 上記第 6実施形態の方法により、 ォプジヱク トマップ O M ( t - 5 ) 上の着目領域 A i ( t— 5 ) 及び A j ( t— 5 ) を決定する。 領域 A i ( t— 5 ) の中心から領域 A i ( t ) の中心までの動きベク トルを、 早送り動きべタ ト ル MV i (t— 5, t ) として求める。 同様に、 領域 A j ( t - 5) の中心から 領域 A j ( t ) の中心までの動きベク トルを、 早送り動きベク トル MV j ( t - 5, t ) として求める。 そして、 i MV i ( t - 5 , t ) -MV j ( t - 5 , t) Iの値が所定値 εを越えていれば、 着目領域 A i (t) と A j (t) の境界 が互いに異なる移動物体の境界であると認識する。
このような処理を、 オブジェク トマップ OM ( t ) 上の 1つのクラスタ内の全 ての隣り合うプロックに適用することにより、 該クラスタに含まれている複数の 移動物体を分割認識することができる。
上記の例では I MV i (t _k, t ) -MV j ( t - k , t ) 1の kが 5であ る場合を説明したが、 重なって見える移動物体間の画像上相対速度が小さいほど kの値を大きく した方が好ましい。
そこで、 1つのクラスタについて、 図 26に示すような動きベク トルの絶対値 のヒストグラムを作成する。 ピークが複数存在すれば、 このクラスタに複数の移 動物体が含まれていると推定できる。 ピーク間の距離 Δνに対し、 kの値を、 k = [ひ Δ V]
と決定する。 ここに αは試行錯誤により定められる定数であり、 □ は四捨五入 による整数化を意味する。
[第 8実施形態]
図 2 7は、 本発明の第 8実施形態の移動体境界認識方法を示すフローチヤ一ト である。
この方法では、 上記ヒストグラムを作成せずに、 図 2 5 (Α) の 2つの着目領 域について、 以下のように kの値を 0から最大値 kmaxまで変化させる。 kmax は例えば、 1 0フレーム 秒の場合、 5である。
(S 3 1) kに初期値 0を代入する。
(S 3 2) I MV i ( t _k, t ) -MV j ( t - k , t ) I > εであればス テツプ S 3 3へ進み、 そうでなければステップ S 34へ進む。
(S 3 3) 着目領域 A i ( t) と A j ( t) の境界が互いに異なる移動物体の 境界であると認識する。
(S 34) kの値を 1だけインクリメントする。 (S 3 5) k > kmaxであればステップ S 3 6へ進み、 そうでなければステ ップ S 3 2へ戻る。
(S 3 6) 着目領域 A i ( t) と A j ( t) が同一移動物体に属すると認識す る。
他の点は、 上記第 7実施形態と同一である。
この第 8実施形態によれば、 上記ヒス トグラムを作成せずに kの値が自動的に 決定される。
なお、 本発明には外にも種々の変形例が含まれる。
例えば、 上記実施形態では空間的差分画像を処理して移動物体を追跡する場合 を説明したが、 本発明は各種エッジ画像や原画像を処理して移動物体 （移動物体 の一部を含む） を追跡する構成であってもよい。

Claims

請求の範囲
1 . 時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法 において、 各画像が、 複数画素からなるプロックに分割され、 移動物体の識別符 号がブロック単位で付与されているとともに該移動物体の動きべクトルがプロッ ク単位で求められている場合に、
( a ) 隣り合うブロックの動きべク トルの差の絶対値が所定値以内のブロック に同一の識別符号を付与することにより、 画像上で互いに重なった移動物体に互 いに異なる識別符号を付与する、
ことを特徴とする画像上移動物体追跡方法。
2 . 該時系列画像のうち連続する N画像 （N≥ 2 ) について該ステップ （a ) の 処理を行い、
( b ) 該 N画像の各々において、 第 1識別符号が付与されたブロック群である 第 1オブジェク トと第 2識別符号が付与されたブ口ック群である第 2オブジェク トとが接し、 かつ、 該 N画像について時間的に隣り合う画像の第 1オブジェク ト 間の相関度が所定値以上であるかどうかを判定する、
ことを特徴とする請求項 1記載の画像上移動物体追跡方法。
3 . 該相関度は、 該時間的に隣り合う第 1オブジェク トの一方をその動きべタ ト ルに基づいて移動させたものと他方との図形論理積の面積の、 該一方又は他方の 面積に対する割合に略等しいことを特徴とする請求項 2記載の画像上移動物体追 跡方法。
4 . ( c ) 該ステップ （b ) で肯定判定された後に、 時間を遡って該第 1ォプジ エタ トと該第 2オブジェク トとを追跡する、
ステップをさらに有することを特徴とする請求項 2又は 3記載の画像上移動物 体追跡方法。
5 . 時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、 該プログラムは該プロセッサに対 し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、 該 処理により、 各画像が、 複数画素からなるブロックに分割され、 移動物体の識別 符号がプロック単位で付与されているとともに該移動物体の動きべク トルがプロ ック単位で求められており、 該プログラムは、
( a ) 隣り合うブロックの動きべク トルの差の絶対値が所定値以内のブロック に同一の識別符号を付与することにより、 画像上で互いに重なった移動物体に互 いに異なる識別符号を付与する手順、
を有することを特徴とする画像上移動物体追跡装置。
6 . 該プログラムは、
該時系列画像のうち連続する N画像 （N≥ 2 ) について該ステップ （a ) の処 理を行う手順と、
( b ) 該 N画像の各々において、 第 1識別符号が付与されたブロック群である 第 1オブジェクトと第 2識別符号が付与されたプロック群である第 2オブジェク トとが接し、 かつ、 該 N画像について時間的に隣り合う画像の第 1オブジェク ト 間の相関度が所定値以上であるかどうかを判定する手順と、
を有することを特徴とする請求項 5記載の画像上移動物体追跡装置。
7 . 該手順 （b ) の該相関度は、 該時間的に隣り合う第 1オブジェク トの一方を その動きべク トルに基づいて移動させたものと他方との図形論理積の面積の、 該 一方又は他方の面積に対する割合に略等しいことを特徴とする請求項 6記載の画 像上移動物体追跡装置。
8 . 該プログラムはさらに、
( c ) 該ステップ （b ) で肯定判定された後に、 時間を遡って該第 1オブジェ ク トと該第 2オブジェク トとを追跡する手順、
を有することを特徴とする請求項 6又は 7記載の画像上移動物体追跡装置。
9 . 時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法 において、 各画像が、 複数画素からなるブロックに分割され、 移動物体の動きべ ク トルがプロック単位で求められ、 動きべク トルが未定の第 1ブロックが存在す る場合、
( a ) 該第 1ブロックの回りの決定済動きベク トルを抽出し、
( b ) 該抽出された動きべク トルを、 相互のベタ トルの差の絶対値が所定値以 下になるようにグループに分け、
( c ) べク トル数が最大のグループに含まれる動きべク トルの略平均べク トル を、 該第 1プロックの動きべク トルと推定する、
ことを特徴とする画像上移動物体追跡方法。
1 0 . 該ステップ （a ) において抽出すべき決定済動きベク トルが存在しない場 合、 該ステップ （c ) で推定された動きべク トルを決定済動きべク トルとみなし て、 該ステップ （a ) 〜 （c ) を実行することを特徴とする請求項 9記載の画像 上移動物体追跡方法。
1 1 . 時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、 該プログラムは該プロセッサに対 し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、 該 処理により、 各画像が、 複数画素からなるブロックに分割され、 移動物体の動き ベタ トルがブロック単位で求められており、 該プログラムは、 動きべク トルが未 定の第 1プロックが存在する場合、
( a ) 該第 1ブロックの回りの決定済動きべク トルを抽出する手順と、
( b ) 該抽出された動きべク トルを、 相互のべク トルの差の絶対値が所定値以 下になるようにグループに分ける手順と、
( c ) ベタ トル数が最大のグループに含まれる動きべク トルの略平均べク トル を、 該第 1プロックの動きべク トルと推定する手順と、
を有することを特徴とする画像上移動物体追跡装置。
1 2 . 該プログラムはさらに、
( d ) 該ステップ （a ) において抽出すべき決定済動きベク トルが存在しない 場合、 該ステップ （c ) で推定された動きべク トルを決定済動きべク トルとみな し、 該ステップ （a ) 〜 （c ) を実行させる手順、
を有することを特徴とする請求項 1 1記載の画像上移動物体追跡装置。
1 3 . 時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方 法において、 各画像は、 複数画素からなるブロックに分割されており、 移動物体 の識別符号をプロック単位で付与するとともに該移動物体の動きべク トルをプロ ック単位で求める場合に、
( a ) 時刻 t 1の画像のプロックサイズの領域から時刻 t 2の画像の着目ブロ ックへの動きべク トルを MVと推定し、 該着目プロックの識別符号を I Dと推定 し、
( b ) 該時刻 t 2の画像の該着目プロックの回りのブロックのうち識別符号が I Dである少なくとも 1つのプロックの動きべク トルと該着目プロックの動きべ ク トル M Vとの差の絶対値を含む、 相関度に関する量を求め、
( c ) 該相関度に関する量を含む評価関数の値を、 所定範囲内で該第 1領域を 移動させ各領域について求め、 該値の略最適値に基づいて該動きべク トル MV及 ぴ該識別符号 I Dを決定する、
ことを特徴とする画像上移動物体追跡方法。
1 4 . 該ステップ （c ) の相関度に関する量は、
I MV - MVneigher | / Lであり、
ここに、 MV neigherは、 該着目プロックの回りのブロックのうち、 該着目 プロックの識別符号 I Dと同一 I Dを有するプロックの動きべク トルであり、 ∑ は該同一 I Dを有するブロックについての総和を意味し、 Lは該同一 I Dを有す るプロックの数である、
ことを特徴とする請求項 1 3記載の画像上移動物体追跡方法。
1 5 . 時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、 該プログラムは該プ口セッサに対 し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、 該 処理により、 各画像が、 複数画素からなるブロックに分割され、 該プログラムは、 移動物体の識別符号をプロック単位で付与するとともに該移動物体の動きべク ト ルをプロック単位で求める場合に、
( a ) 時刻 t 1の画像のブロックサイズの領域から時刻 t 2の画像の着目ブロ ックへの動きべク トルを MVと推定し、 該着目プロックの識別符号を I Dと推定 する手順と、
( b ) 該時刻 t 2の画像の該着目ブロックの回りのブロックのうち識別符号が I Dである少なくとも 1つのブロックの動きべク トルと該着目プロックの動きべ クトル MVとの差の絶対値を含む、 相関度に関する量を求める手順と、
( c ) 該相関度に関する量を含む評価関数の値を、 所定範囲内で該第 1領域を 移動させ各領域について求め、 該値の略最適値に基づいて該動きべク トル MV及 び該識別符号 I Dを決定する手順と、
を有することを特徴とする画像上移動物体追跡装置。
1 6 . 該手順 （c ) の相関度に関する量は、
I MV -MV neigher | であり、
ここに、 MVneigherは、 該着目プロックの回りのブロックのうち、 該着目 ブロックの識別符号 I Dと同一 I Dを有するブロックの動きべクトルであり、 ∑ は該同一 I Dを有するブロックについての総和を意味し、 Lは該同一 I Dを有す るブロックの数である、
ことを特徴とする請求項 1 5記載の画像上移動物体追跡装置。
1 7 . 時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方 法において、 各画像は、 複数画素からなるブロックに分割されており、 移動物体 の識別符号をプロック単位で付与するとともに該移動物体の動きべク トルをブロ ック単位で求める場合に、
時刻 t 1の画像のプロックサイズの領域から時刻 t 2の画像の着目ブロックへ の動きべク トルを MVと推定して、 該プロックサイズの領域より大きく該ブロッ クサイズの領域と同心の第 1領域の画像と該第 1領域と同一形状で該着目プロッ クと同心である第 2領域の画像との類似度に関する量を求め、
該類似度に関する量を含む評価関数の値を、 所定範囲内で該第 1領域を移動さ せ各領域について求め、 該値の略最適値に基づいて該動きべク トル MVを決定す ることを特徴とする画像上移動物体追跡方法。
1 8 . 時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、 該プログラムは該プロセッサに対 し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、 該 処理により、 各画像が、 複数画素からなるプロックに分割され、 移動物体の識別 符号がプロック単位で付与されるともに該移動物体の動きべク トルがプロック単 位で求められ、 該プログラムは、
時刻 t 1の画像のブロックサイズの領域から時刻 t 2の画像の着目ブロックへ の動きべク トルを M Vと推定して、 該プロックサイズの領域より大きく該プロッ クサイズの領域と同心の第 1領域の画像と該第 1領域と同一形状で該着目ブロッ クと同心である第 2領域の画像との類似度に関する量を求める手順と、
該類似度に関する量を含む評価関数の値を、 所定範囲内で該第 1領域を移動さ せ各領域について求め、 該値の略最適値に基づいて該動きべク トル MVを決定す る手順と、
を有することを特徴とする画像上移動物体追跡装置。
1 9 . 時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方 法において、
( a ) 各画像を、 複数画素からなるブロックに分割し、
( b ) 背景画像も移動物体の 1つとみなして、 ブロック単位で移動物体の識別 符号を付与するとともにプロック単位で該移動物体の動きべク トルを求める、 ことを特徴とする画像上移動物体追跡方法。
2 0 . 該ステップ ( b ) は、
( b 1 ) 背景画像であるかどうかを区別せずに、 時刻 t 1と t 2の画像間のブ 口ックマッチングにより、 該時刻 t 2のプロックの動きべク トルを決定し、
( b 2 ) 該ステップ b 1で決定されなかったブロックの動きベク トルを、 請求 項 9、 1 0、 1 3又は 1 4のいずれか 1つに記載の方法で推定することにより求 め、
( b 3 ) 隣り合うプロックの動きべク トルの差の絶対値が所定値以下のブロッ クに同一識別符号を付与する、
ことを特徴とする請求項 1 9記載の画像上移動物体追跡方法。
2 1 . 時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、 該プログラムは該プロセッサに対 し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、 該 処理により、 各画像が、 複数画素からなるブロックに分割され、 該プログラムは (b 1) 背景画像であるかどうかを区別せずに、 時刻 t 1と t 2の画像間のブ 口ックマッチングにより、 該時刻 t 2のプロックの動きべク トルを決定する手順 と、
(b 2) 該ステップ b 1で決定されなかったプロックの動きベクトルを、 請求 項 9、 1 0、 1 3又は 1 4のいずれか 1つに記載の方法で推定することにより求 める手順と、
(b 3) 隣り合うプロックの動きべクトルの差の絶対値が所定値以下のプロッ クに同一識別符号を付与する手順と、
を有することを特徴とする画像上移動物体追跡装置。
2 2. 時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方 法において、 各画像が、 複数画素からなるブロックに分割され、
ある時刻での移動物体の動きべクトルをブロック単位で求めたオブジェク トマ ップを、 互いに異なる時刻について複数枚記憶しておき、
(a) 該複数枚のオブジェク トマップのうちの 1つについて、 着目領域の動き ベタトノレを求め、
(b) 求めた動きべクトルだけ該着目領域を正又は負の方向へ移動させた領域 の動きべク トルを、 移動後の時刻におけるォブジヱク トマップに基づいて求め、 該移動させた領域を該移動後の時刻におけるオブジェク トマップ上の着目領域 として、 該ステップ （b) を複数回繰り返すことにより、 該着目領域を追跡する ことを特徴とする画像上移動物体追跡方法。
23. 該ステップ （a) 又は （b) において、 該着目領域と重なった各ブロック の重なり部分の画素数を重みとし該着目領域と重なった各プロックの動きべク ト ルの重み付き平均べク トルを求め、 該重み付き平均べク トルを該着目領域の動き べクトルとすることを特徴とする請求項 22記載の画像上移動物体追跡方法。
24. 該ステップ （a) の着目領域は、 1つのブロックであることを特徴とする 請求項 22又は 2 3記載の画像上移動物体追跡方法。
2 5. 該ステップ （a) のオブジェク トマップは最新のものであり、 該ステップ (b) では該着目領域を負の方向へ移動させることを特徴とする請求項 22又は 2 3記載の画像上移動物体追跡方法。
2 6 . 最も古いォブジェクトマップを、 最も新しいォブジェク トマップで更新す ることにより、 該複数枚を一定にすることを特徴とする請求項 2 2又は 2 3記載 の画像上移動物体追跡方法。
2 7 . 時刻 t 1と時刻 t 2のオブジェク トマップ上の互いに対応する着目領域に 基づいて、 該時刻 t 1力 ら該時亥 Ij t 2への動きべク トルを早送り動きべク トルと して求め、
該時刻 t 2のオブジェク トマップ上の隣り合う着目領域の早送り動きべク トル の絶対値の差が所定値より大きい場合、 該隣り合う着目領域は互いに異なる移動 物体であると認識する、
ことを特徴とする請求項 2 2又は 2 3記載の画像上移動物体追跡方法。
2 8 . 動きべク トルを有する隣り合うプロックの集合体である 1つのクラスタに ついて、 動きベク トルの絶対値のヒストグラムのピークが複数存在する場合、 ピ ーク間の速度差に基づいて、 該時刻 t 1と該時刻 t 2の間隔を決定することを特 徴とする請求項 2 7記載の画像上移動物体追跡方法。
2 9 . 該時刻 t 1から該時刻 t 2までの間隔を広げる毎に、 該時刻 t 2のォブジ ヱク トマップ上の隣り合う着目領域の早送り動きべク トルの絶対値の差が所定値 より大きいかどうかを判定し、
該間隔が、 予め定めた最大値以下であり、 かつ、 該差が所定値より大きければ、 該隣り合う着目領域は互いに異なる移動物体であると認識する、
ことを特徴とする請求項 2 7記載の画像上移動物体追跡方法。
3 0 . 時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、 該プログラムは該プロセッサに対 し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、 該 処理により、 各画像が、 複数画素からなるブロックに分割され、 ある時刻での移 動物体の動きべク トルをブロック単位で求めたオブジェク トマップが、 互いに異 なる時刻について複数枚該記憶装置に格納され、 該プログラムは、
( a ) 該複数枚のオブジェク トマップのうちの 1つについて、 着目領域の動き べクトルを求める手順と、
( b ) 求めた動きべクトルだけ該着目領域を正又は負の方向へ移動させた領域 の動きべク トルを、 移動後の時刻におけるオブジェクトマップに基づいて求める 手順と、
を有し、 該移動させた領域を該移動後の時刻におけるォブジェクトマップ上の 着目領域として、 該手順 （b ) を複数回繰り返すことにより、 該着目領域を追跡 することを特徴とする画像上移動物体追跡装置。
3 1 . 該手順 （a ) 又は （b ) において、 該着目領域と重なった各ブロックの重 なり部分の画素数を重みとし該着目領域と重なった各プロックの動きべク トルの 重み付き平均べク トルを求め、 該重み付き平均べク トルを該着目領域の動きべク トルとすることを特徴とする請求項 3 0記載の画像上移動物体追跡装置。
3 2 . 該手順 （a ) の着目領域は、 1つのブロックであることを特徴とする請求 項 3 0又は 3 1記載の画像上移動物体追跡装置。
3 3 . 該手順 （a ) のオブジェクトマップは最新のものであり、 該手順 （b ) で は該着目領域を負の方向へ移動させることを特徴とする請求項 3 0又は 3 1記載 の画像上移動物体追跡装置。
3 4 . 該プログラムはさらに、
最も古いオブジェクトマップを、 最も新しいオブジェク トマップで更新するこ とにより、 該複数枚を一定にする手順を有することを特徴とする請求項 3 0又は 3 1記載の画像上移動物体追跡装置。
3 5 . 該プログラムはさらに、
時刻 t 1と時刻 t 2のォブジヱク トマップ上の互いに対応する着目領域に基づ いて、 該時刻 t 1から該時刻 t 2への動きべク トルを早送り動きべク トルとして 求める手順と、
該時刻 t 2のオブジェクトマップ上の隣り合う着目領域の早送り動きべク トル の絶対値の差が所定値より大きい場合、 該隣り合う着目領域は互いに異なる移動 物体であると認識する手順と、
を有することを特徴とする請求項 3 0又は 3 1記載の画像上移動物体追跡装置。
3 6 . 該プログラムはさらに、 動きべクトルを有する隣り合うプロックの集合体である 1つのクラスタについ て、 動きベク トルの絶対値のヒストグラムのピークが複数存在する場合、 ピーク 間の速度差に基づいて、 該時刻 t' lと該時刻 t 2の間隔を決定する手順を有する ことを特徴とする請求項 3 5記載の画像上移動物体追跡装置。
3 7 . 該プログラムはさらに、
該時刻 t 1から該時刻 t 2までの間隔を広げる毎に、 該時刻 t 2のォブジェク トマツプ上の隣り合う着目領域の早送り動きべク トルの絶対値の差が所定値より 大きいかどうかを判定する手順と、
該間隔が、 予め定めた最大値以下であり、 かつ、 該差が所定値より大きければ、 該隣り合う着目領域は互いに異なる移動物体であると認識する手順と、
を有することを特徴とする請求項 3 5記載の画像上移動物体追跡装置。
PCT/JP2003/016058 2002-12-20 2003-12-15 画像における移動物体の追跡方法及び装置 WO2004057537A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US10/540,217 US7929613B2 (en) 2002-12-20 2003-12-15 Method and device for tracking moving objects in image
CA002505563A CA2505563A1 (en) 2002-12-20 2003-12-15 Method and device for tracing moving object in image
EP03778936.9A EP1574992B1 (en) 2002-12-20 2003-12-15 Method and device for tracking moving objects in images
AU2003289096A AU2003289096A1 (en) 2002-12-20 2003-12-15 Method and device for tracing moving object in image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002371047A JP4217876B2 (ja) 2002-12-20 2002-12-20 画像における移動物体の追跡方法及び装置
JP2002-371047 2002-12-20

Publications (1)

Publication Number Publication Date
WO2004057537A1 true WO2004057537A1 (ja) 2004-07-08

Family

ID=32677192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/016058 WO2004057537A1 (ja) 2002-12-20 2003-12-15 画像における移動物体の追跡方法及び装置

Country Status (8)

Country Link
US (1) US7929613B2 (ja)
EP (1) EP1574992B1 (ja)
JP (1) JP4217876B2 (ja)
KR (2) KR20050085842A (ja)
CN (1) CN100385462C (ja)
AU (1) AU2003289096A1 (ja)
CA (1) CA2505563A1 (ja)
WO (1) WO2004057537A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117930A1 (ko) * 2019-12-10 2021-06-17 전자부품연구원 중복 영역 객체 검출 개선을 위한 의미적 필터링 모듈 시스템

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4734568B2 (ja) * 2006-01-12 2011-07-27 国立大学法人 東京大学 画像上移動物体計測点決定方法及び装置
JP4714872B2 (ja) * 2006-01-12 2011-06-29 国立大学法人 東京大学 画像上重畳移動物体分割方法及び装置
US8085849B1 (en) * 2006-11-03 2011-12-27 Keystream Corporation Automated method and apparatus for estimating motion of an image segment using motion vectors from overlapping macroblocks
KR20080057500A (ko) * 2006-12-20 2008-06-25 재단법인 포항산업과학연구원 사람 움직임 추적 시스템 및 그 방법
JP2009053815A (ja) * 2007-08-24 2009-03-12 Nikon Corp 被写体追跡プログラム、および被写体追跡装置
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
KR100921821B1 (ko) 2007-12-07 2009-10-16 영남대학교 산학협력단 특성 공간 궤적 데이터베이스 구축 방법 및 이를 이용한다중 각도 표적 식별 방법
US8325976B1 (en) * 2008-03-14 2012-12-04 Verint Systems Ltd. Systems and methods for adaptive bi-directional people counting
US9019381B2 (en) 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
JP4507129B2 (ja) * 2008-06-06 2010-07-21 ソニー株式会社 追尾点検出装置および方法、プログラム、並びに記録媒体
CN101615294B (zh) * 2008-06-26 2012-01-18 睿致科技股份有限公司 一种多重对象追踪的方法
KR100958379B1 (ko) * 2008-07-09 2010-05-17 (주)지아트 복수 객체 추적 방법과 장치 및 저장매체
US8325227B2 (en) * 2008-07-15 2012-12-04 Aptina Imaging Corporation Method and apparatus for low cost motion detection
US20100119109A1 (en) * 2008-11-11 2010-05-13 Electronics And Telecommunications Research Institute Of Daejeon Multi-core multi-thread based kanade-lucas-tomasi feature tracking method and apparatus
CN101719278B (zh) * 2009-12-21 2012-01-04 西安电子科技大学 基于khm算法的视频显微图像细胞自动跟踪方法
JP5561524B2 (ja) * 2010-03-19 2014-07-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5338978B2 (ja) * 2010-05-10 2013-11-13 富士通株式会社 画像処理装置および画像処理プログラム
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
JP5218861B2 (ja) * 2010-09-30 2013-06-26 株式会社Ｊｖｃケンウッド 目標追跡装置、目標追跡方法
JP5828210B2 (ja) * 2010-10-19 2015-12-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US10018703B2 (en) * 2012-09-13 2018-07-10 Conduent Business Services, Llc Method for stop sign law enforcement using motion vectors in video streams
WO2013077562A1 (ko) * 2011-11-24 2013-05-30 에스케이플래닛 주식회사 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법
KR101939628B1 (ko) 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
CN103678299B (zh) * 2012-08-30 2018-03-23 中兴通讯股份有限公司 一种监控视频摘要的方法及装置
US9311338B2 (en) * 2013-08-26 2016-04-12 Adobe Systems Incorporated Method and apparatus for analyzing and associating behaviors to image content
KR102161212B1 (ko) 2013-11-25 2020-09-29 한화테크윈 주식회사 움직임 검출 시스템 및 방법
US9598011B2 (en) * 2014-01-09 2017-03-21 Northrop Grumman Systems Corporation Artificial vision system
US10290287B1 (en) * 2014-07-01 2019-05-14 Xilinx, Inc. Visualizing operation of a memory controller
CN104539864B (zh) * 2014-12-23 2018-02-02 小米科技有限责任公司 记录图像的方法和装置
CN106296725B (zh) * 2015-06-12 2021-10-19 富泰华工业（深圳）有限公司 运动目标实时检测与跟踪方法及目标检测装置
CN105719315B (zh) * 2016-01-29 2019-01-22 深圳先进技术研究院 用于在移动终端中跟踪视频图像中的物体的方法
JP6526589B2 (ja) * 2016-03-14 2019-06-05 株式会社東芝 画像処理デバイス及び画像処理プログラム
KR102553598B1 (ko) * 2016-11-18 2023-07-10 삼성전자주식회사 영상 처리 장치 및 그 제어 방법
US11405581B2 (en) 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
JP7227969B2 (ja) * 2018-05-30 2023-02-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
CN111105434A (zh) * 2018-10-25 2020-05-05 中兴通讯股份有限公司 运动轨迹合成方法及电子设备
CN111192286A (zh) * 2018-11-14 2020-05-22 西安中兴新软件有限责任公司 一种图像合成方法、电子设备及存储介质
CN109584575B (zh) * 2018-12-19 2020-09-18 山东交通学院 一种基于能见度分析的道路安全限速提示系统及方法
US11277723B2 (en) * 2018-12-27 2022-03-15 Continental Automotive Systems, Inc. Stabilization grid for sensors mounted on infrastructure
US20210110552A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to improve driver-assistance vision systems using object detection based on motion vectors

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62230180A (ja) * 1986-03-31 1987-10-08 Nippon Hoso Kyokai <Nhk> 動きベクトル検出方法
JPH05137050A (ja) * 1991-11-15 1993-06-01 Sony Corp 画像の手振れ補正装置
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JPH09185720A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP2000285245A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 移動体の衝突防止装置、衝突防止方法、および記録媒体
JP2001307104A (ja) * 2000-04-26 2001-11-02 Nippon Hoso Kyokai <Nhk> 動画像のオブジェクト抽出装置
JP2002133421A (ja) * 2000-10-18 2002-05-10 Fujitsu Ltd 移動物体認識方法及び装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002428A (en) * 1994-10-21 1999-12-14 Sanyo Electric Co., Ltd. Motion vector detection circuit and object tracking camera device utilizing the same
JP3434979B2 (ja) * 1996-07-23 2003-08-11 富士通株式会社 局所領域画像追跡装置
KR100501902B1 (ko) * 1996-09-25 2005-10-10 주식회사 팬택앤큐리텔 영상정보부호화/복호화장치및방법
KR100244291B1 (ko) * 1997-07-30 2000-02-01 구본준 동영상 움직임 벡터 코딩 방법
WO2000019375A1 (en) * 1998-09-29 2000-04-06 Koninklijke Philips Electronics N.V. Partition coding method and device
US6968004B1 (en) * 1999-08-04 2005-11-22 Kabushiki Kaisha Toshiba Method of describing object region data, apparatus for generating object region data, video processing method, and video processing apparatus
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
JP3920535B2 (ja) * 2000-06-12 2007-05-30 株式会社日立製作所 車両検出方法及び車両検出装置
US20030161399A1 (en) * 2002-02-22 2003-08-28 Koninklijke Philips Electronics N.V. Multi-layer composite objective image quality metric

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62230180A (ja) * 1986-03-31 1987-10-08 Nippon Hoso Kyokai <Nhk> 動きベクトル検出方法
JPH05137050A (ja) * 1991-11-15 1993-06-01 Sony Corp 画像の手振れ補正装置
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JPH09185720A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP2000285245A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 移動体の衝突防止装置、衝突防止方法、および記録媒体
JP2001307104A (ja) * 2000-04-26 2001-11-02 Nippon Hoso Kyokai <Nhk> 動画像のオブジェクト抽出装置
JP2002133421A (ja) * 2000-10-18 2002-05-10 Fujitsu Ltd 移動物体認識方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1574992A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117930A1 (ko) * 2019-12-10 2021-06-17 전자부품연구원 중복 영역 객체 검출 개선을 위한 의미적 필터링 모듈 시스템

Also Published As

Publication number Publication date
KR20050085842A (ko) 2005-08-29
KR20070065418A (ko) 2007-06-22
EP1574992A4 (en) 2009-11-11
JP4217876B2 (ja) 2009-02-04
EP1574992A1 (en) 2005-09-14
CA2505563A1 (en) 2004-07-08
US7929613B2 (en) 2011-04-19
CN100385462C (zh) 2008-04-30
CN1729485A (zh) 2006-02-01
JP2004207786A (ja) 2004-07-22
EP1574992B1 (en) 2015-03-04
AU2003289096A1 (en) 2004-07-14
US20060092280A1 (en) 2006-05-04

Similar Documents

Publication Publication Date Title
WO2004057537A1 (ja) 画像における移動物体の追跡方法及び装置
US7139411B2 (en) Pedestrian detection and tracking with night vision
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
JP4782901B2 (ja) 移動体検出装置および移動体検出方法
JP5136504B2 (ja) 物体識別装置
JP5371040B2 (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
EP1345175B1 (en) Method and apparatus for tracking moving objects in pictures
KR20220032681A (ko) 노상 주차장의 주차 관리 방법
JP2002133421A (ja) 移動物体認識方法及び装置
JP4543106B2 (ja) 画像における移動物体の追跡方法及び装置
KR100566629B1 (ko) 이동물체 검출 시스템 및 방법
JP3763279B2 (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
JP4818430B2 (ja) 移動物体認識方法及び装置
JP4923268B2 (ja) 画像における移動物体の追跡方法及び装置
JP5165103B2 (ja) 画像における移動物体の追跡方法及び装置
Jayanthi et al. Deep learning-based vehicles tracking in traffic with image processing techniques
Wu et al. Gradient map based Lane detection using CNN and RNN
Mudjirahardjo A Study on Human Motion Detection-Toward Abnormal Motion Identification
CN115909497A (zh) 一种人体姿态识别方法及装置
Giardino et al. MULTIPLE VEHICLE DETECTION AND TRACKING USING AN ADAPTIVE SYSTEM
Mu et al. Multiple Vehicle Detection and Tracking in Highway

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2505563

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2003778936

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006092280

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1020057011609

Country of ref document: KR

Ref document number: 20038A69714

Country of ref document: CN

Ref document number: 10540217

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1020057011609

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003778936

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10540217

Country of ref document: US