WO2013046749A1 - 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体 - Google Patents

情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体 Download PDF

Info

Publication number
WO2013046749A1
WO2013046749A1 PCT/JP2012/055681 JP2012055681W WO2013046749A1 WO 2013046749 A1 WO2013046749 A1 WO 2013046749A1 JP 2012055681 W JP2012055681 W JP 2012055681W WO 2013046749 A1 WO2013046749 A1 WO 2013046749A1
Authority
WO
WIPO (PCT)
Prior art keywords
particle
image
frame
information processing
outer edge
Prior art date
Application number
PCT/JP2012/055681
Other languages
English (en)
French (fr)
Inventor
廣美 平野
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to US13/816,886 priority Critical patent/US8836791B2/en
Priority to ES12824838.2T priority patent/ES2586553T3/es
Priority to CN201280002614.2A priority patent/CN103140876B/zh
Priority to EP12824838.2A priority patent/EP2605215B1/en
Publication of WO2013046749A1 publication Critical patent/WO2013046749A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the present invention relates to a technical field of an information processing apparatus, an information processing method, an information processing apparatus program, and a recording medium that perform information processing on moving image data.
  • a particle filter is known as a method for tracking a specific object in a moving image.
  • moving image data is read for each frame, an edge image of an image frame is generated, particles are distributed in a space of a coefficient set and a space of a shape space vector, and the likelihood observation and probability of each particle
  • An image processing apparatus is disclosed that obtains a density distribution and generates a curve obtained by weighting and averaging each parameter according to the probability density distribution as a tracking result.
  • the present invention has been made in view of such problems, and an example of the problem is to provide an information processing apparatus and the like that can accurately track an object.
  • the invention according to claim 1 is an information processing apparatus that tracks a predetermined object in a moving image including a plurality of frames.
  • Particle initial setting means for setting at least one particle on the object, and a frame for sequentially acquiring a temporally previous frame and a temporally subsequent frame in the moving image after the preselected one frame
  • the difference between the pixel values of the acquisition unit and the image of the previous frame and the image of the subsequent frame acquired by the frame acquisition unit is greater than or equal to a threshold, and the object in the image of the previous frame
  • Tracking range outer edge determination means for determining a corresponding portion as an outer edge of the particle tracking range; and a parameter in the image of the previous frame.
  • the pixel position is within a predetermined range based on the position of the ticule and within the outer edge determined by the tracking range outer edge determination means, and has a color information similar to the color information of the pixel at the reference particle position.
  • Particle setting means for setting particles in the image of the subsequent frame, and object specifying means for specifying the position of the object in the image of the subsequent frame from the position of the particles set by the particle setting means; It is characterized by providing.
  • the particle initial setting unit sets the particles in a plurality of parts of the target object, and sets each part of the target object.
  • Hue angle calculation means for calculating the hue of each pixel where the particles are located and calculating the hue angle between the parts is further provided, and the object specifying means is the hue between the parts calculated by the hue angle calculation means. The position of the object is specified based on the angle.
  • the tracking for determining whether or not the object can be tracked based on the particles set by the particle setting means When the determination unit and the tracking determination unit determine that tracking is not possible, the particles in the image of the subsequent frame are reset according to the particle position set by the particle initial setting unit or the particle setting unit. And a particle resetting means.
  • the storage unit stores the particle position set by the particle initial setting unit or the particle setting unit.
  • the particle setting unit refers to the storage unit and determines the outer edge of the tracking range. It is characterized in that the particles in the image of the subsequent frame are set according to the position of the particle in the previous frame that is impossible.
  • a fifth aspect of the present invention in the information processing method for tracking a predetermined object in a moving image composed of a plurality of frames, at least one object on the image of one frame selected in advance in the moving image A particle initial setting step for setting particles; a frame acquisition step for sequentially acquiring a temporally previous frame and a temporally subsequent frame in the moving image after the preselected one frame; and the frame acquisition step
  • the difference between the pixel values of the image of the previous frame and the image of the subsequent frame acquired in step S is equal to or greater than a threshold value, and a portion corresponding to the object in the image of the previous frame is set as a particle tracking range.
  • a tracking range outer edge determining step for determining the outer edge of the image, and a partition in the image of the previous frame.
  • Particle setting step for setting particles in the image of the subsequent frame
  • an object specifying step for specifying the position of the object in the image of the subsequent frame from the position of the particles set in the particle setting step; It is characterized by including.
  • a computer in a program for an information processing apparatus that tracks a predetermined object in a moving image composed of a plurality of frames, a computer is used to select the object in an image of one preselected frame of the moving image.
  • Particle initial setting means for setting at least one particle on an object, frame acquisition means for sequentially acquiring a temporally previous frame and a temporally subsequent frame in the moving image after the preselected one frame; A degree of difference in pixel value between the image of the previous frame and the image of the subsequent frame acquired by the frame acquisition means is equal to or greater than a threshold, and a portion corresponding to the object in the image of the previous frame Tracking range outer edge determination means for determining the outer edge of the particle tracking range, and the par in the image of the previous frame.
  • Particle setting means for setting particles in the image of the subsequent frame, and object specifying means for specifying the position of the object in the image of the subsequent frame from the position of the particles set by the particle setting means It is made to function as.
  • the invention according to claim 7 is a program for an information processing apparatus for tracking a predetermined object in a moving image composed of a plurality of frames, wherein the computer is used to select a pre-selected image of the frame of the moving image.
  • Particle initial setting means for setting at least one particle on the object, frame acquisition for sequentially acquiring a temporally previous frame and a temporally subsequent frame in the moving image after the preselected one frame
  • a difference in pixel value between the image of the previous frame acquired by the frame acquisition unit and the image of the subsequent frame is equal to or greater than a threshold value, and corresponds to the object in the image of the previous frame
  • a tracking range outer edge determining means for determining a portion as an outer edge of a particle tracking range; a par in the image of the previous frame; Within the predetermined range based on the position of the vehicle and within the outer edge determined by the tracking range outer edge determining means, and at the pixel position having color information similar to the color information of the pixel at the reference particle position.
  • At least one particle is set on an object in an image of a preselected one frame of a moving image, and after the preselected one frame, the time frame is temporally different from the previous frame in the moving image.
  • the subsequent frames are sequentially acquired, and the difference in pixel value between the image of the previous frame and the image of the subsequent frame is equal to or greater than a threshold, and the portion corresponding to the object in the image of the previous frame Is determined as the outer edge of the particle tracking range, and is within the specified range based on the particle position in the previous frame image and within the outer edge of the tracking range, similar to the color information of the pixel at the reference particle position
  • Set the particle in the image of the later frame to the position of the pixel having the color information, and from the set position of the particle to the image of the later frame.
  • a portion corresponding to the target object in the image of the previous frame in which the difference between the image of the previous frame and the image of the subsequent frame is equal to or greater than a threshold value in time Since the particles in the image of the subsequent frame are set only within the outer edge of the tracking range, the particle divergence can be prevented and the object can be accurately tracked.
  • FIG. 2 is a schematic diagram illustrating an example of a moving image frame processed by the information processing apparatus of FIG. 1. It is a schematic diagram which shows an example which sets a particle to the target object in the flame
  • FIG. 2 is a schematic diagram illustrating an example of tracking an object in a moving image frame processed by the information processing apparatus of FIG. 1.
  • FIG. 3 is a flowchart showing a particle setting subroutine of FIG. 2. It is a schematic diagram which shows an example of the vicinity with respect to the particle of a target object. It is a schematic diagram which shows an example of the similar particle in a subsequent frame. It is a schematic diagram which shows an example of the state where a particle exists in the position which shows a target object. It is a schematic diagram which shows the modification of FIG. It is a diagram which shows an example of transition of the number of particles in the case where the method of this embodiment is used and the case where it is not used. 10 is a flowchart showing a modification of the particle setting subroutine of FIG. 9.
  • FIG. 1 is a schematic diagram illustrating a schematic configuration example of an information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 that functions as a computer includes a communication unit 11, a storage unit 12, a display unit 13, an operation unit 14, an input / output interface unit 15, a system control unit 16, It has.
  • the system control unit 16 and the input / output interface unit 15 are connected via a system bus 17.
  • the information processing apparatus 10 performs information processing on moving image data. For example, the information processing apparatus 10 receives image data such as a live race of a horse race from a horse racing site (not shown) via a network (not shown), and performs information processing on the received moving image data. Then, the processed video data is transmitted to a user terminal device (not shown). In addition, the information processing apparatus 10 may display the processed moving image data on the display unit 13 as a user terminal device.
  • the communication unit 11 controls the communication state and transmits / receives data when the information processing apparatus 10 is connected to a network or a local area network.
  • the information processing apparatus 10 receives image data such as a live broadcast of a horse race from a horse race site via the communication unit 11.
  • the storage unit 12 which is an example of a storage unit, includes, for example, a hard disk drive and stores various programs such as an operating system and a server program, moving image data, and the like. Note that the various programs may be acquired from another server device or the like via a network, or may be recorded on a recording medium and read via a drive device (not shown). Good.
  • the storage unit 12 stores moving image data of a horse racing race or the like, or temporarily stores moving image data such as a live broadcast of a horse race (hereinafter referred to as “moving image DB 12a”). Etc. are built.
  • the storage unit 12 is a web page described in a markup language such as HTML (HyperText Markup Language) or XML (Extensible Markup Language) in order to display information from the horse racing site on the terminal device or the display unit 13. Files are stored.
  • the display unit 13 is configured by, for example, a liquid crystal display element or an EL (Electro Luminescence) element.
  • the display unit 13 displays image data such as a horse race.
  • the operation unit 14 includes, for example, a keyboard and a mouse.
  • the user inputs a response through the operation unit 14.
  • the display unit 13 is a touch switch type display panel such as a touch panel
  • the operation unit 14 acquires position information of the display unit 13 that is touched or approached by the user.
  • the input / output interface unit 15 performs interface processing between the communication unit 11 and the storage unit 12 and the system control unit 16.
  • the system controller 16 includes a CPU (Central Processing Unit) 16a, a ROM (Read Only Memory) 16b, a RAM (Random Access Memory) 16c (an example of a storage unit), and the like.
  • the system control unit 16 functions as an object specifying unit that specifies the position of the object from the position of the particles by the CPU 16a reading and executing various programs stored in the ROM 16b and the storage unit 12.
  • FIG. 2 is a flowchart illustrating an operation example of the information processing apparatus 10.
  • FIG. 3 is a schematic diagram illustrating an example of a moving image frame processed by the information processing apparatus 10.
  • FIG. 4 is a schematic diagram illustrating an example of setting particles on an object in a frame.
  • FIG. 5 is a schematic diagram illustrating an example of an image based on a background difference with respect to a frame.
  • FIG. 6 is a schematic diagram illustrating an example of a hue angle with respect to a particle on an object.
  • FIG. 7 is a schematic diagram illustrating an example of tracking an object in a moving image frame processed by the information processing apparatus 10.
  • FIG. 8 is a schematic diagram illustrating an example of particle increase / decrease.
  • the information processing apparatus 10 acquires an image of one frame of a moving image (step S1). Specifically, the system control unit 16 of the information processing apparatus 10 reads the moving image data from the moving image DB 12a, acquires one frame of the moving image (an example of one preselected frame of the moving image), and stores it in the RAM 16c or the like. To do. For example, the system control unit 16 of the information processing apparatus 10 acquires an image of one frame as illustrated in FIG. 3 and causes the display unit 13 to display the image.
  • the information processing apparatus 10 performs initial setting of the search area (step S2). Specifically, the system control unit 16 of the information processing apparatus 10 sets a plurality of search areas from the acquired frame image. For example, as shown in FIG. 3, the user of the information processing apparatus 10 sets a search area 25 and a search area 26 using the operation unit 14.
  • a jockey riding a horse wears a helmet (helmet part 2a) and a game clothes (game clothes part 2b). Different combinations of colors for this helmet and game clothes make it easy to identify each jockey.
  • the search area 25 is set to include the jockey helmet part 2a
  • the search area 26 is set to include the jockey game clothes part 2b.
  • the coordinates (X1, Y1) where the search area 25 is located and the coordinates (X2, Y2) where the search area 26 is located are set for the frame 20.
  • the system control unit 16 of the information processing apparatus 10 stores the set position information of the search areas 25 and 26 and the size information of the search areas 25 and 26 in the RAM 16c and the like.
  • the information processing apparatus 10 initializes particles to the object in the search area (step S3). Specifically, the system control unit 16 of the information processing apparatus 10 applies a target to a part of the target object 2 (for example, the helmet part 2a or the game clothes part 2b) in the set search areas 25 and 26. Particles p are set in a color portion closest to the color of the helmet or game clothes in the vicinity of the boundary of a part of the object or in the region surrounded by the boundary. As shown in FIG. 4, a plurality of particles p are set for the helmet portion 2 a of the object in the search area 25. For each particle p, the coordinates (x1, y1) and the like in the search area are set with reference to the search area.
  • a target object 2 for example, the helmet part 2a or the game clothes part 2b
  • Particles p are set in a color portion closest to the color of the helmet or game clothes in the vicinity of the boundary of a part of the object or in the region surrounded by the boundary.
  • the system control unit 16 of the information processing apparatus 10 stores the set position information and color information of the particles p in the RAM 16c and the like.
  • the particle p may be a single pixel or a plurality of pixels in the frame image data.
  • the system control unit 16 of the information processing apparatus 10 functions as an example of a particle initial setting unit that sets at least one particle on an object in an image of one preselected frame of a moving image. Further, the system control unit 16 of the information processing apparatus 10 functions as an example of a particle initial setting unit that sets particles in a plurality of portions of an object.
  • the RAM 16c functions as an example of a storage unit that stores particle positions set by the particle initial setting unit or the particle setting unit.
  • the information processing apparatus 10 acquires an image of a later frame (step S4).
  • the system control unit 16 of the information processing apparatus 10 reads moving image data from the moving image DB 12a, acquires an image of a later frame in the moving image, and stores it in the RAM 16c or the like.
  • the system control unit 16 of the information processing apparatus 10 is an example of a frame acquisition unit that sequentially acquires a temporally previous frame and a temporally subsequent frame in a moving image after one preselected frame. Function.
  • the information processing apparatus 10 calculates an image based on the background difference (background difference image) (step S5). Specifically, the system control unit 16 of the information processing apparatus 10 subtracts the temporally previous frame image (for example, temporally one frame previous image) from the frame image obtained in step S4. Then, the difference value of the pixel value is obtained, and if the difference value of the pixel value is equal to or greater than a predetermined value, an image based on the background difference is calculated as the foreground and, if it is smaller than the predetermined value, as the background. Note that when shooting a horse that is running in horse racing, the camera is shooting following the horse, but since the background of the Baba has little change, it is easily specified as the background. On the other hand, since the running horse and jockey move up and down, as shown in FIG. 5, the outline of the horse and jockey tends to emerge as a foreground.
  • the system control unit 16 of the information processing apparatus 10 subtracts the temporally previous frame image (for example, temporally one frame
  • the background difference image is a difference image obtained by a method for removing the background and extracting the foreground, such as a simple background difference or an inter-frame difference.
  • the system control unit 16 of the information processing apparatus 10 is an example of the background difference image calculation unit that calculates an image based on the background difference between the image of the previous frame acquired by the frame acquisition unit and the image of the subsequent frame. Function.
  • the system control unit 16 of the information processing apparatus 10 functions as an example of a background difference image calculation unit that calculates an image based on a background difference as a foreground when the degree of difference between pixel values is equal to or greater than a threshold value.
  • the information processing apparatus 10 sets particles (step S6).
  • particles are generated, and particles are set by deleting particles outside the outer edge of the tracking range (the outer edge of the tracking range for tracking particles) determined according to the foreground of the background difference image.
  • the system control unit 16 of the information processing apparatus 10 stores the set position information and color information of the particles p in the RAM 16c and the like.
  • the RAM 16c functions as an example of a storage unit that stores the particle positions set by the particle initial setting unit or the particle setting unit. Details of the particle setting will be described in the particle setting subroutine.
  • the information processing apparatus 10 calculates the hue angle (step S7). Specifically, the system control unit 16 of the information processing apparatus 10 calculates the hue of each particle in the helmet part 2a and the hue of each particle in the game clothes part 2b. As illustrated in FIG. 6, the system control unit 16 of the information processing apparatus 10 obtains the average value of the coordinates of each particle of the helmet part 2 a and the average value of the coordinates of each particle of the game clothes part 2 b in the hue space. Then, the system control unit 16 of the information processing apparatus 10 determines the hue angle between the particle group of the helmet part 2a and the particle group of the game clothes part 2b, and the average value of the coordinates of each particle of the helmet part 2a.
  • the system control unit 16 of the information processing apparatus 10 calculates from the average value of the coordinate of each particle of the game clothes part 2b.
  • the system control unit 16 of the information processing apparatus 10 calculates the hue of the pixel where the particle is located in each part of the target object, and calculates the hue angle between the parts as an example of a hue angle calculation unit. Function.
  • the system control unit 16 of the information processing apparatus 10 calculates the hue angle as the initial hue angle. And stored in the RAM 16c or the like.
  • the information processing apparatus 10 determines whether or not the object can be tracked (step S8). Specifically, when the system control unit 16 of the information processing apparatus 10 determines that the hue angle between portions in the image of the temporally subsequent frame calculated in step S8 differs from the initial hue angle by a predetermined amount or more, the target Judge that tracking is not possible. Even when all the particles disappear, the system control unit 16 of the information processing apparatus 10 determines that tracking of the object is impossible.
  • the system control unit 16 of the information processing apparatus 10 determines that tracking of the object is impossible. Also good.
  • the system control unit 16 of the information processing apparatus 10 may determine that the object can be tracked.
  • the particles indicate other objects, and the color of the helmet and the color of the game clothes
  • the hue angle between the portions may change due to the difference in the combination.
  • the object being tracked is out of the frame, the size of the object is reduced, or the object is hidden by other horses and jockeys, buildings, etc. , Particles tend to disappear.
  • the information processing apparatus 10 identifies the object from the position of the particle (step S9). Specifically, the system control unit 16 of the information processing apparatus 10 specifies the target object being tracked based on the average value of the position of each particle, or specifies the position of the target object being tracked based on the particle group. To do. As described above, the system control unit 16 of the information processing apparatus 10 functions as an example of an object specifying unit that specifies the position of the object in the image of the subsequent frame from the particle position set by the particle setting unit.
  • step S8 the information processing apparatus 10 returns to step S3 and resets the particles of the object (2a, 2b) in the search areas 25, 26. .
  • the system control unit 16 of the information processing apparatus 10 reads the position information (for example, coordinates (x1, y1), coordinates (x2, y2)) of the set particles p stored in the RAM 16c or the like.
  • the particles p are reset at the same location in the search areas 25 and 26, that is, the positions of the particles initially set in the search areas 25 and 26. Note that objects such as horses and jockeys that are temporarily hidden by occlusion are likely to appear again at the same position in the search area on the frame.
  • the system control unit 16 of the information processing apparatus 10 resets the particle p in step S3 to the particle position set in time in step S6 instead of the initially set particle position. Also good. Specifically, the system control unit 16 of the information processing apparatus 10 reads the position information of the set particle p (for example, the latest particle before being determined to be untraceable) stored in the RAM 16c or the like, The particle p is reset at the same location in the search areas 25 and 26.
  • the system control unit 16 of the information processing apparatus 10 determines that the subsequent frame according to the particle position set by the particle initial setting unit or the particle setting unit when the tracking determination unit determines that the tracking is impossible. It functions as an example of a particle resetting means for setting particles in the image.
  • the information processing apparatus 10 sets a search area from the position of the particle (step S10). Specifically, the system control unit 16 of the information processing apparatus 10 resets the search areas 25 and 26 based on the average value of the particle positions. For example, the system control unit 16 of the information processing apparatus 10 resets the average value of the particle positions so as to be positioned at the center of the search areas 25 and 26 to be reset.
  • the position of the search area 25 is coordinates (X3, Y3)
  • the position of the search area 26 is coordinates (X4, Y4).
  • step S11 determines whether or not the process is finished.
  • step S11 NO
  • the process returns to step S4, and the system control unit 16 of the information processing apparatus 10 sequentially acquires frames by acquiring images of subsequent frames.
  • step S11; YES the system control unit 16 of the information processing apparatus 10 ends the process.
  • FIG. 9 is a flowchart showing a subroutine for particle generation.
  • FIG. 10 is a schematic diagram illustrating an example of the vicinity of a target object with respect to particles.
  • FIG. 11 is a schematic diagram illustrating an example of similar particles in a later frame.
  • the information processing apparatus 10 acquires the particle position and color information in the image of the previous frame (step S20). Specifically, the system control unit 16 of the information processing apparatus 10 temporally determines the particle position (an example of the particle position in the previous frame image) and color information in the previous frame image, the RAM 16c, and the like. Get from.
  • the information processing apparatus 10 specifies the vicinity of the position of the particle (step S21). Specifically, as shown in FIG. 10, the system control unit 16 of the information processing apparatus 10, in the image of the frame after acquired in step S ⁇ b> 4, the position of the particle (reference One of the pixel p in the pixel at the same position as the particle position and the pixel q in the vicinity of 8 of the particle p is specified as one near the particle position.
  • the position of the particle p and the position of the pixel q in the vicinity of 8 of p are an example within a predetermined range based on the position of the particle in the previous frame.
  • the information processing apparatus 10 determines whether the colors are similar (step S22).
  • the pixel specified by the system control unit 16 of the information processing apparatus 10 in step S21 is color information such as RGB of the particle in the image of the previous frame in time (the position of the reference particle position). It is determined whether or not the color is similar to that of an example of pixel color information.
  • step S22 If the colors are similar (step S22; YES), the information processing apparatus 10 generates particles at the positions of the specified neighboring pixels (step S23).
  • step S24 it is determined whether or not the information processing apparatus 10 has specified all the neighborhoods. If the system control unit 16 of the information processing apparatus 10 has not specified all the neighborhoods (step S24; NO), the process returns to step S21, and the center pixel and 8 neighboring pixels have not yet been identified. Identify the next pixel that is not.
  • FIG. 12 is a schematic diagram illustrating an example of a state in which particles are present at a position indicating an object.
  • FIG. 13 is a schematic diagram showing a modification of FIG.
  • the information processing apparatus 10 specifies particles (step S25). Specifically, the system control unit 16 of the information processing apparatus 10 identifies one particle from the particles generated in steps S20 to S24.
  • the information processing apparatus 10 determines whether the particle is within the outer edge of the tracking range (step S26). Specifically, as shown in FIG. 5, the system control unit 16 of the information processing apparatus 10 includes a search area 35 having the same position and size as the search area 25 in the background difference image 30 calculated in step S5. A search area 36 having the same position and size is set in the search area 26. Then, the system control unit 16 of the information processing apparatus 10 takes out the background difference image 30 of each search area 35, 36. For example, in the case of the helmet part 2a, an image including the outer edge 3a (an example of the outer edge of the tracking range) of the helmet part of the background difference image in the search area 35 is extracted.
  • the system control unit 16 of the information processing apparatus 10 includes a search area 35 having the same position and size as the search area 25 in the background difference image 30 calculated in step S5. A search area 36 having the same position and size is set in the search area 26. Then, the system control unit 16 of the information processing apparatus 10 takes out the background difference image 30 of each search area 35
  • the outer edge of the tracking range is the outer edge of the tracking range for tracking particles, and is determined according to the foreground of the background difference image.
  • the outline of the object to be tracked (which may be a part of the object), a region including the outline, and the like can be given. That is, the outer edge of the tracking range is a portion corresponding to an object in the image of the previous frame, in which the degree of difference in pixel values between the image of the previous frame and the image of the subsequent frame is equal to or greater than a threshold value.
  • the portion corresponding to the object in the foreground of the background difference image is the portion corresponding to the object in the image of the previous frame.
  • the system control unit 16 of the information processing apparatus 10 determines that the difference between the pixel values of the image of the previous frame acquired by the frame acquisition unit and the image of the subsequent frame is equal to or greater than the threshold value,
  • This function functions as an example of a tracking range outer edge determining unit that determines a portion corresponding to the object in the image of the image as the outer edge of the particle tracking range.
  • the system control unit 16 of the information processing apparatus 10 causes, for example, particles p on the image of the outer edge 3a of the helmet part indicating the outline of the helmet part 2a to fall within the outer edge of the tracking range. Judge that there is. Further, the system control unit 16 of the information processing apparatus 10 sets a straight line L connecting the particles p on the image of the outer edge 3a of the helmet part, gives a predetermined width D to the straight line L, and particles are included in the width. If it exists, it is determined to be within the outer edge of the tracking range.
  • the system control unit 16 of the information processing apparatus 10 sets a straight line r having a predetermined length around the particle, for example, at eight equally spaced angles. If the number of the straight line r having a finite length overlaps with a pixel indicating the outer edge 3a of the helmet portion is equal to or larger than a predetermined number (for example, four), the system control unit 16 of the information processing apparatus 10 determines that the particle in the tracking range You may determine with it being in an outer edge.
  • a predetermined number for example, four
  • the outline of the helmet part 2a may not be a complete closed region.
  • the system control unit 16 of the information processing apparatus 10 functions as an example of a tracking determination unit that determines whether or not an object can be tracked based on the particles set by the particle setting unit.
  • the information processing apparatus 10 leaves the identified particle as a particle (step S27). Specifically, as shown in FIG. 12, the system control unit 16 of the information processing apparatus 10 performs a particle p on the image of the outer edge 3 a of the helmet part, or a particle p existing within a predetermined width D on the straight line L. Leave. Alternatively, as shown in FIG. 13, the particle p having the number of five overlapping the pixels indicating the outer edge 3 a of the helmet part is left.
  • the information processing apparatus 10 deletes the particle (step S28). Specifically, as shown in FIG. 12, the system controller 16 of the information processing apparatus 10 does not have the particle p ⁇ b> 0 on the straight line L within the predetermined width D, not on the image of the outer edge 3 a of the helmet part. So delete and disappear. Further, as illustrated in FIG. 13, since the number of particles p0 that overlap with the pixel indicating the outer edge 3a of the helmet portion is three, the information processing apparatus 10 deletes the particle p0. The system control unit 16 of the information processing apparatus 10 deletes the identified particle from the RAM 16c or the like in which the position information and color information of each particle p is stored.
  • step S26 when the outer edge of the tracking range is not determined so that the object is temporarily hidden by occlusion and it cannot be determined whether the outer edge of the tracking range is within the system control unit 16 of the information processing apparatus 10. May perform processing to leave all particles as in step S27.
  • step S29 determines whether or not all particles have been identified.
  • step S29 determines whether or not all particles have been specified.
  • step S29 NO
  • the process returns to step S25, and the system control unit 16 of the information processing apparatus 10 specifies the next particle.
  • step S29 YES
  • the subroutine ends, and the information processing apparatus 10 performs the process of step S7.
  • particles are generated and narrowed down to the particles within the outer edge of the tracking range determined according to the background difference image, thereby determining the outer edge of the tracking range within the predetermined range based on the particle position in the previous frame.
  • Particles in a subsequent frame are set at the position of a pixel having color information similar to the color information of the pixel at the position of the reference particle within the outer edge determined by the means.
  • method of the present embodiment when using the method of the present embodiment (hereinafter referred to as “method of the present embodiment”) for focusing on particles within the outer edge of the tracking range determined according to the background difference image, and when not using it An example of the transition of the number of particles in and will be described with reference to FIG.
  • FIG. 14 is a diagram showing an example of the transition of the number of particles when the method of the present embodiment is used and when it is not used.
  • the number of particles indicates the number of particles in the entire frame.
  • At least one particle p is set on the target object 2 (helmet part 2a and game clothes part 2b) in the image of one preselected frame 20 of the moving image, and is selected in advance.
  • the temporally previous frame and temporally subsequent frame in the moving image are sequentially acquired, and the difference in pixel value between the temporally previous frame image and the subsequent frame image is greater than or equal to the threshold value.
  • the portion corresponding to the object in the image of the previous frame is determined as the outer edge 3a of the particle tracking range, and within a predetermined range and the tracking range based on the position of the particle in the image of the previous frame Within the outer edge of the image and the position of the pixel in the image of the subsequent frame is positioned at the pixel position having color information similar to the color information of the pixel at the reference particle position.
  • the object can be tracked accurately. Furthermore, since it is limited within the outer edge 3a of the tracking range, it is possible to prevent the number of particles from increasing explosively and to suppress an increase in the amount of calculation due to an increase in particles.
  • the object can be tracked even if the size of the object in the frame changes due to zooming in and zooming out. .
  • the difference between the pixel values is equal to or greater than the threshold value
  • an image based on the background difference as the foreground is calculated, and when the outer edge of the particle tracking range is determined according to the foreground corresponding to the object, the particle is determined based on the background difference.
  • the divergence of the particles p can be prevented, and the object can be tracked accurately.
  • the object 2 is specified by the relationship between the plurality of locations of the object 2 (the helmet part 2a and the game clothes part 2b) and the hue angle between the parts. Tracking can be prevented, and the tracking accuracy of the object can be further improved. For example, when the hue angles between the portions are different from each other by a predetermined amount or more, it is highly likely that different objects are being tracked. In such a case, the system control unit 16 of the information processing apparatus 10 determines that tracking is impossible.
  • the helmet has a similar color, it can be eliminated in combination with the game clothes, and the target can be accurately identified.
  • the amount of change in brightness is ignored using the hue information, the amount of calculation can be reduced. Further, even if the brightness changes due to the weather or the like, the hue value hardly changes, so that the tracking accuracy of the object is further increased.
  • the target Based on the set particles, it is determined whether the target can be tracked. When it is determined that tracking is not possible, the particles in the image of the subsequent frame are reset according to the set particle position. If the object is temporarily hidden behind an obstacle, or the object comes to the end of the frame and temporarily moves out of the frame, tracking of the object can be continued and the tracking accuracy of the object can be maintained. Will increase. In this way, even if the occlusion occurs or the object is out of the frame and the number of particles becomes zero, the initial positions of the set particles in the search areas 25 and 26 and the tracking of the object can be performed. Since the particle is reset to the position of the particle before it becomes impossible, the object can be tracked. Regardless of the background difference processing, by storing the initial position of the initially set particle, it is possible to track again using the initial position of the particle even when occlusion occurs.
  • FIG. 15 is a flowchart showing a modification of the particle setting subroutine.
  • the information processing apparatus 10 acquires the position and color information of the particles in the image of the previous frame as in step S20 (step S30).
  • the information processing apparatus 10 identifies pixels in the vicinity of the particle position and within the outer edge of the tracking range (step S31). Specifically, as shown in FIG. 10, the system control unit 16 of the information processing apparatus 10 includes pixels included in the vicinity of a particle as an example of a predetermined range based on the position of the particle in the previous frame. And, as shown in FIG. 12 or FIG. 13, the pixels within the outer edge of the tracking range are specified.
  • step S32 the information processing apparatus 10 determines whether the color of the identified pixel is similar as in step S22 (step S32).
  • step S32 If the color of the specified pixel is similar (step S32; YES), the information processing apparatus 10 sets a particle at the pixel position (step S33).
  • the information processing apparatus 10 determines whether or not all the pixels that satisfy the predetermined condition have been specified (step S34). Specifically, the system control unit 16 of the information processing device 10 selects all the pixels that are included in a predetermined range based on the position of the particle in the previous frame and satisfy the conditions in the outer edge of the tracking range. It is determined whether or not specified. When not all are specified (step S34; NO), the information processing apparatus 10 specifies the next pixel. When all are specified (step S34; YES), the subroutine ends, and the information processing apparatus 10 performs the process of step S7. Note that if there is no pixel of similar color information within the predetermined range based on the position of the particle in the previous frame and the outer edge of the tracking range, the particle is not set.
  • the information processing apparatus 10 sets particles only at positions according to the background difference image without losing particles.
  • the search areas 25 and 26 and each particle p may be set automatically or manually by the user.
  • the information processing apparatus 10 searches the frame of the object that matches these information from the information on the color of each jockey's helmet, the color of the game clothes, and the information on the positional relationship between the helmet and the game clothes.
  • the search areas 25 and 26 are automatically set so as to include a part of the object.
  • the information processing apparatus 10 determines the color of the helmet or the game clothes in the vicinity of the boundary of a part of the target object or the area surrounded by the boundary with respect to a part of the target object in each of the set search areas 25 and 26.
  • the particle p is automatically set by searching for the color portion closest to.
  • the object is temporarily hidden by occlusion, or the foreground of the background difference image is temporarily blurred due to subtle movement or reflection of the object.
  • the system control unit 16 of the information processing apparatus 10 cannot determine the outer edge of the tracking range with reference to the RAM 16c.
  • the particle in the image of the subsequent frame may be set. In this case, the object can be accurately tracked even if the outer edge of the tracking range is not required because the object is temporarily hidden by occlusion.
  • the outer edge of the tracking range can be specified from the background difference image ((frame t) ⁇ (frame t ⁇ 1)) at frame t, and the background difference image at frame t + 1.
  • the outer edge of the tracking range could not be specified from ((frame t + 1) ⁇ (frame t)), but the outer edge could be specified from the background difference image ((frame t + 2) ⁇ (frame t + 1)) at frame t + 2. Is assumed.
  • the system control unit 16 of the information processing apparatus 10 refers to the RAM 16c or the like at the time of the frame t, reads the position information of the particle p set at the time of the frame t, and the same place in the search areas 25 and 26 In addition, the particle p at the time of the frame t + 1 and the frame t + 2 is reset.
  • step S7 instead of calculating the hue angle, the RGB distance between each particle in the helmet part 2a and each particle in the game clothes part 2b may be calculated in the RGB space.
  • the information processing apparatus 10 determines that tracking is impossible in step S8 when the RGB distance between the portions changes from a predetermined threshold range.
  • a horse part and a jockey part may be used instead of the helmet part 2a and the game clothes part 2b.
  • the object may be an integrally moving object combining a horse and a jockey, may be a jockey alone, or may be a horse alone.
  • the present invention is not limited to the above embodiments.
  • Each of the embodiments described above is an exemplification, and any configuration that has substantially the same configuration as the technical idea described in the claims of the present invention and has the same operational effects can be used. It is included in the technical scope of the present invention.
  • Object 2a Helmet part 2b: Game clothes part 3a: Helmet part of background difference image (outer edge of tracking range) 10: Information processing device 12: Storage unit (storage means) 16: System control unit 16c: RAM (storage means) 20: Frame 25, 26: Search area 30: Background difference image p: Particle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　動画の予め選択された１のフレームの画像における対象物２上に少なくとも１つのパーティクルｐを設定し（Ｓ３）、予め選択された１のフレーム２０以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し（Ｓ４）、取得される前のフレームの画像と後のフレームの画像との画素値の相違度が閾値以上であって、前のフレームの画像における対象物に対応する部分をパーティクルの追跡範囲の外縁３ａとして決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し（Ｓ５、Ｓ６）、設定されたパーティクルの位置から、後のフレームの画像における対象物の位置を特定する（Ｓ９）。

Description

情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
　本発明は、動画データに対して情報処理を行う情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体の技術分野に関する。
　従来、動画中における特定の対象物を追跡する手法として、パーティクルフィルタが知られている。例えば、特許文献１では、動画像データをフレームごとに読み出し、画像フレームのエッジ画像を生成し、係数のセットの空間および形状空間ベクトルの空間においてパーティクルを分布させ、各パーティクルの尤度観測、確率密度分布を取得し、確率密度分布によって各パラメータに重み付け平均して得られる曲線を追跡結果として生成する画像処理装置が開示されている。
特開２０１０－１５２５５７号公報
　しかしながら、パーティクルフィルタでは、あるフレーム内で対象物の色とその周囲の色とが近似すると、当該フレーム内でそれらの間の境界を特定することが困難となる。このような場合には、本来対象物の境界の外であるはずの領域にパーティクルがはみ出して、発散してしまうことがあった。そのため、対象物の追跡ができなくなるという問題があった。
　本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、対象物の追跡が正確にできる情報処理装置等を提供することを目的とする。
　上記課題を解決するために、請求項１に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置において、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段と、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段と、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定手段と、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段と、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段と、を備えることを特徴とする。
　請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記パーティクル初期設定手段が、前記対象物の複数の部分に、各々前記パーティクルを設定し、前記対象物の各部分のパーティクルが位置する画素の色相を各々算出し、前記部分間の色相の角度を算出する色相角度算出手段を更に備え、前記対象物特定手段が、前記色相角度算出手段により算出された部分間の色相の角度にも基づき、前記対象物の位置を特定することを特徴とする。
　請求項３に記載の発明は、請求項１または請求項２に記載の情報処理装置において、前記パーティクル設定手段により設定されたパーティクルに基づき、前記対象物の追跡が可能か否かを判定する追跡判定手段と、前記追跡判定手段が追跡不可能と判定した場合に、前記パーティクル初期設定手段または前記パーティクル設定手段により設定されたパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを再設定するパーティクル再設定手段と、を更に備えたことを特徴とする。
　請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の情報処理装置において、前記パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段を更に備え、前記追跡範囲外縁決定手段が前記追跡範囲の外縁を決定することが不可能である場合に、前記パーティクル設定手段が、前記記憶手段を参照し、前記追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを設定することを特徴とする。
　請求項５に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理方法において、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定ステップと、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得ステップと、前記フレーム取得ステップにおいて取得される前記前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定ステップと、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定ステップにおいて決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定ステップと、前記パーティクル設定ステップにおいて設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定ステップと、を含むことを特徴とする。
　請求項６に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムにおいて、コンピュータを、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定手段、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする。
　請求項７に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムであって、コンピュータを、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定手段、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラムがコンピュータ読み取り可能に記録される。
　本発明によれば、動画の予め選択された１のフレームの画像における対象物上に少なくとも１つのパーティクルを設定し、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し、時間的に前のフレームの画像と後のフレームの画像と画素値の相違度が閾値以上であって、前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し、設定したパーティクルの位置から、後のフレームの画像における対象物の位置を特定することにより、時間的に前のフレームの画像と後のフレームの画像と画素値の相違度が閾値以上であって、前のフレームの画像における対象物に対応する部分である追跡範囲の外縁内に限定して、後のフレームの画像におけるパーティクルを設定しているため、パーティクルの発散を防ぐことができ、正確に対象物の追跡が可能となる。
本発明の実施形態に係る情報処理装置の概要構成の一例を示すブロック図である。 図１の情報処理装置の動作例を示すフローチャートである。 図１の情報処理装置が処理する動画のフレームの一例を示す模式図である。 図３のフレーム内の対象物にパーティクルを設定の一例を示す模式図である。 図３のフレームに対する背景差分による画像一例を示す模式図である。 対象物にパーティクルに対する色相角度の一例を示す模式図である。 図１の情報処理装置が処理する動画のフレームにおいて、対象物の追跡の一例を示す模式図である。 パーティクルの増減の一例を示す模式図である。 図２のパーティクル設定のサブルーチンを示すフローチャートである。 対象物のパーティクルに対する近傍の一例を示す模式図である。 後のフレームにおける類似するパーティクルの一例を示す模式図である。 対象物を示す位置にパーティクルが存在する状態の一例を示す模式図である。 図１２の変形例を示す模式図である。 本実施形態の方法を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例を示す線図である。 図９のパーティクル設定のサブルーチンの変形例を示すフローチャートである。
　以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、情報処理装置に対して本発明を適用した場合の実施形態である。
［１．情報処理装置の構成および機能概要］
　まず、本発明の一実施形態に係る情報処理装置の構成および概要機能について、図１を用いて説明する。
　図１は、本実施形態に係る情報処理装置１０の概要構成例を示す模式図である。
　図１に示すように、コンピュータとして機能する情報処理装置１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６と、を備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
　情報処理装置１０は、動画データに対して情報処理を行う。例えば、情報処理装置１０は、競馬サイト（図示せず）からの競馬の実況中継等の画像データを、ネットワーク（図示せず）を介して受信し、受信した動画データに対して情報処理を行い、情報処理された動画データをユーザの端末装置（図示せず）に送信する。なお、情報処理装置１０は、ユーザの端末装置として、情報処理された動画データを表示部１３に表示させてもよい。
　通信部１１は、情報処理装置１０がネットワークやローカルエリアネットワークに接続する場合、通信状態を制御し、データの送受信を行う。情報処理装置１０は、通信部１１を介して、競馬サイトからの競馬の実況中継等の画像データを受信する。
　記憶手段の一例である記憶部１２は、例えば、ハードディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや、動画データ等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置（図示せず）を介して読み込まれるようにしてもよい。
　また、記憶部１２には、競馬レース等を撮影した動画データを記憶したり、競馬の実況中継等の動画データを一時的に記憶したりする動画データベース１２ａ（以下「動画ＤＢ１２ａ」とする。）等が構築されている。また、記憶部１２は、競馬サイトからの情報を端末装置や表示部１３に表示させるために、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語等により記述されたウェブページのファイル等が記憶されている。
　表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。表示部１３には、競馬のレース等の画像データが表示される。
　操作部１４は、例えば、キーボードおよびマウス等によって構成されている。ユーザは、操作部１４により応答を入力する。なお、表示部１３がタッチパネルのようなタッチスイッチ方式の表示パネルの場合、操作部１４は、ユーザが接触または近接した表示部１３の位置情報を取得する。
　次に、入出力インターフェース部１５は、通信部１１および記憶部１２とシステム制御部１６との間のインターフェース処理を行う。
　システム制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ（記憶手段の一例）等により構成されている。システム制御部１６は、ＣＰＵ１６ａがＲＯＭ１６ｂや記憶部１２に記憶された各種プログラムを読み出し実行することにより、パーティクルの位置から対象物の位置を特定する対象物特定手段等として機能する。
［２．情報処理装置１０の動作］
（２．１　情報処理装置１０の動作例）
　次に、本発明の１実施形態に係る情報処理装置１０の動作例について図２から図８を用い説明する。図２は、情報処理装置１０の動作例を示すフローチャートである。図３は、情報処理装置１０が処理する動画のフレームの一例を示す模式図である。図４は、フレーム内の対象物にパーティクルを設定の一例を示す模式図である。図５は、フレームに対する背景差分による画像一例を示す模式図である。図６は、対象物にパーティクルに対する色相角度の一例を示す模式図である。図７は、情報処理装置１０が処理する動画のフレームにおいて、対象物の追跡の一例を示す模式図である。図８は、パーティクルの増減の一例を示す模式図である。
　図２に示すように、情報処理装置１０は、動画の１フレームの画像を取得する（ステップＳ１）。具体的には、情報処理装置１０のシステム制御部１６が、動画ＤＢ１２ａから、動画データを読み出し、動画の１フレーム（動画の予め選択された１のフレームの一例）を取得し、ＲＡＭ１６ｃ等に記憶する。例えば、情報処理装置１０のシステム制御部１６は、図３に示すような１フレームの画像を取得し、表示部１３に表示させる。
　次に、情報処理装置１０は、サーチ領域の初期設定を行う（ステップＳ２）。具体的には、情報処理装置１０のシステム制御部１６が、取得したフレームの画像から、サーチ領域を複数箇所設定する。例えば、図３に示すように、情報処理装置１０のユーザが操作部１４により、サーチ領域２５およびサーチ領域２６を設定する。競馬の場合、図３に示すように、馬に騎乗する騎手は、ヘルメット（ヘルメット部分２ａ）および勝負服（勝負服部分２ｂ）を着用している。このヘルメットおよび勝負服に対して別々の色の組み合わせにより、各騎手が識別されやすくなっている。騎手および馬の対象物２に対して、サーチ領域２５は、騎手のヘルメット部分２ａを含むように、サーチ領域２６は、騎手の勝負服部分２ｂを含むように設定される。サーチ領域２５が位置する座標（Ｘ１、Ｙ１）およびサーチ領域２６が位置する座標（Ｘ２、Ｙ２）は、フレーム２０に対して設定される。情報処理装置１０のシステム制御部１６は、設定されたサーチ領域２５、２６の位置情報やサーチ領域２５、２６の大きさの情報をＲＡＭ１６ｃ等に記憶する。
　次に、情報処理装置１０は、サーチ領域内の対象物にパーティクルを初期設定する（ステップＳ３）。具体的には、情報処理装置１０のシステム制御部１６が、設定された各サーチ領域２５、２６内における対象物２の一部（例えば、ヘルメット部分２ａや勝負服部分２ｂ）に対して、対象物の一部の境界付近や、境界により囲まれる領域においてヘルメットや勝負服の色に最も近い色の部分にパーティクルｐを設定する。図４に示すように、サーチ領域２５内の対象物のヘルメット部分２ａに対して、パーティクルｐが複数個設定される。各パーティクルｐに対して、サーチ領域を基準として、サーチ領域における座標（ｘ１、ｙ１）等が設定される。例えば、サーチ領域２５の座標（Ｘ１、Ｙ１）を基準（ｘ＝０、ｙ＝０）として、サーチ領域に２５における座標（ｘ１、ｙ１）が設定される。情報処理装置１０のシステム制御部１６は、設定されたパーティクルｐの位置情報や色の情報をＲＡＭ１６ｃ等に記憶する。なお、パーティクルｐは、フレームの画像のデータにおける１画素でも、複数の画素でもよい。
　このように、情報処理装置１０のシステム制御部１６は、動画の予め選択された１のフレームの画像における対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段の一例として機能する。また、情報処理装置１０のシステム制御部１６は、対象物の複数の部分に、各々パーティクルを設定するパーティクル初期設定手段の一例として機能する。また、ＲＡＭ１６ｃは、パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段の一例として機能する。
　次に、情報処理装置１０は、後のフレームの画像を取得する（ステップＳ４）。具体的には、情報処理装置１０のシステム制御部１６が、動画ＤＢ１２ａから、動画データを読み出し、動画において時間的に後のフレームの画像を取得し、ＲＡＭ１６ｃ等に記憶する。このように、情報処理装置１０のシステム制御部１６は、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段の一例として機能する。
　次に、情報処理装置１０は、背景差分による画像（背景差分画像）を算出する（ステップＳ５）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ４において取得した後のフレームの画像から、時間的に前のフレームの画像（例えば、時間的に１フレーム前の画像）を差し引いて、画素値の相違度を求め、画素値の相違度が所定値以上ならば、前景として、所定値より小さいならば、背景として背景差分による画像を算出する。なお、競馬において走行している馬を撮影している場合、カメラが馬を追って撮影しているが、馬場の背景の変化は少ないため、背景として特定されやすい。一方、走っている馬や騎手は上下動するため、図５に示すように、馬や騎手の輪郭が前景として浮かび上がりやすい。
　ここで、背景差分画像とは、単純背景差分またはフレーム間差分等のように、背景を除去し前景を抽出するための手法により求められる差分画像である。
　このように、情報処理装置１０のシステム制御部１６は、フレーム取得手段により取得される前のフレームの画像と後のフレームの画像との背景差分による画像を算出する背景差分画像算出手段の一例として機能する。また、情報処理装置１０のシステム制御部１６は、画素値の相違度が閾値以上の場合に前景とした背景差分による画像を算出する背景差分画像算出手段の一例として機能する。
　次に、情報処理装置１０は、パーティクルを設定する（ステップＳ６）。情報処理装置１０のシステム制御部１６が、前のフレームにおけるパーティクルの位置を基準とする所定範囲内で、かつ、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、パーティクルを生成し、背景差分画像の前景に応じて決定される追跡範囲の外縁（パーティクルを追跡する追跡範囲の外縁）外のパーティクルを削除することにより、パーティクルを設定する。そして、情報処理装置１０のシステム制御部１６は、設定されたパーティクルｐの位置情報や色の情報をＲＡＭ１６ｃ等に記憶する。このように、ＲＡＭ１６ｃは、パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段の一例として機能する。なお、パーティクルの設定に関して、パーティクル設定のサブルーチンにおいて詳細を説明する。
　次に、情報処理装置１０は、色相の角度を算出する（ステップＳ７）。具体的には、情報処理装置１０のシステム制御部１６が、ヘルメット部分２ａの各パーティクルの色相と、勝負服部分２ｂの各パーティクルの色相を算出する。図６に示すように、情報処理装置１０のシステム制御部１６が、色相空間におけるヘルメット部分２ａの各パーティクルの座標の平均値と、勝負服部分２ｂの各パーティクルの座標の平均値とを求める。そして、情報処理装置１０のシステム制御部１６が、ヘルメット部分２ａのパーティクル群と、勝負服部分２ｂのパーティクル群との部分間の色相の角度を、ヘルメット部分２ａの各パーティクルの座標の平均値と勝負服部分２ｂの各パーティクルの座標の平均値とから算出する。このように、情報処理装置１０のシステム制御部１６は、対象物の各部分の前記パーティクルが位置する画素の色相を各々算出し、部分間の色相の角度を算出する色相角度算出手段の一例として機能する。
　なお、ステップＳ２でサーチ領域を初期設定し、ステップＳ３で対象物にパーティクルの初期設定した際も、情報処理装置１０のシステム制御部１６が、この色相角度を算出して、初期の色相角度として、ＲＡＭ１６ｃ等に記憶しておく。
　次に、情報処理装置１０は、対象物に対する追跡が可能か否かを判定する（ステップＳ８）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ８で算出した時間的に後のフレームの画像における部分間の色相の角度が、初期の色相角度と、所定以上異なるとき、対象物に対する追跡が不可能と判定する。また、パーティクルが全て消滅した場合も、情報処理装置１０のシステム制御部１６が、対象物に対する追跡が不可能と判定する。
　なお、オクルージョンにより対象物が隠れ、連続した所定数以上のフレームにおいて、追跡範囲の外縁が決定できない場合も、情報処理装置１０のシステム制御部１６は、対象物に対する追跡が不可能と判定してもよい。一方、一時的に対象物が隠れたり、対象物の微妙な動きや写り方等により背景差分画像の前景が一時的に不鮮明となったりして、追跡範囲の外縁が一時的に決定できない場合（連続した所定数より少ない場合）は、情報処理装置１０のシステム制御部１６は、対象物に対する追跡が可能と判定してもよい。
　ここで、他の馬が近づき、追跡している騎手と、他の騎手とが重なりかけることにより、他の対象物をパーティクルが示してしている場合に、ヘルメットの色と、勝負服の色との組み合わせが異なることにより、部分間の色相の角度が変化することがある。また、追跡している対象物が、フレーム外になった場合や、対象物の大きさが小さくなった場合や、対象物が他の馬と騎手や建造物等に隠れるオクルージョンが発生した場合に、パーティクルが消滅しやすい。
　対象物に対する追跡が可能であると判定された場合（ステップＳ８；ＹＥＳ）、情報処理装置１０は、パーティクルの位置から対象物を特定する（ステップＳ９）。具体的には、情報処理装置１０のシステム制御部１６が、各パーティクルの位置の平均値により、追跡している対象物を特定したり、パーティクル群により、追跡している対象物の位置を特定する。このように、情報処理装置１０のシステム制御部１６は、パーティクル設定手段により設定されたパーティクルの位置から、後のフレームの画像における対象物の位置を特定する対象物特定手段の一例として機能する。
　対象物に対する追跡が可能でないと判定された場合（ステップＳ８；ＮＯ）、情報処理装置１０は、ステップＳ３に戻り、サーチ領域２５、２６内の対象物（２ａ、２ｂ）のパーティクルを再設定する。具体的には、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃ等に記憶されている設定されたパーティクルｐの位置情報（例えば、座標（ｘ１、ｙ１）、座標（ｘ２、ｙ２））を読み出し、サーチ領域２５、２６内の同じ場所、すなわち、サーチ領域２５、２６内において初期設定されたパーティクルの位置にパーティクルｐを再設定する。なお、オクルージョンにより、一時的に隠れた馬および騎手等の対象物は、フレーム上においるサーチ領域内の同じ位置にまた出現しやすい。
　なお、初期設定されたパーティクルの位置ではなく、ステップＳ６において時間的に前に設定されたパーティクルの位置に、ステップＳ３において、情報処理装置１０のシステム制御部１６が、パーティクルｐを再設定してもよい。具体的には、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃ等に記憶されている設定されたパーティクルｐ（例えば、追跡不可能と判定される前の最新のパーティクル）の位置情報を読み出し、サーチ領域２５、２６内の同じ場所にパーティクルｐを再設定する。
　このように、情報処理装置１０のシステム制御部１６は、追跡判定手段が追跡不可能と判定した場合に、パーティクル初期設定手段またはパーティクル設定手段により設定されたパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを設定するパーティクル再設定手段の一例として機能する。
　次に、情報処理装置１０は、パーティクルの位置からサーチ領域を設定する（ステップＳ１０）。具体的には、情報処理装置１０のシステム制御部１６が、パーティクルの位置の平均値より、サーチ領域２５、２６を再設定する。例えば、情報処理装置１０のシステム制御部１６が、パーティクルの位置の平均値が、再設定されるサーチ領域２５、２６の中心に位置するように再設定する。
　図７に示すように、対象物がフレーム内を移動しているとき、パーティクルも移動して、それに合わせて、サーチ領域２５、２６が再設定される。サーチ領域２５の位置は、座標（Ｘ３、Ｙ３）となり、サーチ領域２６の位置は、座標（Ｘ４、Ｙ４）となる。
　次に、情報処理装置１０は、処理が終了か否かを判定する（ステップＳ１１）。処理が終了でない場合（ステップＳ１１；ＮＯ）、ステップＳ４に戻り、情報処理装置１０のシステム制御部１６が、後のフレームの画像を取得することにより、フレームを順次取得していく。処理が終了の場合（ステップＳ１１；ＹＥＳ）、情報処理装置１０のシステム制御部１６が、処理を終了させる。
　ここで、図８に示すように、ズームインされ、サーチ領域２５内のヘルメット部分２ａが拡大されて撮像されると、追跡範囲の外縁が広がり、パーティクルの数が増加する。一方、ズームアウトされ、サーチ領域２５内のヘルメット部分２ａが縮小されて撮像されると、追跡範囲の外縁が狭まり、パーティクルの数が減少する。
（２．２　パーティクル設定のサブルーチン）
（２．２．１　パーティクルの生成）
　次に、パーティクル設定のサブルーチンにおけるパーティクルの生成について図９から図１１を用いて説明する。
　図９は、パーティクル生成のサブルーチンを示すフローチャートである。図１０は、対象物のパーティクルに対する近傍の一例を示す模式図である。図１１は、後のフレームにおける類似するパーティクルの一例を示す模式図である。
　情報処理装置１０は、前のフレームの画像におけるパーティクルの位置および色情報を取得する（ステップＳ２０）。具体的には、情報処理装置１０のシステム制御部１６が、時間的に前のフレームの画像におけるパーティクルの位置（前のフレームの画像におけるパーティクルの位置を基準の一例）および色情報を、ＲＡＭ１６ｃ等から取得する。
　次に、情報処理装置１０は、パーティクルの位置の近傍を特定する（ステップＳ２１）。具体的には、情報処理装置１０のシステム制御部１６が、図１０に示すように、ステップＳ４で取得した後のフレームの画像において、時間的に前のフレームの画像におけるパーティクルの位置（基準としたパーティクルの位置）と同じ位置にある画素のパーティクルｐおよびパーティクルｐの８近傍の画素ｑのいずれか１つの画素を、パーティクルの位置の近傍として１つ特定する。なお、パーティクルｐの位置とｐの８近傍の画素ｑの位置とが、前のフレームにおけるパーティクルの位置を基準とする所定範囲内の一例である。
　次に、情報処理装置１０は、色が類似しているか否かを判定する（ステップＳ２２）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ２１において１つ特定した画素が、時間的に前のフレームの画像におけるパーティクルのＲＧＢ等の色情報（基準としたパーティクルの位置の画素の色情報の一例）と類似の色を有するか否かを判定する。
　色が類似している場合（ステップＳ２２；ＹＥＳ）、情報処理装置１０が、特定されている近傍の画素の位置にパーティクルを生成する（ステップＳ２３）。
　次に、情報処理装置１０が、全ての近傍を特定したか否かを判定する（ステップＳ２４）。そして、情報処理装置１０のシステム制御部１６が、全ての近傍を特定していない場合（ステップＳ２４；ＮＯ）、ステップＳ２１に戻り、中心の画素と８近傍の画素の中から、まだ特定していない次の画素を特定する。
　色が類似した画素が複数ある場合、それに合わせてパーティクルも複数個生成される。また、色が類似した画素がない場合、生成されるパーティクルはゼロとなる。また、図１１に示すように、時間的に前のフレームの画像におけるパーティクルの位置と同じ位置に、パーティクルが生成されるとは限らない。後のフレームにおいて、パーティクルの位置がずれることもある。
（２．２．２　パーティクルの消失）
　次に、パーティクル設定のサブルーチンにおけるパーティクルの消失について図９、図１２および図１３を用いて説明する。
　図１２は、対象物を示す位置にパーティクルが存在する状態の一例を示す模式図である。図１３は、図１２の変形例を示す模式図である。
　図９に示すように、全ての近傍を特定した場合（ステップＳ２４；ＹＥＳ）、情報処理装置１０は、パーティクルを特定する（ステップＳ２５）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ２０からステップＳ２４において生成されたパーティクルから１つのパーティクルを特定する。
　次に、情報処理装置１０は、パーティクルが追跡範囲の外縁内か否かを判定する（ステップＳ２６）。具体的には、情報処理装置１０のシステム制御部１６が、図５に示すように、ステップＳ５において算出された背景差分画像３０において、サーチ領域２５に同じ位置と大きさを有するサーチ領域３５と、サーチ領域２６に同じ位置と大きさを有するサーチ領域３６と、を設定する。そして、情報処理装置１０のシステム制御部１６が、各サーチ領域３５、３６の背景差分画像３０を取り出す。例えば、ヘルメット部分２ａの場合、サーチ領域３５の背景差分画像のヘルメット部分の外縁３ａ（追跡範囲の外縁の一例）を含む画像が取り出される。ここで、追跡範囲の外縁は、パーティクルを追跡する追跡範囲の外縁であって、背景差分画像の前景に応じて決定される。例えば、追跡している対象物（対象物の部分でもよい）の輪郭や、この輪郭を含む領域等が挙げられる。すなわち、追跡範囲の外縁は、前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前のフレームの画像における対象物に対応する部分である。なお、動画により連続して撮像している画像であるので、背景差分画像を求める際に使用するフレームにおいて、対象物の移動が僅かである。従って、背景差分画像の前景における対象物に対応する部分は、前のフレームの画像における対象物に対応する部分となる。
　このように、情報処理装置１０のシステム制御部１６は、フレーム取得手段により取得される前のフレームの画像と後のフレームの画像との画素値の相違度が閾値以上であって、前のフレームの画像における対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定手段の一例として機能する。
　次に、情報処理装置１０のシステム制御部１６が、図１２に示すように、例えば、ヘルメット部分２ａの輪郭を示すヘルメット部分の外縁３ａの画像上にあるパーティクルｐは、追跡範囲の外縁内であると判定する。さらに、情報処理装置１０のシステム制御部１６が、ヘルメット部分の外縁３ａの画像上あるパーティクルｐ同士を結ぶ直線Ｌを設定し、直線Ｌに所定の幅Ｄを与え、その幅の中にパーティクルが存在すれば、追跡範囲の外縁内であると判定する。
　または、図１３に示すように、情報処理装置１０のシステム制御部１６が、パーティクルを中心して、所定の長さの直線ｒを、例えば、８方向等間隔の角度で設定する。この有限長の直線ｒが、ヘルメット部分の外縁３ａを示す画素と重なる本数が、所定数（例えば４本）以上ならば、情報処理装置１０のシステム制御部１６が、そのパーティクルは、追跡範囲の外縁内であると判定してもよい。
　図１２および図１３に示すように、ヘルメット部分２ａの輪郭を示すヘルメット部分の外縁３ａの画像が閉じていなくても、追跡範囲の外縁内であるか否かを判定できる。ここで、動画中においてヘルメット等は上下には動きやすく、背景差分画像において上下側に輪郭が出やすいが、左右にはあまり動かなく、左右側に輪郭が出にくい。また、ヘルメット等と背景との関連により、ヘルメット等の輪郭の一部が出にくくなることもある。そのため、ヘルメット部分２ａの輪郭等が完全な閉領域にならないことがある。
　このように、情報処理装置１０のシステム制御部１６は、パーティクル設定手段により設定されたパーティクルに基づき、対象物の追跡が可能か否かを判定する追跡判定手段の一例として機能する。
　パーティクルが追跡範囲の外縁内である場合（ステップＳ２６；ＹＥＳ）、情報処理装置１０が、特定されているパーティクルをパーティクルとして残す（ステップＳ２７）。具体的には、情報処理装置１０のシステム制御部１６が、図１２に示すように、ヘルメット部分の外縁３ａの画像上あるパーティクルｐや、直線Ｌに所定の幅Ｄの中に存在するパーティクルｐを残す。または、図１３に示すように、ヘルメット部分の外縁３ａを示す画素と重なる本数が５本であるパーティクルｐを残す。
　一方、パーティクルが追跡範囲の外縁内でない場合（ステップＳ２６；ＮＯ）、情報処理装置１０が、パーティクルを削除する（ステップＳ２８）。具体的には、情報処理装置１０のシステム制御部１６が、図１２に示すように、パーティクルｐ０は、ヘルメット部分の外縁３ａの画像上でなく、直線Ｌに所定の幅Ｄの中に存在しないので削除して消失させる。また、図１３に示すように、パーティクルｐ０は、ヘルメット部分の外縁３ａを示す画素と重なる本数が３本であるので、情報処理装置１０が、パーティクルｐ０を削除する。情報処理装置１０のシステム制御部１６は、各パーティクルｐの位置情報や色の情報が記憶されているＲＡＭ１６ｃ等から、特定しているパーティクルを削除する。
　なお、ステップＳ２６において、オクルージョンにより対象物が一時的に隠れるように、追跡範囲の外縁が決定されなくて、追跡範囲の外縁内か否かを判定できない場合、情報処理装置１０のシステム制御部１６は、ステップＳ２７のように、全てのパーティクルを残す処理をしてもよい。
　次に、情報処理装置１０は、全てのパーティクルを特定したか否かを判定する（ステップＳ２９）。全てのパーティクルを特定していない場合（ステップＳ２９；ＮＯ）、ステップＳ２５に戻り、情報処理装置１０のシステム制御部１６が、次のパーティクルを特定する。全てのパーティクルを特定した場合（ステップＳ２９；ＹＥＳ）、サブルーチンが終了し、情報処理装置１０は、ステップＳ７の処理を行う。
　このように、パーティクルを生成し、背景差分画像に応じて決定された追跡範囲の外縁内にあるパーティクルに絞ることにより、前のフレームにおけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲外縁決定手段により決定された外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームにおけるパーティクルが設定される。
　次に、背景差分画像に応じて決定された追跡範囲の外縁内にあるパーティクルに絞る本実施形態の方法（以下、「本実施形態の方法」とする。）を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例について、図１４を用いて説明する。
　図１４は、本実施形態の方法を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例を示す線図である。なお、パーティクル数は、フレーム内全体のパーティクルの数を示した。
　図１４に示すように、フレーム番号がおよそ６０を超えると、本実施形態の方法を使用しない場合（図中破線）、パーティクル数が増加する傾向がある。一方、本実施形態の方法を使用した場合（図中実線）、パーティクルの追跡範囲の外縁が、背景差分画像に応じて設定されているため、パーティクル数が安定している。また、パーティクルの生成を、近傍かつ類似の色情報を有する画素の位置に限っているため、パーティクル数が安定している。このように、パーティクル数が安定して、パーティクル数が爆発的に増加しないため、計算量が膨大になることを未然に防いでいる。
　以上、本実施形態によれば、動画の予め選択された１のフレーム２０の画像における対象物２上（ヘルメット部分２ａおよび勝負服部分２ｂ）に少なくとも１つのパーティクルｐを設定し、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し、時間的に前のフレームの画像と後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分を、パーティクルの追跡範囲の外縁３ａとして決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し、設定したパーティクルの位置から、後のフレームの画像における対象物の位置を特定する。従って、背景差分画像に応じた追跡範囲の外縁３ａ内に限定して、後のフレームの画像におけるパーティクルｐを設定しているため、設定されるパーティクルのはみ出しが抑制されて、パーティクルｐの発散を防ぐことができ、正確に対象物の追跡が可能となる。さらに、追跡範囲の外縁３ａ内に限定されているため、パーティクルの数が爆発的に増加することを防止して、パーティクルの増加による計算量の増加を抑えることができる。
　また、パーティクルを生成させ、背景差分画像に応じた追跡範囲の外縁３ａ内に限定しているため、ズームイン、ズームアウトにより、フレームにおける対象物の大きさが変化しても、対象物を追跡できる。
　また、画素値の相違度が閾値以上の場合に前景とした背景差分による画像を算出し、対象物に対応する前景に応じて、パーティクルの追跡範囲の外縁を決定する場合、パーティクルが背景差分による画像に応じた追跡範囲の外縁３ａ内に適切に限定され、パーティクルｐの発散を防ぐことができ、正確に対象物の追跡が可能となる。
　また、対象物の複数の部分に、各々パーティクルを初期設定し、対象物の各部分のパーティクルが位置する画素の色相を各々算出し、部分間の色相の角度を算出し、算出された部分間の色相の角度にも基づき、対象物の位置を特定する場合、対象物２の複数箇所（ヘルメット部分２ａおよび勝負服部分２ｂ）での関係を、部分間の色相の角度により対象物２を特定して追跡できるので、誤った追跡を防止でき、対象物の追跡精度がより高まる。例えば、部分間の色相の角度が所定以上異なるとき、異なった対象物を追跡している可能性が高く、このような場合、情報処理装置１０のシステム制御部１６が、追跡不可能と判定することにより、誤った追跡をしなくて済む。また、ヘルメットが似たような色でも、勝負服との組み合わせで排除でき、正確に対象物を特定できる。また、色相の情報を利用して、明度の変化量を無視する場合、計算量の軽減を図ることができる。また、天候等により明るさが変化しても色相の値はほとんど変化しないので、対象物の追跡精度がより高まる。
　設定されたパーティクルに基づき、対象物の追跡が可能か否かを判定し、追跡不可能と判定したときに、設定されたパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを再設定する場合、対象物が一時的に障害物等に隠れたり、対象物がフレームの端に来て、一時的にフレームから外れたりする場合にも、対象物の追跡を継続でき、対象物の追跡精度がより高まる。このように、オクルージョンが発生したり、対象物がフレームから外れたりして、パーティクル数がゼロになっても、サーチ領域２５、２６内の設定されたパーティクルの初期の位置や対象物の追跡が不可能になる前のパーティクルの位置にパーティクルが再設定されるため、対象物の追跡可能となる。なお、背景差分の処理に関係なく、初期設定されたパーティクルの初期位置を記憶しておくことにより、オクルージョン等の発生時にも、パーティクルの初期の位置を利用して再度追跡が可能となる。
（２．３　パーティクル設定のサブルーチンの変形例）
　次に、パーティクル設定のサブルーチンの変形例について図１５を用いて説明する。
　図１５は、パーティクル設定のサブルーチンの変形例を示すフローチャートである。
　図１５に示すように、情報処理装置１０は、ステップＳ２０のように前のフレームの画像におけるパーティクルの位置および色情報を取得する（ステップＳ３０）。
　次に、情報処理装置１０は、パーティクルの位置の近傍かつ追跡範囲の外縁内の画素を特定する（ステップＳ３１）。具体的には、情報処理装置１０のシステム制御部１６が、図１０に示すように、前のフレームにおけるパーティクルの位置を基準とする所定範囲内の一例として、パーティクルの近傍内に含まれる画素で、かつ、図１２または図１３に示すように、追跡範囲の外縁内の画素を特定する。
　次に、情報処理装置１０は、ステップＳ２２のように、特定した画素の色が類似しているか否かを判定する（ステップＳ３２）。
　特定した画素の色が類似している場合（ステップＳ３２；ＹＥＳ）、情報処理装置１０は、画素の位置にパーティクルを設定する（ステップＳ３３）。
　次に、情報処理装置１０は、所定の条件を満たす画素を全て特定した否かを判定する（ステップＳ３４）。具体的には、情報処理装置１０のシステム制御部１６が、前のフレームにおけるパーティクルの位置を基準とする所定範囲内に含まれる画素で、かつ、追跡範囲の外縁内の条件を満たす画素を全て特定したか否かを判定する。全てを特定していない場合（ステップＳ３４；ＮＯ）、情報処理装置１０は、次の画素を特定する。全てを特定した場合（ステップＳ３４；ＹＥＳ）、サブルーチンが終了し、情報処理装置１０は、ステップＳ７の処理を行う。なお、前のフレームにおけるパーティクルの位置を基準とする所定範囲内および追跡範囲の外縁内に類似の色情報の画素が無かったら、パーティクルは設定されない。
　このように、本変形例では、情報処理装置１０は、パーティクルを消失させず、背景差分画像に応じた位置にのみパーティクルを設定する。
　なお、ステップＳ２およびステップＳ３において、サーチ領域２５、２６および各パーティクルｐの設定は自動でもユーザによる手動でもよい。自動の場合、情報処理装置１０が、各騎手のヘルメットの色、勝負服の色の情報と、ヘルメットと勝負服との位置関係の情報より、これらの情報にマッチする対象物のフレームを探索し、対象物の一部を含むように、サーチ領域２５、２６を自動的に設定する。そして、情報処理装置１０が、設定された各サーチ領域２５、２６内における対象物の一部に対して、対象物の一部の境界付近や、境界により囲まれる領域においてヘルメットや勝負服の色に最も近い色の部分を探索してパーティクルｐを自動的に設定する。
　また、ステップＳ６のパーティクル設定において、オクルージョンにより一時的に対象物が隠れたり、対象物の微妙な動きや写り方等により背景差分画像の前景が一時的に不鮮明となったりして、追跡範囲の外縁が一時的に決定できない場合（連続した所定数より少ない場合）に、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃを参照して、追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを設定してもよい。この場合、オクルージョンにより対象物が一時的に隠れる等により、追跡範囲の外縁が求められなくても、正確に対象物の追跡が可能となる。
　例えば、フレームｔ－１～フレームｔ＋２において、フレームｔの時に、背景差分画像（（フレームｔ）－（フレームｔ－１））から、追跡範囲の外縁が特定でき、フレームｔ＋１の時に、背景差分画像（（フレームｔ＋１）－（フレームｔ））から、追跡範囲の外縁が特定できなかったが、フレームｔ＋２に時に、背景差分画像（（フレームｔ＋２）－（フレームｔ＋１））から外縁が特定できた場合を想定する。このとき、情報処理装置１０のシステム制御部１６が、フレームｔの時におけるＲＡＭ１６ｃ等を参照して、フレームｔの時に設定されたパーティクルｐの位置情報を読み出し、サーチ領域２５、２６内の同じ場所に、フレームｔ＋１やフレームｔ＋２の時におけるパーティクルｐを再設定する。
　また、ステップＳ７において、色相の角度を算出する代わりに、ＲＧＢ空間において、ヘルメット部分２ａの各パーティクルと、勝負服部分２ｂの各パーティクルとのＲＧＢの距離を算出してもよい。情報処理装置１０は、この部分間のＲＧＢの距離が、所定の閾値の範囲より変化した場合、ステップＳ８において、追跡不可能と判定する。
　また、対象物の複数の部分として、ヘルメット部分２ａと、勝負服部分２ｂとの代わりに、馬の部分と、騎手の部分でもよい。また、対象物は、馬と騎手とを合わせた一体的に動くものでもよいし、騎手のみでもよいし、馬のみでもよい。
　また、追跡する対象物の数は、フレーム内に複数あってもよい。
　さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
　２：対象物
　２ａ：ヘルメット部分
　２ｂ：勝負服部分
　３ａ：背景差分画像のヘルメット部分（追跡範囲の外縁）
　１０：情報処理装置
　１２：記憶部（記憶手段）
　１６：システム制御部
　１６ｃ：ＲＡＭ（記憶手段）
　２０：フレーム
　２５、２６：サーチ領域
　３０：背景差分画像
　ｐ：パーティクル

Claims (7)

  1. 　複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置において、
    　前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段と、
    　前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段と、
    　前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定手段と、
    　前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段と、
    　前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段と、
    　を備えることを特徴とする情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記パーティクル初期設定手段が、前記対象物の複数の部分に、各々前記パーティクルを設定し、
    　前記対象物の各部分のパーティクルが位置する画素の色相を各々算出し、前記部分間の色相の角度を算出する色相角度算出手段を更に備え、
    　前記対象物特定手段が、前記色相角度算出手段により算出された部分間の色相の角度にも基づき、前記対象物の位置を特定することを特徴とする情報処理装置。
  3. 　請求項１または請求項２に記載の情報処理装置において、
    　前記パーティクル設定手段により設定されたパーティクルに基づき、前記対象物の追跡が可能か否かを判定する追跡判定手段と、
    　前記追跡判定手段が追跡不可能と判定した場合に、前記パーティクル初期設定手段または前記パーティクル設定手段により設定されたパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを再設定するパーティクル再設定手段と、
    　を更に備えたことを特徴とする情報処理装置。
  4. 　請求項１から請求項３のいずれか１項に記載の情報処理装置において、
    　前記パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段を更に備え、
    　前記追跡範囲外縁決定手段が前記追跡範囲の外縁を決定することが不可能である場合に、前記パーティクル設定手段が、前記記憶手段を参照し、前記追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを設定することを特徴とする情報処理装置。
  5. 　複数のフレームからなる動画中における所定の対象物を追跡する情報処理方法において、
    　前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定ステップと、
    　前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得ステップと、
    　前記フレーム取得ステップにおいて取得される前記前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定ステップと、
    　前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定ステップにおいて決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定ステップと、
    　前記パーティクル設定ステップにおいて設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定ステップと、
    　を含むことを特徴とする情報処理方法。
  6. 　複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムにおいて、
    　コンピュータを、
    　前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、
    　前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、
    　前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定手段、
    　前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、
    　前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラム。
  7. 　複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムであって、
    　コンピュータを、
    　前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、
    　前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、
    　前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との画素値の相違度が閾値以上であって、前記前のフレームの画像における前記対象物に対応する部分をパーティクルの追跡範囲の外縁として決定する追跡範囲外縁決定手段、
    　前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、
    　前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラムがコンピュータ読み取り可能に記録された記録媒体。
PCT/JP2012/055681 2011-09-29 2012-03-06 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体 WO2013046749A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/816,886 US8836791B2 (en) 2011-09-29 2012-03-06 Information processing device, information processing method, program for information processing device, and recording medium
ES12824838.2T ES2586553T3 (es) 2011-09-29 2012-03-06 Dispositivo de procesamiento de información, método de procesamiento de información, programa para dispositivo de procesamiento de información y medio de grabación
CN201280002614.2A CN103140876B (zh) 2011-09-29 2012-03-06 信息处理装置、信息处理方法、信息处理装置用程序以及记录介质
EP12824838.2A EP2605215B1 (en) 2011-09-29 2012-03-06 Information processing device, information processing method, program for information processing device, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011215415A JP4922472B1 (ja) 2011-09-29 2011-09-29 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
JP2011-215415 2011-09-29

Publications (1)

Publication Number Publication Date
WO2013046749A1 true WO2013046749A1 (ja) 2013-04-04

Family

ID=46243830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/055681 WO2013046749A1 (ja) 2011-09-29 2012-03-06 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体

Country Status (7)

Country Link
US (1) US8836791B2 (ja)
EP (1) EP2605215B1 (ja)
JP (1) JP4922472B1 (ja)
CN (1) CN103140876B (ja)
ES (1) ES2586553T3 (ja)
TW (1) TWI399705B (ja)
WO (1) WO2013046749A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4922472B1 (ja) 2011-09-29 2012-04-25 楽天株式会社 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
JP5248685B1 (ja) * 2012-01-20 2013-07-31 楽天株式会社 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
US9811736B2 (en) 2013-06-28 2017-11-07 Rakuten, Inc. Information processing device, information processing method, information processing device program, and recording medium
JP5818050B1 (ja) * 2015-01-28 2015-11-18 ビックリック株式会社 ステータス判定システム
JP2017187969A (ja) * 2016-04-07 2017-10-12 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
US10810744B2 (en) * 2016-05-27 2020-10-20 Rakuten, Inc. Image processing device, image processing method and image processing program
EP3582181B1 (en) * 2018-06-14 2020-04-01 Axis AB Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
CN109859149B (zh) * 2019-01-25 2023-08-08 成都泰盟软件有限公司 一种设定目标查找区域小动物运动跟踪方法
US11631251B2 (en) * 2020-02-23 2023-04-18 Tfi Digital Media Limited Method and system for jockey and horse recognition and tracking
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233798A (ja) * 2006-03-02 2007-09-13 Nippon Hoso Kyokai <Nhk> 映像オブジェクト追跡装置および映像オブジェクト追跡プログラム
JP2007249885A (ja) * 2006-03-20 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> 動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体
JP2010061478A (ja) * 2008-09-04 2010-03-18 Sony Computer Entertainment Inc 画像処理装置、対象物追跡装置および画像処理方法
JP2010147560A (ja) * 2008-12-16 2010-07-01 Victor Co Of Japan Ltd 目標追尾装置
JP2010152557A (ja) 2008-12-24 2010-07-08 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2011107839A (ja) * 2009-11-13 2011-06-02 Fujitsu Ltd 追跡方法、監視システム及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100754385B1 (ko) * 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
JP4687772B2 (ja) * 2008-11-06 2011-05-25 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4922472B1 (ja) 2011-09-29 2012-04-25 楽天株式会社 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233798A (ja) * 2006-03-02 2007-09-13 Nippon Hoso Kyokai <Nhk> 映像オブジェクト追跡装置および映像オブジェクト追跡プログラム
JP2007249885A (ja) * 2006-03-20 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> 動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体
JP2010061478A (ja) * 2008-09-04 2010-03-18 Sony Computer Entertainment Inc 画像処理装置、対象物追跡装置および画像処理方法
JP2010147560A (ja) * 2008-12-16 2010-07-01 Victor Co Of Japan Ltd 目標追尾装置
JP2010152557A (ja) 2008-12-24 2010-07-08 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2011107839A (ja) * 2009-11-13 2011-06-02 Fujitsu Ltd 追跡方法、監視システム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2605215A4

Also Published As

Publication number Publication date
TW201235979A (en) 2012-09-01
EP2605215A1 (en) 2013-06-19
CN103140876B (zh) 2014-10-08
CN103140876A (zh) 2013-06-05
JP4922472B1 (ja) 2012-04-25
US8836791B2 (en) 2014-09-16
TWI399705B (zh) 2013-06-21
EP2605215A4 (en) 2014-06-04
EP2605215B1 (en) 2016-05-18
JP2013077073A (ja) 2013-04-25
ES2586553T3 (es) 2016-10-17
US20130235208A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
JP4922472B1 (ja) 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
JP4991595B2 (ja) パーティクルフィルタを使用する追跡システム
KR102580474B1 (ko) 연속 오토 포커스 (caf) 를 위한 시스템 및 방법
JP4498104B2 (ja) 監視装置、その制御方法、およびプログラム
JP5885398B2 (ja) 画像処理装置、画像処理方法
JP2008535041A (ja) 映像フレーム内におけるスプリアス領域の識別
US20200275084A1 (en) Information processing apparatus, information processing method, and storage medium
JP6758834B2 (ja) 表示装置、表示方法及びプログラム
JPWO2017122810A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP4962304B2 (ja) 歩行者検出装置
JP5520459B2 (ja) 双方向映像フレーム検索システム及び方法
US20120002842A1 (en) Device and method for detecting movement of object
JP4913801B2 (ja) 遮蔽物映像識別装置及び方法
JP6819785B2 (ja) 位置推定装置、位置推定方法及びプログラム
JP2010219934A (ja) 目標追尾装置
JP4482933B2 (ja) 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体
JP2022529414A (ja) 誤動作のない動き検出のための方法及びシステム
JP2009253449A (ja) 監視装置及び監視方法
JP2012169826A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP2007287093A (ja) 移動体検出装置、方法、及びプログラム
KR20150060032A (ko) 움직임 검출 시스템 및 방법
WO2023181580A1 (ja) 画像処理装置及びその制御方法及びプログラム及びシステム及び学習データ生成方法
JP2013246601A (ja) 画像処理装置
US20230133882A1 (en) Method and system for estimating interaction information between person and product on basis of image, and non-transitory computer-readable recording medium
JP5844697B2 (ja) 映像再生装置、映像再生方法、および映像再生用プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280002614.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13816886

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012824838

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12824838

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE