WO2016021121A1 - 修正確認方法および修正確認装置 - Google Patents

修正確認方法および修正確認装置 Download PDF

Info

Publication number
WO2016021121A1
WO2016021121A1 PCT/JP2015/003548 JP2015003548W WO2016021121A1 WO 2016021121 A1 WO2016021121 A1 WO 2016021121A1 JP 2015003548 W JP2015003548 W JP 2015003548W WO 2016021121 A1 WO2016021121 A1 WO 2016021121A1
Authority
WO
WIPO (PCT)
Prior art keywords
ball
frame image
correction
confirmation
moving body
Prior art date
Application number
PCT/JP2015/003548
Other languages
English (en)
French (fr)
Inventor
純子 上田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP15829298.7A priority Critical patent/EP3179443A4/en
Priority to US15/322,586 priority patent/US10334159B2/en
Priority to JP2016539820A priority patent/JP6706577B2/ja
Publication of WO2016021121A1 publication Critical patent/WO2016021121A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • This disclosure relates to a correction check method and a correction check device.
  • a moving body tracking device for tracking a moving body in an image.
  • the predicted position of the moving object in the current frame image is obtained based on the position information of the moving object in the past frame image.
  • candidate objects having predetermined characteristics peculiar to the moving object are extracted from the image data in the current frame image, and candidate objects closer to the predicted position among the extracted candidate objects are assigned as the moving object.
  • Patent Document 1 has a problem in that a tracking target moving body may be mistakenly tracked with another moving body.
  • a ball moving body
  • An object of the present disclosure is to provide a correction confirmation method and a correction confirmation apparatus capable of reducing the work load when confirming and correcting the position of a tracking target moving body in a frame image.
  • the processor displays a specific frame image as a confirmation target frame image based on the tracking result of the moving body in each of the plurality of frame images constituting the video.
  • the position of the moving body in the confirmation target frame image is corrected.
  • the processor causes the display unit to display a specific frame image as a confirmation target frame image based on the tracking result of the moving body in each of the plurality of frame images constituting the video. Then, the correction instruction of the user is received, and when the correction instruction is received by the operation receiving unit, the position of the moving body in the check target frame image is corrected.
  • FIG. 1 is a diagram illustrating a functional configuration of a correction confirmation apparatus according to the present embodiment.
  • FIG. 2 is a flowchart showing the ball candidate detection operation in the present embodiment.
  • FIG. 3 is a flowchart showing a ball trajectory detection image generating operation in the present embodiment.
  • FIG. 4 is a flowchart showing the ball trajectory detection operation in the present embodiment.
  • FIG. 5A is a diagram illustrating an image in which the maximum portion of the flow vector is superimposed.
  • FIG. 5B is a diagram illustrating an image in which the maximum portion of the flow vector is superimposed.
  • FIG. 6 is a diagram showing tracking result information in the present embodiment.
  • FIG. 7 is a flowchart showing the correction checking operation in the present embodiment.
  • FIG. 8 is a diagram showing a search screen in the present embodiment.
  • FIG. 9 is a diagram showing a search result screen in the present embodiment.
  • FIG. 10 is a diagram showing a search result screen in the present embodiment.
  • FIG. 11 is a diagram showing a search result screen in the present embodiment.
  • FIG. 12 is a diagram showing a search result screen in the present embodiment.
  • FIG. 1 is a diagram illustrating a functional configuration of a correction confirmation device 100 according to an embodiment of the present disclosure.
  • the correction confirmation device 100 tracks the ball (moving body) in an image input from the outside, that is, detects the position of the ball in each of a plurality of frame images constituting the image, and based on the position detection result, A frame image for which it is desirable to confirm the ball position detection result from the frame image (hereinafter also referred to as “confirmation target frame image”) is retrieved and displayed.
  • the correction confirmation device 100 corrects the ball position detection result in the confirmation target frame image when a correction instruction from the user is received.
  • the correction confirmation device 100 tracks a ball used in a soccer game in a sports video in which a soccer game that is one of the sports competitions is photographed.
  • the correction confirmation device 100 includes a video input unit 110, a ball candidate detection unit 120, a ball tracking unit 130, a ball track detection image generation unit 140, a ball track detection unit 150, a player region detection unit 160, a ball position calculation output unit 170, A tracking result information storage unit 180, an operation reception unit 190, a search unit 200, a display unit 210, and a correction unit 220 are included.
  • the correction confirmation apparatus 100 is for work such as a CPU (Central Processing Unit) as a processor, a storage medium such as a ROM (Read Only Memory) storing a control program, a RAM (Random Access Memory), and the like.
  • a memory and a communication circuit In this case, the function of each unit described above is realized by the CPU executing the control program.
  • the video input unit 110 inputs a sports video composed of a plurality of frame images, for example, from an external device (computer). Then, the video input unit 110 outputs the input sports video to the ball candidate detection unit 120, the ball locus detection image generation unit 140, the player region detection unit 160, the search unit 200, and the display unit 210.
  • the ball candidate detection unit 120 detects, as a ball candidate region, an area where a ball used in a soccer game is likely to exist in each of a plurality of frame images constituting the sports video output from the video input unit 110. To do. Then, the ball candidate detection unit 120 outputs the detected position of the ball candidate region in the frame image and the frame image to the ball tracking unit 130.
  • FIG. 2 is a flowchart showing the ball candidate detection operation in the present embodiment.
  • the ball candidate detection unit 120 generates a foreground image from a frame image constituting the sports video output from the video input unit 110 (step S100).
  • the foreground image is binarized in which the pixel value of the pixels constituting the background portion of the frame image is set to 0 (black) and the pixel value of the pixels constituting the foreground portion is set to 255 (white). It is an image.
  • There are various methods for generating the foreground image and examples include a background difference method, an inter-frame difference method, and the like.
  • the ball candidate detection unit 120 sets a detection target area for detecting the area of the ball candidate in the generated foreground image (step S110). Specifically, the ball candidate detection unit 120 calculates a predicted movement position of the ball in the foreground image based on the ball position output by the ball position calculation output unit 170 in the previous frame image, and the movement prediction An area of a certain size centered on the position is set as a detection target area.
  • the process of setting the detection target area is not necessarily essential, but by executing this process, the processing load of the ball candidate detection operation can be reduced compared to the case where the entire area of the foreground image is set as the detection target area. Is preferable.
  • the ball candidate detection unit 120 performs a labeling process on the detection target region set in the foreground image (step S120).
  • the labeling process is a process of assigning the same number to pixels in which a portion having a pixel value of 255 (white) continues.
  • the ball candidate detection unit 120 determines the size of the pixel area (for example, area width, area height, aspect ratio, or foreground in a rectangle circumscribing the pixel area) from the result of the labeling process.
  • a pixel area that satisfies the predetermined size is detected as a ball candidate area (step S130).
  • the predetermined condition is, for example, the upper and lower limits of the area width and area height, the upper and lower limits of the aspect ratio, or the lower limit of the foreground ratio of a rectangle circumscribing the pixel area.
  • the ball candidate detection unit 120 outputs the detected position (X coordinate, Y coordinate) of the ball candidate region in the frame image, the region width, the region height, and the frame image to the ball tracking unit 130.
  • the ball candidate detecting unit 120 ends the process in FIG.
  • the player area detection unit 160 uses, as a player candidate area, an area where there is a high possibility that a player participating in a soccer game exists in each of a plurality of frame images constituting the sports video output from the video input unit 110. To detect. Then, the player region detection unit 160 calculates a player likelihood based on the detected feature amount of the player candidate region. Here, the player likelihood is an index that quantitatively indicates how likely the player candidate area is to the area where the player actually exists. The player area detection unit 160 determines whether or not the player likelihood of the player candidate area is equal to or greater than a predetermined threshold. If the player likelihood is equal to or greater than the predetermined threshold, the ball tracking unit sets the range of the player candidate area as a player area. 130, output to the ball trajectory detection unit 150 and the display unit 210.
  • the ball tracking unit 130 calculates a ball likelihood based on the feature amount of the ball candidate region in the frame image output from the ball candidate detection unit 120.
  • the ball likelihood is an index that quantitatively indicates how likely the ball candidate area is to the area where the ball actually exists.
  • the feature amount is calculated based on the position, area width, and area height of the ball candidate area output from the ball candidate detection unit 120 in the frame image.
  • the feature amount may be an optical feature amount of the frame image.
  • the ball tracking unit 130 determines whether or not the ball likelihood of the ball candidate area is equal to or greater than a predetermined threshold, and if the ball likelihood is equal to or greater than the predetermined threshold, detects the position of the ball candidate area as the first ball position. .
  • the ball tracking unit 130 calculates a ball likelihood for each of the plurality of ball candidate regions, and is equal to or greater than a predetermined threshold. In addition, the position of the ball candidate area with the highest ball likelihood is detected as the first ball position. The ball tracking unit 130 outputs the frame number of the frame image, the first ball position, the ball likelihood, the region width and the region height of the ball candidate region to the ball position calculation output unit 170.
  • the ball tracking unit 130 cannot detect the frame number of the frame image, the area width and area height of the ball candidate area, and the first ball position. Is output to the ball position calculation output unit 170.
  • the ball tracking unit 130 when the position of the ball candidate region in the frame image is included in the overlap determination region set outside the player region output from the player region detection unit 160, that is, the ball is around the player If it is located, it outputs to the ball position calculation output unit 170 that the frame number of the frame image, the area width and area height of the ball candidate area, and that the player has blocked the ball (overlap).
  • the area width and area height of the overlap determination area are, for example, 1.5 times the area width and area height of the player area, respectively.
  • the ball tracking unit 130 sets the position of the ball candidate area in the previous frame image to be included in the overlap determination area, and sets the position of the ball candidate area in the current frame image outside the overlap determination area.
  • a ball position calculation output unit indicating that the frame number of the frame image, the position of the ball candidate area, the area width and the area height, and the position of the ball candidate area are included in the redetection determination area. Output to 170.
  • the area width and area height of the redetection determination area are, for example, twice the area width and area height of the player area.
  • the ball trajectory detection image generation unit 140 receives the sports video output from the video input unit 110, and detects the ball trajectory in units of a plurality (N in this embodiment, which is a natural number) of frame images. A ball locus detection image is generated. Then, the ball locus detection image generation unit 140 outputs the generated ball locus detection image to the ball locus detection unit 150.
  • FIG. 3 is a flowchart showing a ball trajectory detection image generating operation in the present embodiment.
  • the ball trajectory detection image generation unit 140 inputs a frame image (t) constituting the sports video output from the video input unit 110 (step S200).
  • the frame image (t) is a frame image whose frame number is t.
  • the ball trajectory detection image generation unit 140 initializes the ball trajectory detection image (step S210). Specifically, the ball locus detection image generation unit 140 prepares an image having the same size as the frame image (t) input in step S200, and sets all the pixel values constituting the image to 0 (black). Set to.
  • the ball trajectory detection image generation unit 140 sets 1 to the value of the variable i used in the ball trajectory detection image generation operation (step S220).
  • the ball locus detection image generation unit 140 inputs a frame image (t + i) constituting the sports video output from the video input unit 110 (step S230).
  • the ball locus detection image generation unit 140 receives the frame image input in step S230 (for example, the frame image (t + 1), hereinafter referred to as “second frame image”) and the frame image input immediately before it.
  • the optical flow is calculated using (for example, frame image (t), hereinafter referred to as “first frame image”) (step S240).
  • the ball locus detection image generation unit 140 obtains which pixel of the second frame image each pixel of the first frame image has moved, that is, a flow vector.
  • the ball locus detection image generation unit 140 detects a flow vector having the maximum movement amount from many flow vectors based on the calculation result of step S240 (step S250).
  • the ball locus detection image generation unit 140 superimposes an image indicating the position (location) of the pixel corresponding to the flow vector detected in step S250 on the ball locus detection image (step S260).
  • the ball trajectory detection image generation unit 140 sets the pixel value around the pixel position corresponding to the flow vector detected in step S250 in the ball trajectory detection image to 255 (white). For example, a rectangular area of 5 ⁇ 5 pixels or a circular area having a diameter of 5 pixels is set around the position of the pixel corresponding to the flow vector, and the value of the pixels constituting the set area is set to 255.
  • step S270 the ball locus detection image generation unit 140 adds 1 to the value of the variable i (step S270).
  • the ball locus detection image generation unit 140 determines whether or not the value of the variable i is equal to N (step S280). As a result of this determination, when the value of the variable i is not equal to N (step S280, NO), the process returns to before step S230.
  • step S280 when the value of the variable i is equal to N (step S280, YES), the ball trajectory detection image generating unit 140, the ball trajectory detection image, the frame image (t + N-2), and the frame image (t + N-1). ) Is output to the ball trajectory detection unit 150 (step S290).
  • the ball trajectory detection image to be output an image indicating the position of the pixel corresponding to the flow vector having the maximum movement amount is superimposed for N frame images.
  • the ball trajectory detection unit 150 is a plurality of (in this embodiment, natural numbers). The trajectory of the ball in N) frame image units is detected. Then, the ball trajectory detection unit 150 outputs the position of the flow vector output from the ball trajectory detection image generation unit 140 to the ball position calculation output unit 170 as the second ball position.
  • FIG. 4 is a flowchart showing the ball trajectory detection operation in the present embodiment.
  • the ball trajectory detection unit 150 performs a labeling process on the ball trajectory detection image output from the ball trajectory detection image generation unit 140 (step S300).
  • the ball trajectory detection unit 150 determines whether or not the number of labeling in the ball trajectory detection image is 1 (step S310).
  • FIG. 5A shows a ball locus detection image when the number of labeling is one. As shown in FIG. 5A, when the number of labeling is 1, the position of the image indicating the position of the pixel corresponding to the white portion, that is, the flow vector having the maximum movement amount on the ball locus detection image is time-series. The connected part is drawn as a beautiful locus like a ball locus.
  • FIG. 5B shows a ball trajectory detection image when the number of labeling is three. If the result of determination is that the number of labeling in the image for detecting the ball trajectory is not 1 (step S310, NO), the ball trajectory detecting unit 150 ends the processing in FIG.
  • step S310 when the number of labeling in the ball trajectory detection image is 1 (step S310, YES), the ball trajectory detection unit 150 detects that the position of the flow vector output from the ball trajectory detection image generation unit 140 is the player area detection. It is determined whether or not it is included in the player area output from the unit 160 (step S320). The determination process in step S320 is performed in order to prevent a player who is running fast from being erroneously detected as a ball trajectory.
  • step S320 when the position of the flow vector output from the ball locus detection image generation unit 140 is included in the player area (step S320, YES), the ball locus detection unit 150 can detect the ball locus. If it is determined that there is not, the process in FIG. 4 ends.
  • the ball trajectory detection unit 150 determines that the ball trajectory has been detected.
  • the position (X coordinate, Y coordinate) of the flow vector output from the ball locus detection image generation unit 140 is output to the ball position calculation output unit 170 as the second ball position (step S330).
  • the ball position calculation output unit 170 is based on the information output from the ball tracking unit 130 and the ball trajectory detection unit 150, and includes tracking result information indicating a result of detecting the ball in each frame image constituting the sports video (disclosed in the present disclosure). Corresponding to “detection result information”), and the generated tracking result information is recorded in the tracking result information storage unit 180. As shown in FIG. 6, the tracking result information includes, as item information, the frame number, the area width and area height of the ball candidate area, the ball position (X coordinate, Y coordinate), and the tracking state for each frame image.
  • the ball candidate detection unit 120 outputs the ball position in each frame image to the ball candidate detection unit 120.
  • the ball position calculation output unit 170 When the ball position calculation output unit 170 has both the first ball position output from the ball tracking unit 130 and the second ball position output from the ball trajectory detection unit 150 for a frame image of a certain frame number. Then, it is determined whether or not the difference between the first ball position and the second ball position is a predetermined value (for example, 3 pixels) or more.
  • the difference between the first ball position and the second ball position is expressed by the following equation (1) when the position coordinates of the first ball position and the second ball position are (X1, Y1) and (X2, Y2), respectively. Is calculated by
  • the ball position calculation output unit 170 sets the position coordinates of the first ball position to the ball position included in the tracking result information.
  • the ball likelihood output from the ball tracking unit 130 is set in the tracking state.
  • the ball position calculation output unit 170 sets the position coordinates of the second ball position to the ball position included in the tracking result information.
  • the character string “TRAJECTORY” is set in the tracking state.
  • the ball position calculation output unit 170 When only the first ball position output from the ball tracking unit 130 is present for a frame image of a certain frame number, the ball position calculation output unit 170 has the position coordinates of the first ball position at the ball position included in the tracking result information. And the ball likelihood output from the ball tracking unit 130 is set in the tracking state.
  • the ball position calculation output unit 170 is smaller than the frame number when the fact that an overlap has occurred is output from the ball tracking unit 130 for the frame image of a certain frame number, and the ball likelihood is set in the tracking state.
  • the position coordinate of the ball position in the latest frame image is set to the ball position included in the tracking result information, and the character string “OVERLAP” is set to the tracking state.
  • the ball position calculation output unit 170 outputs the ball output from the ball tracking unit 130
  • the position of the candidate area is set to the ball position included in the tracking result information, and the character string “re-detection determination” is set to the tracking state.
  • the ball position calculation output unit 170 sets a value for the ball position included in the tracking result information. First, the character string “not detected” is set in the tracking state.
  • the ball position calculation output unit 170 refers to the tracking result information. Then, after one or more frame images (confirmation target frame images) in which the character string “OVERLAP” is set in the tracking state, a portion in which the frame image in which the character string “re-detection determination” is set in the tracking state follows. If it exists, the ball position in the confirmation target frame image is calculated by interpolation processing using the ball positions in the frame images before and after the confirmation target frame image. Then, the calculation result is reflected in the tracking result information. In the example of FIG. 6, the character string “OVERLAP” is set in the tracking state in the frame images having the frame numbers 2031 to 2038.
  • the ball position in the frame image having the frame number 2030 and the frame number 2039 are set.
  • the ball positions in the frame images having frame numbers 2031 to 2038 are respectively calculated and set.
  • the ball position calculation output unit 170 resets the tracking state in the frame image in which the ball position is calculated by the interpolation process from the character string “OVERLAP” to the character string “AUTO”. Note that the first ball position is also calculated for a frame image in which the character string “OVERLAP” is set in the tracking state.
  • the tracking state is changed from the character string “OVERLAP” or “AUTO” to “TRAJECTORY” by the ball position calculation output unit 170 as described above. May be reset to "".
  • the ball position calculation output unit 170 refers to the tracking result information, and after one or more frame images (confirmation target frame images) in which the character string “undetected” is set in the tracking state, the ball likelihood in the tracking state.
  • the ball position in the confirmation target frame image is calculated by interpolation processing using the ball position in the frame images before and after the confirmation target frame image, and the calculation result is Reflect in tracking result information.
  • the character string “not detected” is set in the tracking state in the frame image with the frame number 2043, but the ball position in the frame image with the frame number 2042 and the frame image with the frame number 2044 The ball position in the frame image with the frame number 2043 is calculated and set by the interpolation process using the ball position at. Then, the ball position calculation output unit 170 resets the tracking state in the frame image in which the ball position is calculated by the interpolation process from the character string “not detected” to the character string “AUTO”. Note that the first ball position is also set to the frame image in which the character string “not detected” is set in the tracking state with the same coordinates as the first ball position detected last in the previous frame image.
  • the tracking state is changed from the character string “not detected” or “AUTO” to “TRAJECTORY” by the ball position calculation output unit 170 as described above. May be reset to "".
  • the operation accepting unit 190 has operation keys such as a numeric keypad and a start key, searches for and displays a confirmation target frame image from a plurality of frame images constituting a sports video, and determines a ball position according to a user's correction instruction. Accepts various input operations when correcting When the operation receiving unit 190 receives an input operation, the operation receiving unit 190 outputs an operation signal corresponding to the input operation to the ball candidate detecting unit 120, the search unit 200, the display unit 210, and the correction unit 220.
  • operation keys such as a numeric keypad and a start key
  • the search unit 200 refers to the tracking result information stored in the tracking result information storage unit 180 in accordance with the operation signal output from the operation receiving unit 190, and configures a plurality of sports videos output from the video input unit 110.
  • the frame image to be confirmed is searched from among the frame images. Then, the search unit 200 outputs the frame number of the searched check target frame image to the display unit 210.
  • the display unit 210 displays a search screen for searching for a confirmation target frame image on a monitor (not shown) in accordance with the operation signal output from the operation reception unit 190. Further, when a frame number is output from the search unit 200, the display unit 210 displays a search result screen including a check target frame image corresponding to the frame number on the monitor.
  • the correction unit 220 corrects the ball position in the confirmation target frame image included in the search result screen according to the operation signal output from the operation reception unit 190. Then, the correction unit 220 updates the ball position included in the tracking result information stored in the tracking result information storage unit 180 using the corrected ball position.
  • FIG. 7 is a flowchart showing the correction checking operation in the present embodiment.
  • the process in step S400 starts when the operation reception unit 190 receives an input of a search screen display operation that instructs to display a search screen.
  • the display unit 210 inputs the search screen display operation signal output from the operation reception unit 190, and displays a search screen for searching for a check target frame image on the monitor (step S400).
  • FIG. 8 is a diagram showing a search screen in the present embodiment.
  • the search screen includes a display area 300 for reproducing and displaying the sports video output from the video input unit 110, and a search condition setting area 310 for setting a search condition for searching the frame image to be confirmed.
  • search condition setting area 310 check boxes 320 to 324, 328 to 332, input boxes 326, 334, and 336, a search button 338, an execution button 340, and the like are arranged.
  • the check box 320 is a check box for selecting “AUTO” as a search type for searching for a confirmation target frame image.
  • the check box 322 is a check box for selecting “OVERLAP” as a search type.
  • the check box 324 is a check box for selecting “TRAJECTORY” as a search type.
  • the search button 338 is a button for instructing to execute the search for the frame image to be confirmed after selecting one of the search types.
  • the operation receiving unit 190 receives an input of a search type selection operation for selecting any one of “AUTO”, “OVERLAP”, and “TRAJECTORY” as a search type (step S410). Then, the operation reception unit 190 outputs an operation signal including the selected search type (for example, “AUTO”) to the search unit 200.
  • a search type selection operation for selecting any one of “AUTO”, “OVERLAP”, and “TRAJECTORY” as a search type.
  • the search unit 200 refers to the tracking result information stored in the tracking result information storage unit 180, and the search type (for example, “AUTO”) included in the operation signal output from the operation receiving unit 190 and the tracking state A frame number that matches the set value is searched (step S420).
  • the search unit 200 continues to search for the number of values input to the input box 326 on the search screen. (For example, “AUTO”) is searched for a frame number that matches the set value of the tracking state. Then, the search unit 200 outputs the searched frame number to the display unit 210.
  • the search type for example, “AUTO”
  • the display unit 210 displays a search result screen including a frame image corresponding to the frame number output from the search unit 200 among a plurality of frame images constituting the sports video output from the video input unit 110. Are displayed in the display area 300 (step S430).
  • FIG. 9 is a diagram showing a search result screen when the search type is “AUTO”.
  • a predetermined area 352 of the first frame image (hereinafter referred to as “first frame image”) whose tracking state setting value is “AUTO”, and the last one whose tracking state setting value is “AUTO”.
  • a predetermined area 360 of the next frame image (hereinafter referred to as “post-end frame image”) is enlarged and displayed.
  • predetermined areas 354 to 358 of three confirmation target frame images in which a part of the confirmation target frame image existing between the first frame image and the post-end frame image are thinned out are enlarged and displayed. Yes.
  • the user can perform a setting to display a part of the searched confirmation target frame image by checking a check box 328 (decimation display) on the search screen.
  • the confirmation target frame image is 30 frames or less, the thinning-out interval is thinned so that three frames are displayed as shown in FIG.
  • the thinning-out interval is thinned so that three frames are displayed as shown in FIG.
  • thinning is performed so that one confirmation target frame image is displayed in 10 frames.
  • the number of confirmation target frame images is large, five confirmation target frame images are displayed at a time, and a NEXT button (not shown) arranged on the search result screen 350 is operated to operate the following five items.
  • Two confirmation target frame images may be displayed.
  • the user inputs an arbitrary value (for example, 5) in the input box 334 (number of displays) on the search screen, thereby displaying the confirmation target frame image at the same number of the input values. Can be set.
  • the predetermined areas 352 to 360 are areas of a certain size centered on the ball position included in the tracking result information.
  • a player In the predetermined areas 354 to 358 of the confirmation target frame image, a player, a player area frame representing the player area of the player, a ball frame 364 representing a ball position included in the tracking result information, and a ball 366 are displayed.
  • the user confirms whether or not the ball 366 is in the ball frame 364 in the predetermined areas 354 to 358 of the confirmation target frame image included in the search result screen. . If the ball 366 is contained in the ball frame 364, the position of the ball 366 is correctly detected, and there is no need to correct the ball position in the confirmation target frame image, so the user is placed on the search result screen 350.
  • the OK button 362 is pressed. On the other hand, if the ball 366 is not contained in the ball frame 364, the position of the ball 366 is erroneously detected, and it is necessary to correct the ball position in the confirmation target frame image. In the example shown in FIG. 9, since the ball 366 is not contained in the ball frame 364 in any of the predetermined areas 354 to 358, it is necessary to correct the ball position. In this case, the user clicks on the correct ball position in the predetermined areas 354 to 358.
  • the correction unit 220 corrects the ball position in the confirmation target frame image according to the click operation signal output from the operation reception unit 190.
  • the display unit 210 changes and displays the position of the ball frame 364 to the corrected ball position, that is, the clicked position in the predetermined areas 354 to 358 included in the search result screen 350.
  • the ball 366 is in the ball frame 364 in any of the predetermined areas 354 to 358 as a result of the user's correction operation of the ball position.
  • the user confirms that the ball 366 is in the ball frame 364 and presses the OK button 362 arranged on the search result screen 350.
  • the correction unit 220 updates the ball position included in the tracking result information to the corrected ball position for the confirmation target frame images corresponding to the predetermined areas 354 to 358.
  • the operation reception unit 190 determines whether or not an input of a correction instruction operation for instructing correction of the ball position in the confirmation target frame image has been received (step S440). As a result of this determination, when the input of the correction instruction operation is not accepted (step S440, NO), the correction confirmation device 100 ends the process in FIG. On the other hand, when the input of the correction instruction operation is received (step S440, YES), the correction unit 220 sets the ball position included in the tracking result information to the corrected ball position for the confirmation target frame image for which the correction instruction operation has been received. Update (step S450).
  • step S450 the correction unit 220 is positioned before and after the confirmation target frame image for which the correction instruction operation has been accepted among the searched confirmation target frame images, and the ball in the confirmation target frame image that has not been displayed as a result of the thinning display.
  • the position is calculated by an interpolation process using the ball position in the confirmation target frame image that is positioned before and after the confirmation target frame image that received the correction instruction operation and the ball position is not corrected, and the corrected ball position.
  • the ball position included in the tracking result information is updated for the confirmation target frame image that is not displayed as a result of the thinning display.
  • the correction unit 220 sets the character string “EDIT” in the tracking state included in the tracking result information for the confirmation target frame image whose ball position has been updated.
  • + buttons (plus buttons) 370 to 376 may be arranged between the check target frame images displayed by thinning.
  • the display unit 210 confirms the confirmation target frame image corresponding to the predetermined area 356 and the confirmation target frame image corresponding to the predetermined area 358.
  • a detailed display screen 380 including predetermined areas 382 to 386 of the target frame image is displayed.
  • the display unit 210 changes the pressed + button 374 to a ⁇ button (minus button).
  • the user can grasp the correct position of the ball 366 even when a plurality of players are in contact with the ball 366 and the movement of the ball 366 is complicated. Can do.
  • the user can check the predetermined areas 382 to 386 of the check target frame image included in the detail display screen 380 and can correct the ball position as described above. That is, the user clicks the correct ball position in the predetermined areas 382 to 386.
  • the display unit 210 ends the display of the detail display screen 380.
  • the display unit 210 changes the ⁇ button to the + button 374.
  • the display unit 210 may display all the check target frame images existing between the check target frame images displayed by thinning out in the search result screen 350. Then, all the confirmation target frame images can be reproduced as moving images.
  • the user checks the check box 330 (automatic playback) on the search screen, An operation of pressing the execution button 340 is performed. At that time, the user inputs an arbitrary value (for example, 2) in the input box 336 (skip) of the search screen, thereby playing back the moving image while skipping the confirmation target frame images by the number of input values. You can also
  • the display unit 210 when there are a plurality of players who may have touched the ball in the confirmation target frame image included in the search result screen when the search type is “AUTO”, the display unit 210 is as shown in FIG. In addition, a certain size area including all of the plurality of players 390 to 394 may be displayed as the predetermined areas 354 to 358. Based on the player area output from the player area detection unit 160, the display unit 210 determines whether or not the player area overlaps between the players in the confirmation target frame image included in the search result screen, and the plurality of players determined to have overlapped 390-394 are identified as a plurality of players that may have touched the ball 366.
  • the search type is “AUTO”
  • the example in which the frame image to be confirmed is searched and displayed and the ball position is corrected according to the user's correction instruction has been described.
  • the search type is “TRAJECTORY” or “OVERLAP”
  • a frame image to be confirmed is searched and displayed, and the ball position is corrected according to a user's correction instruction.
  • the operation reception unit 190 receives an input of a selection operation for selecting “TRAJECTORY” as a search type. In this case, the operation reception unit 190 outputs an operation signal including the selected search type (“TRAJECTORY”) to the search unit 200.
  • the search unit 200 refers to the tracking result information stored in the tracking result information storage unit 180, and the search type (“TRAJECTORY”) included in the operation signal output from the operation receiving unit 190 matches the set value of the tracking state Search for the frame number to be used. Then, the search unit 200 outputs the searched frame number to the display unit 210.
  • the search type (“TRAJECTORY”) included in the operation signal output from the operation receiving unit 190 matches the set value of the tracking state Search for the frame number to be used. Then, the search unit 200 outputs the searched frame number to the display unit 210.
  • the display unit 210 displays a search result screen including a frame image corresponding to the frame number output from the search unit 200 among a plurality of frame images constituting the sports video output from the video input unit 110. 300 is displayed.
  • the search result screen includes a predetermined area of a frame image (confirmation target frame image) before the frame image corresponding to the frame number output from the search unit 200 at intervals of several frames. In the predetermined area, a ball frame representing the ball position in the confirmation target frame image, that is, the ball position included in the tracking result information is displayed.
  • the user confirms whether a ball is in the ball frame in a predetermined area of the confirmation target frame image included in the search result screen. If there is a ball in the ball frame, the position of the ball is detected correctly, and there is no need to correct the ball position in the confirmation target frame image, so the user can click the OK button arranged on the search result screen. Press. On the other hand, if there is no ball in the ball frame, the position of the ball is erroneously detected, and it is necessary to correct the ball position in the confirmation target frame image. In this case, the user clicks the correct ball position within the predetermined area.
  • the correction unit 220 corrects the ball position in the confirmation target frame image according to the click operation signal output from the operation reception unit 190. That is, the correction unit 220 updates the ball position included in the tracking result information to the corrected ball position for the confirmation target frame image corresponding to the predetermined area.
  • the ball candidate detection unit 120 and the ball tracking unit 130 output from the search unit 200. Based on the ball position in the frame image corresponding to the frame number, the position of the ball candidate region (first ball position) in the frame image (confirmation target frame image) corresponding to the frame number before the frame number is re-detected. . By doing so, it can be expected that the accuracy of the re-detected first ball position is relatively high. There is a high possibility that the position of the first ball position at the time of the frame image whose tracking state is “TRAJECTORY” is not correct.
  • the display unit 210 displays a predetermined number (for example, selected at an arbitrary frame interval (for example, a)) from among a plurality of confirmation target frame images in which the first ball position has been re-detected.
  • the search result screen 400 including the predetermined areas 402 to 410 of the confirmation target frame image of 5) is displayed. In predetermined areas 402 to 410, a ball frame 450 and a ball 460 representing the re-detected first ball position are displayed.
  • the user confirms whether the ball 460 is in the ball frame 450 in the predetermined areas 402 to 410 of the confirmation target frame image included in the search result screen 400. To do. If the ball 460 is contained in the ball frame 450, the position of the ball 460 is correctly re-detected, and there is no need to correct the ball position in the confirmation target frame image.
  • the pressed OK button 440 is pressed.
  • the correction unit 220 updates the ball position included in the tracking result information to the re-detected first ball position for the confirmation target frame images corresponding to the predetermined areas 402 to 410. In the example shown in FIG. 12, since the ball 460 is contained in the ball frame 450 in any of the predetermined areas 402 to 410, it is not necessary to correct the ball position.
  • the correction unit 220 corrects the ball position in the confirmation target frame image according to the click operation signal output from the operation reception unit 190.
  • the display unit 210 changes and displays the position of the ball frame 450 to the corrected ball position, that is, the clicked position in the predetermined areas 402 to 410 included in the search result screen 400.
  • the user confirms that the ball 460 is in the ball frame 450 and presses the OK button 440 arranged on the search result screen 400.
  • the correction unit 220 updates the ball position included in the tracking result information to the corrected ball position for the confirmation target frame images corresponding to the predetermined areas 402 to 410.
  • the predetermined areas 412 to 420 of the confirmation target frame image having a smaller frame number than the confirmation target frame images corresponding to the predetermined areas 402 to 410 are displayed. Can be displayed.
  • the search result screen 400 in the lower part of FIG. 12 in the predetermined areas 418 and 420, in addition to the ball frame 450 and the ball 460 representing the first detected ball position, the first ball detected first.
  • a ball frame 470 representing the position is displayed. That is, the user confirms that the first ball position detected first and the first ball position detected again in the predetermined areas 418 and 420 are different from each other, determines which detection result is correct, and is necessary.
  • a correction instruction can be issued as described in step S440.
  • a predetermined number of frame images in which the first ball position detected first and the first ball position redetected overlap each other as in the predetermined areas 416, 414, 412 are detected they are detected first before that. Since it is estimated that the first ball position is certain to some extent, the user presses the OK button 440 to end the display of the search result screen 400.
  • the ball position calculation output unit 170 determines whether or not the first detected first ball position and the re-detected first ball position are within a predetermined range. Only a certain frame image may be displayed.
  • the operation receiving unit 190 receives an input of a selection operation for selecting “OVERLAP” as a search type.
  • the operation reception unit 190 outputs an operation signal including the selected search type (“OVERLAP”) to the search unit 200.
  • the search unit 200 refers to the tracking result information stored in the tracking result information storage unit 180, and the search type ("OVERLAP") included in the operation signal output from the operation receiving unit 190 matches the set value of the tracking state. Search for the frame number to be used. Then, the search unit 200 outputs the searched frame number to the display unit 210.
  • OverLAP search type
  • the display unit 210 displays a search result screen including a frame image corresponding to the frame number output from the search unit 200 among a plurality of frame images constituting the sports video output from the video input unit 110. 300 is displayed.
  • the search result screen includes a predetermined area of a frame image (confirmation target frame image) that is behind the frame image corresponding to the frame number output from the search unit 200 and whose tracking state setting value is “OVERLAP”. .
  • a ball frame representing the ball position in the confirmation target frame image, that is, the ball position included in the tracking result information is displayed.
  • the user confirms whether a ball is in the ball frame in a predetermined area of the confirmation target frame image included in the search result screen. If there is a ball in the ball frame, there is no need to correct the ball position in the confirmation target frame image, so the user presses the OK button arranged on the search result screen. On the other hand, if there is no ball in the ball frame, it is necessary to correct the ball position in the confirmation target frame image. In this case, the user clicks the correct ball position within the predetermined area.
  • the correction unit 220 corrects the ball position in the confirmation target frame image according to the click operation signal output from the operation reception unit 190. That is, the correction unit 220 updates the ball position included in the tracking result information to the corrected ball position for the confirmation target frame image corresponding to the predetermined area.
  • the tracking result information output from the ball position calculation output unit 170 to the tracking result information storage unit 180 there is a frame image whose tracking state is “TRAJECTORY” behind the frame image whose tracking state is “OVERLAP”. Probability is high. This is because when the tracking state is “OVERLAP”, there is a high possibility that the second frame position is corrected in the subsequent frame image, and in this case, the tracking state becomes “TRAJECTORY”. Therefore, when the user performs correction processing, it is more efficient to select “TRAJECTORY” as the search type and perform correction processing than to select “OVERLAP” as the search type and perform correction processing. High nature.
  • the processor displays a specific frame image as a confirmation target frame image based on the tracking result of the moving body in each of the plurality of frame images constituting the video, and the user When the correction instruction is received, the position of the moving body in the confirmation target frame image is corrected.
  • the user can search for and display the confirmation target frame based on the tracking result information without confirming whether the tracking target ball is correctly tracked for all the frame images. Only the image can be confirmed, and the position of the ball can be corrected if necessary. Therefore, it is possible to reduce the work load when confirming and correcting the position of the tracking target ball in the frame image.
  • a check box for selecting “EDIT (a frame image in which the ball position is corrected)” as a search type may be further provided in the search condition setting area 310 of the search screen.
  • a frame image that matches the selected search type for example, “AUTO”
  • a forward search button and a backward search button for displaying may be further provided in the search condition setting area 310 of the search screen.
  • the method for selecting and confirming and correcting any one of the search types has been described. However, two or more search types are selected and two or more search types are selected in time series. It may be confirmed and corrected at the same time.
  • the OK button, the search button, the execution button, the Prev button, and the like are arranged on the screen and the buttons are pressed down.
  • various functions may be assigned to keyboard keys, for example, function keys. Good.
  • the configuration for detecting the position of the ball in each of the plurality of frame images constituting the video and the confirmation target frame image are searched and displayed, and when the user's correction instruction is received.
  • the configuration for correcting the position detection result of the ball in the confirmation target frame image is integrated by one apparatus has been described, it may be separated by a separate apparatus.
  • the correction confirmation apparatus 100 demonstrated the example which tracks a ball
  • the present disclosure is useful as a correction confirmation method and a correction confirmation apparatus that can reduce the work load when confirming and correcting the position of the tracking target moving body in the frame image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　修正確認方法および修正確認装置は、プロセッサが、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示し、ユーザーの修正指示を受け付けた場合に確認対象フレーム画像における移動体の位置を修正する。

Description

修正確認方法および修正確認装置
　本開示は、修正確認方法および修正確認装置に関する。
　従来から、映像において移動体を追跡する移動体追跡装置が知られている。例えば、特許文献１に記載の技術では、過去のフレーム画像における移動体の位置情報に基づき今回のフレーム画像における移動体の予測位置を求める。そして、今回のフレーム画像における画像データから移動体に特有の所定の特徴を持つ候補物体を抽出し、抽出された候補物体のうち予測位置により近い候補物体を移動体として割り当てる。
特開２００４－４６６４７号公報
　しかしながら、上記特許文献１に記載の技術では、追跡対象の移動体を他の移動体と間違えて追跡してしまう場合があるという問題があった。例えば、サッカーゲームなどのようなボール（移動体）を用いるスポーツ競技において、ボールを追跡することは選手の追跡に比べて難しい。すなわち、ボールの色や形が選手の足（靴）と似ているため、ボールが選手の足に近づくと誤追跡してしまう。また、ボールは選手によって隠蔽される場合があり、この場合においてボールを正しく追跡することは難しい。したがって、ユーザーは、各フレーム画像において追跡対象の移動体が正しく追跡されているかについて確認し、間違えて追跡されている場合には修正しなくてはならず、この確認および修正作業に時間と手間がかかる。
　本開示の目的は、フレーム画像における追跡対象の移動体の位置を確認および修正する際の作業負荷を軽減することが可能な修正確認方法および修正確認装置を提供することである。
　本開示に係る修正確認方法では、プロセッサが、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示する。そして、ユーザーの修正指示を受け付けた場合にこの確認対象フレーム画像における移動体の位置を修正する。
　本開示に係る修正確認装置では、プロセッサが、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示部に表示させる。そして、ユーザーの修正指示を受け付け、操作受付部により修正指示が受け付けられた場合に、この確認対象フレーム画像における移動体の位置を修正する。
　本開示によれば、フレーム画像における追跡対象の移動体の位置を確認および修正する際の作業負荷を軽減することができる。
図１は、本実施の形態における修正確認装置の機能構成を示す図である。 図２は、本実施の形態におけるボール候補検出動作を示すフローチャートである。 図３は、本実施の形態におけるボール軌跡検出用画像生成動作を示すフローチャートである。 図４は、本実施の形態におけるボール軌跡検出動作を示すフローチャートである。 図５Ａは、フローベクトルの最大箇所を重畳した画像を示す図である。 図５Ｂは、フローベクトルの最大箇所を重畳した画像を示す図である。 図６は、本実施の形態における追跡結果情報を示す図である。 図７は、本実施の形態における修正確認動作を示すフローチャートである。 図８は、本実施の形態における検索画面を示す図である。 図９は、本実施の形態における検索結果画面を示す図である。 図１０は、本実施の形態における検索結果画面を示す図である。 図１１は、本実施の形態における検索結果画面を示す図である。 図１２は、本実施の形態における検索結果画面を示す図である。
　以下、本実施の形態を図面に基づいて詳細に説明する。図１は、本開示の実施の形態に係る修正確認装置１００の機能構成を示す図である。修正確認装置１００は、外部から入力した映像においてボール（移動体）を追跡し、すなわち映像を構成する複数のフレーム画像の各々におけるボールの位置を検出し、その位置検出結果に基づいて当該複数のフレーム画像からボールの位置検出結果を確認することが望ましいフレーム画像（以下、「確認対象フレーム画像」ともいう）を検索して表示する。また、修正確認装置１００は、ユーザーの修正指示を受け付けた場合に確認対象フレーム画像におけるボールの位置検出結果を修正する。本実施の形態では、修正確認装置１００は、スポーツ競技の一つであるサッカーの試合が撮影されたスポーツ映像において、当該サッカーの試合で使用されるボールを追跡する。
　修正確認装置１００は、映像入力部１１０、ボール候補検出部１２０、ボール追跡部１３０、ボール軌跡検出用画像生成部１４０、ボール軌跡検出部１５０、選手領域検出部１６０、ボール位置演算出力部１７０、追跡結果情報記憶部１８０、操作受付部１９０、検索部２００、表示部２１０および修正部２２０を有する。
　なお、修正確認装置１００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　映像入力部１１０は、例えば外部装置（コンピューター）から、複数のフレーム画像から構成されるスポーツ映像を入力する。そして、映像入力部１１０は、入力したスポーツ映像をボール候補検出部１２０、ボール軌跡検出用画像生成部１４０、選手領域検出部１６０、検索部２００および表示部２１０に出力する。
　ボール候補検出部１２０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像の各々において、サッカーの試合で使用されるボールが存在する可能性の高い領域をボール候補領域として検出する。そして、ボール候補検出部１２０は、検出したボール候補領域のフレーム画像における位置、および、当該フレーム画像をボール追跡部１３０に出力する。
　次に、ボール候補検出部１２０による具体的なボール候補検出動作について説明する。図２は、本実施の形態におけるボール候補検出動作を示すフローチャートである。
　まず、ボール候補検出部１２０は、映像入力部１１０から出力されたスポーツ映像を構成するフレーム画像から、その前景画像を生成する（ステップＳ１００）。ここで、前景画像は、フレーム画像のうち背景部分を構成する画素の画素値が０（黒）に設定され、前景部分を構成する画素の画素値が２５５（白）に設定された二値化画像である。前景画像の生成方法としては種々あるが、例えば背景差分法、フレーム間差分法等が挙げられる。
　次に、ボール候補検出部１２０は、生成した前景画像の中で、ボール候補の領域を検出する検出対象領域を設定する（ステップＳ１１０）。具体的には、ボール候補検出部１２０は、１つ前のフレーム画像においてボール位置演算出力部１７０により出力されたボール位置に基づいて、前景画像におけるボールの移動予測位置を算出し、その移動予測位置を中心とした一定サイズの領域を検出対象領域として設定する。検出対象領域を設定する処理は必ずしも必須ではないが、当該処理を実行することにより、前景画像の全領域を検出対象領域として設定する場合と比べて、ボール候補検出動作の処理負荷を低減させることができるので好ましい。
　次に、ボール候補検出部１２０は、前景画像において設定された検出対象領域に対して、ラベリング処理を実行する（ステップＳ１２０）。ここで、ラベリング処理とは、画素値が２５５（白）である部分が連続した画素に同じ番号を割り振る処理である。
　最後に、ボール候補検出部１２０は、ラベリング処理の実行結果から、同じ番号が割り振られている画素領域のサイズ（例えば、領域幅、領域高さ、縦横比率または画素領域に外接する矩形内の前景比率など）を取得し、その取得したサイズが所定の条件を満たす画素領域をボール候補領域として検出する（ステップＳ１３０）。ここで、所定の条件とは、例えば領域幅および領域高さの上限下限、縦横比率の上限下限または画素領域内に外接する矩形の前景比率の下限等である。ボール候補検出部１２０は、検出したボール候補領域のフレーム画像における位置（Ｘ座標、Ｙ座標）、領域幅、領域高さ、および、当該フレーム画像をボール追跡部１３０に出力する。ステップＳ１３０の処理が完了することによって、ボール候補検出部１２０は、図２における処理を終了する。
　選手領域検出部１６０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像の各々において、サッカーの試合に出場している選手が存在する可能性の高い領域を選手候補領域として検出する。そして、選手領域検出部１６０は、検出した選手候補領域の特徴量に基づく選手尤度を算出する。ここで、選手尤度とは、選手候補領域が、どれくらい実際に選手が存在する領域に対して尤もらしいかを定量的に示す指標である。選手領域検出部１６０は、選手候補領域の選手尤度が所定の閾値以上であるか否かについて判定し、所定の閾値以上である場合には当該選手候補領域の範囲を選手領域としてボール追跡部１３０、ボール軌跡検出部１５０および表示部２１０に出力する。
　ボール追跡部１３０は、ボール候補検出部１２０から出力されたフレーム画像において、ボール候補領域の特徴量に基づくボール尤度を算出する。ここで、ボール尤度とは、ボール候補領域が、どれくらい実際にボールが存在する領域に対して尤もらしいかを定量的に示す指標である。特徴量は、ボール候補検出部１２０から出力されたボール候補領域のフレーム画像における位置、領域幅、領域高さに基づいて算出される。特徴量はフレーム画像の光学的特徴量を用いたものでも良い。ボール追跡部１３０は、ボール候補領域のボール尤度が所定の閾値以上であるか否かについて判定し、所定の閾値以上である場合には当該ボール候補領域の位置を第１ボール位置として検出する。ボール追跡部１３０は、ボール候補検出部１２０から出力されたフレーム画像において複数のボール候補領域が存在する場合、複数のボール候補領域の各々についてボール尤度を算出し、所定の閾値以上であり、かつ、最もボール尤度の高いボール候補領域の位置を第１ボール位置として検出する。ボール追跡部１３０は、フレーム画像のフレーム番号、第１ボール位置、ボール尤度、ボール候補領域の領域幅および領域高さをボール位置演算出力部１７０に出力する。
　また、ボール追跡部１３０は、算出したボール尤度が所定の閾値未満であった場合、フレーム画像のフレーム番号、ボール候補領域の領域幅および領域高さ、第１ボール位置を検出できなかった旨をボール位置演算出力部１７０に出力する。
　また、ボール追跡部１３０は、フレーム画像におけるボール候補領域の位置が選手領域検出部１６０から出力された選手領域の外側に設定されたオーバーラップ判定領域に含まれる場合、すなわちボールが選手の周辺に位置する場合、フレーム画像のフレーム番号、ボール候補領域の領域幅および領域高さ、選手によるボールの遮蔽（オーバーラップ）が発生している旨をボール位置演算出力部１７０に出力する。オーバーラップ判定領域の領域幅および領域高さはそれぞれ、選手領域の領域幅および領域高さの例えば１．５倍である。
　また、ボール追跡部１３０は、１つ前のフレーム画像におけるボール候補領域の位置がオーバーラップ判定領域に含まれ、かつ、今回のフレーム画像におけるボール候補領域の位置がオーバーラップ判定領域の外側に設定された再検出判定領域に含まれる場合、フレーム画像のフレーム番号、ボール候補領域の位置、領域幅および領域高さ、ボール候補領域の位置が再検出判定領域に含まれる旨をボール位置演算出力部１７０に出力する。再検出判定領域の領域幅および領域高さは例えば、選手領域の領域幅および領域高さの２倍である。
　ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたスポーツ映像を入力し、複数（本実施の形態では、自然数であるＮ）のフレーム画像単位でボールの軌跡を検出するためのボール軌跡検出用画像を生成する。そして、ボール軌跡検出用画像生成部１４０は、生成したボール軌跡検出用画像をボール軌跡検出部１５０に出力する。
　次に、ボール軌跡検出用画像生成部１４０による具体的なボール軌跡検出用画像生成動作について説明する。図３は、本実施の形態におけるボール軌跡検出用画像生成動作を示すフローチャートである。
　まず、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたスポーツ映像を構成するフレーム画像（ｔ）を入力する（ステップＳ２００）。ここで、フレーム画像（ｔ）は、フレーム番号がｔであるフレーム画像である。
　次に、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像を初期化する（ステップＳ２１０）。具体的には、ボール軌跡検出用画像生成部１４０は、ステップＳ２００にて入力したフレーム画像（ｔ）と同じサイズの画像を用意し、その画像を構成する全ての画素値を全て０（黒）に設定する。
　次に、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像生成動作で使用する変数ｉの値に１を設定する（ステップＳ２２０）。次に、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたスポーツ映像を構成するフレーム画像（ｔ＋ｉ）を入力する（ステップＳ２３０）。
　次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２３０にて入力したフレーム画像（例えばフレーム画像（ｔ＋１）、以下「第２フレーム画像」と言う）と、その一つ前に入力したフレーム画像（例えばフレーム画像（ｔ）、以下「第１フレーム画像」と言う）とを用いて、オプティカルフローを算出する（ステップＳ２４０）。具体的には、ボール軌跡検出用画像生成部１４０は、第１フレーム画像の各画素が第２フレーム画像のどの画素に移動したのか、すなわちフローベクトルを求める。
　次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２４０の算出結果に基づいて、多くのフローベクトルの中から移動量が最大となるフローベクトルを検出する（ステップＳ２５０）。次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２５０にて検出したフローベクトルに対応する画素の位置（箇所）を示す画像をボール軌跡検出用画像に重畳する（ステップＳ２６０）。具体的には、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像において、ステップＳ２５０にて検出したフローベクトルに対応する画素の位置周辺の画素値を２５５（白）に設定する。例えば、フローベクトルに対応する画素の位置周辺に５×５ピクセルの矩形領域や、直径５ピクセルの円領域を設定し、設定した領域を構成する画素の値を２５５に設定する。
　次に、ボール軌跡検出用画像生成部１４０は、変数ｉの値に１を加算する（ステップＳ２７０）。次に、ボール軌跡検出用画像生成部１４０は、変数ｉの値がＮに等しいか否かについて判定する（ステップＳ２８０）。この判定の結果、変数ｉの値がＮに等しくない場合（ステップＳ２８０、ＮＯ）、処理はステップＳ２３０の前に戻る。
　一方、変数ｉの値がＮに等しい場合（ステップＳ２８０、ＹＥＳ）、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像、および、フレーム画像（ｔ＋Ｎ－２）とフレーム画像（ｔ＋Ｎ－１）との間において移動量が最大となるフローベクトルの位置をボール軌跡検出部１５０に出力する（ステップＳ２９０）。出力されるボール軌跡検出用画像には、移動量が最大となるフローベクトルに対応する画素の位置を示す画像がＮのフレーム画像分だけ重畳されている。ステップＳ２９０の処理が完了することによって、ボール軌跡検出用画像生成部１４０は、図３における処理を終了する。
　ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像と選手領域検出部１６０から出力された選手領域とに基づいて、複数（本実施の形態では、自然数であるＮ）のフレーム画像単位におけるボールの軌跡を検出する。そして、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置を第２ボール位置としてボール位置演算出力部１７０に出力する。
　次に、ボール軌跡検出部１５０による具体的なボール軌跡検出動作について説明する。図４は、本実施の形態におけるボール軌跡検出動作を示すフローチャートである。
　まず、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像に対してラベリング処理を実施する（ステップＳ３００）。次に、ボール軌跡検出部１５０は、ラベリング処理を実施した結果、ボール軌跡検出用画像におけるラベリング数が１であるか否かについて判定する（ステップＳ３１０）。図５Ａは、ラベリング数が１である場合のボール軌跡検出用画像を示す。図５Ａに示すように、ラベリング数が１である場合には、ボール軌跡検出用画像上において、白い部分すなわち移動量が最大となるフローベクトルに対応する画素の位置を示す画像の位置が時系列に連結されたように表され、その連結部分はボールの軌跡のように綺麗な軌跡を描いている。図５Ｂは、ラベリング数が３である場合のボール軌跡検出用画像を示す。判定の結果、ボール軌跡検出用画像におけるラベリング数が１でない場合（ステップＳ３１０、ＮＯ）、ボール軌跡検出部１５０は、図４における処理を終了する。
　一方、ボール軌跡検出用画像におけるラベリング数が１である場合（ステップＳ３１０、ＹＥＳ）、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が、選手領域検出部１６０から出力された選手領域に含まれるか否かについて判定する（ステップＳ３２０）。ステップＳ３２０の判定処理は、早く走っている選手がボールの軌跡として誤って検出されることを防止するために行われる。
　ステップＳ３２０における判定の結果、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が選手領域に含まれる場合（ステップＳ３２０、ＹＥＳ）、ボール軌跡検出部１５０は、ボールの軌跡を検出できなかったと判断して、図４における処理を終了する。一方、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が選手領域に含まれない場合（ステップＳ３２０、ＮＯ）、ボール軌跡検出部１５０は、ボールの軌跡を検出できたと判断して、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置（Ｘ座標、Ｙ座標）を第２ボール位置としてボール位置演算出力部１７０に出力する（ステップＳ３３０）。ステップＳ３３０の処理が完了することによって、図４における処理を終了する。
　ボール位置演算出力部１７０は、ボール追跡部１３０およびボール軌跡検出部１５０から出力された情報に基づいて、スポーツ映像を構成する各フレーム画像においてボールを検出した結果を示す追跡結果情報（本開示の「検出結果情報」に対応）を生成し、生成した追跡結果情報を追跡結果情報記憶部１８０に記録する。図６に示すように、追跡結果情報は、各フレーム画像について、フレーム番号、ボール候補領域の領域幅および領域高さ、ボール位置（Ｘ座標、Ｙ座標）、追跡状態を項目情報として含む。ボール候補検出部１２０は、各フレーム画像におけるボール位置をボール候補検出部１２０に出力する。
　ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、ボール追跡部１３０から出力された第１ボール位置と、ボール軌跡検出部１５０から出力された第２ボール位置との両方が存在する場合、第１ボール位置と第２ボール位置との差分が所定値（例えば、３ピクセル）以上であるか否かについて判定する。第１ボール位置と第２ボール位置との差分は、第１ボール位置および第２ボール位置の位置座標をそれぞれ（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）とした場合に、次の式（１）により算出される。
　差分＝ＳＱＲ（（Ｘ２－Ｘ１）２＋（Ｙ２－Ｙ１）２）・・・（１）
　判定の結果、第１ボール位置と第２ボール位置との差分が所定値未満である場合、ボール位置演算出力部１７０は、追跡結果情報に含まれるボール位置に第１ボール位置の位置座標を設定するとともに、追跡状態にボール追跡部１３０から出力されたボール尤度を設定する。その一方、第１ボール位置と第２ボール位置との差分が所定値以上である場合、ボール位置演算出力部１７０は、追跡結果情報に含まれるボール位置に第２ボール位置の位置座標を設定するとともに、追跡状態に文字列「ＴＲＡＪＥＣＴＯＲＹ」を設定する。
　ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、ボール追跡部１３０から出力された第１ボール位置のみが存在する場合、追跡結果情報に含まれるボール位置に第１ボール位置の位置座標を設定するとともに、追跡状態にボール追跡部１３０から出力されたボール尤度を設定する。
　ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、オーバーラップが発生している旨がボール追跡部１３０から出力された場合、当該フレーム番号より小さく、追跡状態にボール尤度を設定されている直近のフレーム画像におけるボール位置の位置座標を、追跡結果情報に含まれるボール位置に設定するとともに、追跡状態に文字列「ＯＶＥＲＬＡＰ」を設定する。
　ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、ボール候補領域の位置が再検出判定領域に含まれる旨がボール追跡部１３０から出力された場合、ボール追跡部１３０から出力されたボール候補領域の位置を、追跡結果情報に含まれるボール位置に設定するとともに、追跡状態に文字列「再検出判定」を設定する。
　ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、第１ボール位置を検出できなかった旨がボール追跡部１３０から出力された場合、追跡結果情報に含まれるボール位置に値を設定せず、追跡状態に文字列「未検出」を設定する。
　本実施の形態では、ボール位置演算出力部１７０は、追跡結果情報を参照する。そして、追跡状態に文字列「ＯＶＥＲＬＡＰ」が設定されている１以上のフレーム画像（確認対象フレーム画像）の後に、追跡状態に文字列「再検出判定」が設定されているフレーム画像が続く部分が存在する場合、確認対象フレーム画像の前後のフレーム画像におけるボール位置を用いた補間処理により当該確認対象フレーム画像におけるボール位置を算出する。そして、その算出結果を追跡結果情報に反映する。図６の例では、フレーム番号が２０３１～２０３８であるフレーム画像における追跡状態に文字列「ＯＶＥＲＬＡＰ」が設定されていたが、フレーム番号が２０３０であるフレーム画像におけるボール位置と、フレーム番号が２０３９であるフレーム画像におけるボール位置とを用いた補間処理により、フレーム番号が２０３１～２０３８であるフレーム画像におけるボール位置がそれぞれ算出されて設定されている。そして、ボール位置演算出力部１７０は、補間処理によりボール位置が算出されたフレーム画像における追跡状態を文字列「ＯＶＥＲＬＡＰ」から文字列「ＡＵＴＯ」に再設定する。なお、追跡状態に文字列「ＯＶＥＲＬＡＰ」が設定されているフレーム画像にも第１ボール位置は算出されている。よって、第１ボール位置と第２ボール位置との差が所定値以上である場合は、上述したように、ボール位置演算出力部１７０によって追跡状態が文字列「ＯＶＥＲＬＡＰ」又は「ＡＵＴＯ」から「ＴＲＡＪＥＣＴＯＲＹ」に再設定される場合もある。
　また、ボール位置演算出力部１７０は、追跡結果情報を参照し、追跡状態に文字列「未検出」が設定されている１以上のフレーム画像（確認対象フレーム画像）の後に、追跡状態にボール尤度が設定されているフレーム画像が続く部分が存在する場合、確認対象フレーム画像の前後のフレーム画像におけるボール位置を用いた補間処理により当該確認対象フレーム画像におけるボール位置を算出し、その算出結果を追跡結果情報に反映する。図６の例では、フレーム番号が２０４３のフレーム画像における追跡状態に文字列「未検出」が設定されていたが、フレーム番号が２０４２であるフレーム画像におけるボール位置と、フレーム番号が２０４４のフレーム画像におけるボール位置とを用いた補間処理により、フレーム番号が２０４３のフレーム画像におけるボール位置が算出されて設定されている。そして、ボール位置演算出力部１７０は、補間処理によりボール位置が算出されたフレーム画像における追跡状態を文字列「未検出」から文字列「ＡＵＴＯ」に再設定する。なお、追跡状態に文字列「未検出」が設定されているフレーム画像にも、以前のフレーム画像で最後に検出された第１ボール位置と同じ座標で第１ボール位置が設定されている。よって、第１ボール位置と第２ボール位置との差が所定値以上の場合は、上述したように、ボール位置演算出力部１７０によって追跡状態が文字列「未検出」又は「ＡＵＴＯ」から「ＴＲＡＪＥＣＴＯＲＹ」に再設定される場合もある。
　操作受付部１９０は、テンキー、スタートキー等の操作キーを有し、スポーツ映像を構成する複数のフレーム画像の中から確認対象フレーム画像を検索して表示し、ユーザーの修正指示に応じてボール位置を修正する際における各種の入力操作を受け付ける。操作受付部１９０は、入力操作を受け付けた場合、その入力操作に対応する操作信号をボール候補検出部１２０、検索部２００、表示部２１０および修正部２２０に出力する。
　検索部２００は、操作受付部１９０から出力された操作信号に応じて、追跡結果情報記憶部１８０に記憶される追跡結果情報を参照し、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像の中から確認対象フレーム画像を検索する。そして、検索部２００は、検索した確認対象フレーム画像のフレーム番号を表示部２１０に出力する。
　表示部２１０は、操作受付部１９０から出力された操作信号に応じて、確認対象フレーム画像を検索するための検索画面をモニター（図示せず）に表示する。また、表示部２１０は、検索部２００からフレーム番号が出力された場合、そのフレーム番号に対応する確認対象フレーム画像を含む検索結果画面をモニターに表示する。
　修正部２２０は、表示部２１０により検索結果画面が表示されている場合、操作受付部１９０から出力された操作信号に応じて、検索結果画面に含まれる確認対象フレーム画像におけるボール位置を修正する。そして、修正部２２０は、修正後のボール位置を用いて、追跡結果情報記憶部１８０に記憶される追跡結果情報に含まれるボール位置を更新する。
　次に、ユーザーの修正指示に応じて確認対象フレーム画像におけるボール位置を修正する修正確認動作について説明する。図７は、本実施の形態における修正確認動作を示すフローチャートである。ステップＳ４００の処理は、操作受付部１９０が、検索画面を表示することを指示する検索画面表示操作の入力を受け付けることにより開始する。
　まず、表示部２１０は、操作受付部１９０から出力された検索画面表示操作信号を入力し、確認対象フレーム画像を検索するための検索画面をモニターに表示する（ステップＳ４００）。図８は、本実施の形態における検索画面を示す図である。
　検索画面は、映像入力部１１０から出力されたスポーツ映像を再生表示する表示領域３００と、確認対象フレーム画像を検索するための検索条件を設定する検索条件設定領域３１０とを含む。検索条件設定領域３１０には、チェックボックス３２０～３２４，３２８～３３２、入力ボックス３２６，３３４，３３６、検索ボタン３３８、実行ボタン３４０等が配置されている。
　チェックボックス３２０は、確認対象フレーム画像を検索する検索種別として「ＡＵＴＯ」を選択するためのチェックボックスである。チェックボックス３２２は、検索種別として「ＯＶＥＲＬＡＰ」を選択するためのチェックボックスである。チェックボックス３２４は、検索種別として「ＴＲＡＪＥＣＴＯＲＹ」を選択するためのチェックボックスである。検索ボタン３３８は、何れかの検索種別を選択した上で、確認対象フレーム画像の検索を実行することを指示するボタンである。
　図７のフローチャートに説明を戻し、操作受付部１９０は、「ＡＵＴＯ」、「ＯＶＥＲＬＡＰ」または「ＴＲＡＪＥＣＴＯＲＹ」の何れかを検索種別として選択する検索種別選択操作の入力を受け付ける（ステップＳ４１０）。そして、操作受付部１９０は、選択された検索種別（例えば、「ＡＵＴＯ」）を含む操作信号を検索部２００に出力する。
　次に、検索部２００は、追跡結果情報記憶部１８０に記憶される追跡結果情報を参照し、操作受付部１９０から出力された操作信号に含まれる検索種別（例えば、「ＡＵＴＯ」）と追跡状態の設定値が一致するフレーム番号を検索する（ステップＳ４２０）。図８に示す検索画面において入力ボックス３２６に値（例えば、５）が入力された場合には、検索部２００は、検索画面の入力ボックス３２６に入力された値の数だけ連続して、検索種別（例えば、「ＡＵＴＯ」）と追跡状態の設定値が一致するフレーム番号を検索する。そして、検索部２００は、検索したフレーム番号を表示部２１０に出力する。
　次に、表示部２１０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像のうち、検索部２００から出力されたフレーム番号に対応するフレーム画像を含む検索結果画面を検索画面の表示領域３００に表示する（ステップＳ４３０）。
　図９は、検索種別が「ＡＵＴＯ」である場合における検索結果画面を示す図である。検索結果画面３５０では、追跡状態の設定値が「ＡＵＴＯ」である先頭のフレーム画像（以下、「先頭フレーム画像」と言う）の所定領域３５２と、追跡状態の設定値が「ＡＵＴＯ」である最後のフレーム画像の次のフレーム画像（以下、「終了後フレーム画像」と言う）の所定領域３６０とが拡大して表示されている。これらに加えて、先頭フレーム画像と終了後フレーム画像との間に存在する確認対象フレーム画像の一部が間引かれた３つの確認対象フレーム画像の所定領域３５４～３５８が拡大して表示されている。本実施の形態では、ユーザーは、検索画面のチェックボックス３２８（間引き表示）にチェックを入れることによって、検索された確認対象フレーム画像の一部を間引いて表示する設定を行うことができる。
　間引く間隔は、例えば確認対象フレーム画像が３０フレーム以下なら、図９に示すように間の３フレームを表示するように間引く。その一方、確認対象フレーム画像が３０フレームより多いならば、例えば１０フレームに１つの確認対象フレーム画像を表示するように間引く。また、確認対象フレーム画像の数が多い場合は、１度に５つの確認対象フレーム画像を表示し、検索結果画面３５０に配置されたＮＥＸＴボタン（図示せず）が操作されることによって次の５つの確認対象フレーム画像を表示しても良い。本実施の形態では、ユーザーは、検索画面の入力ボックス３３４（表示数）に任意の値（例えば、５）を入力することによって、その入力した値の数だけ１度に確認対象フレーム画像を表示する設定を行うことができる。
　所定領域３５２～３６０は、追跡結果情報に含まれるボール位置を中心とした一定サイズの領域である。確認対象フレーム画像の所定領域３５４～３５８には、選手、当該選手の選手領域を表す選手領域枠、追跡結果情報に含まれるボール位置を表すボール枠３６４、ボール３６６が表示されている。
　表示部２１０により検索結果画面が表示されている際、ユーザーは、当該検索結果画面に含まれる確認対象フレーム画像の所定領域３５４～３５８においてボール枠３６４の中にボール３６６が入っているかについて確認する。もし、ボール枠３６４の中にボール３６６が入っていれば、ボール３６６の位置は正しく検出され、確認対象フレーム画像におけるボール位置を修正する必要はないので、ユーザーは、検索結果画面３５０に配置されているＯＫボタン３６２を押下する。その一方、ボール枠３６４の中にボール３６６が入っていなければ、ボール３６６の位置は誤って検出され、確認対象フレーム画像におけるボール位置を修正する必要がある。図９に示す例では、所定領域３５４～３５８の何れにおいてもボール枠３６４の中にボール３６６が入っていないため、ボール位置を修正する必要がある。この場合、ユーザーは、所定領域３５４～３５８内において、正しいボール位置をクリック操作する。
　修正部２２０は、操作受付部１９０から出力されたクリック操作信号に応じて、確認対象フレーム画像におけるボール位置を修正する。表示部２１０は、検索結果画面３５０に含まれる所定領域３５４～３５８において、ボール枠３６４の位置を修正後のボール位置つまりクリック操作された位置に変更して表示する。図９の下方に示す検索結果画面３５０では、ユーザーによるボール位置の修正操作が行われた結果、所定領域３５４～３５８の何れにおいてもボール枠３６４の中にボール３６６が入っている。ユーザーは、ボール枠３６４の中にボール３６６が入っていることを確認して、検索結果画面３５０に配置されているＯＫボタン３６２を押下する。その結果、修正部２２０は、所定領域３５４～３５８に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する。
　図７のフローチャートに説明を戻し、操作受付部１９０は、確認対象フレーム画像におけるボール位置を修正することを指示する修正指示操作の入力を受け付けたか否かについて判定する（ステップＳ４４０）。この判定の結果、修正指示操作の入力を受け付けていない場合（ステップＳ４４０、ＮＯ）、修正確認装置１００は、図７における処理を終了する。一方、修正指示操作の入力を受け付けた場合（ステップＳ４４０、ＹＥＳ）、修正部２２０は、修正指示操作を受け付けた確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する（ステップＳ４５０）。ステップＳ４５０においては、修正部２２０は、検索された確認対象フレーム画像のうち、修正指示操作を受け付けた確認対象フレーム画像の前後に位置し、間引き表示の結果表示されなかった確認対象フレーム画像におけるボール位置を、修正指示操作を受け付けた確認対象フレーム画像の前後に位置しボール位置が修正されなかった確認対象フレーム画像におけるボール位置と、修正されたボール位置とを用いた補間処理により算出する。そして、算出したボール位置を用いて、当該間引き表示の結果表示されなかった確認対象フレーム画像について、追跡結果情報に含まれるボール位置を更新する。さらに、修正部２２０は、ボール位置が更新された確認対象フレーム画像について、追跡結果情報に含まれる追跡状態に文字列「ＥＤＩＴ」を設定する。ステップＳ４５０の処理が完了することによって、修正確認装置１００は、図７における処理を終了する。
　なお、検索結果画面３５０には、図１０に示すように、間引いて表示している確認対象フレーム画像の間に、＋ボタン（プラスボタン）３７０～３７６が配置されても良い。例えば、ユーザーが＋ボタン３７４を押下する操作を行った場合、表示部２１０は、所定領域３５６に対応する確認対象フレーム画像と、所定領域３５８に対応する確認対象フレーム画像との間に存在する確認対象フレーム画像の所定領域３８２～３８６を含む詳細表示画面３８０を表示する。表示部２１０は、押下された＋ボタン３７４を－ボタン（マイナスボタン）に変更する。ユーザーは、表示部２１０により表示された詳細表示画面３８０を確認することによって、複数の選手がボール３６６に接しており、ボール３６６の動きが複雑である場合でもボール３６６の正しい位置を把握することができる。ユーザーは、詳細表示画面３８０に含まれる確認対象フレーム画像の所定領域３８２～３８６を確認し、上述したように、ボール位置の修正を行うことができる。すなわち、ユーザーは、所定領域３８２～３８６内において、正しいボール位置をクリック操作する。そして、ユーザーが＋ボタン３７４から変更されている－ボタンを押下する操作を行った場合、表示部２１０は、詳細表示画面３８０の表示を終了する。表示部２１０は、－ボタンを＋ボタン３７４に変更する。
　また、表示部２１０は、検索結果画面３５０を表示する際、間引いて表示している確認対象フレーム画像の間に存在する全ての確認対象フレーム画像を検索結果画面３５０に含めて表示しても良いし、当該全ての確認対象フレーム画像を動画像として再生することができる。ユーザーは、間引いて表示している確認対象フレーム画像の間に存在する全ての確認対象フレーム画像を動画像として再生させる場合には、検索画面のチェックボックス３３０（自動再生）にチェックを入れて、実行ボタン３４０を押下する操作を行う。その際に、ユーザーは、検索画面の入力ボックス３３６（スキップ）に任意の値（例えば、２）を入力することによって、入力した値の数だけ確認対象フレーム画像を飛ばしながら、動画像を再生させることもできる。
　また、表示部２１０は、検索種別が「ＡＵＴＯ」である場合における検索結果画面に含まれる確認対象フレーム画像においてボールに接した可能性がある選手が複数存在する場合には、図１１に示すように、複数の選手３９０～３９４を全て含む一定サイズの領域を所定領域３５４～３５８として表示しても良い。表示部２１０は、選手領域検出部１６０から出力された選手領域に基づいて、検索結果画面に含まれる確認対象フレーム画像において選手間で選手領域が重なったかを判断し、重なったと判断した複数の選手３９０～３９４を、ボール３６６に接した可能性がある複数の選手として特定する。
　以上、検索種別が「ＡＵＴＯ」である場合、確認対象フレーム画像を検索して表示し、ユーザーの修正指示に応じてボール位置を修正する例について説明した。以下、検索種別が「ＴＲＡＪＥＣＴＯＲＹ」または「ＯＶＥＲＬＡＰ」である場合、確認対象フレーム画像を検索して表示し、ユーザーの修正指示に応じてボール位置を修正する例について説明する。
　まず、操作受付部１９０が、「ＴＲＡＪＥＣＴＯＲＹ」を検索種別として選択する選択操作の入力を受け付けた場合について説明する。この場合、操作受付部１９０は、選択された検索種別（「ＴＲＡＪＥＣＴＯＲＹ」）を含む操作信号を検索部２００に出力する。
　検索部２００は、追跡結果情報記憶部１８０に記憶される追跡結果情報を参照し、操作受付部１９０から出力された操作信号に含まれる検索種別（「ＴＲＡＪＥＣＴＯＲＹ」）と追跡状態の設定値が一致するフレーム番号を検索する。そして、検索部２００は、検索したフレーム番号を表示部２１０に出力する。
　表示部２１０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像のうち、検索部２００から出力されたフレーム番号に対応するフレーム画像を含む検索結果画面を検索画面の表示領域３００に表示する。検索結果画面には、検索部２００から出力されたフレーム番号に対応するフレーム画像より前のフレーム画像（確認対象フレーム画像）の所定領域が数フレーム間隔で含まれる。所定領域には、確認対象フレーム画像におけるボール位置、すなわち追跡結果情報に含まれるボール位置を表すボール枠が表示される。
　表示部２１０により検索結果画面が表示されている際、ユーザーは、当該検索結果画面に含まれる確認対象フレーム画像の所定領域においてボール枠の中にボールが入っているかについて確認する。もし、ボール枠の中にボールが入っていれば、ボールの位置は正しく検出され、確認対象フレーム画像におけるボール位置を修正する必要はないので、ユーザーは、検索結果画面に配置されているＯＫボタンを押下する。その一方、ボール枠の中にボールが入っていなければ、ボールの位置は誤って検出され、確認対象フレーム画像におけるボール位置を修正する必要がある。この場合、ユーザーは、所定領域内において、正しいボール位置をクリック操作する。
　修正部２２０は、操作受付部１９０から出力されたクリック操作信号に応じて、確認対象フレーム画像におけるボール位置を修正する。すなわち、修正部２２０は、所定領域に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する。
　また、図８に示す検索画面のチェックボックス３３２（逆追跡）にチェックが入れられ、かつ、実行ボタン３４０が押下された場合、ボール候補検出部１２０およびボール追跡部１３０は、検索部２００から出力されたフレーム番号に対応するフレーム画像におけるボール位置に基づいて、当該フレーム番号以前のフレーム番号に対応するフレーム画像（確認対象フレーム画像）におけるボール候補領域の位置（第１ボール位置）を再検出する。このようにすると、再検出された第１ボール位置の精度は比較的高くなることが期待できる。追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」であるフレーム画像はその時点での第１ボール位置の位置が正しくない可能性が高い。すると追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」であるフレーム画像以前のフレーム画像も同じく第１ボール位置の位置が正しくない可能性が高い。ここで追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」であるフレーム画像はその時点での第２ボール位置の位置は正しい可能性が高い。よって、当該第２ボール位置の位置を基準に逆向きにボール候補領域の位置（第１ボール位置）を再検出することで、正しい第１ボール位置を設定することができる可能性が高くなる。そして、表示部２１０は、図１２に示すように、第１ボール位置が再検出された複数の確認対象フレーム画像のうち、任意のフレーム間隔（例えば、ａ）で選択された所定数（例えば、５）の確認対象フレーム画像の所定領域４０２～４１０を含む検索結果画面４００を表示する。所定領域４０２～４１０には、再検出された第１ボール位置を表すボール枠４５０とボール４６０とが表示されている。
　表示部２１０により検索結果画面４００が表示されている際、ユーザーは、検索結果画面４００に含まれる確認対象フレーム画像の所定領域４０２～４１０においてボール枠４５０の中にボール４６０が入っているかについて確認する。もし、ボール枠４５０の中にボール４６０が入っていれば、ボール４６０の位置は正しく再検出され、確認対象フレーム画像におけるボール位置を修正する必要はないので、ユーザーは、検索結果画面４００に配置されているＯＫボタン４４０を押下する。修正部２２０は、所定領域４０２～４１０に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を再検出された第１ボール位置に更新する。図１２に示す例では、所定領域４０２～４１０の何れにおいてもボール枠４５０の中にボール４６０が入っているため、ボール位置を修正する必要はない。
　その一方、ボール枠４５０の中にボール４６０が入っていなければ、ボール４６０の位置は誤って検出され、確認対象フレーム画像におけるボール位置を修正する必要がある。この場合、ユーザーは、所定領域４０２～４１０内において、正しいボール位置をクリック操作する。修正部２２０は、操作受付部１９０から出力されたクリック操作信号に応じて、確認対象フレーム画像におけるボール位置を修正する。表示部２１０は、検索結果画面４００に含まれる所定領域４０２～４１０において、ボール枠４５０の位置を修正後のボール位置つまりクリック操作された位置に変更して表示する。ユーザーは、ボール枠４５０の中にボール４６０が入っていることを確認して、検索結果画面４００に配置されているＯＫボタン４４０を押下する。修正部２２０は、所定領域４０２～４１０に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する。
　また、ユーザーは、検索結果画面４００に配置されているＰｒｅｖボタン４３０を押下することによって、所定領域４０２～４１０に対応する確認対象フレーム画像よりフレーム番号が小さい確認対象フレーム画像の所定領域４１２～４２０が含まれる検索結果画面４００を表示させることができる。図１２の下方の検索結果画面４００に示すように、所定領域４１８，４２０には、再検出された第１ボール位置を表すボール枠４５０およびボール４６０に加えて、最初に検出された第１ボール位置を表すボール枠４７０が表示されている。つまり、ユーザーは、所定領域４１８，４２０では最初に検出された第１ボール位置と再検出された第１ボール位置が異なっていることを確認し、どちらの検出結果が正しいかを判断し、必要があればステップＳ４４０で述べたように修正指示を行うことができる。所定領域４１６，４１４，４１２のように最初に検出された第１ボール位置と再検出された第１ボール位置が重なるフレーム画像が所定の枚数引き続いたことを確認すると、それ以前の最初に検出された第１ボール位置はある程度確からしいことが明らかであると推定されるのでユーザーはＯＫボタン４４０を押下して検索結果画面４００の表示を終了する。ここで、最初に検出された第１ボール位置と再検出された第１ボール位置が所定の範囲内にあるか否かはボール位置演算出力部１７０が判断するようにして、所定の範囲外にあるフレーム画像のみを表示するようにしてもよい。
　次に、操作受付部１９０が、「ＯＶＥＲＬＡＰ」を検索種別として選択する選択操作の入力を受け付けた場合について説明する。この場合、操作受付部１９０は、選択された検索種別（「ＯＶＥＲＬＡＰ」）を含む操作信号を検索部２００に出力する。
　検索部２００は、追跡結果情報記憶部１８０に記憶される追跡結果情報を参照し、操作受付部１９０から出力された操作信号に含まれる検索種別（「ＯＶＥＲＬＡＰ」）と追跡状態の設定値が一致するフレーム番号を検索する。そして、検索部２００は、検索したフレーム番号を表示部２１０に出力する。
　表示部２１０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像のうち、検索部２００から出力されたフレーム番号に対応するフレーム画像を含む検索結果画面を検索画面の表示領域３００に表示する。検索結果画面には、検索部２００から出力されたフレーム番号に対応するフレーム画像より後ろ、かつ、追跡状態の設定値が「ＯＶＥＲＬＡＰ」であるフレーム画像（確認対象フレーム画像）の所定領域が含まれる。所定領域には、確認対象フレーム画像におけるボール位置、すなわち追跡結果情報に含まれるボール位置を表すボール枠が表示される。
　表示部２１０により検索結果画面が表示されている際、ユーザーは、当該検索結果画面に含まれる確認対象フレーム画像の所定領域においてボール枠の中にボールが入っているかについて確認する。もし、ボール枠の中にボールが入っていれば、確認対象フレーム画像におけるボール位置を修正する必要はないので、ユーザーは、検索結果画面に配置されているＯＫボタンを押下する。その一方、ボール枠の中にボールが入っていなければ、確認対象フレーム画像におけるボール位置を修正する必要がある。この場合、ユーザーは、所定領域内において、正しいボール位置をクリック操作する。
　修正部２２０は、操作受付部１９０から出力されたクリック操作信号に応じて、確認対象フレーム画像におけるボール位置を修正する。すなわち、修正部２２０は、所定領域に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する。
　なお、ボール位置演算出力部１７０が追跡結果情報記憶部１８０に出力した追跡結果情報においては、追跡状態が「ＯＶＥＲＬＡＰ」であるフレーム画像より後ろに追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」であるフレーム画像が存在する可能性が高い。なぜならば追跡状態が「ＯＶＥＲＬＡＰ」である場合はその後のフレーム画像で第２ボール位置による修正がされている可能性が高く、その場合は追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」となるからである。そのため、ユーザーが修正処理を行う場合においては、検索種別に「ＯＶＥＲＬＡＰ」を選択して修正処理を行うよりも、検索種別に「ＴＲＡＪＥＣＴＯＲＹ」を選択して修正処理を行う方が効率的である可能性が高い。
　以上詳しく説明したように、本実施の形態では、プロセッサが、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示し、ユーザーの修正指示を受け付けた場合に確認対象フレーム画像における移動体の位置を修正する。
　このように構成した本実施の形態によれば、ユーザーは、全てのフレーム画像について追跡対象のボールが正しく追跡されているかについて確認することなく、追跡結果情報に基づいて検索表示された確認対象フレーム画像だけ確認し、必要に応じてボールの位置を修正することができる。そのため、フレーム画像における追跡対象のボールの位置を確認および修正する際の作業負荷を軽減することができる。
　なお、上記実施の形態において、検索種別として「ＥＤＩＴ（ボールの位置が修正されたフレーム画像）」を選択するためのチェックボックスを検索画面の検索条件設定領域３１０にさらに設けても良い。また、表示中の検索結果画面に含まれる確認対象フレーム画像を基準として、選択された検索種別（例えば、「ＡＵＴＯ」）と追跡状態の設定値が一致するフレーム画像を前方検索または後方検索して表示させるための前方検索ボタン、後方検索ボタンを検索画面の検索条件設定領域３１０にさらに設けても良い。
　また、上記実施の形態において、検索種別として何れか１つの種別を選択して確認および修正する方法について説明したが、検索種別を２つ以上選択して、時系列に２つ以上の検索種別を同時に確認および修正しても良い。
　また、上記実施の形態において、ＯＫボタン、検索ボタン、実行ボタン、Ｐｒｅｖボタン等を画面上に配置し、ボタンを押し下げると説明したが、各種機能をそれぞれキーボードのキー、例えばファンクションキーに割り振るとしてもよい。
　また、上記実施の形態では、映像を構成する複数のフレーム画像の各々におけるボールの位置を検出するための構成と、確認対象フレーム画像を検索して表示し、ユーザーの修正指示を受け付けた場合に確認対象フレーム画像におけるボールの位置検出結果を修正するための構成とが１つの装置で一体化されている例について説明したが、別々の装置で別体化されていても良い。
　また、上記実施の形態では、修正確認装置１００は、サッカーの試合が撮影されたスポーツ映像においてボールを追跡する例について説明したが、他のスポーツ競技の試合が撮影されたスポーツ映像において、当該試合で使用される移動体を追跡しても良い。また、修正確認装置１００は、スポーツ映像以外の映像において移動体を追跡しても良い。
　また、上記実施の形態は、何れも本開示を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本開示は、フレーム画像における追跡対象の移動体の位置を確認および修正する際の作業負荷を軽減することが可能な修正確認方法および修正確認装置として有用である。
１００　　修正確認装置
１１０　　映像入力部
１２０　　ボール候補検出部
１３０　　ボール追跡部
１４０　　ボール軌跡検出用画像生成部
１５０　　ボール軌跡検出部
１６０　　選手領域検出部
１７０　　ボール位置演算出力部
１８０　　追跡結果情報記憶部
１９０　　操作受付部
２００　　検索部
２１０　　表示部
２２０　　修正部
３００　　表示領域
３１０　　検索条件設定領域
３２０，３２２，３２４，３２８，３３０，３３２　　チェックボックス
３２６，３３４，３３６　　入力ボックス
３３８　　検索ボタン
３４０　　実行ボタン
３５０，４００　　検索結果画面
３５２，３５４，３５６，３５８，３６０，３８２，３８４，３８６，４０２，４０４，４０６，４０８，４１０，４１２，４１４，４１６，４１８，４２０　　所定領域
３６２，４４０　　ＯＫボタン
３６４，４５０，４７０　　ボール枠
３６６，４６０　　ボール
３７０，３７２，３７４，３７６　　＋ボタン（プラスボタン）
３９０，３９２，３９４　　選手
４３０　　Ｐｒｅｖボタン

Claims (24)

  1. 　プロセッサが、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示し、ユーザーの修正指示を受け付けた場合に前記確認対象フレーム画像における前記移動体の位置を修正する、
    　修正確認方法。
  2. 　前記プロセッサは、前記移動体の位置を正常に検出できたか否かを判定して前記追跡結果を設定する、
    　請求項１に記載の修正確認方法。
  3. 　前記プロセッサは、前記移動体が別の移動体を中心とした一定サイズの領域に含まれない場合、前記移動体の位置を正常に検出できたと判定する一方、前記移動体が前記領域に含まれる場合、前記移動体の位置を正常に検出できなかったと判定する、
    　請求項２に記載の修正確認方法。
  4. 　前記映像は、スポーツの試合が撮影されたスポーツ映像であり、
    　前記移動体は、前記スポーツの試合で使用されるボールであり、
    　前記別の移動体は、前記スポーツの選手である、
    　請求項３に記載の修正確認方法。
  5. 　前記プロセッサは、前記確認対象フレーム画像の一部であって、前記移動体の位置を含む領域を拡大して表示する、
    　請求項４に記載の修正確認方法。
  6. 　前記プロセッサは、前記確認対象フレーム画像の前後のフレーム画像を表示する、
    　請求項１に記載の修正確認方法。
  7. 　前記プロセッサは、前記確認対象フレーム画像以外のフレーム画像における前記移動体の位置検出結果を用いた補間処理により前記確認対象フレーム画像における前記移動体の位置を算出し、その算出結果を用いて前記移動体の位置を修正する、
    　請求項１に記載の修正確認方法。
  8. 　前記プロセッサは、複数のフレーム画像を用いて得られた画像に基づいて前記移動体の軌跡を検出し、当該検出された軌跡から得られた前記移動体の位置に対応するフレーム画像より前のフレーム画像を前記確認対象フレーム画像として表示する、
    　請求項１に記載の修正確認方法。
  9. 　前記プロセッサは、前記軌跡から得られた前記移動体の位置を用いて前記確認対象フレーム画像における前記移動体の位置を検出し、当該検出した位置を表示する、
    　請求項８に記載の修正確認方法。
  10. 　前記プロセッサは、前記確認対象フレーム画像が複数存在する場合、少なくとも１以上の前記確認対象フレーム画像を間引いて表示する、
    　請求項１に記載の修正確認方法。
  11. 　前記プロセッサは、前記確認対象フレーム画像が複数存在し、ユーザーの指示を受け付けた場合、少なくとも１以上の前記確認対象フレーム画像を間引いて表示する、
    　請求項１に記載の修正確認方法。
  12. 　前記プロセッサは、前記確認対象フレーム画像における修正前の前記移動体の位置を表示する、
    　請求項１に記載の修正確認方法。
  13. 　プロセッサを有する修正確認装置であって、
    　前記プロセッサは、
    　映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示部に表示させ、
    　ユーザーの修正指示を受け付け、
    　前記操作受付部により前記修正指示が受け付けられた場合に、前記確認対象フレーム画像における前記移動体の位置を修正する、
    　修正確認装置。
  14. 　前記プロセッサは、前記移動体の位置を正常に検出できたか否かを判定して前記追跡結果を設定する、
    　請求項１３に記載の修正確認装置。
  15. 　前記プロセッサは、前記移動体が別の移動体を中心とした一定サイズの領域に含まれない場合、前記移動体の位置を正常に検出できたと判定する一方、前記移動体が前記領域に含まれる場合、前記移動体の位置を正常に検出できなかったと判定する、
    　請求項１４に記載の修正確認装置。
  16. 　前記映像は、スポーツの試合が撮影されたスポーツ映像であり、
    　前記移動体は、前記スポーツの試合で使用されるボールであり、
    　前記別の移動体は、前記スポーツの選手である、
    　請求項１５に記載の修正確認装置。
  17. 　前記プロセッサは、前記確認対象フレーム画像の一部であって、前記移動体の位置を含む領域を拡大して前記表示部に表示させる、
    　請求項１６に記載の修正確認装置。
  18. 　前記プロセッサは、前記確認対象フレーム画像の前後のフレーム画像を前記表示部に表示させる、
    　請求項１３に記載の修正確認装置。
  19. 　前記プロセッサは、前記確認対象フレーム画像以外のフレーム画像における前記移動体の位置検出結果を用いた補間処理により前記確認対象フレーム画像における前記移動体の位置を算出し、その算出結果を用いて前記移動体の位置を修正する、
    　請求項１３に記載の修正確認装置。
  20. 　前記プロセッサは、複数のフレーム画像を用いて得られた画像に基づいて前記移動体の軌跡を検出し、当該検出された軌跡から得られた前記移動体の位置に対応するフレーム画像より前のフレーム画像を前記確認対象フレーム画像として前記表示部に表示させる、
    　請求項１３に記載の修正確認装置。
  21. 　前記プロセッサは、前記軌跡から得られた前記移動体の位置を用いて前記確認対象フレーム画像における前記移動体の位置を検出し、当該検出した位置を前記表示部に表示させる、
    　請求項２０に記載の修正確認装置。
  22. 　前記プロセッサは、前記確認対象フレーム画像が複数存在する場合、少なくとも１以上の前記確認対象フレーム画像を間引いて前記表示部に表示させる、
    　請求項１３に記載の修正確認装置。
  23. 　前記プロセッサは、前記確認対象フレーム画像が複数存在し、ユーザーの指示を受け付けた場合、少なくとも１以上の前記確認対象フレーム画像を間引いて前記表示部に表示させる、
    　請求項１３に記載の修正確認装置。
  24. 　前記プロセッサは、前記確認対象フレーム画像における修正前の前記移動体の位置を前記表示部に表示させる、
    　請求項１３に記載の修正確認装置。
PCT/JP2015/003548 2014-08-05 2015-07-14 修正確認方法および修正確認装置 WO2016021121A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15829298.7A EP3179443A4 (en) 2014-08-05 2015-07-14 Correcting and verifying method, and correcting and verifying device
US15/322,586 US10334159B2 (en) 2014-08-05 2015-07-14 Correcting and verifying method, and correcting and verifying device
JP2016539820A JP6706577B2 (ja) 2014-08-05 2015-07-14 修正確認方法および修正確認装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014159546 2014-08-05
JP2014-159546 2014-08-05

Publications (1)

Publication Number Publication Date
WO2016021121A1 true WO2016021121A1 (ja) 2016-02-11

Family

ID=55263420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003548 WO2016021121A1 (ja) 2014-08-05 2015-07-14 修正確認方法および修正確認装置

Country Status (4)

Country Link
US (1) US10334159B2 (ja)
EP (1) EP3179443A4 (ja)
JP (1) JP6706577B2 (ja)
WO (1) WO2016021121A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019070011A1 (ja) * 2017-10-05 2019-04-11 パナソニックＩｐマネジメント株式会社 移動体追跡装置及び移動体追跡方法
JP7482090B2 (ja) 2021-08-27 2024-05-13 株式会社東芝 推定装置、推定方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3108456B1 (en) * 2014-02-19 2020-06-24 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
JP5999394B2 (ja) 2015-02-20 2016-09-28 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US10748376B2 (en) * 2017-09-21 2020-08-18 NEX Team Inc. Real-time game tracking with a mobile device using artificial intelligence
US10489656B2 (en) * 2017-09-21 2019-11-26 NEX Team Inc. Methods and systems for ball game analytics with a mobile device
US10733739B2 (en) * 2017-09-29 2020-08-04 Nanjing Avatarmind Robot Technology Co., Ltd. Method and system for displaying target image based on robot
CN112183365A (zh) * 2020-09-29 2021-01-05 京东方科技集团股份有限公司 一种对象识别跟踪方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
JP2009080660A (ja) * 2007-09-26 2009-04-16 Rakuten Inc 物体領域抽出処理プログラム、物体領域抽出装置、および物体領域抽出方法
JP2009266155A (ja) * 2008-04-30 2009-11-12 Toshiba Corp 移動体追跡装置及びその方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000033253A1 (en) * 1998-11-24 2000-06-08 Synapix, Inc. Viewer for optical flow through a 3d time sequence
JP3692500B2 (ja) * 2000-09-12 2005-09-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像処理方法、画像処理システムおよび記録媒体
JP4725105B2 (ja) * 2004-01-06 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
WO2005066897A1 (ja) * 2004-01-06 2005-07-21 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
JP4617883B2 (ja) * 2004-01-06 2011-01-26 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP2009500042A (ja) * 2005-07-07 2009-01-08 インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
WO2011084130A1 (en) 2009-12-16 2011-07-14 Thomson Licensing Human interaction trajectory-based system
US9286693B2 (en) * 2013-02-25 2016-03-15 Hanwha Techwin Co., Ltd. Method and apparatus for detecting abnormal movement
JP6225039B2 (ja) * 2014-01-31 2017-11-01 株式会社日立製作所 画像検索システム、画像検索装置及び画像検索方法
CA2940528A1 (en) * 2014-02-28 2015-09-03 Second Spectrum, Inc. System and method for performing spatio-temporal analysis of sporting events

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
JP2009080660A (ja) * 2007-09-26 2009-04-16 Rakuten Inc 物体領域抽出処理プログラム、物体領域抽出装置、および物体領域抽出方法
JP2009266155A (ja) * 2008-04-30 2009-11-12 Toshiba Corp 移動体追跡装置及びその方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIRONOBU ABE ET AL.: "Efficient Video Hypermedia Authoring Based on Combination of Automatic Tracking and Manual Editing", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 32, no. 5, 25 September 2003 (2003-09-25), pages 638, XP008184022 *
See also references of EP3179443A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019070011A1 (ja) * 2017-10-05 2019-04-11 パナソニックＩｐマネジメント株式会社 移動体追跡装置及び移動体追跡方法
JPWO2019070011A1 (ja) * 2017-10-05 2020-11-05 パナソニックＩｐマネジメント株式会社 移動体追跡装置及び移動体追跡方法
JP7246005B2 (ja) 2017-10-05 2023-03-27 パナソニックＩｐマネジメント株式会社 移動体追跡装置及び移動体追跡方法
JP7482090B2 (ja) 2021-08-27 2024-05-13 株式会社東芝 推定装置、推定方法及びプログラム

Also Published As

Publication number Publication date
JP6706577B2 (ja) 2020-06-10
JPWO2016021121A1 (ja) 2017-05-25
US20170134644A1 (en) 2017-05-11
EP3179443A1 (en) 2017-06-14
US10334159B2 (en) 2019-06-25
EP3179443A4 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
WO2016021121A1 (ja) 修正確認方法および修正確認装置
US20240087317A1 (en) Data processing systems and methods for enhanced augmentation of interactive video content
US8279286B2 (en) Apparatus and method of object tracking
CN100499778C (zh) 用于使用迭代质心来估计摄像机模型参数的方法和装置
WO2015131084A1 (en) System and method for performing spatio-temporal analysis of sporting events
JP6924932B2 (ja) 移動体追跡方法、移動体追跡装置、およびプログラム
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
JP4886707B2 (ja) オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム
JP2012063824A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006195525A (ja) 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム
EP3627511A1 (en) Method and system for automatically adding effect while recording
KR102466526B1 (ko) 경기 영상에 대한 이벤트의 태깅을 위한 전자 장치 및 그의 동작 방법
JP4513039B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN103679130B (zh) 手追踪方法、手追踪设备和手势识别系统
WO2002030535A1 (en) Method of displaying and evaluating motion data used in motion game apparatus
JP6853528B2 (ja) 映像処理プログラム、映像処理方法、及び映像処理装置
JP2008171247A (ja) 動き検出装置、方法、及びプログラム
US10347297B2 (en) Moving picture playback method, moving picture playback program, and moving picture playback apparatus
JP4441354B2 (ja) 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム
JP6677320B2 (ja) スポーツ動作解析支援システム、方法およびプログラム
KR101853276B1 (ko) 깊이 영상에서의 손 영역 검출 방법 및 그 장치
CN112396631A (zh) 物件追踪方法及其电脑系统
WO2021019641A1 (ja) 表示方法、表示プログラムおよび情報処理装置
US11837262B2 (en) Electronic device for tagging event in sports play video and operating method thereof
KR102601283B1 (ko) 경기 영상으로부터 타겟 영상 생성 시 불필요한 영상을 제거하기 위한 컴퓨터 시스템 및 그의 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15829298

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016539820

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015829298

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15322586

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE