WO2020149462A1 - 정밀도가 향상된 동영상 검출 장치 - Google Patents

정밀도가 향상된 동영상 검출 장치 Download PDF

Info

Publication number
WO2020149462A1
WO2020149462A1 PCT/KR2019/005435 KR2019005435W WO2020149462A1 WO 2020149462 A1 WO2020149462 A1 WO 2020149462A1 KR 2019005435 W KR2019005435 W KR 2019005435W WO 2020149462 A1 WO2020149462 A1 WO 2020149462A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
coordinates
motion
error
Prior art date
Application number
PCT/KR2019/005435
Other languages
English (en)
French (fr)
Inventor
이희덕
Original Assignee
주식회사 비전소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190006195A external-priority patent/KR102117238B1/ko
Application filed by 주식회사 비전소프트 filed Critical 주식회사 비전소프트
Publication of WO2020149462A1 publication Critical patent/WO2020149462A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to a video detection device that improves precision below the resolution of a camera by repeatedly applying corrections of temporal and spatial errors in calculating three-dimensional coordinates of a moving object acquired and tracked by a plurality of cameras.
  • a large amount of cost is incurred for a broadcast broadcast of a sports match that provides real-time match analysis information, and thus, a sports broadcast containing the high-quality analysis information is limited to a case where a product is high, such as a soccer match against a country, a World Cup, or the Olympic Games.
  • the sports broadcast that has the highest cumulative viewership rate in Korea and is widely used is the baseball broadcast.
  • the most difficult part for viewers to check and the part they want to check is the part related to the pitcher's pitching. Accordingly, a recent baseball broadcast provides a video that reproduces a pitched image captured by a camera slowly, thereby providing a viewer with a more clear view of the instantaneous pitching and hitting hitters.
  • the viewer has a high desire to visually check the pitcher's pitching posture, pitch, speed, and the like.
  • the desire to check in real time whether the pitched ball is a strike or a ball is also very high.
  • the enthusiastic viewers of baseball have a very strong desire to immediately check whether the referee's call was hit or not immediately after every pitch.
  • An object of the present invention relates to a video detection device that improves precision below the resolution of a camera by repeatedly applying corrections of temporal and spatial errors in calculating three-dimensional coordinates of a moving object acquired and tracked by a plurality of cameras.
  • an object of the present invention is to provide a high-definition video detection device capable of variously servicing various baseball contents by providing high-definition video contents that accurately provide pitching and hitting images at low cost.
  • the object of the present invention is to provide a video detection device with improved precision to recognize more accurately by mounting artificial intelligence with a technology that accurately and accurately recognizes and tracks a ball that quickly reaches within 1 second when a pitcher pitches. will be.
  • the object of the present invention is to improve the accuracy of automatically generating and providing a three-dimensional video that cannot be provided in a conventional simple game screen by recognizing this through artificial intelligence at various free points of 360 degrees, such as a large trajectory and a hitting situation. It is to provide a video detection device.
  • An apparatus for detecting a video with improved precision includes an image receiving unit that receives a real-time image provided by at least one camera; An object detection unit that detects captured and motion images in units of time based on the flow of a game recognized by image processing and artificial intelligence, and detects quantified object data through spatial and temporal correction; A storage unit for storing the captured image received from the image receiving unit and the object data detected by the object detecting unit; And a mixed image generation unit that detects the captured image and object data stored in the storage unit and mixes the actual captured image information and object data to provide augmented reality video content.
  • the object detection unit calculates temporal error and spatial error of the 2D coordinate values by time and repeatedly detects quantified object data until convergence to a preset value through feature point correction using 3D coordinate value analysis over time. can do.
  • the object detection unit corresponding to each of a plurality of cameras, a capture unit for recognizing an object image in a preset unit of time by using a camera object tracking technique in an image captured by each camera;
  • a motion unit corresponding to the capture unit to generate motion data provided as an object image recognized using a motion capture technology based on the object image recognized by the capture unit;
  • a detection unit that detects a two-dimensional coordinate value of a motion image for each object by merging and applying the object image recognized by the capture unit and the motion data generated by the motion unit;
  • a position correction unit that corrects an error through an external image actually measured through an internal correction of the camera and a 2D coordinate value of a motion image for each object detected by the detection unit, and corrects in sub-pixel units by applying PET technology;
  • an error correction unit that calculates temporal error and spatial error of the 2D coordinate value and repeatedly detects quantified object data until convergence to a preset value through feature point correction using 3D coordinate value analysis over time.
  • the object detection unit applies the motion image for each object corrected by the position correction unit and the error correction unit, and combines the motion images for each object detected by the detection unit to perform artificial intelligence at a plurality of 360 degrees free sports.
  • an AI processing unit that recognizes this and generates a stereoscopic video may be further included.
  • the error correction unit is a two-dimensional coordinate detection unit for detecting the two-dimensional coordinate values of each object motion image detected by the detection unit for each camera;
  • the first three-dimensional coordinates (+) are added to the first two-dimensional coordinates (x1, y1) and the second two-dimensional coordinates (x2, y2) detected by the two-dimensional coordinate detection unit, respectively, and a position variable (z) matching the same position is added.
  • x1,y1,z1 and second 3D coordinate detectors for detecting 3D coordinates (x1,y1,z2); Calculating the spatial error coordinates ( ⁇ x, ⁇ y, ⁇ z) through the difference between the first 3D coordinates (x1,y1,z1) and the second 3D coordinates (x2,y2,z2) detected by the 3D coordinate detection unit Spatial error calculation unit; The first two-dimensional coordinates respectively detected by the two-dimensional coordinate detector by performing time synchronization based on the calculated spatial error coordinates using the spatial error coordinates ( ⁇ x, ⁇ y, ⁇ z) calculated by the spatial error calculating unit Third 3D coordinates (x1,y1,t1) and fourth 3D coordinates (x2,) by applying the time variable (t) for time synchronization to (x1,y1) and the second 2d coordinates (x2,y2) a time synchronization unit detecting y2, t1); Time to calculate the time error coordinates ( ⁇ x, ⁇ y, ⁇ t) through the difference between the third 3D coordinates (x1,y1,t1) and the fourth 3
  • the motion unit may generate motion data in a parallel processing method to detect motion by comparing a recent image with a last image.
  • the mixed image generation unit is a relay data detection unit for detecting the captured image and object data stored in the storage unit;
  • game data indicating the completion of motion arrives in the captured image, all game data that completes one motion is analyzed, and all numerical information related to the motion is calculated and recorded, and game data analysis that verifies quantified values part;
  • the camera position and time flow are set based on the quantified motion values analyzed by the game data analysis unit, and the AR image output from the live video output unit is generated through artificial intelligence at a plurality of 360° free viewpoints. It may include an AI content generation unit that recognizes this and generates corresponding to the set sequence.
  • the mixed image generation unit AR image construction unit for generating an AR image by synthesizing motion trajectories and object images on a real-time relay image based on the captured image and object data detected by the relay data detection unit;
  • a live image output unit that combines the AR image generated by the AR image configuration unit with a captured image and outputs it in real time;
  • An MR image constructing unit configured to construct an MR image by combining an AR image generated corresponding to a sequence set by the AI content generating unit based on previously input model data to a real-time relay image;
  • it may further include a replay image output unit to generate a free time in real time by converting to a set range and error rate of the motion set to correspond to the broadcast signal using the MR image configured in the MR image configuration unit.
  • the apparatus for detecting a video with improved precision provides an optimized free viewpoint by mixing it with actual shooting video information from a sports broadcast acquired from a camera, so that a ball thrown in a sport, especially a baseball game, can be checked in real time, or referee It is possible to immediately check whether the call is correct or not, and satisfy the needs of viewers who are passionate about baseball.
  • the present invention can provide viewers with the convenience of watching a sports game, and through this, it is possible to expect an increase in the rating of a sports game broadcast.
  • the present invention provides a high-definition video content at a low price, it is possible to service a variety of video content tailored to the customer.
  • the present invention develops a solution that supports AR in a professional baseball game that currently relies on imported goods, secures global competitiveness, and provides technology that contributes to the development of video content production through localization and low-cost low-end expansion solutions. Can develop.
  • FIG. 1 is a block diagram showing the configuration of a video detection device with improved precision according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the object detection unit in FIG. 1 in detail.
  • FIG. 3 is a block diagram showing the configuration of the mixed image generator in FIG. 1 in detail.
  • FIG. 4 is a block diagram showing the configuration of the error correction unit of FIG. 2 in detail.
  • FIG. 5 is an embodiment showing a video detected in a sports broadcast broadcast according to an embodiment of the present invention.
  • FIG. 6 is an embodiment showing a result of simulating secondary coordinates calculated by the 2D coordinate error detection unit of FIG. 4.
  • each component when a component is described as being “connected”, “coupled” or “connected” to another component, the components may be directly connected to or connected to each other, but other components may be “interposed” between each component. It should be understood that “or, each component may be “connected”, “coupled” or “connected” through other components.
  • FIG. 1 is a block diagram showing the configuration of a video detection device with improved precision according to an embodiment of the present invention.
  • the video detection apparatus of the present invention includes an image receiving unit 100, an object detecting unit 200, a storage unit 300, and a mixed image generating unit 400.
  • the image receiving unit 100 receives a real-time image provided by at least one camera for shooting a sports broadcast. At this time, the camera, for example, while being transmitted for the broadcast of a baseball game, the pitcher and catcher take a video in one angle.
  • the image receiving unit 100 displays in real time the image of the ball pitched by the strike zone S and the pitcher in real time. In addition, when the ball pitched by the pitcher passes through the strike zone set on the home plate, the image receiving unit 100 extracts the image of the ball pitched by the pitcher from the image captured by the camera.
  • the image captured by the camera is not limited to this, and may include images captured at various positions and angles.
  • FIG. 5 is an embodiment showing a video detected in a sports broadcast broadcast according to an embodiment of the present invention.
  • 5(a) is an image taken from the left
  • FIG. 5(b) is an image taken from the right
  • FIG. 5(c) is an image taken from the top.
  • the object detection unit 200 detects the captured and motion images in units of time based on the flow of the game recognized by the image processing and artificial intelligence, and quantifies the image information acquired by the image receiving unit 100 through spatial and temporal correction Detected object data.
  • the object detection unit 200 detects the captured and motion images of the ball (object) pitched from the captured image in units of time.
  • Fig. 5(d) shows the captured and motion images detected when the ball pitched by the pitcher passes through the strike zone H set on the home plate.
  • the captured and motion images detected in each time unit have spatial errors in motion of an image and an object as they are captured by three different cameras. That is, it can be seen that the positions of the captured and motion images respectively detected in L1 and L2 having a certain time unit are slightly different in each time unit. This error occurs when the ball pitched by the pitcher passes through the strike zone H set on the home plate, as shown in FIG. 5(d), thereby accurately and accurately quantifying the data. It cannot be detected.
  • the object detection unit 200 detects the quantified object data repeatedly until it converges to a preset value through feature point correction by calculating temporal errors and spatial errors of the coordinate values for each time.
  • the detailed configuration of the object detection unit 200 will be described in detail again below with reference to FIG. 2.
  • the storage unit 300 stores the captured image received from the image receiving unit 100 and the object data detected by the object detecting unit 200.
  • the mixed image generator 400 detects the captured image and object data stored in the storage unit 300 and mixes the actual captured image information and object data to provide augmented reality (AR/MR) video content.
  • AR/MR augmented reality
  • FIG. 2 is a block diagram showing the configuration of the object detection unit in FIG. 1 in detail.
  • the object detection unit 200 includes a plurality of capture units 210, a motion unit 220, a detection unit 230, a position correction unit 240, an AI processing unit 250, and an error report Government 260.
  • the capture unit 210 corresponds to a plurality of cameras, and recognizes an object image in a preset time unit by using a camera object tracking technique in an image captured by each camera.
  • the motion unit 220 generates motion data provided as an object image recognized using a motion capture technology based on the object image recognized by the capture unit 210 in correspondence with each capture unit 210. At this time, the motion unit 220 generates motion data in a parallel processing method in order to detect motion by comparing the recent image with the last image.
  • the motion data is an object in the pitching start and end image information of a pitcher, and may include a pitcher's motion image, a pitched ball's motion image, a catcher's motion image, and a referee's call image.
  • the detection unit 230 detects a two-dimensional coordinate value of a motion image for each object by merging and applying the object image recognized by the capture unit 210 and the motion data generated by the motion unit 220. At this time, the detection unit 230 searches for an object corresponding to the target condition from the motion data in a constant time unit, detects the target candidate group in each time unit in two-dimensional coordinates, and calculates the position.
  • the position correction unit 240 corrects an error through an external image measured through a 2D coordinate value of a motion image for each object detected by the camera's internal correction and detection unit 230, and applies a PET technology to apply sub-pixels. Correct it in units of (image upscaling).
  • the position correction unit 240 if there is a noise suitable for the target condition than the target in the background, if a plurality of targets are detected, or if noise is mistaken as the target, configures a neural network by digitizing all available information Calculate parallel processing. For example, in the case of a pitched ball photographed in a baseball field, the lighting is above, so the top is bright and the bottom is dark. Also, when taking a moving image, a mixing phenomenon that mixes with the surrounding color occurs. Accordingly, there is a problem in that the color of the object to be photographed varies depending on the distance between the background and the object.
  • the position correcting unit 240 uses a measuring device to position the target at a reference point (a specific object or target), and corrects the remaining objects using the point where the target is detected as a reference point. In addition, after moving the target to a certain distance as a reference point, the difference between the detected value and the position value of the target is set as an error standard.
  • the position correction unit 240 positions the target independently around the home plate (fixes the baseball on the fixture) and repeats the accuracy measurement to measure the standard deviation of the error value by comparing it with the initial set value.
  • the error correction unit 260 calculates the temporal error and spatial error of the 2-dimensional coordinate values for each time, and repeatedly quantifies object data until converging to a preset value through feature point correction using 3-dimensional coordinate value analysis over time. Detects.
  • the capture unit 210 may generate an error of a screen captured by the camera, that is, an error of motion between an image and an object.
  • an error due to distortion of the camera lens may occur in the capture unit 210.
  • the camera may have an error in units of 1/1000 or 30 micros depending on the equipment, and a temporal error due to an error that appears for each camera equipment may occur.
  • the error correction unit 260 corrects these spatial and temporal errors.
  • FIG. 4 is a block diagram showing the configuration of the error correction unit of FIG. 2 in detail.
  • the error correction unit 250 includes a 2D coordinate detection unit 261, a 3D coordinate detection unit 262, a spatial error calculation unit 263, a time synchronization unit 264, and a time error calculation It includes a unit 265, a three-dimensional coordinate error detection unit 265 and a two-dimensional coordinate error detection unit 266.
  • the 2D coordinate detection unit 261 detects the 2D coordinate values of the motion images for each object detected by the detection unit 230 for each camera, as illustrated in FIG. 5(a)(b)(c).
  • a motion image of an object captured by two cameras will be described as an embodiment. However, this is for illustrative purposes, and is not limited thereto.
  • the 2D coordinate detection unit 261 detects the first 2D coordinates (x1, y1) in a preset time unit from the object image photographed by the first camera, and the preset time from the object image photographed by the second camera
  • the second 2D coordinates (x2, y2) are detected in units.
  • the 3D coordinate detection unit 262 is a position variable (z) that matches the first 2D coordinates (x1, y1) and the second 2D coordinates (x2, y2) detected by the 2D coordinate detection unit 261, respectively. ) Is added to detect first 3D coordinates (x1,y1,z1) and second 3D coordinates (x1,y1,z2).
  • the time synchronization unit 264 performs time synchronization based on the calculated spatial error coordinates using the spatial error coordinates ⁇ x, ⁇ y, and ⁇ z calculated by the spatial error calculation unit 263. That is, the time variable for time synchronization (t) is applied to the first two-dimensional coordinates (x1, y1) and the second two-dimensional coordinates (x2, y2) detected by the two-dimensional coordinate detection unit 262, respectively. Dimensional coordinates (x1, y1, t1) and fourth 3D coordinates (x2, y2, t1) are detected.
  • the time error calculation unit 265 is a time error coordinate through the difference between the third 3D coordinates (x1, y1, t1) and the fourth 3D coordinates (x2, y2, t1) time-synchronized in the time synchronization 264 ( ⁇ x, ⁇ y, ⁇ t).
  • the first three-dimensional coordinates (x1,y1,t1)-the second three-dimensional coordinates (x2,y2,t2) time error coordinates ( ⁇ x, ⁇ y, ⁇ t).
  • corrected three-dimensional coordinates (x1', y1', t1') with time and spatial errors corrected may be generated.
  • the 3D coordinate error detection unit 266 corresponds to the corrected 3D coordinates (x1', y1', t1) and the same time t1' generated by the time error calculation unit 265, and the 2D coordinate detection unit 261 ), the fifth three-dimensional coordinates (x1,y1,t1') of the first two-dimensional coordinates (x1,y1) and the second two-dimensional coordinates (x2,y2) and the sixth three-dimensional coordinates (x2,y2), respectively. ,t1') respectively.
  • the 3D coordinate error detection unit 266 corrects the 3D coordinates (x1',y1',t1) and the detected 5th 3D coordinates (x1,y1,t1') and the 6th 3D coordinates (x2,y2). ,t1') to calculate the error ( ⁇ x, ⁇ y) of the secondary coordinates in the object image.
  • the two-dimensional coordinate error detection unit 267 is transmitted to the detection unit 230 to converge to a preset value until the range of the error is calculated.
  • the 2D coordinate error detection unit 266 detects the object data and transmits it to the AI processing unit 250 when the calculated range of the secondary coordinate error ⁇ x, ⁇ y is smaller than a preset value.
  • FIG. 6 is an embodiment showing a result of simulating secondary coordinates calculated by the 2D coordinate error detection unit of FIG. 4.
  • the difference between the two-dimensional coordinates according to the fifth three-dimensional coordinates (x1,y1,t1') and the two-dimensional coordinates according to the sixth three-dimensional coordinates (x2,y2,t1') is time. It is detected in units.
  • the difference between the two-dimensional coordinates can accurately and accurately quantify the error H1-H2 when the ball thrown by the pitcher passes through the strike zone H set on the home plate.
  • the object data is transferred to the AI processor 250 and the calculated range of the 2D coordinate error ( ⁇ x, ⁇ y) is If it is larger than the preset value, the error of the 2D coordinates is repeated until it is transferred to the detector 230 and converged to the preset value.
  • the AI processing unit 250 applies the motion images for each object corrected by the position correction unit 240 and the error correction unit 260 to combine the motion images for each object detected by the detection unit 230.
  • the AI processing unit 250 recognizes this through artificial intelligence from 360 degrees of various free viewpoints to generate a three-dimensional video.
  • the AI processing unit 250 can maintain the consistency of the determination by locating the reference point (specific object or target) with artificial intelligence and then combining the motion images for each object to determine the optimal position value and automatically highlight the image. present.
  • the AI processing unit 250 records and analyzes the replay of the helmet to be verified, analyzes the replay video clip compared with the game contents storage file, quantifies the expression information of the numerical characteristics of the pitch, calculates the ideal combination, and measures it Compare how well the values match the combination.
  • the difference between the initial velocity and the dependence is quantified by the difference of 1/1000 second whether the amplification rate of the pitch per frame progress rate (fixed) at the beginning and end of the pitch is amplified. Compare.
  • FIG. 3 is a block diagram showing the configuration of the mixed image generator in FIG. 1 in detail.
  • the mixed image generation unit 400 includes a relay data detection unit 410, an AR image construction unit 420, a live image output unit 430, a game data analysis unit 440, and AI content. It includes a generating unit 450, an MR image construction unit 460, and a replay image output unit 470.
  • the relay data detection unit 410 detects the captured image and object data stored in the storage unit 300.
  • the AR image constructing unit 420 generates an AR image by synthesizing a motion trajectory and an object image on the real-time relay image based on the captured image and object data detected by the relay data detector 410.
  • the live image output unit 430 combines the AR image generated by the AR image construction unit 420 with the captured image and outputs it in real time.
  • the game data analysis unit 440 analyzes all game data that completes one motion when game data indicating completion of motion is received from the captured image, calculates and records all numerical information related to the motion, The quantified values are verified. At this time, the game data analysis unit 440 corrects if an error occurs, if possible, otherwise determines that motion is not recognized.
  • the AI content generation unit 450 sets the position of the camera and the flow of time based on the quantified motion values analyzed by the match data analysis unit 440, and the AR video output from the live video output unit 430 Is generated in response to a set sequence by recognizing it through artificial intelligence at various free points of 360 degrees.
  • the AI content generation unit 450 may generate a VR image according to a preset sequence, or the AI may select an optimal sequence based on the AR image generated by the AR image construction unit 420. Using this generated VR image, AI can be trained by giving feedback to AI.
  • the MR image construction unit 460 configures the MR image by combining the AR image generated corresponding to the sequence set by the AI content generation unit 450 based on the previously input model data to a real-time relay image. At this time, the actual captured image information and the generated VR image are selected or the MR image is constructed according to the camera and time sequence generated by the AI.
  • the replay image output unit 470 converts the motion setting range and error rate set to be suitable for a broadcast signal by using the MR image constructed by the MR image construction unit 460 and generates the image in real time as a free time to output the image. do.
  • the replay image output unit 470 detects the trajectory of the pitch, then converts the contents into coordinates, and converts the automatic cropping setting value and the error time.
  • the replay image output unit 470 detects the trajectory of the pitch, then converts the contents into coordinates, and converts the automatic cropping setting value and the error time.
  • an indicator to remove unnecessary images for the highlight image editing, at least 60 seconds before the pitcher throws the ball in the video editing software (based on 1 second) and after the ball goes to the catcher's mitt or the batter hits (2nd standard). Check if the user can set it.
  • as an index for determining whether the automatic cropping of the image works without error compare the original image with the cropped image to check whether the error time is within 1 second. Then, a replay image of a desired viewpoint is generated in real time as a free viewpoint, and an image is output.
  • the present invention applies a variety of 3D animation effects by applying AR based on the analyzed quantified data to slow replay video of ball pitch, angle, etc. Expressing as to provide various visual effects for enthusiasts who enjoy baseball.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 복수의 카메라에서 습득 추적한 움직이는 객체의 3차원 좌표를 계산함에 있어 시간적 및 공간적 오차의 보정을 반복적으로 적용하여 카메라의 해상도 이하로 정밀도를 향상시키는 동영상 검출 장치에 관한 것이다. 본 발명에 따른 정밀도가 향상된 동영상 검출 장치는 적어도 하나 이상의 카메라에서 제공되는 실시간 영상을 수신하는 영상 수신부; 상기 영상 수신부에서 습득한 영상정보를 영상처리 및 인공지능으로 인식된 경기의 흐름을 기반으로 캡쳐 및 모션 이미지를 시간단위로 검출하고, 공간적 및 시간적 보정을 통해 정량화된 객체 데이터를 검출하는 객체 검출부; 상기 영상 수신부에서 수신되는 촬영 영상 및 상기 객체 검출부에서 검출된 객체 데이터를 저장하는 저장부; 및 상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하여, 실제 촬영영상 정보와 객체 데이터를 혼합하여 증강현실 동영상 콘텐츠를 제공하는 혼합 영상 생성부를 포함할 수 있다.

Description

정밀도가 향상된 동영상 검출 장치
본 발명은 복수의 카메라에서 습득 추적한 움직이는 객체의 3차원 좌표를 계산함에 있어 시간적 및 공간적 오차의 보정을 반복적으로 적용하여 카메라의 해상도 이하로 정밀도를 향상시키는 동영상 검출 장치에 관한 것이다.
실시간 스포츠 중계방송 시스템의 발전에 따라 경기 상황에 대한 분석 결과를 그래픽으로 생성하여 제공하거나, 경기 분석을 위한 정보를 경기 화면에 오버랩하여 제공하는 등 시청자에게 보다 다양한 정보를 제공하고자 하는 노력이 지속되고 있다.
그러나 이러한 분석의 경우 전문가의 수작업을 통해서 경기 내용을 분석하거나, 자동적인 영상 분석 결과를 활용하여 그 결과를 정리한 후 이를 화면에 표출하는 방식을 이용하고 있다. 이에 따라, 이러한 분석 화면을 제공하기 위해 전문가의 참여가 필요하거나 고가의 영상 분석 시스템이 요구된다.
따라서, 실시간 경기 분석 정보를 제공하는 스포츠 경기 중계방송을 위해서는 많은 비용이 발생하기 때문에 이러한 고품질 분석 정보가 포함되는 스포츠 중계방송은 국가 대항 축구 경기, 월드컵, 올림픽 등과 같이 상품성이 높은 경우로 제한된다.
한편, 국내에서 누적 시청률이 가장 높고 널리 보편화되어 있는 스포츠 중계방송은 야구 중계방송이다. 야구 중계방송에서 시청자가 가장 확인하기 어려운 부분이자 가장 확인하고 싶어하는 부분은 투수의 투구 내용과 관련된 부분이다. 이에, 최근 야구 중계방송에서는 카메라로 촬영한 투구 영상을 천천히 재생하는 영상은 제공해 줌으로써, 순간적으로 이루어지는 투구 내용과 타자의 타격 내용을 시청자가 좀 더 명확하게 확인할 수 있도록 서비스하고 있다.
특히, 시청자는 투수의 투구 자세나 구질, 속도 등을 시각적으로 확인하고 싶은 욕구가 높다. 또한, 투구된 볼이 스트라이크인지 볼인지를 실시간으로 확인하고 싶은 욕구 또한 매우 높은 실정이다. 예를 들어, 야구에 열정적인 시청자들은 투구된 볼의 스트라이크 여부를 심판의 콜 전에 미리 알고 싶어한다. 또한, 심판의 스트라이크 판정에 따라 경기의 흐름 혹은 경기의 결과가 바뀌는 경우가 종종 발생되므로, 야구에 열정적인 시청자들은 심판의 콜이 맞았는지 매 투구마다 즉각적으로 확인하고 싶어하는 욕구가 매우 강하다.
때문에, 시청률이 중요한 현재의 방송 환경에서는 투구된 볼의 스트라이크 여부를 실시간으로 표출하여 시청자들의 욕구를 충족시킬 수 있는 시스템이 절실히 요구되고 있다.
그러나, 위에서 설명한 것과 같이, 이러한 분석 화면을 제공하기 위해 전문가의 참여가 필요하거나 고가의 영상 분석 시스템이 요구되고 있기 때문에 이러한 시청자들의 욕구를 충족시키는데 어려운 문제점이 있다.
이러한 문제점으로 인해, 최근 국내 50만 명이 넘어선 야구동호회, 유소년 리그 등 생활 야구인에게 전력 분석 및 최적화된 경기 영상을 제공하거나, 또는 전문방송사 및 하위리그, 사회인 야구단을 위하여 경기투구 및 타격영상을 정밀하게 제공하는데 어려운 문제점이 있다.
본 발명의 목적은 복수의 카메라에서 습득 추적한 움직이는 객체의 3차원 좌표를 계산함에 있어 시간적 및 공간적 오차의 보정을 반복적으로 적용하여 카메라의 해상도 이하로 정밀도를 향상시키는 동영상 검출 장치에 관한 것이다.
또한, 본 발명의 목적은 경기투구 및 타격영상을 정밀하게 제공하는 고정밀 동영상 콘텐츠를 저가로 제공하여 다양한 야구 콘텐츠를 고객에 맞춰서 다양하게 서비스할 수 있는 정밀도가 향상된 동영상 검출 장치를 제공하는 것이다.
또한, 본 발명의 목적은 투수가 투구 시 1초 이내에 빠르게 도달하는 공을 95% 이상 정확하고 정밀하게 인식하고 추적하는 기술로 인공지능을 탑재하여 보다 정확하게 인식하는 정밀도가 향상된 동영상 검출 장치를 제공하는 것이다.
또한, 본 발명의 목적은 궤적이 큰 변화구, 타격상황 등을 360도 다양한 자유시점에서 인공지능을 통해 이를 인식하여 기존의 단순한 경기 화면에서 제공하지 못하는 입체적인 동영상을 자동으로 생성하여 제공하는 정밀도가 향상된 동영상 검출 장치를 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 정밀도가 향상된 동영상 검출 장치는 적어도 하나 이상의 카메라에서 제공되는 실시간 영상을 수신하는 영상 수신부; 상기 영상 수신부에서 습득한 영상정보를 영상처리 및 인공지능으로 인식된 경기의 흐름을 기반으로 캡쳐 및 모션 이미지를 시간단위로 검출하고, 공간적 및 시간적 보정을 통해 정량화된 객체 데이터를 검출하는 객체 검출부; 상기 영상 수신부에서 수신되는 촬영 영상 및 상기 객체 검출부에서 검출된 객체 데이터를 저장하는 저장부; 및 상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하여, 실제 촬영영상 정보와 객체 데이터를 혼합하여 증강현실 동영상 콘텐츠를 제공하는 혼합 영상 생성부를 포함할 수 있다.
또한, 상기 객체 검출부는 시간별 2차원 좌표 값의 시간적 오차 및 공간적 오차를 산출하여 시간에 따른 3차원 좌표 값 분석을 이용한 특징점 보정을 통해 미리 설정된 값으로 수렴할 때까지 반복하여 정량화된 객체 데이터를 검출할 수 있다.
또한, 상기 객체 검출부는 복수의 카메라에 각각 대응되어, 각 카메라에서 촬영되는 영상에서 카메라 객체 추적기법을 이용하여 미리 설정된 시간 단위로 객체 이미지를 인식하는 캡쳐부; 상기 캡쳐부와 대응하여, 상기 캡쳐부에서 인식된 객체 이미지를 기반으로 모션캡쳐 기술을 이용하여 인식된 객체 이미지로 제공되는 움직임 데이터를 생성하는 모션부; 상기 캡쳐부에서 인식된 객체 이미지 및 상기 모션부에서 생성된 움직임 데이터를 병합 적용하여 객체별 모션 영상의 2차원 좌표값을 검출하는 검출부; 상기 카메라의 내부 보정 및 상기 검출부에서 검출된 객체별 모션 영상의 2차원 좌표값을 통해 실측된 외부 영상을 통해 오차를 보정하고, PET 기술을 적용하여 서브-픽셀 단위로 보정하는 위치 보정부; 및 2차원 좌표 값의 시간적 오차 및 공간적 오차를 산출하여 시간에 따른 3차원 좌표 값 분석을 이용한 특징점 보정을 통해 미리 설정된 값으로 수렴할 때까지 반복하여 정량화된 객체 데이터를 검출하는 오차 보정부를 포함할 수 있다.
또한, 상기 객체 검출부는 상기 위치 보정부 및 오차 보정부에서 보정된 객체별 모션 영상을 적용하여, 상기 검출부에서 검출된 객체별 모션 영상을 결합하여 스포츠 중계를 360도 복수개의 자유시점에서 인공지능을 통해 이를 인식하여 입체적인 동영상을 생성하는 AI 처리부를 더 포함할 수 있다.
또한, 상기 오차 보정부는 상기 검출부에서 검출된 객체별 모션 영상의 2차원 좌표값을 각각의 카메라 별로 검출하는 2차원 좌표 검출부; 상기 2차원 좌표 검출부에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)에 동일한 위치에 매칭되는 위치변수(z)를 추가한 제1 3차원 좌표(x1,y1,z1) 및 제2 3차원 좌표(x1,y1,z2)를 검출하는 3차원 좌표 검출부; 상기 3차원 좌표 검출부에서 검출된 제1 3차원 좌표(x1,y1,z1) 및 제2 3차원 좌표(x2,y2,z2)의 차를 통해 공간오차 좌표(Δx,Δy,Δz)를 산출하는 공간오차 산출부; 상기 공간오차 산출부에서 산출된 공간오차 좌표(Δx,Δy,Δz)를 이용하여, 산출된 공간오차 좌표를 기반으로 시간 동기화를 수행하여, 상기2차원 좌표 검출부에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)에 시간 동기화를 위한 시간변수(t)를 적용하여 제3 3차원 좌표(x1,y1,t1) 및 제4 3차원 좌표(x2,y2,t1)를 검출하는 시간 동기화부; 상기 시간 동기화에서 시간 동기화된 제3 3차원 좌표(x1,y1,t1) 및 제4 3차원 좌표(x2,y2,t1)의 차를 통해 시간오차 좌표(Δx,Δy,Δt)를 산출하는 시간 오차 산출부; 상기 시간 오차 산출부에서 생성된 보정된 3차원 좌표(x1',y1',t1)와 동일 시간(t1')에 대응하여, 2차원 좌표 검출부에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)의 제5 3차원 좌표(x1,y1,t1') 및 제6 3차원 좌표(x2,y2,t1')를 각각 검출하고, 상기 보정된 3차원 좌표(x1',y1',t1)와 검출된 제5 3차원 좌표(x1,y1,t1') 및 제6 3차원 좌표(x2,y2,t1')와의 차를 통해 객체 이미지에서의 2차 좌표의 오차(Δx,Δy)를 산출하는 3차원 좌표 오차 검출부; 및 상기 산출된 2차원 좌표의 오차(Δx,Δy)의 범위가 미리 설정된 값보다 크면 상기 검출부로 전달하여 미리 설정된 값으로 수렴할 때까지 2차원 좌표의 오차를 반복하는 2차원 좌표 오차 검출부를 포함할 수 있다.
또한, 상기 모션부는 최근 영상을 마지막 영상과 비교하여 움직임을 검출하기 위해 병렬처리 방식으로 움직임 데이터를 생성할 수 있다.
또한, 상기 혼합 영상 생성부는 상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하는 중계 데이터 검출부; 상기 촬영 영상에서 모션의 완료를 표시하는 경기 데이터가 도착하면, 하나의 모션을 완성하는 모든 경기 데이터를 분석하여, 모션에 관련된 모든 수치정보를 계산하고 기록한 후, 정량화된 값들을 검증하는 경기 자료 분석부; 및 상기 경기 자료 분석부에서 분석된 정량화된 모션의 수치를 근거로 카메라의 위치와 시간의 흐름을 설정하고, 상기 라이브 영상 출력부에서 출력되는 AR 영상을 360도 복수의 자유시점에서 인공지능을 통해 이를 인식하여 설정된 시퀀스에 대응하여 생성하는 AI 콘텐츠 생성부를 포함할 수 있다.
또한, 상기 혼합 영상 생성부는 상기 중계 데이터 검출부에서 검출된 촬영 영상 및 객체 데이터를 기반으로 실시간 중계 영상에 모션 궤적과 객체 영상 등을 합성하여 AR 영상을 생성하는 AR 영상 구성부; 상기 AR 영상 구성부에서 생성된 AR 영상을 촬영 영상과 결합하여 실시간으로 출력하는 라이브 영상 출력부; 사전에 입력된 모델 데이터를 바탕으로 상기 AI 콘텐츠 생성부에서 설정된 시퀀스에 대응하여 생성된 AR 영상을 실시간 중계 영상에 결합하여 MR 영상을 구성하는 MR 영상 구성부; 및 상기 MR 영상 구성부에서 구성된 MR 영상을 이용하여 방송신호에 대응되도록 설정되는 모션의 설정범위, 오차 속도로 변환하여 실시간으로 자유시점으로 생성하는 리플레이 영상 출력부를 더 포함할 수 있다.
본 발명에 따른 정밀도가 향상된 동영상 검출 장치는 카메라에서 습득한 스포츠 중계방송에서 실제 촬영영상 정보와 혼합하여 최적화된 자유시점을 제공함으로써, 스포츠, 특히 야구 경기에서 투구된 볼을 실시간으로 확인하거나, 심판의 콜이 맞는지 매 투구마다 즉각적으로 확인할 수 있어, 야구에 열정적인 시청자들의 욕구를 충족시킬 수 있다.
또한, 본 발명은 시청자들에게 스포츠 경기 시청의 편의성을 제공할 수 있고, 이를 통해 스포츠 경기 중계 방송의 시청률 상승을 기대할 수 있다.
또한, 본 발명은 고정밀 동영상 콘텐츠를 저가로 제공하여 다양한 동영상 콘텐츠를 고객에 맞춰서 다양하게 서비스할 수 있다.
또한, 본 발명은 현재 수입품에 의존하고 있는 프로야구 경기에 AR을 지원하는 솔루션을 개발하여, 세계적인 경쟁력을 확보함과 동시에 국산화 및 저가의 저변확대 솔루션 공급을 통해 동영상 콘텐츠 제작 발전에 공헌하는 기술을 개발할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 실시예에 따른 정밀도가 향상된 동영상 검출 장치의 구성을 나타낸 블록도이다.
도 2는 도 1에서 객체 검출부의 구성을 상세히 나타낸 블록도이다.
도 3은 도 1에서 혼합 영상 생성부의 구성을 상세히 나타낸 블록도이다.
도 4는 도 2의 오차 보정부의 구성을 상세히 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 스포츠 중계방송에서 검출한 동영상을 나타낸 실시예이다.
도 6은 도 4의 2차원 좌표 오차 검출부에서 산출된 2차 좌표를 시뮬레이션 한 결과를 나타낸 실시예이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
또한 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
이하에서는, 본 발명의 몇몇 실시예에 따른 정밀도가 향상된 동영상 검출 장치를 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 정밀도가 향상된 동영상 검출 장치의 구성을 나타낸 블록도이다.
도 1에서 도시하고 있는 것과 같이, 본 발명의 동영상 검출 장치는 영상 수신부(100), 객체 검출부(200), 저장부(300), 혼합 영상 생성부(400)를 포함한다.
상기 영상 수신부(100)는 스포츠 중계를 촬영하는 적어도 하나 이상의 카메라에서 제공되는 실시간 영상을 수신한다. 이때, 카메라는 예로서, 야구경기 중계방송을 위해 송출되는 가운데, 투수와 포수를 하나의 앵글로 영상을 촬영한다. 영상 수신부(100)는 촬영되는 영상에서 스트라이크 존(S)과 투수에 의해 투구된 볼의 영상을 실시간으로 표출한다. 또한 영상 수신부(100)는 투수에 의해 투구된 볼이 홈 플레이트 상에 설정되는 스트라이크 존을 통과할 때, 카메라에서 촬영되는 영상에서 투수에 의해 투구된 볼의 영상을 추출한다. 카메라에서 촬영되는 영상은 이에 한정되지 않으며 보다 다양한 위치 및 각도에서 촬영된 영상을 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 스포츠 중계방송에서 검출한 동영상을 나타낸 실시예이다. 도 5(a)는 좌측에서 촬영한 영상이며, 도 5(b)는 우측에서 촬영한 영상이며, 도 5(c)는 상부에서 촬영한 영상이다.
상기 객체 검출부(200)는 영상 수신부(100)에서 습득한 영상정보를 영상처리 및 인공지능으로 인식된 경기의 흐름을 기반으로 캡쳐 및 모션 이미지를 시간단위로 검출하고, 공간적 및 시간적 보정을 통해 정량화된 객체 데이터를 검출한다.
도 5(a)(b)(c)에서 도시하고 있는 것과 같이, 객체 검출부(200)는 촬영한 영상에서 투구된 볼(객체)의 캡쳐 및 모션 이미지를 시간단위로 검출한다. 도 5(d)는 투수에 의해 투구된 볼이 홈 플레이트 상에 설정되는 스트라이크 존(H)을 통과할 때 검출된 캡쳐 및 모션 이미지를 나타내고 있다.
도 5(a) 및 도 5(c)에서 도시하고 있는 것과 같이, 각 시간단위로 검출된 캡쳐 및 모션 이미지는 서로 다른 3대의 카메라에서 촬영됨에 따라 영상과 객체의 움직임에서 공간적 오차를 가지게 된다. 즉, 일정한 시간단위를 갖는 L1, L2에서 각각 검출된 캡쳐 및 모션 이미지의 위치가 각 시간단위에서 조금씩 차이가 있음을 알 수 있다. 이러한 오차는 도 5(d)에서 도시하고 있는 것과 같이 투수에 의해 투구된 볼이 홈 플레이트 상에 설정되는 스트라이크 존(H)을 통과할 때 그 오차가 발생하게 되어, 정밀하고 정확하게 정량화된 데이터를 검출하지 못하게 된다.
객체 검출부(200)는 이러한 시간별 좌표값의 시간적 오차 및 공간적 오차를 산출하여 특징점 보정을 통해 미리 설정된 값으로 수렴할 때까지 반복하여 정량화된 객체 데이터를 검출한다. 객체 검출부(200)의 상세한 구성은 도 2를 참조하여 아래에서 다시 상세히 설명하도록 한다.
한편, 상기 저장부(300)는 영상 수신부(100)에서 수신되는 촬영 영상 및 객체 검출부(200)에서 검출된 객체 데이터를 저장한다.
그리고 상기 혼합 영상 생성부(400)는 저장부(300)에 저장된 촬영 영상 및 객체 데이터를 검출하여, 실제 촬영영상 정보와 객체 데이터를 혼합하여 증강현실(AR/MR) 동영상 콘텐츠를 제공한다. 이때, 혼합 영상 생성부(400)의 상세한 구성은 도 3을 참조하여 아래에서 상세히 설명하도록 한다.
도 2는 도 1에서 객체 검출부의 구성을 상세히 나타낸 블록도이다.
도 2에서 도시하고 있는 것과 같이, 객체 검출부(200)는 복수개의 캡쳐부(210), 모션부(220), 검출부(230)와, 위치 보정부(240), AI 처리부(250) 및 오차 보정부(260)를 포함한다.
상기 캡쳐부(210)는 복수의 카메라에 각각 대응되어, 각 카메라에서 촬영되는 영상에서 카메라 객체 추적기법을 이용하여 미리 설정된 시간 단위로 객체 이미지를 인식한다.
상기 모션부(220)는 각 캡쳐부(210)와 대응하여, 캡쳐부(210)에서 인식된 객체 이미지를 기반으로 모션캡쳐 기술을 이용하여 인식된 객체 이미지로 제공되는 움직임 데이터를 생성한다. 이때, 모션부(220)는 최근 영상을 마지막 영상과 비교하여 움직임을 검출하기 위해 병렬처리 방식으로 움직임 데이터를 생성한다. 예로서, 움직임 데이터는 투수의 피칭 시작과 종료 영상정보에서는 객체로서, 투수의 모션 영상, 투구한 공의 모션 영상, 포수의 모션 영상 및 심판의 콜 영상 등을 포함할 수 있다.
상기 검출부(230)는 캡쳐부(210)에서 인식된 객체 이미지 및 모션부(220)에서 생성된 움직임 데이터를 병합 적용하여 객체별 모션 영상의 2차원 좌표값을 검출한다. 이때, 검출부(230)는 모션 데이터에서 목표물의 조건에 해당하는 오브젝트를 일정한 시간단위로 검색해서 각 시간단위로 목표물 후보 군을 2차원 좌표로 검출하고 그 위치를 계산하게 된다.
상기 위치 보정부(240)는 카메라의 내부 보정 및 검출부(230)에서 검출된 객체별 모션 영상의 2차원 좌표값을 통해 실측된 외부 영상을 통해 오차를 보정하고, PET 기술을 적용하여 서브-픽셀(영상 업스케일링) 단위로 보정한다. 이때, 위치 보정부(240)는 배경에 목표물보다 목표물 조건에 적합한 잡음이 있을 경우, 복수의 목표물이 검출되거나, 잡음이 목표물로 오인되는 경우, 가용 가능한 모든 정보를 수치화하여 뉴럴 네트워크를 구성하여 GPU 병렬처리 계산한다. 예로서, 야구장에서 촬영되는 투구한 공의 경우, 조명이 위에 있어서 위는 밝고 아래는 어둡게 촬영되게 된다. 또한, 움직이는 영상을 찍는 경우 주변 색과 섞이는 혼합현상이 발생된다. 이에 따라 배경과 객체간 거리에 따라 촬영되는 객체의 색상이 달라지는 문제점이 있다.
위치 보정부(240)는 이러한 문제점을 해결하기 위해, 측정장비를 이용하여 기준점(특정 객체 또는 목표물)에 목표물을 위치시킨 후, 목표물이 검출된 지점을 기준점으로 하여 나머지 객체들을 보정한다. 또한, 목표물을 기준점으로 일정거리로 이동한 후 검출된 값과 목표물의 위치 값의 차이를 오차 규격으로 설정한다. 위치 보정부(240)는 예로서 홈플레이트 주변에 독립적으로 목표물을 위치시키고(고정대 위에 야구공을 고정시킴) 상기 정확성 측정을 반복하여 그 오차 값의 표준편차를 초기 설정값과 비교하여 측정한다.
상기 오차 보정부(260)는 시간별 2차원 좌표 값의 시간적 오차 및 공간적 오차를 산출하여 시간에 따른 3차원 좌표 값 분석을 이용한 특징점 보정을 통해 미리 설정된 값으로 수렴할 때까지 반복하여 정량화된 객체 데이터를 검출한다.
즉, 캡쳐부(210)에서는 카메라에서 촬영된 화면의 오차, 즉 영상과 객체의 움직임 오차가 발생될 수 있다. 또한, 캡쳐부(210)에서는 카메라 렌즈의 왜곡에 의한 오차가 발생될 수 있다.
이러한 오차로 인해 2대 이상의 카메라에서 촬영된 객체가 동일한 시점에 서로 맞물리지 않는 물리적 오차가 발생될 수 있다. 또한, 카메라는 장비에 따라 1/1000 단위로 또는 30마이크로 단위로 오차가 발생하게 될 수 있으며, 이러한 카메라 장비 별로 나타나는 오차로 인한 시간적 오차가 발생될 수 있다.
오차 보정부(260)는 이러한 공간적 및 시간적 오차를 보정한다.
도 4는 도 2의 오차 보정부의 구성을 상세히 나타낸 블록도이다.
도 4에서 도시하고 있는 것과 같이, 오차 보정부(250)는 2차원 좌표 검출부(261), 3차원 좌표 검출부(262), 공간오차 산출부(263), 시간 동기화부(264), 시간 오차 산출부(265), 3차원 좌표 오차 검출부(265) 및 2차원 좌표 오차 검출부(266)를 포함한다.
2차원 좌표 검출부(261)는 도 5(a)(b)(c)에서 도시하고 있는 것과 같이, 검출부(230)에서 검출된 객체별 모션 영상의 2차원 좌표값을 각각의 카메라 별로 검출한다. 이하에서는 용이한 설명을 위해 2대의 카메라에서 촬영한 객체의 모션 영상을 실시예로 설명하도록 한다. 그러나 이는 설명을 위한 것으로 이에 한정되는 것은 아니다.
따라서, 2차원 좌표 검출부(261)는 제1 카메라에서 촬영된 객체 이미지에서 미리 설정된 시간 단위로 제1 2차원 좌표(x1,y1)를 검출하고, 제2 카메라에서 촬영된 객체 이미지에서 미리 설정된 시간 단위로 제2 2차원 좌표(x2,y2)를 검출한다.
3차원 좌표 검출부(262)는 2차원 좌표 검출부(261)에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)에 동일한 위치에 매칭되는 위치변수(z)를 추가한 제1 3차원 좌표(x1,y1,z1) 및 제2 3차원 좌표(x1,y1,z2)를 검출한다.
공간오차 산출부(263)는 3차원 좌표 검출부(262)에서 검출된 제1 3차원 좌표(x1,y1,z1) 및 제2 3차원 좌표(x2,y2,z2)의 차를 통해 공간오차 좌표(Δx,Δy,Δz)를 산출한다. 예로서, 수식으로 표현하면, 제1 3차원 좌표(x1,y1,z1) - 제2 3차원 좌표(x2,y2,z2) = 공간오차 좌표(Δx,Δy,Δz) 이다.
시간 동기화부(264)는 공간오차 산출부(263)에서 산출된 공간오차 좌표(Δx,Δy,Δz)를 이용하여, 산출된 공간오차 좌표를 기반으로 시간 동기화를 수행한다. 즉, 2차원 좌표 검출부(262)에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)에 시간 동기화를 위한 시간변수(t)를 적용하여 제3 3차원 좌표(x1,y1,t1) 및 제4 3차원 좌표(x2,y2,t1)를 검출한다.
시간 오차 산출부(265)는 시간 동기화(264)에서 시간 동기화된 제3 3차원 좌표(x1,y1,t1) 및 제4 3차원 좌표(x2,y2,t1)의 차를 통해 시간오차 좌표(Δx,Δy,Δt)를 산출한다. 예로서, 수식으로 표현하면, 제1 3차원 좌표(x1,y1,t1) - 제2 3차원 좌표(x2,y2,t2) = 시간오차 좌표(Δx,Δy,Δt) 이다.
이를 통해, 시간오차 및 공간오차가 보정된 보정된 3차원 좌표(x1',y1',t1')가 생성될 수 있다.
3차원 좌표 오차 검출부(266)는 시간 오차 산출부(265)에서 생성된 보정된 3차원 좌표(x1',y1',t1)와 동일 시간(t1')에 대응하여, 2차원 좌표 검출부(261)에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)의 제5 3차원 좌표(x1,y1,t1') 및 제6 3차원 좌표(x2,y2,t1')를 각각 검출한다.
그리고 3차원 좌표 오차 검출부(266)는 보정된 3차원 좌표(x1',y1',t1)와 검출된 제5 3차원 좌표(x1,y1,t1') 및 제6 3차원 좌표(x2,y2,t1')와의 차를 통해 객체 이미지에서의 2차 좌표의 오차(Δx,Δy)를 산출한다.
2차원 좌표 오차 검출부(267)는 상기 산출된 2차원 좌표의 오차(Δx,Δy)의 범위가 미리 설정된 값보다 크면 검출부(230)로 전달하여 미리 설정된 값으로 수렴할 때까지 2차원 좌표의 오차를 반복한다. 그리고 2차원 좌표 오차 검출부(266)는 상기 산출된 2차 좌표의 오차(Δx,Δy)의 범위가 미리 설정된 값보다 작으면 객체 데이터를 검출하여 AI 처리부(250)로 전달한다.
도 6은 도4의 2차원 좌표 오차 검출부에서 산출된 2차 좌표를 시뮬레이션 한 결과를 나타낸 실시예이다.
도 6에서 도시하고 있는 것과 같이, 제5 3차원 좌표(x1,y1,t1')에 따른 2차원 좌표와 제6 3차원 좌표(x2,y2,t1')에 따른 2차원 좌표 간의 차를 시간단위로 검출하게 된다. 그리고 이러한 2차원 좌표 간의 차는 투수에 의해 투구된 볼이 홈 플레이트 상에 설정되는 스트라이크 존(H)을 통과할 때 그 오차(H1-H2)를 정밀하고 정확하게 정량화된 데이터를 검출할 수 있게 된다.
따라서, 산출된 2차 좌표의 오차(Δx,Δy)의 범위가 미리 설정된 값보다 작으면 객체 데이터를 AI 처리부(250)로 전달하고, 산출된 2차원 좌표의 오차(Δx,Δy)의 범위가 미리 설정된 값보다 크면 검출부(230)로 전달하여 미리 설정된 값으로 수렴할 때까지 2차원 좌표의 오차를 반복한다.
상기 AI 처리부(250)는 위치 보정부(240) 및 오차 보정부(260)에서 보정된 객체별 모션 영상을 적용하여, 검출부(230)에서 검출된 객체별 모션 영상을 결합한다. 그리고 AI 처리부(250)는 스포츠 중계를 360도 다양한 자유시점에서 인공지능을 통해 이를 인식하여 입체적인 동영상을 생성한다. 이때, AI 처리부(250)는 인공지능으로 기준점(특정 객체 또는 목표물)을 위치시킨 후 객체별 모션 영상을 결합하여 판정의 일치성을 유지할 수 있어, 최적의 위치값을 판정하고 자동으로 하이라이트 영상을 제시한다.
이때, 판정의 일치성은 다음과 같이 유지할 수 있다.
예로서, AI 처리부(250)는 검증하고자 하는 투구의 리플레이를 녹화한 후 분석하여 경기내용 저장파일과 비교한 리플레이 비디오 클립이 투구의 수치적 특성의 표현 정보를 수치화하여 이상적인 조합을 계산하고 실제 측정값이 조합과 얼마나 일치하는지 비교한다.
그리고 낙차(Y 변화율)가 큰 공은 홈플레이트 부근에서 카메라의 방향 벡터(v1)가 Y-Z 평면의 법선 벡터(vx)와 얼마나 일치하는지 두 벡터의 내적 값이 얼마나 1에 근접하고 vz 벡터와 표 벡터를 각각 v1과의 내적 값들의 비율을 구하여 표의 비중이 얼마나 50% 이상이 되는지 확인한다. 이때, 좌우(X 변화율)이 큰 공은 X-Z 평면을 이용하여 계산한다.
그리고 초속과 종속의 차이(시간에 따를 가속도의 변화율, 3차 미분 값)는 투구의 시작 부분과 종료 부분에서 프레임 진행속도(고정)당 투구의 시간 변화율을 증폭하는지 1/1000초 차이로 수치화하여 비교한다.
도 3은 도 1에서 혼합 영상 생성부의 구성을 상세히 나타낸 블록도이다.
도 3에서 도시하고 있는 것과 같이, 혼합 영상 생성부(400)는 중계 데이터 검출부(410), AR 영상 구성부(420), 라이브 영상 출력부(430), 경기 자료 분석부(440), AI 콘텐츠 생성부(450), MR 영상 구성부(460), 리플레이 영상 출력부(470)를 포함한다.
상기 중계 데이터 검출부(410)는 저장부(300)에 저장된 촬영 영상 및 객체 데이터를 검출한다.
상기 AR 영상 구성부(420)는 중계 데이터 검출부(410)에서 검출된 촬영 영상 및 객체 데이터를 기반으로 실시간 중계 영상에 모션 궤적과 객체 영상 등을 합성하여 AR 영상을 생성한다.
상기 라이브 영상 출력부(430)는 AR 영상 구성부(420)에서 생성된 AR 영상을 촬영 영상과 결합하여 실시간으로 출력한다.
상기 경기 자료 분석부(440)는 상기 촬영 영상에서 모션의 완료를 표시하는 경기 데이터가 도착하면, 하나의 모션을 완성하는 모든 경기 데이터를 분석하여, 모션에 관련된 모든 수치정보를 계산하고 기록한 후, 정량화된 값들을 검증한다. 이때, 경기 자료 분석부(440)는 오류가 발생되면 수정이 가능한 경우 수정하고, 그렇지 않은 경우 모션이 인식되지 않은 것으로 판정한다.
상기 AI 콘텐츠 생성부(450)는 경기 자료 분석부(440)에서 분석된 정량화된 모션의 수치를 근거로 카메라의 위치와 시간의 흐름을 설정하고, 라이브 영상 출력부(430)에서 출력되는 AR 영상을 360도 다양한 자유시점에서 인공지능을 통해 이를 인식하여 설정된 시퀀스에 대응하여 생성한다. 이때, AI 콘텐츠 생성부(450)는 미리 설정된 시퀀스(sequence)에 따라 VR 영상이 생성되거나, AI가 AR 영상 구성부(420)에서 생성된 AR 영상을 기반으로 최적의 시퀀스를 선택할 수도 있다. 이렇게 생성된 VR 영상을 이용하여 AI에 피드백을 주는 방식으로 AI를 학습시킬 수 있다.
상기 MR 영상 구성부(460)는 사전에 입력된 모델 데이터를 바탕으로 AI 콘텐츠 생성부(450)에서 설정된 시퀀스에 대응하여 생성된 AR 영상을 실시간 중계 영상에 결합하여 MR 영상을 구성한다. 이때, 실제 촬영영상 정보와 생성된 VR 영상이 선택되거나 AI가 생성한 카메라 및 시간 시퀀스에 따라 MR 영상을 구성한다.
상기 리플레이 영상 출력부(470)는 MR 영상 구성부(460)에서 구성된 MR 영상을 이용하여 방송신호에 적합하도록 설정되는 모션의 설정범위, 오차 속도로 변환하여 실시간으로 자유시점으로 생성하여 영상을 출력한다.
예로서, 리플레이 영상 출력부(470)는 투구의 궤적을 검출한 다음, 그 내용을 좌표로 변환하고, 영상 자동 자르기 설정값 및 오차 시간을 변환한다. 이때, 불필요한 영상을 제거하는 지표로 하이라이트 영상편집을 위하여 영상편집 소프트웨어에서 투수가 공을 던지기 전(1초 기준)과 공이 포수 미트로 가거나 타자가 타격한 이후(2차 기준) 최소 60초 이상을 사용자가 설정할 수 있는지를 확인한다. 또한 영상 자동 자르기가 오차 없이 작동되는지 판정하는 지표로 원본영상과 잘라낸 영상을 비교하여 오차시간이 1초 이내인지를 확인한다. 그리고 원하는 시점의 리플레이 영상을 실시간으로 자유시점으로 생성하여 영상을 출력한다.
이처럼, 본 발명은 분석된 정량화된 데이터를 바탕으로 AR을 적용하여 다양한 3D 애니메이션 효과를 부여하여 통상 투수가 포수에게 공이 가는 1초 이내의 짧은 시간 동안 보기 힘든 공의 구질, 각도 등을 느린 리플레이 영상으로 표출하여 야구를 즐기는 매니아를 위한 다양한 시각적 효과를 제공한다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (8)

  1. 적어도 하나 이상의 카메라에서 제공되는 실시간 영상을 수신하는 영상 수신부;
    상기 영상 수신부에서 습득한 영상정보를 영상처리 및 인공지능으로 인식된 경기의 흐름을 기반으로 캡쳐 및 모션 이미지를 시간단위로 검출하고, 공간적 및 시간적 보정을 통해 정량화된 객체 데이터를 검출하는 객체 검출부;
    상기 영상 수신부에서 수신되는 촬영 영상 및 상기 객체 검출부에서 검출된 객체 데이터를 저장하는 저장부; 및
    상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하여, 실제 촬영영상 정보와 객체 데이터를 혼합하여 증강현실 동영상 콘텐츠를 제공하는 혼합 영상 생성부를 포함하는 정밀도가 향상된 동영상 검출 장치.
  2. 제1 항에 있어서,
    상기 객체 검출부는 시간별 2차원 좌표 값의 시간적 오차 및 공간적 오차를 산출하여 시간에 따른 3차원 좌표 값 분석을 이용한 특징점 보정을 통해 미리 설정된 값으로 수렴할 때까지 반복하여 정량화된 객체 데이터를 검출하는 정밀도가 향상된 동영상 검출 장치.
  3. 제1 항에 있어서,
    상기 객체 검출부는
    복수의 카메라에 각각 대응되어, 각 카메라에서 촬영되는 영상에서 카메라 객체 추적기법을 이용하여 미리 설정된 시간 단위로 객체 이미지를 인식하는 캡쳐부;
    상기 캡쳐부와 대응하여, 상기 캡쳐부에서 인식된 객체 이미지를 기반으로 모션캡쳐 기술을 이용하여 인식된 객체 이미지로 제공되는 움직임 데이터를 생성하는 모션부;
    상기 캡쳐부에서 인식된 객체 이미지 및 상기 모션부에서 생성된 움직임 데이터를 병합 적용하여 객체별 모션 영상의 2차원 좌표값을 검출하는 검출부;
    상기 카메라의 내부 보정 및 상기 검출부에서 검출된 객체별 모션 영상의 2차원 좌표값을 통해 실측된 외부 영상을 통해 오차를 보정하고, PET 기술을 적용하여 서브-픽셀 단위로 보정하는 위치 보정부; 및
    2차원 좌표 값의 시간적 오차 및 공간적 오차를 산출하여 시간에 따른 3차원 좌표 값 분석을 이용한 특징점 보정을 통해 미리 설정된 값으로 수렴할 때까지 반복하여 정량화된 객체 데이터를 검출하는 오차 보정부를 포함하는 정밀도가 향상된 동영상 검출 장치.
  4. 제3 항에 있어서,
    상기 객체 검출부는
    상기 위치 보정부 및 오차 보정부에서 보정된 객체별 모션 영상을 적용하여, 상기 검출부에서 검출된 객체별 모션 영상을 결합하여 스포츠 중계를 360도 복수개의 자유시점에서 인공지능을 통해 이를 인식하여 입체적인 동영상을 생성하는 AI 처리부를 더 포함하는 정밀도가 향상된 동영상 검출 장치.
  5. 제3 항에 있어서,
    상기 오차 보정부는
    상기 검출부에서 검출된 객체별 모션 영상의 2차원 좌표값을 각각의 카메라 별로 검출하는 2차원 좌표 검출부;
    상기 2차원 좌표 검출부에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)에 동일한 위치에 매칭되는 위치변수(z)를 추가한 제1 3차원 좌표(x1,y1,z1) 및 제2 3차원 좌표(x1,y1,z2)를 검출하는 3차원 좌표 검출부;
    상기 3차원 좌표 검출부에서 검출된 제1 3차원 좌표(x1,y1,z1) 및 제2 3차원 좌표(x2,y2,z2)의 차를 통해 공간오차 좌표(Δx,Δy,Δz)를 산출하는 공간오차 산출부;
    상기 공간오차 산출부에서 산출된 공간오차 좌표(Δx,Δy,Δz)를 이용하여, 산출된 공간오차 좌표를 기반으로 시간 동기화를 수행하여, 상기2차원 좌표 검출부에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)에 시간 동기화를 위한 시간변수(t)를 적용하여 제3 3차원 좌표(x1,y1,t1) 및 제4 3차원 좌표(x2,y2,t1)를 검출하는 시간 동기화부;
    상기 시간 동기화에서 시간 동기화된 제3 3차원 좌표(x1,y1,t1) 및 제4 3차원 좌표(x2,y2,t1)의 차를 통해 시간오차 좌표(Δx,Δy,Δt)를 산출하는 시간 오차 산출부;
    상기 시간 오차 산출부에서 생성된 보정된 3차원 좌표(x1',y1',t1)와 동일 시간(t1')에 대응하여, 2차원 좌표 검출부에서 각각 검출된 제1 2차원 좌표(x1,y1) 및 제2 2차원 좌표(x2,y2)의 제5 3차원 좌표(x1,y1,t1') 및 제6 3차원 좌표(x2,y2,t1')를 각각 검출하고, 상기 보정된 3차원 좌표(x1',y1',t1)와 검출된 제5 3차원 좌표(x1,y1,t1') 및 제6 3차원 좌표(x2,y2,t1')와의 차를 통해 객체 이미지에서의 2차 좌표의 오차(Δx,Δy)를 산출하는 3차원 좌표 오차 검출부; 및
    상기 산출된 2차원 좌표의 오차(Δx,Δy)의 범위가 미리 설정된 값보다 크면 상기 검출부로 전달하여 미리 설정된 값으로 수렴할 때까지 2차원 좌표의 오차를 반복하는 2차원 좌표 오차 검출부를 포함하는 정밀도가 향상된 동영상 검출 장치.
  6. 제3 항에 있어서,
    상기 모션부는 최근 영상을 마지막 영상과 비교하여 움직임을 검출하기 위해 병렬처리 방식으로 움직임 데이터를 생성하는 정밀도가 향상된 동영상 검출 장치.
  7. 제1 항에 있어서,
    상기 혼합 영상 생성부는
    상기 저장부에 저장된 촬영 영상 및 객체 데이터를 검출하는 중계 데이터 검출부;
    상기 촬영 영상에서 모션의 완료를 표시하는 경기 데이터가 도착하면, 하나의 모션을 완성하는 모든 경기 데이터를 분석하여, 모션에 관련된 모든 수치정보를 계산하고 기록한 후, 정량화된 값들을 검증하는 경기 자료 분석부; 및
    상기 경기 자료 분석부에서 분석된 정량화된 모션의 수치를 근거로 카메라의 위치와 시간의 흐름을 설정하고, 상기 라이브 영상 출력부에서 출력되는 AR 영상을 360도 복수의 자유시점에서 인공지능을 통해 이를 인식하여 설정된 시퀀스에 대응하여 생성하는 AI 콘텐츠 생성부를 포함하는 정밀도가 향상된 동영상 검출 장치.
  8. 제7 항에 있어서,
    상기 혼합 영상 생성부는
    상기 중계 데이터 검출부에서 검출된 촬영 영상 및 객체 데이터를 기반으로 실시간 중계 영상에 모션 궤적과 객체 영상 등을 합성하여 AR 영상을 생성하는 AR 영상 구성부;
    상기 AR 영상 구성부에서 생성된 AR 영상을 촬영 영상과 결합하여 실시간으로 출력하는 라이브 영상 출력부;
    사전에 입력된 모델 데이터를 바탕으로 상기 AI 콘텐츠 생성부에서 설정된 시퀀스에 대응하여 생성된 AR 영상을 실시간 중계 영상에 결합하여 MR 영상을 구성하는 MR 영상 구성부; 및
    상기 MR 영상 구성부에서 구성된 MR 영상을 이용하여 방송신호에 대응되도록 설정되는 모션의 설정범위, 오차 속도로 변환하여 실시간으로 자유시점으로 생성하는 리플레이 영상 출력부를 더 포함하는 정밀도가 향상된 동영상 검출 장치.
PCT/KR2019/005435 2019-01-17 2019-05-07 정밀도가 향상된 동영상 검출 장치 WO2020149462A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020190006195A KR102117238B1 (ko) 2019-01-17 2019-01-17 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치
KR10-2019-0006195 2019-01-17
KR10-2019-0023382 2019-02-27
KR20190023382 2019-02-27

Publications (1)

Publication Number Publication Date
WO2020149462A1 true WO2020149462A1 (ko) 2020-07-23

Family

ID=71614566

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005435 WO2020149462A1 (ko) 2019-01-17 2019-05-07 정밀도가 향상된 동영상 검출 장치

Country Status (1)

Country Link
WO (1) WO2020149462A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937478A (zh) * 2022-12-26 2023-04-07 北京字跳网络技术有限公司 一种标定信息确定方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301598A1 (en) * 2013-04-03 2014-10-09 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
JP2016219968A (ja) * 2015-05-19 2016-12-22 日本放送協会 多視点映像表現装置及びそのプログラム
US20180137364A1 (en) * 2012-05-04 2018-05-17 Mocap Analytics, Inc. Methods, systems and software programs for enhanced sports analytics and applications
WO2018138301A1 (en) * 2017-01-30 2018-08-02 Evs Broadcast Equipment Sa Video production apparatus and method for video production
KR20180093582A (ko) * 2017-02-14 2018-08-22 한국전자통신연구원 엔드투엔드 학습에 기반한 영상 이벤트 구간 인덱싱 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137364A1 (en) * 2012-05-04 2018-05-17 Mocap Analytics, Inc. Methods, systems and software programs for enhanced sports analytics and applications
US20140301598A1 (en) * 2013-04-03 2014-10-09 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
JP2016219968A (ja) * 2015-05-19 2016-12-22 日本放送協会 多視点映像表現装置及びそのプログラム
WO2018138301A1 (en) * 2017-01-30 2018-08-02 Evs Broadcast Equipment Sa Video production apparatus and method for video production
KR20180093582A (ko) * 2017-02-14 2018-08-22 한국전자통신연구원 엔드투엔드 학습에 기반한 영상 이벤트 구간 인덱싱 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937478A (zh) * 2022-12-26 2023-04-07 北京字跳网络技术有限公司 一种标定信息确定方法、装置、电子设备和存储介质
CN115937478B (zh) * 2022-12-26 2023-11-17 北京字跳网络技术有限公司 一种标定信息确定方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN107871120B (zh) 基于机器学习的体育赛事理解系统及方法
US6133946A (en) System for determining the position of an object
WO2016017121A1 (ja) 拡張現実表示システム、端末装置および拡張現実表示方法
WO2013043021A2 (ko) 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
WO2012128574A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
AU2012203858B2 (en) Automatic camera identification from a multi-camera video stream
JP2020119584A (ja) 仮想現実提供システム
WO2020101094A1 (ko) 입체 스트라이크 존 표시 방법 및 장치
WO2011081470A2 (en) Apparatus and method for virtual golf simulation imaging sub display and replay display
US11615540B2 (en) Methods and systems to track a moving sports object trajectory in 3D using a single camera
JPH06105231A (ja) 画像合成装置
WO2020149462A1 (ko) 정밀도가 향상된 동영상 검출 장치
CN102512796A (zh) 基于互动投影系统的非接触式羽毛球回球落点训练装置及回球落点准确率获得方法
CN105879349B (zh) 显示屏上显示高尔夫球落在果岭上的位置的方法及系统
US10786742B1 (en) Broadcast synchronized interactive system
WO2018139810A1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
KR102117238B1 (ko) 인공지능과 증강현실을 활용한 스포츠 중계방송에서의 동영상 콘텐츠 제작 장치
KR20000064088A (ko) 스포츠 영상 분석 방송 시스템 및 방법
WO2023049868A1 (en) Methods and systems to track a moving sports object trajectory in 3d using multiple cameras
EP3836012B1 (en) A device, computer program and method for determining handball performed by a player
KR102149005B1 (ko) 객체 속도 계산 및 표시 방법 및 장치
WO2021056552A1 (zh) 视频的处理方法和装置
CN102512797A (zh) 基于互动投影系统的乒乓球回球落点训练装置及准确率获得方法
CN114612522B (zh) 乒乓球运动参数检测方法、装置及乒乓球训练辅助系统
WO2012128572A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910714

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19910714

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 03.05.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19910714

Country of ref document: EP

Kind code of ref document: A1