PL439581A1 - Method and system of automatic continuous recalibration of cameras along with automatic video verification of the event, especially for sports games - Google Patents

Method and system of automatic continuous recalibration of cameras along with automatic video verification of the event, especially for sports games

Info

Publication number
PL439581A1
PL439581A1 PL439581A PL43958121A PL439581A1 PL 439581 A1 PL439581 A1 PL 439581A1 PL 439581 A PL439581 A PL 439581A PL 43958121 A PL43958121 A PL 43958121A PL 439581 A1 PL439581 A1 PL 439581A1
Authority
PL
Poland
Prior art keywords
ball
cameras
image
calibration
camera
Prior art date
Application number
PL439581A
Other languages
Polish (pl)
Inventor
Zbigniew KORCZAK
Robert Sitnik
Original Assignee
Smart Tracking Spółka Z Ograniczoną Odpowiedzialnością
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Tracking Spółka Z Ograniczoną Odpowiedzialnością filed Critical Smart Tracking Spółka Z Ograniczoną Odpowiedzialnością
Priority to PL439581A priority Critical patent/PL439581A1/en
Priority to PCT/IB2022/054962 priority patent/WO2023089381A1/en
Publication of PL439581A1 publication Critical patent/PL439581A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

Sposób automatycznej ciągłej rekalibracji kamer wraz z automatyczną wideoweryfikacją zdarzenia zwłaszcza dla gier sportowych wykorzystujący wstępną kalibrację oraz ciągłą analizę, rozpoznawanie i śledzenie stałych punktów na boisku oraz piłkę, w tym przetwarzanie danych polega na tym, że w pierwszym etapie sygnały w postaci danych z kamer (K), korzystnie z 12 kamer (K) przesyła się do komputera głównego (KG) oraz rejestruje się klatka po klatce w pamięci, po czym kalibruje się je ustalając ich pozycję względem pozycji linii boiska (B) na obrazie poprzez wyznaczenie ich zajętości w pikselach dla każdej z klatek odczytanej dla danej kamery (K); przy czym taką autokalibrację wykonuje się dla każdej z kamer (K) korzystnie osobno lub równocześnie, na początku działania — po uruchomieniu systemu i/lub kamer (K), oraz każdorazowo w momencie detekcji wstrząsu na czujniku wstrząsu-akcelerometrze dla danej kamery (K) i/lub przesunięcia współrzędnych linii na boisku (B) w obrazie z każdej z kamer (K), przy czym autokalibrację wykonuje korzystnie oprogramowanie algorytm zaimplementowane w komputerze głównym (KG) i/lub komputerze lokalnym (KL), przy tym zmiana położenia linii dla którejś z kamer (K) w obrazie powoduje natychmiastową  automatyczną rekalibrację - autokolibrację tej kamery (K) na nowe położenie linii, przy czym  kalibracja każdej z kamer (K) odbywa się cyklicznie w sprzężeniu zwrotnym, korzystnie co 5 minut podczas działania systemu; a jako kalibrację dokonuje się zarówno wewnętrzną kalibrację kamer (K), jak i estymację oraz położenia każdej kamery (K) w globalnym układzie współrzędnych; przy czym sygnały dane z kamer (K) w postaci wizyjnej są w jakości obrazu wideo co najmniej FULL HD to znaczy co najmniej zawierają 1080 linii na obraz; a w drugim etapie przetwarzania, przetwarza się tak wstępnie otrzymane dane z obrazu to jest wyznacza się dla każdej ramki położenie środka piłki na obrazach z kamer (K) na komputerach lokalnych (KL), to jest komputerach przy kamerach (K); wyznacza się dla każdego z obrazów, a następnie przesyła się wyznaczone środki w postaci danych do (KG) i tam w każdej klatce wyznaczane jest dodatkowo położenie piłki w 3D, poprzez nałożenie danych (D) w czasie z co najmniej dwóch kamer (K) korzystnie całości sytemu to jest 12 kamer (K); natomiast w trzecim etapie decyzyjności, dla całej sekwencji otrzymanych danych wyznacza się trajektorię piłki (P) w układzie współrzędnych boiska (B) i na jej podstawie detekuje się poszczególne zdarzenia związane z piłką na boisku (B) takie jak: a) In/out — czy piłka jest wewnątrz boiska (B) czy poza, b) blok - czy piłka zmieniła trajektorię czy nie, c) podłożenie ręki zawodnika — czy piłka odbiła się od płaszczyzny boiska (8) czy od innej, gdzie uwzględnia się dodatkowo punkt oraz kąt odbicia pitki (P), a w systemie obrazuje się położenie dla każdej z kamer (K) poprzez obrazowanie zajętości pikseli w klatce w obrazie przez piłkę oraz wyznaczenie środka piłki, przy czym w systemie uwzględnia się dodatkowo i detekuje się deformacje piłki, maksymalnie do 50% kształtu - rozmiaru piłki, poprzez zmianę rozłożenia pikseli względem środka piłki, przy czym piłkę obrazuje się w komputerze lokalnym (KL) i oprogramowaniu, jako punkt lub sferę, przy tym do prawidłowego działania systemu potrzeba jest co najmniej dwóch kamer (K) ustawionych wokół boiska (B) służących do triangulacji położenia piłki oraz zdarzenia; a tak przetworzone zapisane dane piłki wykorzystuje się dodatkowo do zbudowania modelu trajektorii piłki; oraz przewidywania a tym samym antycypowania trajektorii dalszego potencjalnego toru lotu piłki i/lub wykonania symulacji 3D - wideosymulacji; korzystnie z dokładnością do 2 mm, względem położenia środka — centrum piłki. System automatycznej ciągłej rekalibracji kamer wraz z automatyczną wideoweryfikacją zdarzenia zwłaszcza dla gier sportowych wykorzystujący kamery co najmniej jeden komputer charakteryzuje się tym, że zawiera współpracujące, połączone ze sobą przewodowo i/lub bezprzewodowo oraz wymieniające sygnały dane dwukierunkowo: kamery (K) korzystnie 12 kamer (K) ustawionych korzystnie dookoła-wokół boiska (B), podłączonych do centralnego komputera — komputera głównego (KG) przetwarzającego oraz zapisującego w pamięci obraz, a zarejestrowany materiał jest analizowany i przetwarzany przez oprogramowanie w celu wyznaczenia toru - lotu piłki oraz jej przewidywania-antycypacji, przy czym system po zdarzeniu, to jest korzystnie, gdy zachodzi tzw. challange, dzięki oprogramowaniu, automatycznie podejmie decyzje i wyświetla komunikat(Kom) na wyświetlaczu operatorowi - sędziemu i/lub pokazuje wideo-powtórkę dla samodzielnej decyzji sędziego, przy tym linie boiska tworzą stałe współrzędne dla kalibracji - autokalibracji każdej z kamer (K), przy czym wszystkie elementy systemu podłączone są do zasilania.The method of automatic continuous recalibration of cameras along with automatic video verification of the event, especially for sports games, using initial calibration and continuous analysis, recognition and tracking of fixed points on the pitch and the ball, including data processing, consists in the fact that in the first stage, signals in the form of data from cameras ( K), preferably from 12 cameras (K) are sent to the main computer (KG) and recorded frame by frame in memory, after which they are calibrated by determining their position relative to the position of the field line (B) in the image by determining their occupancy in pixels for each frame read for a given camera (K); such auto-calibration is performed for each of the cameras (K), preferably separately or simultaneously, at the beginning of operation - after starting the system and/or cameras (K), and each time a shock is detected on the shock sensor-accelerometer for a given camera (K) and/or shifting the coordinates of the lines on the playing field (B) in the image from each camera (K), wherein the auto-calibration is preferably performed by the algorithm software implemented in the main computer (KG) and/or the local computer (KL), while changing the position of the line for of any of the cameras (K) in the image causes immediate automatic recalibration - auto-collibration of this camera (K) to a new position of the line, with each camera (K) being calibrated cyclically in feedback, preferably every 5 minutes during system operation; and as calibration, both the internal calibration of the cameras (K) and the estimation and position of each camera (K) in the global coordinate system are performed; wherein the video data signals (K) from the cameras are of at least FULL HD video image quality, i.e. at least 1080 lines per image; and in a second processing step, the thus pre-obtained image data is processed, i.e. the location of the center of the ball in the images from the cameras (K) on the local computers (KL), i.e. the computers at the cameras (K), is determined for each frame; determined for each of the images, and then the determined means in the form of data are sent to (KG) and there, in each frame, the position of the ball in 3D is additionally determined by superimposing data (D) in time from at least two cameras (K), preferably the whole system is 12 cameras (K); while in the third stage of decision-making, for the entire sequence of received data, the trajectory of the ball (P) is determined in the field coordinate system (B) and on its basis individual events related to the ball on the field (B) are detected, such as: a) In/out - whether the ball is inside the court (B) or outside, b) block - whether the ball has changed its trajectory or not, c) planting the player's hand - whether the ball has bounced off the plane of the court (8) or on another plane, where the point and the angle of rebound are also taken into account balls (P), and the system visualizes the location for each of the cameras (K) by imaging the pixel occupancy in the frame in the image by the ball and determining the center of the ball, while the system additionally takes into account and detects deformations of the ball, up to 50% of the shape - the size of the ball, by changing the distribution of pixels relative to the center of the ball, with the ball being imaged in the local computer (KL) and software as a point or sphere, while at least two cameras (K) set around the pitch are needed for the proper operation of the system ( B) used to triangulate the position of the ball and the event; and the stored ball data processed in this way is additionally used to build a model of the ball trajectory; and predicting and thus anticipating the trajectory of the ball's further potential flight path and/or performing a 3D simulation - video simulation; preferably with an accuracy of 2 mm, relative to the position of the center - the center of the ball. The system of automatic continuous recalibration of cameras together with automatic video verification of the event, especially for sports games, using cameras, at least one computer, characterized in that it contains cooperating, wired and/or wirelessly connected and bidirectionally exchanging data signals: cameras (K) preferably 12 cameras ( K) preferably placed around the pitch (B), connected to a central computer - the main computer (KG) processing and saving the image in memory, and the recorded material is analyzed and processed by the software in order to determine the path - the flight of the ball and its prediction-anticipation , the system after the event, i.e. preferably when the so-called challenge, thanks to the software, will automatically make decisions and display a message (Com) on the display to the operator - the referee and/or show a video-replay for the referee's independent decision, while the lines of the field create fixed coordinates for calibration - auto-calibration of each camera (K), with where all system components are connected to the power supply.

PL439581A 2021-11-19 2021-11-19 Method and system of automatic continuous recalibration of cameras along with automatic video verification of the event, especially for sports games PL439581A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PL439581A PL439581A1 (en) 2021-11-19 2021-11-19 Method and system of automatic continuous recalibration of cameras along with automatic video verification of the event, especially for sports games
PCT/IB2022/054962 WO2023089381A1 (en) 2021-11-19 2022-05-26 The method and system of automatic continuous cameras recalibration with automatic video verification of the event, especially for sports games

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PL439581A PL439581A1 (en) 2021-11-19 2021-11-19 Method and system of automatic continuous recalibration of cameras along with automatic video verification of the event, especially for sports games

Publications (1)

Publication Number Publication Date
PL439581A1 true PL439581A1 (en) 2023-05-22

Family

ID=86396319

Family Applications (1)

Application Number Title Priority Date Filing Date
PL439581A PL439581A1 (en) 2021-11-19 2021-11-19 Method and system of automatic continuous recalibration of cameras along with automatic video verification of the event, especially for sports games

Country Status (2)

Country Link
PL (1) PL439581A1 (en)
WO (1) WO2023089381A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10143907B2 (en) * 2015-12-09 2018-12-04 Gregoire Gentil Planar solutions to object-tracking problems
WO2017103674A1 (en) * 2015-12-17 2017-06-22 Infinity Cube Ltd. System and method for mobile feedback generation using video processing and object tracking
US11842572B2 (en) * 2018-06-21 2023-12-12 Baseline Vision Ltd. Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation
US11763467B2 (en) * 2018-09-28 2023-09-19 Intel Corporation Multi-cam ball location method and apparatus

Also Published As

Publication number Publication date
WO2023089381A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US10762642B2 (en) Systems and methods for indicating user performance in launching a basketball toward a basketball hoop
US9448067B2 (en) System and method for photographing moving subject by means of multiple cameras, and acquiring actual movement trajectory of subject based on photographed images
US9036864B2 (en) Ball trajectory and bounce position detection
US7885784B2 (en) Object-tracking and situation-analysis system
US20130120581A1 (en) Apparatus, method and system
US20070296815A1 (en) Image-Based Movement Tracking
KR102205639B1 (en) Golf ball tracking system
CN108156450A (en) For the method for calibration camera, calibrator (-ter) unit, calibration system and machine readable storage medium
US9589332B2 (en) Camera movement correction apparatus, method and system
US11257282B2 (en) Methods and apparatus to detect collision of a virtual camera with objects in three-dimensional volumetric model
RU2606583C2 (en) Method and apparatus for determining position of sporting projectile within scene
CN105850109A (en) Information processing device, recording medium, and information processing method
JP7246005B2 (en) Mobile tracking device and mobile tracking method
PL439581A1 (en) Method and system of automatic continuous recalibration of cameras along with automatic video verification of the event, especially for sports games
EP3782372A1 (en) A method and apparatus for user interaction with a video stream
JP6533073B2 (en) Ball individual position discrimination device
GB2570472A (en) Sporting display device and method
EP3836012B1 (en) A device, computer program and method for determining handball performed by a player
KR101019782B1 (en) Sensing processing device and method for moving object, and virtual golf simulation device using the same
KR20210026483A (en) Method for detecting golf ball hitting and golf swing motion analysis apparatus using the same
KR101905848B1 (en) Measuring device and measuring method for golf club and golf ball and computer readable recording medium having program the same
KR102256260B1 (en) Smart camera sensor for screen golf
JP7429887B2 (en) Ball game video analysis device, ball game video analysis method, and computer program
JP7274307B2 (en) Program video production device, camera model learning device, and programs thereof
US20200222758A1 (en) Detection Systems and Methods