KR102458938B1

KR102458938B1 - Method for tracking sports participants, device for tracking sports participants, and system for tracking sports participants

Info

Publication number: KR102458938B1
Application number: KR1020200153137A
Authority: KR
Inventors: 윤진성; 이종현
Original assignee: 주식회사 핏투게더
Priority date: 2020-11-16
Filing date: 2020-11-16
Publication date: 2022-10-25
Also published as: KR20220066759A

Abstract

본 출원의 일 실시예에 따른 멀티-모드 추적 방법은, 복수의 스포스 참가자의 위치된 각각의 복수의 측위 센서들로부터 센서 시그널을 수신함-상기 센서 시그널은 참가자 식별자(idenfier) 및 위치 데이터를 포함함-; 플레이필드 주변에 위치된 카메라로부터 캡처된 스포츠 이미지를 수신함-상기 스포츠 이미지는 상기 플레이필드 내의 복수의 스포츠 참가자들 중 적어도 타겟 참가자를 포함함-; 상기 스포츠 이미지로부터, 상기 타겟 참가자와 관련된 오클루전을 검출함; 상기 오클루전과 관련된 관심 영역에 위치되고 있는 특정 스포츠 선수들에 장착된 특정 측위 센서들로부터 수신된 상기 센서 시그널에 기초하여 상기 오클루전의 심각도를 결정함; 상기 오클루전의 심각도가 임계 값보다 큼이 검출되지 않으면, 상기 스포츠 이미지 내의 상기 타겟 참가자와 관련된 픽셀 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 및 상기 오클루전의 심각도가 임계 값보다 큼이 검출되면, 상기 타겟 참가자를 나타내는 상기 참가자 식별자를 갖는 상기 센서 시그널의 상기 위치 데이터에 기초하여 상기 스포츠 참가자의 위치를 결정함;을 포함한다.A multi-mode tracking method according to an embodiment of the present application includes receiving a sensor signal from each of a plurality of positioning sensors positioned of a plurality of force participants, the sensor signal including a participant identifier and location data -; receive a sports image captured from a camera located around the playfield, the sports image comprising at least a target participant of a plurality of sports participants within the playfield; detecting, from the sports image, occlusion associated with the target participant; determining the severity of the occlusion based on the sensor signal received from specific positioning sensors mounted on specific sports players located in the region of interest associated with the occlusion; if it is not detected that the severity of the occlusion is greater than a threshold value, determining a location of the sports participant based on a pixel location associated with the target participant in the sports image; and if it is detected that the severity of the occlusion is greater than a threshold value, determining the location of the sports participant based on the location data of the sensor signal having the participant identifier representing the target participant.

Description

METHOD FOR TRACKING SPORTS PARTICIPANTS, DEVICE FOR TRACKING SPORTS PARTICIPANTS, AND SYSTEM FOR TRACKING SPORTS PARTICIPANTS

본 출원은 선수 위치를 추적하는 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템에 관한 것이다.The present application relates to a player tracking method for tracking a player position, a player tracking device, and a player tracking system.

영상 분석 기술과 측위 기술의 향상으로 인해 스포츠 경기 중 선수의 움직임이나 동작 등을 분석하는 것이 가능해지면서 최근 스포츠 선수의 퍼포먼스를 정량화하는 스포츠 분석 기술 분야가 주목받고 있다. 스포츠 선수의 퍼먼스 정량화에 있어 선수 위치의 분석은 가장 기본이 되는 요소로 여겨지고 있다. With the improvement of image analysis technology and positioning technology, it is possible to analyze the movement or motion of an athlete during a sports game, and the field of sports analysis technology that quantifies the performance of a sports player is attracting attention recently. Analysis of player position is considered the most basic factor in quantifying the performance of sports players.

스포츠 선수의 위치를 산출하는 대표적인 방법으로는 카메라를 통해 촬영된 이미지로부터 경기장에서 선수가 위치한 지점을 계산하는 방식과 GPS나 LPS와 같은 측위 기구들을 이용하는 방식이 알려져 있다. As a representative method of calculating the position of a sports player, a method of calculating the position of the athlete from an image captured by a camera and a method of using positioning devices such as GPS or LPS are known.

그러나 영상을 이용한 측위 방식은 영상 내에서 추적하고자 하는 선수가 다른 선수에 가려지는 등의 폐색 상황에 대응하지 못하는 점을 비롯하여 카메라 기술에 따른 여러 제약을 안고 있으며, GPS 모듈과 같은 측위 기구를 이용한 측위 방식 역시 위성의 위치에 따른 측위 정확도 저하나 신호의 지연/반사 등으로 인한 근본적인 문제점을 가지고 있어 높은 정밀도가 요구되는 상황에서는 각각 한계점을 가지고 있는 상황이다.However, the positioning method using the video has several limitations depending on the camera technology, including the fact that the player to be tracked in the video cannot cope with the occlusion situation such as being obscured by other players. The method also has fundamental problems due to a decrease in positioning accuracy according to the position of the satellite or delay/reflection of signals, and thus each has limitations in situations requiring high precision.

본 발명의 일 과제는, 선수 위치 추적의 정확도가 개선된 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템을 제공하는 것이다. One object of the present invention is to provide a player tracking method, player tracking device, and player tracking system with improved accuracy of player location tracking.

본 출원에 개시된 선수 추적 방법은, 복수의 스포스 참가자의 위치된 각각의 복수의 측위 센서들로부터 센서 시그널을 수신함-상기 센서 시그널은 참가자 식별자(idenfier) 및 위치 데이터를 포함함-; 플레이필드 주변에 위치된 카메라로부터 캡처된 스포츠 이미지를 수신함- 상기 스포츠 이미지는 상기 플레이필드 내의 복수의 스포츠 참가자들 중 적어도 타겟 참가자를 포함함-; 상기 스포츠 이미지로부터, 상기 타겟 참가자와 관련된 오클루전을 검출함; 상기 오클루전과 관련된 관심 영역에 위치되고 있는 특정 스포츠 선수들에 장착된 특정 측위 센서들로부터 수신된 상기 센서 시그널에 기초하여 상기 오클루전의 심각도를 결정함; 상기 오클루전의 심각도가 임계 값보다 큼이 검출되지 않으면, 상기 스포츠 이미지 내의 상기 타겟 참가자와 관련된 픽셀 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 및 상기 오클루전의 심각도가 임계 값보다 큼이 검출되면, 상기 타겟 참가자를 나타내는 상기 참가자 식별자를 갖는 상기 센서 시그널의 상기 위치 데이터에 기초하여 상기 스포츠 참가자의 위치를 결정함;을 포함할 수 있다.A player tracking method disclosed herein includes receiving a sensor signal from each of a plurality of location sensors positioned of a plurality of sport participants, the sensor signal comprising a participant identifier and location data; receive a sports image captured from a camera positioned around the playfield, the sports image comprising at least a target participant of a plurality of sports participants within the playfield; detecting, from the sports image, occlusion associated with the target participant; determining the severity of the occlusion based on the sensor signal received from specific positioning sensors mounted on specific sports players located in the region of interest associated with the occlusion; if it is not detected that the severity of the occlusion is greater than a threshold value, determining a location of the sports participant based on a pixel location associated with the target participant in the sports image; and if it is detected that the severity of the occlusion is greater than a threshold value, determining the location of the sports participant based on the location data of the sensor signal having the participant identifier representing the target participant.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변에 위치된 카메라로부터 캡처되며 상기 플레이필드 내에 스포츠 참가자를 포함하는 스포츠 이미지로부터, 제1 좌표계에 의해 정의된 스포츠 참가자의 제1 위치를 나타내는 이미지 기반 위치 데이터를 획득함- 상기 이미지 기반 위치 데이터는 상기 스포츠 이미지 내의 상기 스포츠 참가자와 관련된 픽셀 위치에 기초하여 획득됨-; 상기 스포츠 이미지로부터 상기 스포츠 참가자와 관련된 오클루전 이벤트를 검출함; 상기 검출의 결과에 기초하여 상기 이미지 기반 위치 데이터를 검증함; 상기 스포츠 참가자에 위치된 측위 센서로부터 획득된 센서 시그널에 기초하여, 제2 좌표계에 의해 정의된 스포츠 참가자의 제2 위치를 나타내는 측위 센서 기반 위치를 획득함; 상기 센서 시그널 또는 상기 제2 위치에 기초하여, 상기 제2 좌표계에 의해 정의된 상기 스포츠 참가자의 속도를 나타내는 측위 센서 기반 속도를 획득함; 상기 제2 좌표계의 위치를 상기 제1 좌표계로 변환하는 신경망을 준비함- 상기 신경망은 상기 제2 좌표계에 따른 위치 및 속도를 수신하기 위한 입력 레이어, 위치 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함함-; 학습 세트를 준비함- 상기 학습 세트는 유효하다고 판단된 상기 이미지 기반 위치 데이터 및 유효하다고 판단된 상기 이미지 기반 위치 데이터에 대응하는 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터를 포함함-; 및 상기 학습 세트를 이용하여, 상기 입력 레이어에 상기 학습 세트의 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터를 입력하며, 입력된 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터에 대응하는 상기 이미지 기반 위치 데이터와 상기 결과의 상기 위치 값의 차이에 기초하여 상기 노드들의 가중치를 조절함으로써, 상기 신경망을 학습함;을 포함할 수 있다. A player tracking method disclosed in this application is an image-based location representing a first location of a sports participant defined by a first coordinate system, from a sports image captured from a camera positioned around a playfield and comprising the sports participant within the playfield. obtain data, wherein the image-based location data is obtained based on a pixel location associated with the sports participant in the sports image; detecting an occlusion event associated with the sports participant from the sports image; verifying the image-based location data based on a result of the detection; obtaining a positioning sensor-based position indicating a second position of the sports participant defined by a second coordinate system based on a sensor signal obtained from a positioning sensor located in the sports participant; obtaining, based on the sensor signal or the second position, a positioning sensor based velocity indicative of the velocity of the sports participant defined by the second coordinate system; Prepare a neural network that transforms the position of the second coordinate system into the first coordinate system—The neural network includes an input layer for receiving the position and velocity according to the second coordinate system, an output layer for outputting a result representing a position value, and the including a hidden layer having a plurality of nodes connecting the input layer and the output layer; preparing a training set, wherein the training set includes the positioning sensor-based position data and the positioning sensor-based velocity data corresponding to the image-based position data determined to be valid and the image-based position data determined to be valid; and inputting the positioning sensor-based position data and the positioning sensor-based velocity data of the learning set to the input layer by using the training set, and corresponding to the input positioning sensor-based position data and the positioning sensor-based velocity data and learning the neural network by adjusting the weights of the nodes based on the difference between the image-based position data and the result of the position value.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 수신함- 상기 스포츠 이미지는 상기 플레이필드 내의 스포츠 참가자를 포함함-; 상기 스포츠 참가자에 장착된 측위 센서로부터 센서 시그널을 수신함; 상기 스포츠 이미지로부터, 상기 스포츠 참가자와 관련된 오클루전 이벤트를 검출함; 상기 오클루전 이벤트가 검출되지 않으면, 제1 좌표계로 정의된 위치를 나타내는 이미지 기반 위치 데이터에 기초하여 스포츠 참가자의 위치를 결정하며; 상기 오클루전 이벤트가 검출되면: 상기 센서 시그널에 기초하여 제2 좌표계로 정의된 위치를 나타내는 측위 센서 기반 위치를 획득함; 상기 센서 시그널 또는 상기 측위 센서 기반 위치에 기초하여 상기 제2 좌표계로 정의된 속도를 나타내는 측위 센서 기반 속도를 획득함; 및 상기 제2 좌표계의 위치를 상기 제1 좌표계의 위치로 변환하기 위한 신경망을 사용하여 상기 측위 센서 기반 위치 및 상기 측위 센서 기반 속도로부터 상기 제1 좌표계로 정의된 상기 스포츠 참가자의 위치를 결정하며, 상기 신경망은, 상기 제2 좌표계에 따른 위치 및 속도를 수신하기 위한 입력 레이어, 상기 제1 좌표계에 따른 위치 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함하며, 상기 제1 좌표계에 따른 위치로 라벨링된 상기 제2 좌표계에 따른 위치와 속도를 사용하여 상기 복수의 노드들의 가중치를 조절함으로써 훈련될 수 있다. A player tracking method disclosed in the present application comprises: receiving a sports image captured by a camera positioned around a playfield, the sports image comprising a sports participant in the playfield; receiving a sensor signal from a positioning sensor mounted on the sports participant; detecting, from the sports image, an occlusion event associated with the sports participant; if the occlusion event is not detected, determine a location of the sports participant based on image-based location data representing a location defined by a first coordinate system; when the occlusion event is detected: acquiring a positioning sensor-based position indicating a position defined by a second coordinate system based on the sensor signal; obtaining a positioning sensor-based velocity indicative of a velocity defined in the second coordinate system based on the sensor signal or the positioning sensor-based position; and determining the position of the sports participant defined in the first coordinate system from the positioning sensor-based position and the positioning sensor-based velocity using a neural network for transforming a position in the second coordinate system into a position in the first coordinate system, The neural network includes an input layer for receiving the position and velocity according to the second coordinate system, an output layer for outputting a result indicating a position value according to the first coordinate system, and a plurality of connections connecting the input layer and the output layer. It includes a hidden layer having nodes, and can be trained by adjusting the weights of the plurality of nodes using positions and velocities according to the second coordinate system labeled with positions according to the first coordinate system.

본 출원에 개시된 선수 추적 방법은, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 측위 센서 기반 위치를 획득함; 이전의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화에 기초하여 상기 측위 센서 기반 위치를 검증함; 상기 측위 센서 기반 위치가 유효하면, 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 상기 측위 센서 기반 위치가 유효하지 않으면: 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 플레이필드와 동일한 높이를 갖는 기준 평면에 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀을 투사함으로써 획득된 이미지 기반 위치의 유효성을 예측함- 상기 예측하는 것은, 상기 스포츠 참가자와 관련된 오클루전을 검출하는 것, 상기 스포츠 참가자와 관련된 수직적인 움직임을 검출하는 것 및 상기 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화를 계산하는 것 중 적어도 하나를 포함함-; 상기 이미지 기반 위치가 유효한 것으로 예측되면: 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 이미지 기반 위치를 획득하며, 상기 이미지 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하며; 상기 이미지 기반 위치가 유효하지 않은 것으로 예측되면, 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.A player tracking method disclosed in the present application includes: receiving a sensor signal from a positioning sensor located in a sports participant; acquiring a positioning sensor-based position based on the sensor signal; verifying the location sensor based location based on a change in the location sensor based location from a previous location sensor based location; if the location sensor based location is valid, determine the location of the sports participant based on the location sensor based location; if the positioning sensor based location is not valid: obtain a sports image taken from a camera located around the playfield, the sports image comprising the sports participant in the playfield; Predict the validity of an image-based position obtained by projecting a pixel of the sports participant in the sports image onto a reference plane having the same height as the playfield - the predicting includes detecting occlusion associated with the sports participant at least one of detecting vertical movement relative to the sports participant and calculating a change in the image-based position from the previous image-based position; if the image-based location is predicted to be valid: obtain the image-based location based on a pixel location of the sports participant in the sports image, and determine the location of the sports participant based on the image-based location; determining the location of the sports participant based on the positioning sensor based location if the image-based location is predicted to be invalid.

본 출원에 개시된 선수 추적 방법은, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함;플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 측위 센서 기반 위치와 상기 이미지 기반 위치 간의 이격도 지수(disparity index)를 계산함- 상기 이격도 지수는 상기 측위 센서 기반 위치와 상기 이미지 기반 위치의 차이로부터 획득됨-; 상기 이격도 지수가 미리 결정된 제1 임계값보다 작으면, 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 어느 하나인 제1 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 상기 이격도 지수가 미리 결정된 제2 임계값보다 크면: 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 어느 하나와 관련된 제1 신뢰도 지수를 획득함; 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 다른 하나와 관련된 제2 신뢰도 지수를 획득함; 상기 제1 신뢰도 지수가 상기 제2 신뢰도 지수보다 크면, 상기 제1 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하며; 상기 제1 신뢰도 지수가 상기 제2 신뢰도 지수보다 작으면, 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 다른 하나인 제2 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.A player tracking method disclosed in the present application includes: receiving a sensor signal from a positioning sensor located in a sports participant; obtaining a positioning sensor-based position of the sports participant based on the sensor signal; acquiring a sports image captured by a camera located around a playfield, the sports image including the sports participant in the playfield; obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image; calculating a disparity index between the location sensor based location and the image based location, the disparity index being obtained from a difference between the location sensor based location and the image based location; if the disparity index is less than a first predetermined threshold, determining the location of the sports participant based on a first location that is any one of the positioning sensor-based location and the image-based location; if the separation degree index is greater than a second predetermined threshold: obtaining a first reliability index associated with any one of the positioning sensor-based location and the image-based location; obtaining a second reliability index associated with the other of the positioning sensor based location and the image based location; if the first reliability index is greater than the second reliability index, determine the location of the sports participant based on the first location; When the first reliability index is less than the second reliability index, the method may include determining the location of the sports participant based on a second location that is the other one of the positioning sensor-based location and the image-based location.

본 출원에 개시된 선수 추적 방법은, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 상기 측위 센서 기반 위치의 신뢰도와 관련한 제1 신뢰도 정보를 획득함; 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 이미지 기반 위치의 신뢰도와 관련된 제2 신뢰도 정보를 획득함- 상기 이미지 기반 위치의 신뢰도는, 상기 스포츠 참가자와 관련된 오클루전, 상기 스포츠 참가자와 관련된 수직적인 움직임 및 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화 중 적어도 하나와 관련됨-; 상기 제1 신뢰도 정보 및 상기 제2 신뢰도 정보에 기초하여 가중치를 계산함- 상기 가중치는 센서 기반 가중치 및 이미지 기반 가중치를 포함하며; 그리고A player tracking method disclosed in the present application includes: receiving a sensor signal from a positioning sensor located in a sports participant; obtaining a positioning sensor-based position of the sports participant based on the sensor signal; obtaining first reliability information related to the reliability of the positioning sensor-based location; acquiring a sports image taken by a camera located around the playfield, the sports image including the sports participant in the playfield; obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image; obtain second confidence information related to the confidence level of the image-based position - the confidence level of the image-based position may include: occlusion associated with the sports participant; associated with at least one of a change in base position; calculate a weight based on the first reliability information and the second reliability information, wherein the weight includes a sensor-based weight and an image-based weight; and

상기 스포츠 참가자의 위치를 계산함-상기 스포츠 참가자의 위치는 상기 센서 기반 가중치를 고려한 상기 측위 센서 기반 위치 및 상기 이미지 기반 가중치를 고려한 상기 이미지 기반 위치로부터 획득되는 것을 포함할 수 있다.calculating the position of the sports participant - the position of the sports participant may include obtaining from the positioning sensor-based position taking the sensor-based weighting into account and the image-based position taking the image-based weighting into account.

본 출원에 개시된 선수 추적 방법은, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 플레이필드에 대응하는 신뢰도 맵을 준비함- 상기 신뢰도 맵은 상기 측위 센서 기반 위치의 신뢰도와 관련된 제1 신뢰도 정보를 포함하는 신뢰도 정보가 있는 복수의 영역을 포함함-; 상기 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 싱기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자가 점유하고 있는 특정 영역을 결정함; 상기 특정 영역의 상기 제1 신뢰도 정보에 따라 제1 가중치 및 제2 가중치를 결정함; 및 상기 제1 가중치 및 상기 제2 가중치를 고려하여 계산된 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치의 가중 평균에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.A player tracking method disclosed in the present application includes: receiving a sensor signal from a positioning sensor located in a sports participant; obtaining a positioning sensor-based position of the sports participant based on the sensor signal; preparing a confidence map corresponding to the playfield, wherein the confidence map includes a plurality of regions with reliability information including first reliability information related to the reliability of the positioning sensor-based location; acquiring a sports image taken by a camera located around the playfield, the sports image including the sports participant in the playfield; obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image; determining a specific area occupied by the sports participant based on the positioning sensor based location; determining a first weight and a second weight according to the first reliability information of the specific region; and determining the position of the sports participant based on a weighted average of the positioning sensor-based position and the image-based position calculated in consideration of the first weight and the second weight.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-; 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함; 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함; 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함; 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 유효 이미지를 선택함; 및A player tracking method disclosed in the present application receives a plurality of sports images from a plurality of cameras installed at different locations around a playfield, each of the plurality of sports images including the playfield and at least a portion of the sports participant ; detecting a target participant from the plurality of sports images; selecting at least one candidate image from the plurality of sports images according to the detection result of the target participant; detecting whether there is occlusion associated with the target participant from the at least one candidate image; selecting at least one valid image from the at least one candidate image according to a result of the occlusion detection; and

상기 적어도 하나의 유효 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함할 수 있다.determining the location of the target participant based on a pixel location corresponding to the target participant in the at least one valid image.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-; 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함; 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함; 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함; 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 타겟 이미지를 선택함; 상기 적어도 하나의 후보 이미지 모두에 상기 오클루전이 검출되면, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가렸는지 혹은 상기 다른 스포츠 참가자에 의해 가려졌는지 여부를 결정하고, 상기 결정에 따라 상기 적어도 하나의 후보 이미지로부터 상기 타겟 이미지를 선택하며; 그리고 상기 적어도 하나의 타겟 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함할 수 있다.A player tracking method disclosed in the present application receives a plurality of sports images from a plurality of cameras installed at different locations around a playfield, each of the plurality of sports images including the playfield and at least a portion of the sports participant ; detecting a target participant from the plurality of sports images; selecting at least one candidate image from the plurality of sports images according to the detection result of the target participant; detecting whether there is occlusion associated with the target participant from the at least one candidate image; selecting at least one target image from the at least one candidate image according to a result of the occlusion detection; If the occlusion is detected in all of the at least one candidate image, it is determined whether the sports participant has occluded another sports participant in the at least one candidate image or is obscured by the other sports participant, according to the determination select the target image from the at least one candidate image; and determining the location of the target participant based on a pixel location corresponding to the target participant in the at least one target image.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변에 위치된 복수의 카메라들의 위치 및 포즈를 포함하는 카메라 배열 정보를 획득함; 복수의 스포츠 참가자에 위치된 복수의 측위 센서들로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 복수의 스포츠 참가자의 위치를 획득함; 상기 복수의 카메라에 대응하는 복수의 고정 포인트 및 상기 복수의 스포츠 참가자의 대응하는 복수의 무빙 포인트를 포함하는 가상 플레이필드를 생성함- 상기 가상 플레이필드 내의 복수의 고정 포인트의 위치는 상기 카메라 배열 정도에 기초하여 결정되며, 상기 가상 플레이필드 내의 복수의 무빙 포인트의 위치는 상기 복수의 스포츠 참가자의 위치에 기초하여 결정됨-; 상기 복수의 고정 포인트 및 상기 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 상기 복수의 카메라와 상기 복수의 스포츠 참가자의 관련성을 계산함; 상기 복수의 고정 포인트로부터 상기 복수의 무빙 포인트로 연장되는 복수의 가상 선들 간의 각도 및 상기 복수의 무빙 포인트들 간의 위치에 기초하여 상기 복수의 카메라에서 상기 복수의 스포츠 참가자들의 오클루전을 예측함; 및 상기 관련성 및 상기 오클루전 예측에 기초하여 상기 복수의 카메라와 상기 스포츠 참가자 간의 매칭 테이블을 생성하는 것을 포함할 수 있다.A player tracking method disclosed in the present application includes: acquiring camera arrangement information including positions and poses of a plurality of cameras located around a playfield; receiving a sensor signal from a plurality of location sensors located at a plurality of sports participants; obtaining locations of the plurality of sports participants based on the sensor signals; create a virtual playfield comprising a plurality of fixed points corresponding to the plurality of cameras and a plurality of corresponding moving points of the plurality of sports participants - the positions of the plurality of fixed points within the virtual playfield are the degree of arrangement of the cameras is determined based on , and the positions of the plurality of moving points in the virtual playfield are determined based on the positions of the plurality of sports participants; calculating associations of the plurality of cameras and the plurality of sports participants based on relative positions between the plurality of fixed points and the plurality of moving points; predicting occlusion of the plurality of sports participants in the plurality of cameras based on angles between a plurality of virtual lines extending from the plurality of fixed points to the plurality of moving points and positions between the plurality of moving points; and generating a matching table between the plurality of cameras and the sports participant based on the association and the occlusion prediction.

본 명세서의 실시예에 의하면, 이미지 데이터와 측위 센서 데이터를 퓨전하여 선수 위치를 산출함으로써 보다 정밀하게 선수 위치를 추적할 수 있다. According to the embodiment of the present specification, the player position can be more precisely tracked by fusion of the image data and the positioning sensor data to calculate the player position.

본 명세서의 실시예에 의하면, 복수의 카메라를 이용하여 추적하고자 하는 선수의 위치에 최적화된 이미지 데이터를 선별하여 이로부터 해당 선수의 위치를 산출함으로써 보다 정밀하게 선수 위치를 추적할 수 있다. According to the embodiment of the present specification, by selecting image data optimized for the position of the player to be tracked using a plurality of cameras and calculating the position of the player from the selected image data, it is possible to track the position of the player more precisely.

도 1은 종래의 측위 방식의 일 예를 도시한 도면이다.
도 2는 종래의 측위 방식의 다른 예를 도시한 도면이다.
도 3은 본 출원의 일 실시예에 따른 선수 추적 시스템에 관한 개략도이다.
도 4는 본 출원에 개시된 선수 추적 서버(1000)의 블록도이다.
도 5 내지 도 8은 본 출원의 일 실시예에 따른 상기 선수 추적 서버의 이미지 데이터 내의 복수의 선수들 간의 오클루전 이벤트 발생 여부를 판단하거나 검출하는 방법에 대한 예시적인 도면이다.
도 9는 본 출원에 개시된 이미지 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.
도 10은 본 출원에 개시된 이미지 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.
도 11은 본 출원에 개시된 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.
도 12는 본 출원에 개시된 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.
도 13는 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하기 위한 인공신경망을 학습시키는 것을 도시한 도면이다.
도 14는 학습된 인공신경망을 이용하여 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관런된 제2 좌표계의 위치로 변환하는 것을 도시한 도면이다.
도 15은 본 출원의 일 실시예에 따른 선수 추적 서버의 선수 위치를 결정하는 예시적인 방법을 도시한 도면이다.
도 16은 본 출원의 일 실시예에 따른 선수 추적 방법을 도시한 흐름도이다.
도 17은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이며, 구체적으로 도 16의 상기 S1300 단계를 세분화한 도면이다.
도 18은 본 출원의 일 실시예에 따른 좌표 변환 알고리즘과 관련된 인공신경망의 학습 과정을 도시한 흐름도이다.
도 19는 학습된 인공신경망을 이용한 좌표 변환을 이용한 선수 추적 방법을 도시한 흐름도이다.
도 20은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.
도 21은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이며, 구체적으로 도 20의 상기 S4300 단계를 세분화한 도면이다.
도 22는 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.
도 23은 본 출원의 일 실시예에 따른 제1 신뢰도 맵의 예시적인 도면이다.
도 24는 본 출원의 일 실시예에 따른 제2 신뢰도 맵의 예시적인 도면이다.
도 25는 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.
도 26은 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 활용한 선수 추적 시스템을 도식화한 개략도이다.
도 27은 본 출원의 일 실시예에 따른 유효 이미지 선택하는 예시적인 과정을 나타낸 도면이다.
도 28는 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법을 나타낸 순서도이다.
도 29은 본 출원의 일 실시예에 따른 가상 플레이필드를 도식화한 예시적인 도면이다.
도 30은 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법을 나타낸 순서도이다.
도 31는 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법에 의한 스포츠 참가자의 위치의 계산 방법을 도시한 개략도이다. 1 is a diagram illustrating an example of a conventional positioning method.
2 is a view showing another example of a conventional positioning method.
3 is a schematic diagram of a player tracking system according to an embodiment of the present application.
4 is a block diagram of the player tracking server 1000 disclosed in the present application.
5 to 8 are exemplary diagrams of a method of determining or detecting whether an occlusion event occurs between a plurality of players in the image data of the player tracking server according to an embodiment of the present application.
9 is an exemplary diagram of a method for determining the validity of a position of a player calculated from image data disclosed in the present application.
10 is an exemplary diagram of a method for determining the validity of a position of a player calculated from image data disclosed in the present application.
11 is an exemplary diagram of a method for determining the validity of a position of a player calculated from positioning sensor data disclosed in the present application.
12 is an exemplary diagram of a method for determining the validity of a position of a player calculated from positioning sensor data disclosed in the present application.
13 is a diagram illustrating training an artificial neural network for converting a position of a first coordinate system related to positioning sensor data to a position of a second coordinate system related to image data.
14 is a diagram illustrating conversion of a position of a first coordinate system related to positioning sensor data to a position of a second coordinate system related to image data using a learned artificial neural network.
15 is a diagram illustrating an exemplary method for determining a player position of a player tracking server according to an embodiment of the present application.
16 is a flowchart illustrating a player tracking method according to an embodiment of the present application.
17 is a view showing a flowchart of a player tracking method according to an embodiment of the present application, in detail, the step S1300 of FIG. 16 is subdivided.
18 is a flowchart illustrating a learning process of an artificial neural network related to a coordinate transformation algorithm according to an embodiment of the present application.
19 is a flowchart illustrating a player tracking method using coordinate transformation using a learned artificial neural network.
20 is a diagram illustrating a flowchart of a player tracking method according to an embodiment of the present application.
21 is a diagram illustrating a flowchart of a player tracking method according to an embodiment of the present application, and is a detailed diagram of the step S4300 of FIG. 20 .
22 is a diagram illustrating a flowchart of a player tracking method according to an embodiment of the present application.
23 is an exemplary diagram of a first reliability map according to an embodiment of the present application.
24 is an exemplary diagram of a second reliability map according to an embodiment of the present application.
25 is a diagram illustrating a flowchart of a player tracking method according to an embodiment of the present application.
26 is a schematic diagram schematically illustrating a player tracking system using a plurality of image capture devices according to an embodiment of the present application.
27 is a diagram illustrating an exemplary process of selecting a valid image according to an embodiment of the present application.
28 is a flowchart illustrating a player tracking method using a plurality of image capture devices according to an embodiment of the present application.
29 is an exemplary diagram schematically illustrating a virtual playfield according to an embodiment of the present application.
30 is a flowchart illustrating a player tracking method using a plurality of image capture devices according to an embodiment of the present application.
31 is a schematic diagram illustrating a method of calculating the position of a sports participant by the athlete tracking method using a plurality of image capture devices according to an embodiment of the present application.

본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.The above-mentioned objects, features and advantages of the present application will become more apparent from the following detailed description in conjunction with the accompanying drawings. However, since the present application may have various changes and may have various embodiments, specific embodiments will be exemplified in the drawings and described in detail below.

명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.Throughout the specification, like reference numerals refer to like elements in principle. In addition, components having the same function within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals, and overlapping descriptions thereof will be omitted.

본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of a known function or configuration related to the present application may unnecessarily obscure the gist of the present application, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present specification are merely identification symbols for distinguishing one component from other components.

또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes "module" and "part" for the components used in the following embodiments are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the following examples, the singular expression includes the plural expression unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.In the following embodiments, terms such as include or have means that the features or components described in the specification are present, and the possibility that one or more other features or components may be added is not excluded in advance.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, and the present invention is not necessarily limited to the illustrated bar.

어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.In cases where certain embodiments are otherwise implementable, the order of specific processes may be performed differently from the order in which they are described. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the order described.

이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.In the following embodiments, when components are connected, it includes not only cases in which components are directly connected, but also cases in which components are interposed between components and connected indirectly.

예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.For example, in the present specification, when it is said that components and the like are electrically connected, it includes not only the case where the components are directly electrically connected, but also the case where the components are interposed therebetween to be indirectly electrically connected.

본 출원에 개시된 선수 추적 방법에 따르면, 복수의 스포스 참가자의 위치된 각각의 복수의 측위 센서들로부터 센서 시그널을 수신함-상기 센서 시그널은 참가자 식별자(idenfier) 및 위치 데이터를 포함함-; 플레이필드 주변에 위치된 카메라로부터 캡처된 스포츠 이미지를 수신함- 상기 스포츠 이미지는 상기 플레이필드 내의 복수의 스포츠 참가자들 중 적어도 타겟 참가자를 포함함-; 상기 스포츠 이미지로부터, 상기 타겟 참가자와 관련된 오클루전을 검출함; 상기 오클루전과 관련된 관심 영역에 위치되고 있는 특정 스포츠 선수들에 장착된 특정 측위 센서들로부터 수신된 상기 센서 시그널에 기초하여 상기 오클루전의 심각도를 결정함; 상기 오클루전의 심각도가 임계 값보다 큼이 검출되지 않으면, 상기 스포츠 이미지 내의 상기 타겟 참가자와 관련된 픽셀 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 및 상기 오클루전의 심각도가 임계 값보다 큼이 검출되면, 상기 타겟 참가자를 나타내는 상기 참가자 식별자를 갖는 상기 센서 시그널의 상기 위치 데이터에 기초하여 상기 스포츠 참가자의 위치를 결정함;을 포함할 수 있다.According to an athlete tracking method disclosed herein, a sensor signal is received from each of a plurality of location sensors located of a plurality of force participants, the sensor signal comprising a participant identifier and location data; receive a sports image captured from a camera positioned around the playfield, the sports image comprising at least a target participant of a plurality of sports participants within the playfield; detecting, from the sports image, occlusion associated with the target participant; determining the severity of the occlusion based on the sensor signal received from specific positioning sensors mounted on specific sports players located in the region of interest associated with the occlusion; if it is not detected that the severity of the occlusion is greater than a threshold value, determining a location of the sports participant based on a pixel location associated with the target participant in the sports image; and if it is detected that the severity of the occlusion is greater than a threshold value, determining the location of the sports participant based on the location data of the sensor signal having the participant identifier representing the target participant.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 관심 영역은, 상기 오클루전에 연관되고 있는 상기 타겟 참가자에 대하여 미리 결정된 영역이며, 상기 심각도를 결정하는 것은 상기 관심 영역에 위치된 적어도 하나의 센서 시그널의 수에 기초하여 상기 오클루전의 심각도를 결정하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, the region of interest is a predetermined region with respect to the target participant being associated with the occlusion, and determining the severity comprises at least one sensor signal located in the region of interest. determining the severity of the occlusion based on the number.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 심각도를 결정하는 것은, 상기 적어도 하나의 센서 시그널의 수가 상기 임계값보다 크면, 심각한 오클루전을 나타내는 값을 상기 심각도에 할당하며, 상기 적어도 하나의 센서 시그널의 수가 상기 임계값보다 작으면, 마일드 오클루전을 나타내는 값을 상기 심각도에 할당하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, the determining of the severity includes: if the number of the at least one sensor signal is greater than the threshold value, assigning a value indicating severe occlusion to the severity, and the at least one sensor if the number of signals is less than the threshold, assigning a value indicating mild occlusion to the severity.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 심각도를 결정하는 것은, 상기 타겟 참가자와 다른 참가자에 해당하는 상기 참가자 식별자를 기초로, 상기 타겟 참가자와 적어도 하나의 스포츠 참가자 중 상기 다른 참가자가 동일한 팀에 있는지를 나타내는 팀 정보를 획득하는 것을 더 포함하며, 상기 다른 참가자는 상기 타겟 참가자를 가리거나 상기 타겟 참가자에 의해 가려질 수 있다.According to the player tracking method disclosed in the present application, the determining of the severity may include, based on the participant identifier corresponding to the target participant and the other participant, the other of the target participant and at least one sports participant is on the same team. The method further includes obtaining team information indicating whether the other participant is obscured by or obscured by the target participant.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 심각도를 결정하는 것은, 상기 타겟 참가자와 상기 다른 참가자가 동일한 팀에 해당하면, 상기 심각한 오클루전을 나타내는 값을 상기 심각도에 할당하며, 상기 타겟 참가자와 상기 다른 참가자가 상이한 팀에 해당하면, 상기 마일드 오클루전을 나타내는 값을 상기 심각도에 할당할 수 있다.According to the player tracking method disclosed in the present application, the determining of the severity includes assigning to the severity a value indicative of the serious occlusion if the target participant and the other participant belong to the same team; If the other participant corresponds to a different team, a value representing the mild occlusion may be assigned to the severity.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 팀 정보는, 상기 스포츠 이미지의 상기 타겟 참가자와 상기 다른 참가자에 대응하는 픽셀 데이터로부터 획득될 수 있다. According to the player tracking method disclosed in the present application, the team information may be obtained from pixel data corresponding to the target participant and the other participant of the sports image.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변에 위치된 카메라로부터 캡처되며 상기 플레이필드 내에 스포츠 참가자를 포함하는 스포츠 이미지로부터, 제1 좌표계에 의해 정의된 스포츠 참가자의 제1 위치를 나타내는 이미지 기반 위치 데이터를 획득함- 상기 이미지 기반 위치 데이터는 상기 스포츠 이미지 내의 상기 스포츠 참가자와 관련된 픽셀 위치에 기초하여 획득됨-; 상기 스포츠 이미지로부터 상기 스포츠 참가자와 관련된 오클루전 이벤트를 검출함; 상기 검출의 결과에 기초하여 상기 이미지 기반 위치 데이터를 검증함; 상기 스포츠 참가자에 위치된 측위 센서로부터 획득된 센서 시그널에 기초하여, 제2 좌표계에 의해 정의된 스포츠 참가자의 제2 위치를 나타내는 측위 센서 기반 위치를 획득함; 상기 센서 시그널 또는 상기 제2 위치에 기초하여, 상기 제2 좌표계에 의해 정의된 상기 스포츠 참가자의 속도를 나타내는 측위 센서 기반 속도를 획득함; 상기 제2 좌표계의 위치를 상기 제1 좌표계로 변환하는 신경망을 준비함- 상기 신경망은 상기 제2 좌표계에 따른 위치 및 속도를 수신하기 위한 입력 레이어, 위치 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함함-; 학습 세트를 준비함- 상기 학습 세트는 유효하다고 판단된 상기 이미지 기반 위치 데이터 및 유효하다고 판단된 상기 이미지 기반 위치 데이터에 대응하는 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터를 포함함-; 및 상기 학습 세트를 이용하여, 상기 입력 레이어에 상기 학습 세트의 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터를 입력하며, 입력된 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터에 대응하는 상기 이미지 기반 위치 데이터와 상기 결과의 상기 위치 값의 차이에 기초하여 상기 노드들의 가중치를 조절함으로써, 상기 신경망을 학습함;을 포함할 수 있다.According to the player tracking method disclosed in the present application, from a sports image captured from a camera positioned around a playfield and comprising a sports participant within the playfield, the image is based on an image representing a first location of a sports participant defined by a first coordinate system. obtain location data, wherein the image-based location data is obtained based on a pixel location associated with the sports participant in the sports image; detecting an occlusion event associated with the sports participant from the sports image; verifying the image-based location data based on a result of the detection; obtaining a positioning sensor-based position indicating a second position of the sports participant defined by a second coordinate system based on a sensor signal obtained from a positioning sensor located in the sports participant; obtaining, based on the sensor signal or the second position, a positioning sensor based velocity indicative of the velocity of the sports participant defined by the second coordinate system; Prepare a neural network that transforms the position of the second coordinate system into the first coordinate system—The neural network includes an input layer for receiving the position and velocity according to the second coordinate system, an output layer for outputting a result representing a position value, and the including a hidden layer having a plurality of nodes connecting the input layer and the output layer; preparing a training set, wherein the training set includes the positioning sensor-based position data and the positioning sensor-based velocity data corresponding to the image-based position data determined to be valid and the image-based position data determined to be valid; and inputting the positioning sensor-based position data and the positioning sensor-based velocity data of the learning set to the input layer by using the training set, and corresponding to the input positioning sensor-based position data and the positioning sensor-based velocity data and learning the neural network by adjusting the weights of the nodes based on the difference between the image-based position data and the result of the position value.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 검증하는 것은, 상기 오클루전 이벤트가 검출되지 않으면, 상기 이미지 기반 위치 데이터를 유효한 것으로 결정하며, 상기 오클루전 이벤트가 검출되면, 상기 이미지 기반 위치 데이터를 유효하지 않은 것으로 결정할 수 있다.According to the player tracking method disclosed in the present application, the verifying includes determining that the image-based location data is valid if the occlusion event is not detected, and if the occlusion event is detected, the image-based location data can be determined to be invalid.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 오클루전 이벤트는 상기 오클루전과 관련된 관심 영역 내의 적어도 하나의 스포츠 참가자의 적어도 하나의 센서 시그널의 수가 임계값보다 큰 것을 나타내며, 상기 관심 영역은 오클루전이 발생한 영역에 대하여 미리 결정된 영역일 수 있다.According to the player tracking method disclosed in the present application, the occlusion event indicates that the number of at least one sensor signal of at least one sports participant in the region of interest associated with the occlusion is greater than a threshold, wherein the region of interest is It may be a region predetermined with respect to the region in which the transition occurred.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 수신함- 상기 스포츠 이미지는 상기 플레이필드 내의 스포츠 참가자를 포함함-; 상기 스포츠 참가자에 장착된 측위 센서로부터 센서 시그널을 수신함; 상기 스포츠 이미지로부터, 상기 스포츠 참가자와 관련된 오클루전 이벤트를 검출함; 상기 오클루전 이벤트가 검출되지 않으면, 제1 좌표계로 정의된 위치를 나타내는 이미지 기반 위치 데이터에 기초하여 스포츠 참가자의 위치를 결정하며; 상기 오클루전 이벤트가 검출되면: 상기 센서 시그널에 기초하여 제2 좌표계로 정의된 위치를 나타내는 측위 센서 기반 위치를 획득함; 상기 센서 시그널 또는 상기 측위 센서 기반 위치에 기초하여 상기 제2 좌표계로 정의된 속도를 나타내는 측위 센서 기반 속도를 획득함; 및 상기 제2 좌표계의 위치를 상기 제1 좌표계의 위치로 변환하기 위한 신경망을 사용하여 상기 측위 센서 기반 위치 및 상기 측위 센서 기반 속도로부터 상기 제1 좌표계로 정의된 상기 스포츠 참가자의 위치를 결정하며, 상기 신경망은, 상기 제2 좌표계에 따른 위치 및 속도를 수신하기 위한 입력 레이어, 상기 제1 좌표계에 따른 위치 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함하며, 상기 제1 좌표계에 따른 위치로 라벨링된 상기 제2 좌표계에 따른 위치와 속도를 사용하여 상기 복수의 노드들의 가중치를 조절함으로써 훈련될 수 있다.According to a player tracking method disclosed in the present application, a sports image captured by a camera positioned around a playfield is received, wherein the sports image includes a sports participant in the playfield; receiving a sensor signal from a positioning sensor mounted on the sports participant; detecting, from the sports image, an occlusion event associated with the sports participant; if the occlusion event is not detected, determine a location of the sports participant based on image-based location data representing a location defined by a first coordinate system; when the occlusion event is detected: acquiring a positioning sensor-based position indicating a position defined by a second coordinate system based on the sensor signal; obtaining a positioning sensor-based velocity indicative of a velocity defined in the second coordinate system based on the sensor signal or the positioning sensor-based position; and determining the position of the sports participant defined in the first coordinate system from the positioning sensor-based position and the positioning sensor-based velocity using a neural network for transforming a position in the second coordinate system into a position in the first coordinate system, The neural network includes an input layer for receiving the position and velocity according to the second coordinate system, an output layer for outputting a result indicating a position value according to the first coordinate system, and a plurality of connections connecting the input layer and the output layer. It includes a hidden layer having nodes, and can be trained by adjusting the weights of the plurality of nodes using positions and velocities according to the second coordinate system labeled with positions according to the first coordinate system.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 측위 센서 기반 위치를 획득함; 이전의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화에 기초하여 상기 측위 센서 기반 위치를 검증함; 상기 측위 센서 기반 위치가 유효하면, 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 상기 측위 센서 기반 위치가 유효하지 않으면: 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 플레이필드와 동일한 높이를 갖는 기준 평면에 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀을 투사함으로써 획득된 이미지 기반 위치의 유효성을 예측함- 상기 예측하는 것은, 상기 스포츠 참가자와 관련된 오클루전을 검출하는 것, 상기 스포츠 참가자와 관련된 수직적인 움직임을 검출하는 것 및 상기 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화를 계산하는 것 중 적어도 하나를 포함함-; 상기 이미지 기반 위치가 유효한 것으로 예측되면: 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 이미지 기반 위치를 획득하며, 상기 이미지 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하며; 상기 이미지 기반 위치가 유효하지 않은 것으로 예측되면, 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.According to the athlete tracking method disclosed in the present application, a sensor signal is received from a positioning sensor located in a sports participant; acquiring a positioning sensor-based position based on the sensor signal; verifying the location sensor based location based on a change in the location sensor based location from a previous location sensor based location; if the location sensor based location is valid, determine the location of the sports participant based on the location sensor based location; if the positioning sensor based location is not valid: obtain a sports image taken from a camera located around the playfield, the sports image comprising the sports participant in the playfield; Predict the validity of an image-based position obtained by projecting a pixel of the sports participant in the sports image onto a reference plane having the same height as the playfield - the predicting includes detecting occlusion associated with the sports participant at least one of detecting vertical movement relative to the sports participant and calculating a change in the image-based position from the previous image-based position; if the image-based location is predicted to be valid: obtain the image-based location based on a pixel location of the sports participant in the sports image, and determine the location of the sports participant based on the image-based location; determining the location of the sports participant based on the positioning sensor based location if the image-based location is predicted to be invalid.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치를 검증하는 것은, 이전의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화가 미리 결정된 임계값보다 초과하는 경우 상기 측위 센서 기반 위치가 유효하지 않다고 판단하며, 이전의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화가 미리 결정된 임계값보다 미만인 경우 상기 측위 센서 기반 위치가 유효하다고 판단할 수 있다.According to the player tracking method disclosed in the present application, verifying the positioning sensor-based position is that when the change in the positioning sensor-based position from a previous positioning sensor-based position exceeds a predetermined threshold, the positioning sensor-based position is It is determined that it is not valid, and when the change of the positioning sensor-based position from the previous positioning sensor-based position is less than a predetermined threshold value, it may be determined that the positioning sensor-based position is valid.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치를 검증하는 것은, 상기 센서 시그널에 포함된 센서 시그널의 신뢰도에 대한 정보를 더 고려하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, verifying the positioning sensor-based position may include further considering information on reliability of a sensor signal included in the sensor signal.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 센서 시그널에 포함된 센서 시그널의 신뢰도에 대한 정보는 DoP, SNR 중 적어도 하나 이상을 포함할 수 있다.According to the player tracking method disclosed in the present application, the information on the reliability of the sensor signal included in the sensor signal may include at least one of DoP and SNR.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 스포츠 참가자와 관련된 수직적인 움직임은, 상기 스포츠 참가자가 착용한 관성 센서로부터 획득된 상기 기준 평면의 수직적인 방향으로의 상기 스포츠 참가자의 움직임에 기초하여 검출될 수 있다.According to the athlete tracking method disclosed in the present application, the vertical movement associated with the sports participant is to be detected based on the movement of the sports participant in the vertical direction of the reference plane obtained from an inertial sensor worn by the sports participant. can

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함-상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 측위 센서 기반 위치와 상기 이미지 기반 위치 간의 이격도 지수(disparity index)를 계산함- 상기 이격도 지수는 상기 측위 센서 기반 위치와 상기 이미지 기반 위치의 차이로부터 획득됨-; 상기 이격도 지수가 미리 결정된 제1 임계값보다 작으면, 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 어느 하나인 제1 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 상기 이격도 지수가 미리 결정된 제2 임계값보다 크면: 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 어느 하나와 관련된 제1 신뢰도 지수를 획득함; 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 다른 하나와 관련된 제2 신뢰도 지수를 획득함; 상기 제1 신뢰도 지수가 상기 제2 신뢰도 지수보다 크면, 상기 제1 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하며; 상기 제1 신뢰도 지수가 상기 제2 신뢰도 지수보다 작으면, 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 다른 하나인 제2 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.According to the athlete tracking method disclosed in the present application, a sensor signal is received from a positioning sensor located in a sports participant; obtaining a positioning sensor-based position of the sports participant based on the sensor signal; acquiring a sports image taken by a camera located around the playfield, the sports image comprising the sports participant in the playfield; obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image; calculating a disparity index between the location sensor based location and the image based location, the disparity index being obtained from a difference between the location sensor based location and the image based location; if the disparity index is less than a first predetermined threshold, determining the location of the sports participant based on a first location that is any one of the positioning sensor-based location and the image-based location; if the separation degree index is greater than a second predetermined threshold: obtaining a first reliability index associated with any one of the positioning sensor-based location and the image-based location; obtaining a second reliability index associated with the other of the positioning sensor based location and the image based location; if the first reliability index is greater than the second reliability index, determine the location of the sports participant based on the first location; When the first reliability index is less than the second reliability index, the method may include determining the location of the sports participant based on a second location that is the other one of the positioning sensor-based location and the image-based location.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 상기 측위 센서 기반 위치의 신뢰도와 관련한 제1 신뢰도 정보를 획득함;플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 싱기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 이미지 기반 위치의 신뢰도와 관련된 제2 신뢰도 정보를 획득함- 상기 이미지 기반 위치의 신뢰도는, 상기 스포츠 참가자와 관련된 오클루전, 상기 스포츠 참가자와 관련된 수직적인 움직임 및 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화 중 적어도 하나와 관련됨-; 상기 제1 신뢰도 정보 및 상기 제2 신뢰도 정보에 기초하여 가중치를 계산함- 상기 가중치는 센서 기반 가중치 및 이미지 기반 가중치를 포함하며; 그리고 상기 스포츠 참가자의 위치를 계산함-상기 스포츠 참가자의 위치는 상기 센서 기반 가중치를 고려한 상기 측위 센서 기반 위치 및 상기 이미지 기반 가중치를 고려한 상기 이미지 기반 위치로부터 획득되는 것을 포함할 수 있다.According to the athlete tracking method disclosed in the present application, a sensor signal is received from a positioning sensor located in a sports participant; obtaining a positioning sensor-based position of the sports participant based on the sensor signal; acquiring first reliability information related to the reliability of the positioning sensor-based position; acquiring a sports image captured by a camera located around a playfield, the sports image including the sports participant in the playfield; obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image; obtain second confidence information related to the confidence level of the image-based position - the confidence level of the image-based position may include: occlusion associated with the sports participant; associated with at least one of a change in base position; calculate a weight based on the first reliability information and the second reliability information, wherein the weight includes a sensor-based weight and an image-based weight; and calculating the position of the sports participant - the position of the sports participant being obtained from the positioning sensor-based position in consideration of the sensor-based weight and the image-based position in consideration of the image-based weight.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 상기 측위 센서 기반 위치의 신뢰도와 관련한 제1 신뢰도 정보를 획득함; 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 이미지 기반 위치의 신뢰도와 관련된 제2 신뢰도 정보를 획득함- 상기 이미지 기반 위치의 신뢰도는, 상기 스포츠 참가자와 관련된 오클루전, 상기 스포츠 참가자와 관련된 수직적인 움직임 및 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화 중 적어도 하나와 관련됨-; 상기 제1 신뢰도 정보 및 상기 제2 신뢰도 정보에 기초하여 가중치를 계산함- 상기 가중치는 센서 기반 가중치 및 이미지 기반 가중치를 포함하며; 그리고According to the athlete tracking method disclosed in the present application, a sensor signal is received from a positioning sensor located in a sports participant; obtaining a positioning sensor-based position of the sports participant based on the sensor signal; obtaining first reliability information related to the reliability of the positioning sensor-based location; acquiring a sports image taken by a camera located around the playfield, the sports image including the sports participant in the playfield; obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image; obtain second confidence information related to the confidence level of the image-based position - the confidence level of the image-based position may include: occlusion associated with the sports participant; associated with at least one of a change in base position; calculate a weight based on the first reliability information and the second reliability information, wherein the weight includes a sensor-based weight and an image-based weight; and

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치의 신뢰도는, 이전 시점의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화를 계산하는 것 및 상기 센서 시그널에 포함된 센서 시그널의 신뢰도에 대한 정보 중 적어도 하나와 관련될 수 있다.According to the player tracking method disclosed in the present application, the reliability of the positioning sensor-based position is determined by calculating a change in the positioning sensor-based position from the positioning sensor-based position of the previous time and the reliability of the sensor signal included in the sensor signal. It may be related to at least one of the information about.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 스포츠 참가자와 관련된 수직적인 움직임은, 상기 스포츠 참가자가 착용한 관성 센서로부터 획득된 상기 플레이필드와 동일한 높이를 갖는 기준 평면에 대한 수직적인 방향으로의 상기 스포츠 참가자의 움직임에 기초하여 검출될 수 있다.According to the player tracking method disclosed in the present application, the vertical movement associated with the sports participant is the sports in a direction perpendicular to a reference plane having the same height as the playfield obtained from an inertial sensor worn by the sports participant. It can be detected based on the movement of the participant.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치의 신뢰도와 상기 이미지 기반 위치의 신뢰도는 상기 측위 센서 기반 위치와 상기 이미지 기반 위치 간의 이격도 지수(disparity index)와 관련되며, 상기 이격도 지수는 상기 측위 센서 기반 위치와 상기 이미지 기반 위치의 차이로부터 획득될 수 있다.According to the player tracking method disclosed in the present application, the reliability of the positioning sensor-based position and the reliability of the image-based position are related to a disparity index between the positioning sensor-based position and the image-based position, and the disparity index is It may be obtained from a difference between the positioning sensor-based position and the image-based position.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 플레이필드에 대응하는 신뢰도 맵을 준비함- 상기 신뢰도 맵은 상기 측위 센서 기반 위치의 신뢰도와 관련된 제1 신뢰도 정보를 포함하는 신뢰도 정보가 있는 복수의 영역을 포함함-; 상기 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자가 점유하고 있는 특정 영역을 결정함; 상기 특정 영역의 상기 제1 신뢰도 정보에 따라 제1 가중치 및 제2 가중치를 결정함; 및 상기 제1 가중치 및 상기 제2 가중치를 고려하여 계산된 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치의 가중 평균에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다. According to the athlete tracking method disclosed in the present application, a sensor signal is received from a positioning sensor located in a sports participant; obtaining a positioning sensor-based position of the sports participant based on the sensor signal; preparing a confidence map corresponding to the playfield, wherein the confidence map includes a plurality of regions with reliability information including first reliability information related to the reliability of the positioning sensor-based location; acquiring a sports image taken by a camera located around the playfield, the sports image including the sports participant in the playfield; obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image; determining a specific area occupied by the sports participant based on the positioning sensor based location; determining a first weight and a second weight according to the first reliability information of the specific region; and determining the position of the sports participant based on a weighted average of the positioning sensor-based position and the image-based position calculated in consideration of the first weight and the second weight.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치의 신뢰도와 관련된 제1 신뢰도 정보는, 이전 시점의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화를 계산하는 것 및 상기 센서 시그널에 포함된 센서 시그널의 신뢰도에 대한 정보 중 적어도 하나와 관련될 수 있다. According to the player tracking method disclosed in the present application, the first reliability information related to the reliability of the positioning sensor-based position is calculated by calculating a change in the positioning sensor-based position from the positioning sensor-based position of a previous time point and adding the sensor signal It may be related to at least one of information about the reliability of the included sensor signal.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 신뢰도 맵은 상기 이미지 기반 위치의 신뢰도와 관련된 제2 신뢰도 정보를 포함하는 신뢰도 정보가 있는 복수의 영역을 포함할 수 있다.According to the player tracking method disclosed in the present application, the confidence map may include a plurality of regions having confidence information including second confidence information related to the reliability of the image-based position.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 이미지 기반 위치의 신뢰도와 관련된 상기 제2 신뢰도 정보는, 상기 스포츠 참가자와 관련된 오클루전을 검출하는 것, 상기 스포츠 참가자와 관련된 수직적인 움직임을 검출하는 것 및 이전 시점의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화를 계산하는 것 중 적어도 하나와 관련될 수 있다.According to the player tracking method disclosed in the present application, the second reliability information related to the reliability of the image-based position may include: detecting occlusion related to the sports participant; detecting vertical motion related to the sports participant; and calculating a change in the image-based position from the image-based position at a previous point in time.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 제1 가중치 및 상기 제2 가중치는, 상기 특정 영역의 상기 제2 신뢰도 정보에 따라 결정될 수 있다.According to the player tracking method disclosed in the present application, the first weight and the second weight may be determined according to the second reliability information of the specific region.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-; 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함; 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함; 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함; 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 유효 이미지를 선택함; 및According to the player tracking method disclosed in the present application, a plurality of sports images are received from a plurality of cameras installed at different locations around a playfield, each of the plurality of sports images including the playfield and at least a portion of the sports participant -; detecting a target participant from the plurality of sports images; selecting at least one candidate image from the plurality of sports images according to the detection result of the target participant; detecting whether there is occlusion associated with the target participant from the at least one candidate image; selecting at least one valid image from the at least one candidate image according to a result of the occlusion detection; and

본 출원에 개시된 선수 추적 방법에 따르면, 상기 적어도 하나의 유효 이미지가 제1 유효 이미지 및 제2 유효 이미지를 포함하면, 상기 타겟 참가자의 위치를 결정하는 것은, 상기 제1 유효 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제1 위치를 획득함; 상기 제2 유효 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제2 위치를 획득함; 및 상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, if the at least one valid image includes a first valid image and a second valid image, then determining the location of the target participant includes: obtaining a first location of the target participant based on a corresponding pixel location; obtaining a second location of the target participant based on a pixel location corresponding to the target participant in the second valid image; and calculating the location of the target participant based on both the first location and the second location.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 타겟 참가자의 위치를 결정하는 것은, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 제1 조건과 상기 적어도 하나의 유효 이미지를 촬영한 카메라의 렌즈 왜곡 파라미터와 관련된 제2 조건 기초하여 상기 적어도 하나의 유효 이미지로부터 단일 이미지를 선택함 및 상기 단일 이미지에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, determining the position of the target participant includes: capturing the at least one valid image and a first condition related to a position between the target participant and a camera that has captured the at least one valid image selecting a single image from the at least one valid image based on a second condition related to a lens distortion parameter of a camera and calculating the location of the target participant based on the single image.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-; 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함; 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함; 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함; 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 타겟 이미지를 선택함; 상기 적어도 하나의 후보 이미지 모두에 상기 오클루전이 검출되면, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가렸는지 혹은 상기 다른 스포츠 참가자에 의해 가려졌는지 여부를 결정하고, 상기 결정에 따라 상기 적어도 하나의 후보 이미지로부터 상기 타겟 이미지를 선택하며; 그리고 상기 적어도 하나의 타겟 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, a plurality of sports images are received from a plurality of cameras installed at different locations around a playfield, each of the plurality of sports images including the playfield and at least a portion of the sports participant -; detecting a target participant from the plurality of sports images; selecting at least one candidate image from the plurality of sports images according to the detection result of the target participant; detecting whether there is occlusion associated with the target participant from the at least one candidate image; selecting at least one target image from the at least one candidate image according to a result of the occlusion detection; If the occlusion is detected in all of the at least one candidate image, it is determined whether the sports participant has occluded another sports participant in the at least one candidate image or is obscured by the other sports participant, according to the determination select the target image from the at least one candidate image; and determining the location of the target participant based on a pixel location corresponding to the target participant in the at least one target image.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 적어도 하나의 타겟 이미지는, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가린 상기 적어도 하나의 후보 이미지로부터 선택될 수 있다.According to the player tracking method disclosed in the present application, the at least one target image may be selected from the at least one candidate image in which the sports participant obscures other sports participants in the at least one candidate image.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 적어도 하나의 타겟 이미지가 제1 타겟 이미지 및 제2 타겟 이미지를 포함하면, 상기 타겟 참가자의 위치를 결정하는 것은, 상기 제1 타겟 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제1 위치를 획득함; 상기 제2 타겟 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제2 위치를 획득함; 및 상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, if the at least one target image includes a first target image and a second target image, determining the location of the target participant may include: obtaining a first location of the target participant based on a corresponding pixel location; obtaining a second location of the target participant based on a pixel location corresponding to the target participant in the second target image; and calculating the location of the target participant based on both the first location and the second location.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 타겟 참가자의 위치를 결정하는 것은, 상기 타겟 참가자와 상기 적어도 하나의 타겟 이미지를 촬영한 카메라 간의 위치와 관련된 제1 조건과 상기 적어도 하나의 타겟 이미지를 촬영한 카메라의 렌즈 왜곡 파라미터와 관련된 제2 조건 기초하여 상기 적어도 하나의 타겟 이미지로부터 단일 이미지를 선택함 및 상기 단일 이미지에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, determining the position of the target participant includes: capturing the at least one target image and a first condition related to a position between the target participant and a camera that has captured the at least one target image selecting a single image from the at least one target image based on a second condition related to a lens distortion parameter of a camera and calculating a location of the target participant based on the single image.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변에 위치된 복수의 카메라들의 위치 및 포즈를 포함하는 카메라 배열 정보를 획득함; 복수의 스포츠 참가자에 위치된 복수의 측위 센서들로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 복수의 스포츠 참가자의 위치를 획득함; 상기 복수의 카메라에 대응하는 복수의 고정 포인트 및 상기 복수의 스포츠 참가자의 대응하는 복수의 무빙 포인트를 포함하는 가상 플레이필드를 생성함- 상기 가상 플레이필드 내의 복수의 고정 포인트의 위치는 상기 카메라 배열 정도에 기초하여 결정되며, 상기 가상 플레이필드 내의 복수의 무빙 포인트의 위치는 상기 복수의 스포츠 참가자의 위치에 기초하여 결정됨-; 상기 복수의 고정 포인트 및 상기 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 상기 복수의 카메라와 상기 복수의 스포츠 참가자의 관련성을 계산함; 상기 복수의 고정 포인트로부터 상기 복수의 무빙 포인트로 연장되는 복수의 가상 선들 간의 각도 및 상기 복수의 무빙 포인트들 간의 위치에 기초하여 상기 복수의 카메라에서 상기 복수의 스포츠 참가자들의 오클루전을 예측함; 및 상기 관련성 및 상기 오클루전 예측에 기초하여 상기 복수의 카메라와 상기 스포츠 참가자 간의 매칭 테이블을 생성하는 것을 포함할 수 있다.According to the player tracking method disclosed in the present application, camera arrangement information including positions and poses of a plurality of cameras located around a playfield is obtained; receiving a sensor signal from a plurality of location sensors located at a plurality of sports participants; obtaining locations of the plurality of sports participants based on the sensor signals; create a virtual playfield comprising a plurality of fixed points corresponding to the plurality of cameras and a plurality of corresponding moving points of the plurality of sports participants - the positions of the plurality of fixed points within the virtual playfield are the degree of arrangement of the cameras is determined based on , and the positions of the plurality of moving points in the virtual playfield are determined based on the positions of the plurality of sports participants; calculating associations of the plurality of cameras and the plurality of sports participants based on relative positions between the plurality of fixed points and the plurality of moving points; predicting occlusion of the plurality of sports participants in the plurality of cameras based on angles between a plurality of virtual lines extending from the plurality of fixed points to the plurality of moving points and positions between the plurality of moving points; and generating a matching table between the plurality of cameras and the sports participant based on the association and the occlusion prediction.

도 1을 참고한다. 도 1은 종래의 측위 방식의 일 예를 도시한 도면이다. 구체적으로 도 1은 카메라를 통하여 촬영된 이미지로부터 선수가 위치한 지점을 계산하는 측위 방식의 특정 상황을 나타낸 도면이다. See FIG. 1 . 1 is a diagram illustrating an example of a conventional positioning method. Specifically, FIG. 1 is a view showing a specific situation of a positioning method for calculating a point where a player is located from an image taken through a camera.

영상을 이용한 측위 방식에 의하면, 영상 내에서 추적하고자 하는 선수가 인식되어야 선수의 위치를 정확하게 계산할 수 있다According to the positioning method using the image, the position of the player can be accurately calculated only when the player to be tracked in the image is recognized.

예를 들면, 도 1의 제1 영역(10)에 위치하는 선수에 대하여는, 선수가 인식되어 추적하고자 하는 선수의 위치를 계산할 수 있다.For example, with respect to a player located in the first area 10 of FIG. 1 , the player may be recognized and the position of the player to be tracked may be calculated.

다만 도 1의 제2 영역(12)에 위치하는 선수에 대하여는, 선수가 인식되기 어려운 오클루전 이벤트가 발생할 수 있다. 구체적으로 제2 영역(12)에는 복수의 선수들이 밀집하여 있기 때문에, 영상 내에서 추적하고자 하는 선수가 다른 선수에 가려지는 오클루전이 발생될 수 있다. 따라서, 다른 선수에 가려진 추적 대상 선수의 위치가 정확하게 획득되지 않을 수 있다.However, with respect to the player located in the second area 12 of FIG. 1 , an occlusion event in which the player is difficult to recognize may occur. Specifically, since a plurality of players are concentrated in the second area 12 , occlusion may occur in which a player to be tracked in the image is obscured by other players. Accordingly, the position of the player to be tracked that is obscured by other players may not be accurately obtained.

다시 말해, 영상을 이용한 측위 방식은 영상 내에서 추적하고자 하는 선수가 다른 선수에 가려지는 등의 폐색 상황에 대응하지 못할 수 있다. In other words, the positioning method using an image may not be able to respond to an occlusion situation, such as a player to be tracked in an image being obscured by another player.

도 2를 참고한다. 도 2는 종래의 측위 방식의 일 예를 도시한 도면이다. 구체적으로 도 2는 GPS 모듈과 같은 측위 기구들을 이용하여 선수가 위치한 지점을 계산하는 측위 방식을 도식화한 도면이다.See FIG. 2 . 2 is a diagram illustrating an example of a conventional positioning method. Specifically, FIG. 2 is a diagram schematically illustrating a positioning method for calculating a point where an athlete is located using positioning devices such as a GPS module.

구체적으로, GPS 모듈을 이용한 측위 방식은 위성으로부터 송신된 신호에 의존하여 추적하고자 하는 선수의 위치를 계산한다. 다만, 위성으로부터 송신된 신호 등은 추적하고자 하는 선수의 주변 구조물에 영향을 많이 받을 수 있다.Specifically, the positioning method using the GPS module calculates the position of the player to be tracked depending on the signal transmitted from the satellite. However, the signal transmitted from the satellite may be greatly affected by the surrounding structures of the athlete to be tracked.

예를 들어, 도 2의 일부 위성들(24, 26)로부터 송신된 GPS의 신호는 추적하고자 하는 선수의 주변 구조물에 영향을 받지 않고 경기장 내부로 송신될 수 있다. 다만, 도 2의 일부 위성들(22, 28)로부터 송신된 GPS의 신호는 추적하고자 하는 선수의 주변 구조물에 영향을 받아 경기장 내부로 도달하지 못할 수 있다. 이때 일부 위성들(22, 28)로부터 송신된 GPS 신호가 주변 구조물의 영향을 받는 경우에는, GPS 신호들로부터 계산된 선수의 위치가 오차가 발생할 수 있다. For example, GPS signals transmitted from some satellites 24 and 26 of FIG. 2 may be transmitted into the stadium without being affected by surrounding structures of a player to be tracked. However, the GPS signal transmitted from some satellites 22 and 28 of FIG. 2 may not reach the inside of the stadium due to the influence of surrounding structures of the player to be tracked. At this time, when the GPS signal transmitted from some satellites 22 and 28 is affected by surrounding structures, an error may occur in the position of the athlete calculated from the GPS signals.

또한, 경기장 내의 플레이필드의 영역별로, GPS의 신호가 주변 구조물의 영향을 받는 정도가 상이하기 때문에, GPS 모듈을 이용한 측위 방식은 경기장 내의 플레이필드의 영역별로 그 신뢰도가 상이해진다는 문제가 존재한다. In addition, since the degree to which the GPS signal is affected by surrounding structures is different for each area of the playfield in the stadium, there is a problem that the reliability of the positioning method using the GPS module is different for each area of the playfield in the stadium. .

본 출원에서는, 상술한 영상을 이용한 측위 방식과 GPS나 LPS 모듈과 같은 측위 기구를 이용한 측위 방식의 한계를 극복하기 위한 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법에 관하여 설명한다.In the present application, a player tracking device, a player tracking system, and a player tracking method for overcoming the limitations of the positioning method using the above-described image and the positioning method using a positioning device such as a GPS or LPS module will be described.

이하에서는 본 출원의 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법에 관하여 설명한다. 여기서, 선수 추적은 선수에게 장착되는 측위 센서로부터 얻어지는 측위 센서 데이터나 적어도 하나의 카메라를 통해 획득된 이미지 데이터를 이용하여 수행될 수 있다. 본 출원에서는 이러한 기초 데이터로부터 산출되는 선수 위치의 정확도를 개선하기 위하여 상술한 데이터를 퓨전하거나 또는 이미지 데이터를 여러 개 이용하는 등의 기법들을 개시한다. Hereinafter, the player tracking device, the player tracking system, and the player tracking method of the present application will be described. Here, the athlete tracking may be performed using positioning sensor data obtained from a positioning sensor mounted on the athlete or image data obtained through at least one camera. The present application discloses techniques such as fusion of the above-described data or using a plurality of image data in order to improve the accuracy of the player position calculated from the basic data.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템에 관하여 설명한다. Hereinafter, a method for tracking a player, an apparatus for tracking an athlete, and a system for tracking an athlete according to an embodiment of the present application will be described.

본 실시예에 따른 선수 추적은 이미지 데이터와 측위 센서 데이터를 함께 이용하여 수행될 수 있다. 이미지 데이터를 이용한 선수 추적은 이미지 데이터 내의 선수의 위치와 관련된 픽셀 데이터를 기초로 선수의 위치를 계산할 수 있으며, 측위 센서 데이터를 이용한 선수 추적은 측위 센서 데이터에 포함된 선수의 위치와 관련된 위도, 경도 등의 데이터에 기초하여 선수의 위치가 계산될 수 있다. 이때, 이미지 데이터를 이용한 선수의 추적이 부정확한 경우에는 측위 센서 데이터에 의해 선수의 추적을 보완할 수 있으며, 측위 센서 데이터를 이용한 선수의 추적이 부정확한 경우에는 이미지 데이터에 의해 선수의 추적을 보완할 수 있다.Athlete tracking according to the present embodiment may be performed using both image data and positioning sensor data. Athlete tracking using image data can calculate the player's position based on pixel data related to the player's position in the image data, and player tracking using positioning sensor data is the latitude and longitude related to the position of the player included in the positioning sensor data. The position of the athlete may be calculated based on data such as. At this time, if the tracking of the athlete using the image data is inaccurate, the tracking of the athlete can be supplemented by the positioning sensor data. can do.

도 3은 본 출원의 일 실시예에 따른 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법에 관한 개략도이다. 3 is a schematic diagram of a player tracking device, a player tracking system, and a player tracking method according to an embodiment of the present application.

도 3을 참조하면, 본 실시예에 따른 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법은, 이미지 데이터와 측위 센서 데이터를 함께 이용하여 선수 위치를 추적할 수 있다.Referring to FIG. 3 , the player tracking device, the player tracking system, and the player tracking method according to the present embodiment may track the player position by using both image data and positioning sensor data.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 시스템(100)에 관하여 도 3을 참고하여 설명한다. Hereinafter, the player tracking system 100 according to an embodiment of the present application will be described with reference to FIG. 3 .

도 3을 참고하면, 선수 추적 시스템(100)은 측위 센서 장치(200), 이미지 캡처 장치(300), 중간 서버(400) 및 선수 추적 장치(1000)를 포함할 수 있다. Referring to FIG. 3 , the player tracking system 100 may include a positioning sensor device 200 , an image capture device 300 , an intermediate server 400 , and an athlete tracking device 1000 .

선수 추적 시스템(100)의 측위 센서 장치(200)는 GPS 모듈, LPS 모듈과 같은 측위 기구일 수 있다. The positioning sensor device 200 of the player tracking system 100 may be a positioning device such as a GPS module or an LPS module.

일 예로, 측위 센서 장치(200)는 GPS 모듈(210)일 수 있으며, GPS 모듈은, 범지구항법시스템(GNSS)과 관련하여 위성으로부터 송신된 전파를 수신하여 측위 센서 장치(200)의 위치에 대한 데이터를 선수 추적 장치(1000)로 송신할 수 있다. For example, the positioning sensor device 200 may be a GPS module 210 , and the GPS module receives a radio wave transmitted from a satellite in relation to a global navigation system (GNSS) to the location of the positioning sensor device 200 . data may be transmitted to the player tracking device 1000 .

다른 예로, 측위 센서 장치(200)는 LPS 모듈(220)일 수 있으며, LPS 모듈은, 로컬 포지셔닝 시스템(local positioning system, LPS)과 관련하여 비콘(beacon, 4) 등으로부터 송신된 전파를 수신하여 측위 센서 장치(200)의 위치에 대한 데이터를 송신할 수 있다. 상기 비콘(4)은 플레이필드의 주변부에 위치될 수 있으며, 그 위치는 상이한 위치일 수 있다. As another example, the positioning sensor device 200 may be an LPS module 220, and the LPS module receives a radio wave transmitted from a beacon 4, etc. in relation to a local positioning system (LPS). Data on the location of the positioning sensor device 200 may be transmitted. The beacon 4 may be located on the periphery of the playfield, and its position may be different.

선수 추적 시스템(100)의 이미지 캡처 장치(300)는 임의의 적절한 형태와 기능을 가진 카메라일 수 있다. 상기 이미지 캡처 장치(300)는, 스포츠 참가자(1), 플레이필드의 라인(2) 및 플레이필드(3)를 촬영하여 획득한 이미지 데이터를 선수 추적 장치(1000)로 송신할 수 있다.The image capture device 300 of the player tracking system 100 may be a camera of any suitable form and function. The image capturing device 300 may transmit image data obtained by photographing the sports participant 1 , the line 2 of the playfield and the playfield 3 to the player tracking device 1000 .

선수 추적 시스템(100)의 선수 추적 장치(1000)는 이미지 데이터 및 측위 센서 데이터를 획득할 수 있다. 또한 선수 추적 장치(1000)는 이미지 데이터로부터 이미지 기반 위치를 획득할 수 있으며, 측위 센서 데이터로부터 측위 센서 기반 위치를 획득할 수 있다. 또한, 선수 추적 장치(1000)는 이미지 기반 위치와 측위 센서 기반 위치의 유효성을 판단하여 정확도가 높은 위치로 스포츠 참가자의 위치를 결정할 수 있다. The player tracking device 1000 of the player tracking system 100 may acquire image data and positioning sensor data. Also, the player tracking apparatus 1000 may acquire an image-based position from the image data, and may acquire a positioning sensor-based position from the positioning sensor data. Also, the player tracking apparatus 1000 may determine the position of the sports participant as a position with high accuracy by determining the validity of the image-based position and the positioning sensor-based position.

선수 추적 장치(1000)는 임의의 적절한 형태의 서버 장치로 구현될 수 있다. 이하에서는 선수 추적 장치(1000)를 선수 추적 서버(1000)로 지칭하여 서술하나, 이것은 설명의 편의를 위한 것에 불과할 뿐, 선수 추적 장치(1000)가 반드시 서버 형태로 구현되어야 하는 것은 아니다. The player tracking device 1000 may be implemented as any suitable type of server device. Hereinafter, the player tracking device 1000 will be referred to as the player tracking server 1000 , but this is only for convenience of description, and the player tracking device 1000 does not necessarily have to be implemented in the form of a server.

한편, 선수 추적 시스템(100)은 중간 서버(400)나 중계기를 더 포함할 수 있다. 즉 다시 말해, 선수 추적 시스템(100)의 선수 추적 서버(1000)는 단일한 형태로 제공될 수 있으나, 단일한 형태가 아닌 분리된 형태로 제공될 수 있다.Meanwhile, the player tracking system 100 may further include an intermediate server 400 or a repeater. In other words, the player tracking server 1000 of the player tracking system 100 may be provided in a single form, but may be provided in a separate form instead of a single form.

이때, 측위 센서 장치(200)와 이미지 캡처 장치(300)로부터 송신된 데이터들은 선수 추적 서버(1000)로 직접 송신될 수도 있으며, 중간 서버(400)를 거쳐 간접적으로 선수 추적 서버(1000)로 송신될 수도 있다. 중간 서버(400)를 거치는 경우, 데이터들은 도킹스테이션(410)을 통하여 휴대용 전자 장치(420)에 전달될 수 있다. 또한, 임의의 적절한 통신 방식을 이용하여 휴대용 전자 장치(420)로부터 선수 추적 서버(1000)에 데이터들이 전달될 수 있다. In this case, the data transmitted from the positioning sensor device 200 and the image capturing device 300 may be directly transmitted to the athlete tracking server 1000 , or indirectly transmitted to the athlete tracking server 1000 via the intermediate server 400 . it might be When passing through the intermediate server 400 , the data may be transferred to the portable electronic device 420 through the docking station 410 . Additionally, data may be transferred from the portable electronic device 420 to the player tracking server 1000 using any suitable communication method.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 서버(1000)에 대하여 설명한다. Hereinafter, the player tracking server 1000 according to an embodiment of the present application will be described.

본 출원의 일 실시예에 따르면, 선수 추적 서버(1000)는 스포츠 참가자의 위치를 결정하기 위해 이미지 캡처 장치(300)로부터 이미지 데이터를 획득할 수 있다. 또한, 선수 추적 서버(1000)는 스포츠 참가자의 위치를 결정하기 위해 측위 센서 장치로부터 측위 센서 데이터를 획득할 수 있다. 또한 선수 추적 서버(1000)는 획득된 이미지 데이터로부터 이미지 기반 위치를 계산할 수 있으다. 또한, 선수 추적 서버(1000)는 획득된 측위 센서 데이터로부터 측위 센서 기반 위치를 계산할 수 있다. 또한, 선수 추적 서버(1000)는 계산된 이미지 기반 위치 및 측위 센서 기반 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. According to an embodiment of the present application, the athlete tracking server 1000 may obtain image data from the image capturing device 300 to determine the location of the sports participant. Also, the athlete tracking server 1000 may obtain positioning sensor data from the positioning sensor device to determine the position of the sports participant. Also, the player tracking server 1000 may calculate an image-based position from the acquired image data. Also, the player tracking server 1000 may calculate a positioning sensor-based position from the acquired positioning sensor data. Also, the player tracking server 1000 may determine the position of the sports participant based on the calculated image-based position and the positioning sensor-based position.

도 4를 참고한다. 도 4는 본 출원의 일 실시예에 따른 선수 추적 서버(1000)의 블록도이다. See FIG. 4 . 4 is a block diagram of a player tracking server 1000 according to an embodiment of the present application.

도 4를 참고하면, 선수 추적 서버(1000)는 통신 모듈(1100), 메모리(1200) 및 컨트롤러(1300)를 포함할 수 있다.Referring to FIG. 4 , the player tracking server 1000 may include a communication module 1100 , a memory 1200 , and a controller 1300 .

이하에서는 본 출원의 일 실시예에 따른 선수 추적 서버(1000)의 각 구성에 대하여 설명한다. Hereinafter, each configuration of the player tracking server 1000 according to an embodiment of the present application will be described.

통신 모듈(1100)은 외부 기기와 통신을 수행할 수 있다. 선수 추적 서버(1000)는 통신 모듈(1100)을 통해, 이미지 캡처 장치(300), 측위 센서 장치(200) 혹은 중간 서버(400)를 포함한 외부 서버와 데이터 송수신을 할 수 있다. The communication module 1100 may communicate with an external device. The player tracking server 1000 may transmit/receive data to and from an external server including the image capture device 300 , the positioning sensor device 200 , or the intermediate server 400 through the communication module 1100 .

예를 들어, 선수 추적 서버(1000)는 통신 모듈(1100)을 통해, 이미지 캡처 장치(300)로부터 촬영된 이미지 데이터 또는 측위 센서 장치(200)로부터 획득된 측위 센서 데이터를 수신할 수 있다. 또 다른 예로, 선수 추적 서버(1000)는 통신 모듈(1100)을 통해 인터넷에 접속하여 이미지 데이터 혹은 측위 센서 데이터를 업로드할 수 있다.For example, the player tracking server 1000 may receive image data captured from the image capture device 300 or positioning sensor data acquired from the positioning sensor device 200 through the communication module 1100 . As another example, the player tracking server 1000 may access the Internet through the communication module 1100 to upload image data or positioning sensor data.

통신 모듈(1100)은 크게 유선 타입과 무선 타입으로 나뉜다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서는 선수 추적 서버(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다.The communication module 1100 is largely divided into a wired type and a wireless type. Since the wired type and the wireless type have their respective strengths and weaknesses, in some cases, the wired type and the wireless type may be simultaneously provided in the player tracking server 1000 .

여기서, 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.Here, in the case of the wired type, LAN (Local Area Network) or USB (Universal Serial Bus) communication is a representative example, and other methods are also possible.

또 여기서, 무선 타입의 경우에는 주로 블루투스(Bluetooth)나 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용할 수 있다. 그러나, 무선 통신 프로토콜이 이로 제한되는 것은 아니므로 무선 타입의 통신 모듈은 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 그 외의 알려진 다른 통신 방식을 이용하는 것도 가능하다.In addition, in the case of the wireless type, a communication method of a Wireless Personal Area Network (WPAN) series such as Bluetooth or Zigbee may be mainly used. However, since the wireless communication protocol is not limited thereto, the wireless communication module may use a wireless local area network (WLAN)-based communication method such as Wi-Fi or other known communication methods.

메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1200)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. The memory 1200 may store various types of information. Various data may be temporarily or semi-permanently stored in the memory 1200 . Examples of the memory 1200 include a hard disk (HDD), a solid state drive (SSD), a flash memory, a read-only memory (ROM), a random access memory (RAM), and the like. This can be.

메모리(1200)는 선수 추적 서버(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 선수 추적 서버(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 선수 추적 서버(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 선수 추적 서버(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다. 예를 들어, 메모리(1200)에는 이미지 캡처 장치(300)로부터 획득된 인텐시티 맵 형태 및 RGB 맵 형태의 이미지 데이터, 측위 센서 장치(200)로부터 획득된 측위 센서 데이터가 저장될 수 있다.The memory 1200 may be provided in a form embedded in the player tracking server 1000 or in a detachable form. In the memory 1200 , an operating program (OS) for driving the player tracking server 1000 or a program for operating each component of the player tracking server 1000, as well as a program necessary for the operation of the player tracking server 1000 , are included in the memory 1200 . Various data may be stored. For example, the memory 1200 may store image data in an intensity map form and an RGB map form obtained from the image capture device 300 , and positioning sensor data obtained from the positioning sensor device 200 .

컨트롤러(1300)는 선수 추적 서버(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(1300)는 메모리(1200)로부터 선수 추적 서버(1000)의 동작을 위한 프로그램을 로딩하여 실행할 수 있다.The controller 1300 may control the overall operation of the player tracking server 1000 . For example, the controller 1300 may load and execute a program for the operation of the player tracking server 1000 from the memory 1200 .

컨트롤러(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.The controller 1300 may be implemented as a central processing unit (CPU) or a similar device according to hardware, software, or a combination thereof. In hardware, it may be provided in the form of an electronic circuit that performs a control function by processing an electrical signal, and in software, it may be provided in the form of a program or code for driving a hardware circuit.

이하에서는 선수 추적 방법과 관련하여 선수 추적 시스템(100)의 일 실시예에 의해 수행되는 몇몇 동작들에 대해서 보다 구체적으로 설명한다.Hereinafter, some operations performed by an embodiment of the player tracking system 100 in relation to the player tracking method will be described in more detail.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터 및 측위 센서 데이터를 획득할 수 있다. The player tracking system 100 according to an embodiment of the present application may acquire image data and positioning sensor data.

선수 추적 서버(1000)는 이미지 데이터 및 측위 센서 데이터를 획득할 수 있다. 구체적으로는, 선수 추적 서버(1000)는 통신 모듈(1100)을 통하여 이미지 캡처 장치(300)로부터 이미지 데이터를 획득할 수 있다. 또한 선수 추적 서버(1000)는 통신 모듈(1100)을 통하여 이미지 캡처 장치(300)로부터 이미지 캡처 장치(300)와 관련된 정보를 획득할 수 있다. 또한, 선수 추적 서버(1000)는 통신 모듈(1100)을 통하여 측위 센서 장치(200)로부터 측위 센서 데이터를 획득할 수 있다. The player tracking server 1000 may acquire image data and positioning sensor data. Specifically, the player tracking server 1000 may acquire image data from the image capturing device 300 through the communication module 1100 . Also, the player tracking server 1000 may acquire information related to the image capturing device 300 from the image capturing device 300 through the communication module 1100 . Also, the player tracking server 1000 may acquire positioning sensor data from the positioning sensor device 200 through the communication module 1100 .

이미지 데이터는, 스포츠 경기의 복수의 스포츠 참가자, 플레이필드의 라인과 점, 공 등과 관련된 픽셀 정보 및 스포츠 경기 진행 정보(경과 시간, 이미지 데이터 캡처 시간)를 포함할 수 있다. The image data may include pixel information related to a plurality of sports participants of a sports event, lines and dots of a playfield, a ball, and the like, and sports event progress information (elapsed time, image data capture time).

이미지 캡처 장치(300)와 관련된 정보는 카메라의 위치 및 포즈와 관련된 배열 정보를 포함할 수 있다. 혹은 이미지 캡처 장치(300)와 관련된 정보 중 카메라의 위치와 관련된 배열 정보는 임의의 적절한 방법에 의해 선수 추적 서버(1000)가 획득할 수 있다. The information related to the image capturing device 300 may include arrangement information related to the position and pose of the camera. Alternatively, the arrangement information related to the position of the camera among the information related to the image capturing device 300 may be acquired by the player tracking server 1000 by any suitable method.

측위 센서 데이터는 측위 센서 장치의 위치와 관련된 데이터와 센서-시그널의 신뢰도와 관련된 데이터를 포함할 수 있다.The positioning sensor data may include data related to the location of the positioning sensor device and data related to the reliability of the sensor-signal.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터를 리샘플링하거나 노이즈를 제거할 수 있다.The player tracking system 100 according to an embodiment of the present application may resample image data or remove noise.

구체적으로 선수 추적 서버(1000)는 상기 이미지 데이터를 리샘플링(Resampling)하는 동작을 수행하도록 제어될 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 데이터를 특정 프레임으로 리샘플링하는 동작을 수행할 수 있다. 선수 추적 서버(1000)의 리샘플링 동작을 통하여, 후술할 측위 센서 데이터와의 타임 싱크를 맞출 수 있다. 특정 프레임은 임의의 적절한 프레임(예, 10 프레임)일 수 있다. Specifically, the player tracking server 1000 may be controlled to perform an operation of resampling the image data. Specifically, the player tracking server 1000 may perform an operation of resampling the image data into a specific frame. Through the resampling operation of the player tracking server 1000, it is possible to synchronize the time with positioning sensor data to be described later. A particular frame may be any suitable frame (eg, 10 frames).

또한, 선수 추적 서버(1000)는 상기 이미지 데이터의 노이즈를 제거하는 동작을 수행하도록 구현될 수 있다. 구체적으로 상기 이미지 캡처 장치에 의해 촬영된 이미지 데이터는 왜곡이 존재할 수 있다. 예를 들어, 렌즈의 왜곡에 따른 이미지 데이터의 왜곡이나 카메라의 포즈(예, 각도) 혹은 카메라로부터의 거리에 따른 이미지 데이터의 왜곡이 존재할 수 있다. 따라서, 선수 추적 서버(1000)는 상술한 이미지 데이터들의 왜곡을 보정하는 동작을 수행할 수 있다. Also, the player tracking server 1000 may be implemented to remove noise from the image data. Specifically, image data captured by the image capturing device may have distortion. For example, there may be distortion of image data due to distortion of a lens, distortion of image data according to a pose (eg, angle) of a camera, or a distance from the camera. Accordingly, the player tracking server 1000 may perform an operation of correcting the distortion of the above-described image data.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터와 측위 센서 데이터를 상관(Correlation)키는 동작을 수행할 수 있다. 구체적으로 선수 추적 시스템(100)은 이미지 데이터와 측위 센서 데이터의 타임 싱크를 맞출 수 있다. The player tracking system 100 according to an embodiment of the present application may perform an operation of correlating image data and positioning sensor data. In more detail, the player tracking system 100 may synchronize time between the image data and the positioning sensor data.

구체적으로 선수 추적 서버(1000)의 컨트롤러(1300)는 상기 이미지 데이터와 상기 측위 센서 데이터를 시간 변수를 이용하여 상관시키도록 제공될 수 있다. 다시 말해, 선수 추적 서버(1000)의 컨트롤러(1300)는 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크를 맞추도록 구현될 수 있다. Specifically, the controller 1300 of the player tracking server 1000 may be provided to correlate the image data and the positioning sensor data using a time variable. In other words, the controller 1300 of the player tracking server 1000 may be implemented to synchronize the time between the image data and the positioning sensor data.

일 예로, 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크는 스포츠 경기의 특정 시점을 기준으로 맞춰질 수 있다.For example, the time synchronization between the image data and the positioning sensor data may be adjusted based on a specific point in time of a sports game.

이 때, 상기 스포츠 경기의 특정 시점은 스포츠 경기 상의 특징적인 시점일 수 있다. 예를 들어, 상기 스포츠 경기의 특정 시점은 경기의 시작 시점일 수 있다. In this case, the specific time point of the sports game may be a characteristic time point on the sports game. For example, the specific time of the sports game may be a start time of the game.

또한, 상기 스포츠 경기에 브레이크 타임이 있는 경우에는, 상기 스포츠 경기의 특정 시점은 경기의 재개 시점일 수 있다. 일 예로, 축구 경기의 경우 전반전과 후반전 사이에 하프타임이 존재하는데, 이때 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크는, 전반전의 시작 시점과 후반전의 시작 시점을 기준으로 맞춰질 수 있다. 전반전의 시작 시점과 후반전의 시작 시점에서는, 스포츠 참가자의 일정 이상이 위치 이동을 시작하며 이에 따라 스포츠 참가자의 속도에 변화가 생길 수 있다. 따라서, 전반전의 시작 시점과 후반전의 시작 시점의 스포츠 참가자의 위치의 변화 또는 속도의 변화를 고려하여 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. Also, when there is a break time in the sporting event, the specific time of the sporting event may be a restarting time of the game. For example, in the case of a soccer game, there is a half time between the first half and the second half. In this case, the time synchronization between the image data and the positioning sensor data may be adjusted based on the start time of the first half and the start time of the second half. At the start time of the first half and the start time of the second half, the sports participant starts to move more than a certain amount, and accordingly, the speed of the sports participant may be changed. Accordingly, time synchronization between the image data and the positioning sensor data may be matched in consideration of a change in position or speed of a sports participant at the start time of the first half and the start time of the second half.

일 예로, 상기 이미지 데이터로부터 획득되거나 산된 적어도 하나 이상의 스포츠 참가자의 속도 데이터와 상기 측위 센서 데이터로부터 획득되거나 계산된 적어도 하나 이상의 스포츠 참가자의 속도 데이터가 일치되는 시점을 기준으로 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. For example, based on a point in time when the speed data of at least one or more sports participants obtained or calculated from the image data and the speed data of at least one or more sports participants obtained or calculated from the positioning sensor data match A time synchronization between the image data and the positioning sensor data may be matched.

이때, 이미지 데이터로부터의 속도 데이터와 측위 센서 데이터로부터의 속도 데이터의 비교 대상인 스포츠 참가자의 수는 임의의 적절한 수 일 수 있다. 다시 말해, 상술한 속도 데이터의 비교를 통하여 타임 싱크를 맞추는 것은 모든 스포츠 참가자들에 대하여 뿐만 아니라, 일부 스포츠 참가자들에 대하여도 수행될 수 있다. In this case, the number of sports participants to be compared between the speed data from the image data and the speed data from the positioning sensor data may be any suitable number. In other words, time synchronization through the comparison of the above-described speed data may be performed not only for all sports participants, but also for some sports participants.

일 예로, 상기 측위 센서 데이터로부터 획득된 속도 변화가 감지된 시점을 고려하여 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. 구체적인 예를 들어, 상기 전, 후반전의 시작 시점 이후에 일정 시간이 지난 후에는 대부분의 스포츠 참가자들이 위치 이동을 개시하며, 이에 따라 스포츠 참가자들의 속도 변화가 생길 수 있다. 측위 센서 장치는 상기 스포츠 참가자들의 위치 변화와 관련된 데이터를 획득할 수 있으며, 상기 위치 변화와 관련된 데이터로부터 획득된 속도 변화가 시작되는 시점이 감지될 수 있다. 일 예에 따르면 속도 변화가 감지된 시점을 기준으로 특정 시점(예, 0초 초과 내지 2초 미만) 이전의 시점을 기준으로 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. For example, a time synchronization between the image data and the positioning sensor data may be matched in consideration of a point in time when a speed change obtained from the positioning sensor data is sensed. As a specific example, after a predetermined time elapses after the start of the first half and the second half, most of the sports participants start to move, and accordingly, the speed of the sports participants may change. The positioning sensor device may acquire data related to a change in position of the sports participants, and a time point at which a speed change obtained from the data related to the change in position starts may be detected. According to an example, a time synchronization between the image data and the positioning sensor data may be matched based on a time point before a specific time point (eg, more than 0 second to less than 2 seconds) based on the time point at which the speed change is sensed.

이때 속도 변화가 시작되는 시점과 관련하여, 미리 정해진 임계 인원 이상의 스포츠 참가자의 속도 변화가 감지된 경우에 속도 변화가 시작되는 시점이라고 판단될 수 있다.In this case, with respect to the time at which the speed change starts, when the speed change of the sports participants greater than or equal to a predetermined threshold number is sensed, it may be determined that the speed change starts.

또한, 타임 싱크를 맞추는 데에 워서스테인 거리(Wasserstein distance) 계산 방법과 같은 적절한 계산 방법이 사용될 수 있다. In addition, an appropriate calculation method such as a Wasserstein distance calculation method may be used to synchronize the time.

또한, 정확성을 위하여, 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크는 경기 시작 시점뿐만 아니라 경기 진행 중에도 맞춰질 필요가 존재한다. In addition, for accuracy, the time sync between the image data and the positioning sensor data needs to be aligned not only at the start of the game, but also during the game.

본 출원의 일 실시예에 따르면, 경기 중의 임의의 시점의 이미지 데이터로부터 획득된 복수의 스포츠 참가자들 간의 위치 관계와 측위 센서 데이터로부터 획득된 복수의 스포츠 참가자들 간의 위치 관계가 대응되는 시점을 기준으로 이미지 데이터와 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. According to an embodiment of the present application, the positional relationship between the plurality of sports participants obtained from the image data at any point during the game and the positional relationship between the plurality of sports participants obtained from the positioning sensor data correspond to a point in time Time synchronization between the image data and the positioning sensor data can be matched.

일 예로, 측위 센서 데이터에는 스포츠 참가자들 각각의 식별인자가 포함될 수 있으며, 식별인자로 식별된 적어도 하나 이상의 스포츠 참가자들간의 위치 데이터가 측위 센서 데이터로부터 각각 획득될 수 있다. For example, the positioning sensor data may include identification factors of sports participants, and location data between at least one or more sports participants identified by the identification factors may be respectively obtained from the positioning sensor data.

또한, 이미지 데이터에서도 측위 센서 데이터의 식별된 적어도 하나 이상의 스포츠 참가자들 각각이 구별 및 식별될 수 있으며, 식별된 적어도 하나 이상의 스포츠 참가자들 간의 위치 데이터가 이미지 데이터로부터 각각 획득될 수 있다. In addition, in the image data, each of the at least one or more identified sports participants of the positioning sensor data may be distinguished and identified, and position data between the identified at least one or more sports participants may be respectively obtained from the image data.

이때, 상기 측위 센서 데이터로부터의 획득된 적어도 하나 이상의 스포츠 참가자의 위치 데이터에 따른 스포츠 참가자들간의 연결관계가 획득될 수 있고, 또한 상기 이미지 데이터로부터의 획득된 적어도 하나 이상의 스포츠 참가자의 위치 데이터에 따른 스포츠 참가자들간의 연결관계가 획득될 수 있다. 이때 측위 센서 데이터로부터 획득된 스포츠 참가자들간의 연결관계와 상기 이미지 데이터로부터 획득된 스포츠 참가자들간의 연결관계가 일치하거나 오차 범위 내인 시점을 기준으로 이미지 데이터와 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. 예를 들어 상기 스포츠 참가자들간의 연결관계는, 이미지 데이터 또는 측위 센서 데이터로부터 획득된 스포츠 참가자들간의 위치 데이터를 연결한 선이나 면으로 표현될 수 있다. In this case, a connection relationship between the sports participants according to the position data of at least one or more sports participants obtained from the positioning sensor data may be obtained, and the connection relationship between the sports participants may be obtained according to the position data of the at least one or more sports participants obtained from the image data. A connection relationship between sports participants may be obtained. In this case, the time synchronization between the image data and the positioning sensor data may be matched based on a point in time when the connection relationship between the sports participants obtained from the positioning sensor data and the connection relationship between the sports participants acquired from the image data match or are within an error range. For example, the connection relationship between the sports participants may be expressed as a line or a plane connecting position data between sports participants obtained from image data or positioning sensor data.

상기 스포츠 참가자들간의 연결관계가 선이나 라인인 경우에는 선의 길이나 방향이 일치하는지 여부를 고려하여 이미지 데이터와 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. When the connection relationship between the sports participants is a line or a line, the time sync between the image data and the positioning sensor data may be matched in consideration of whether the length or direction of the line is the same.

상기 스포츠 참가자들간의 연결관계라 평면인 경우에는 면의 외곽선으로 구성된 도형의 형상이 일치하는지 여부를 고려하여 이미지 데이터와 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다.In the case of a flat plane due to the connection relationship between the sports participants, the time sync between the image data and the positioning sensor data may be matched in consideration of whether the shape of the figure composed of the outline of the surface coincides.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 측위 센서 장치(200)으로부터 획득된 측위 센서 데이터에 대하여 노이즈 제거, 증폭, 필터링 등의 임의의 적절한 데이터 처리를 수행할 수 있다. 구체적으로 선수 추적 서버(1000)에 의해 상술한 데이터 처리를 수행하도록 제공될 수 있다. The player tracking system 100 according to an embodiment of the present application may perform any appropriate data processing such as noise removal, amplification, filtering, etc. on the positioning sensor data obtained from the positioning sensor device 200 . Specifically, it may be provided to perform the above-described data processing by the player tracking server 1000 .

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터의 형식을 변환할 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 캡처 장치(300)로부터 수신한 이미지 데이터의 형태를 RGB 맵에서 인텐시티 맵(Intensity map)으로 변환할 수 있다. 이때, RGB 맵과 관련된 데이터는 선수 추적 서버(1000)의 메모리(1200) 내에 저장될 수 있다. 선수 추적 서버(1000)의 메모리(1200)에 저장된 이미지 데이터의 RGB 맵과 관련된 데이터는 후술할 선수 추적 서버(1000)에서 선수 간의 오클루전 이벤트를 검출하거나 오클루전 이벤트의 심각도를 판단하는 경우에 이용될 수 있다. 이러한 이미지 데이터 형태를 변환함에 따라 이미지 데이터를 인텐시티 맵(Intensity map)의 형태로 추적하는 것을 기본으로 하되, 필요한 경우에만 RGB 맵에 포함된 데이터를 이용할 수 있기 때문에 선수 추적 서버(1000)의 연산량을 줄일 수 있다. 또한 연산량이 줄어들기 때문에 선수 추적의 연산이 보다 빨라질 수 있다. The player tracking system 100 according to an embodiment of the present application may convert the format of image data. In more detail, the player tracking server 1000 may convert the shape of the image data received from the image capture device 300 from an RGB map to an intensity map. In this case, data related to the RGB map may be stored in the memory 1200 of the player tracking server 1000 . The data related to the RGB map of the image data stored in the memory 1200 of the player tracking server 1000 is used when the player tracking server 1000, which will be described later, detects an occlusion event between players or determines the severity of the occlusion event. can be used for As the image data form is converted, it is based on tracking the image data in the form of an intensity map, but since data included in the RGB map can be used only when necessary, the amount of computation of the player tracking server 1000 is reduced. can be reduced Also, since the amount of computation is reduced, the computation of player tracking can be faster.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터에 포함된 플레이필드(3)를 인식 및 검출할 수 있다. 구체적으로 선수 추적 서버(1000)는 플레이필드의 기준점을 고려하여, 이미지 데이터에 포함된 플레이필드를 인식 및 검출하는 동작을 수행할 수 있다.The player tracking system 100 according to an embodiment of the present application may recognize and detect the playfield 3 included in the image data. Specifically, the player tracking server 1000 may perform an operation of recognizing and detecting the playfield included in the image data in consideration of the reference point of the playfield.

예를 들어, 선수 추적 서버(1000)는 플레이필드의 코너 플래그(corner flag), 하프 라인(half line), 골라인(goal line), 터치라인(touch line), 페널티마크(penalty mark) 등의 기준점을 고려하여 이미지 데이터에 포함된 플레이필드를 인식 및 검출할 수 있다. 다만, 상술한 기준점은 예시에 불과하며 플레이필드를 인식 및 검출할 수 있는 플레이필드 내의 임의의 적절한 영역, 선, 점 등이 고려되어 이미지 데이터에 포함된 플레이필드가 인식 및 검출될 수 있다. For example, the player tracking server 1000 is a reference point such as a corner flag, a half line, a goal line, a touch line, a penalty mark of the playfield. It is possible to recognize and detect the playfield included in the image data in consideration of However, the above-mentioned reference point is merely an example, and any suitable region, line, point, etc. within the playfield capable of recognizing and detecting the playfield may be considered, and the playfield included in the image data may be recognized and detected.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 정합(Image stitching) 동작을 수행할 수 있다.The player tracking system 100 according to an embodiment of the present application may perform an image stitching operation.

구체적으로, 선수 추적 시스템(100)의 선수 추적 서버(1000)는 적어도 하나 이상의 이미지 데이터로부터 단일의 이미지 데이터로의 이미지 정합할 수 있도록 제공될 수 있다. Specifically, the player tracking server 1000 of the player tracking system 100 may be provided to perform image matching from at least one or more image data to a single image data.

일 예로 플레이필드 주변의 상이한 위치에 배치된 적어도 하나 이상의 이미지 캡처 장치로부터 이미지 데이터가 획득될 수 있다. 이때, 선수 추적 서버(1000)는 동일한 시간적 시점의 적어도 하나 이상의 이미지 캡처 장치로부터 획득된 적어도 하나 이상의 이미지 데이터를 하나의 이미지 데이터로 정합하는 동작을 수행함으로써, 고해상도 이미지를 생성할 수 있고 파노라마 영상을 생성할 수 있다. 이때, 적어도 하나 이상의 이미지 데이터를 하나의 이미지 데이터로 정합하는 경우, 적어도 하나 이상의 이미지 데이터 간의 겹치는 부분 내에 포함된 기준점을 기준으로 이미지 데이터 간의 정합하는 동작이 수행될 수 있다. 적어도 하나 이상의 이미지 데이터 간의 겹치는 부분 내에 포함된 "기준점"은 이미지 데이터 내에 포함된 페널티마크, 코너플래그와 같은 점(point)일 수 있다. 또는 상기 복수의 이미지 데이터 간의 겹치는 부분 내에 포함된 "기준점"은 이미지 데이터 내에 포함된 페널티라인, 골라인, 터치라인, 센터라인과 같은 선(line)일 수 있다. 상기 복수의 이미지 데이터 간의 겹치는 부분 내에 포함된 "기준점"은 이미지 데이터 내에 포함된 센터서클 등과 같은 영역(region) 등 일 수 있다. 다만, 이는 예시에 불과하며 복수의 이미지 데이터 간의 정합 동작을 수행하는 데 임의의 적절한 기준점이 이용될 수 있다. For example, image data may be acquired from at least one or more image capturing devices disposed at different locations around the playfield. At this time, the player tracking server 1000 may generate a high-resolution image by performing an operation of matching at least one or more image data acquired from at least one or more image capturing devices at the same time point into one image data, and may generate a panoramic image. can create In this case, when at least one or more image data is matched as one image data, an operation of matching between the image data may be performed based on a reference point included in an overlapping portion between the at least one or more image data. The "reference point" included in the overlapping portion between at least one or more image data may be a point such as a penalty mark or a corner flag included in the image data. Alternatively, the "reference point" included in the overlapping portion between the plurality of image data may be a line such as a penalty line, a goal line, a touch line, and a center line included in the image data. The "reference point" included in the overlapping portion between the plurality of image data may be a region such as a center circle included in the image data. However, this is only an example, and any suitable reference point may be used to perform a matching operation between a plurality of image data.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터로부터 이미지 기반 위치를 획득할 수 있다. The player tracking system 100 according to an embodiment of the present application may acquire an image-based position from image data.

구체적으로, 선수 추적 서버(1000)는 이미지 데이터를 분석하여 이미지 데이터에 포함된 스포츠 참가자의 위치를 계산할 수 있다. Specifically, the player tracking server 1000 may analyze the image data to calculate the position of the sports participant included in the image data.

일 예로, 선수 추적 서버(1000)는 스포츠 참가자의 위치를 계산하기 위하여 투시도(Perspective view) 형태의 이미지 데이터를 탑 뷰(Top view) 형태로 변환할 수 있다. 이때, 선수 추적 서버(1000)는 탑 뷰(Top view) 형태로 좌표를 변환하기 위하여 이미지 데이터를 촬영한 이미지 캡처 장치의 설치 위치나 이미지 캡처 장치로부터 스포츠 참가자 간의 상대적인 위치를 고려할 수 있다. 또한, 선수 추적 서버(1000)는 플레이필드와 실질적으로 동일한 평면을 기준으로 투시도(Perspective view) 형태의 이미지 데이터를 탑 뷰(Top view) 형태의 이미지 데이터로 변환할 수 있다. For example, the player tracking server 1000 may convert image data in the form of a perspective view into a form of a top view in order to calculate the position of the sports participant. In this case, the athlete tracking server 1000 may consider the installation position of the image capturing device that captured image data or the relative position between the sports participants from the image capturing device in order to convert the coordinates into a top view form. Also, the player tracking server 1000 may convert image data in the form of a perspective view into image data in the form of a top view based on a plane substantially identical to that of the playfield.

상기 선수 추적 서버(1000)는 탑 뷰(Top view) 형태의 이미지 데이터로부터 스포츠 참가자의 위치를 계산할 수 있다. 예를 들면, 선수 추적 서버(1000)는 탑 뷰(Top view) 이미지 데이터의 스포츠 참가자에 대응하는 픽셀의 위치에 기초하여 스포츠 참가자의 위치를 계산할 수 있다. 바람직하게는, 선수 추적 서버(1000)는 스포츠 참가자의 발에 대응하는 픽셀의 위치에 기초하여 스포츠 참가자의 위치를 계산할 수 있다.The player tracking server 1000 may calculate the position of the sports participant from image data in the form of a top view. For example, the player tracking server 1000 may calculate the position of the sports participant based on the position of the pixel corresponding to the sports participant in the top view image data. Preferably, the athlete tracking server 1000 may calculate the sports participant's position based on the pixel position corresponding to the sports participant's foot.

상술한 바에 따르면, 선수 추적 서버(1000)는 탑 뷰 형태의 이미지 데이터에 기초하여 선수의 위치를 계산하는 내용을 중심으로 기재하였으나, 이는 예시에 불과하다. 예를 들어, 선수 추적 서버(1000)는 탑 뷰가 아닌 형태의 이미지 데이터(예: 투시도(Perspective view))의 스포츠 참가자(예, 발)에 대응하는 픽셀의 위치를 획득한 후, 이미지 캡처 장치의 높이와 설치 각도를 고려하여 플레이필드와 실질적으로 동일한 평면에 대하여 투사시킴으로써 선수의 위치를 계산할 수 있다. As described above, the player tracking server 1000 has mainly described the calculation of the player's position based on the image data in the top view form, but this is only an example. For example, the player tracking server 1000 obtains the position of a pixel corresponding to a sports participant (eg, a foot) of image data (eg, a perspective view) in a form other than the top view, and then the image capturing device The player's position can be calculated by projecting it on the same plane as the playfield, taking into account the height and installation angle of the player.

다른 예로, 상기 이미지 데이터를 분석하여 스포츠 참가자의 위치를 계산하여 스포츠 참가자를 추적하는 데에는, CSRT, fast RCNN, Depp sort 등 다양한 인공신경망이 이용될 수 있다. 다만, 상술한 인공신경망은 예시에 불과하며 스포츠 참가자를 추적하는데 임의의 적절한 알고리즘이나 인공신경망이 이용될 수 있다. As another example, various artificial neural networks such as CSRT, fast RCNN, and Depp sort may be used to analyze the image data and calculate the location of the sports participant to track the sports participant. However, the above-described artificial neural network is only an example, and any suitable algorithm or artificial neural network may be used to track a sports participant.

예를 들어, 상술한 인공신경망을 통하여 이미지 데이터 내에 포함된 스포츠 참가자가 세그멘테이션될 수 있으며, 스포츠 참가자가 검출될 수 있다. 스포츠 참가자가 검출된다면 바운딩 박스가 생성될 수 있으며, 선수 추적 서버(1000)는 바운딩 박스를 기초로 하여 스포츠 참가자의 위치를 계산할 수 있다. 바람직하게는, 선수 추적 서버(1000)는 바운딩 박스의 하부 라인(bottom line)을 기초로 스포츠 참가자의 위치를 계산할 수 있다. For example, a sports participant included in the image data may be segmented through the above-described artificial neural network, and the sports participant may be detected. If a sports participant is detected, a bounding box may be generated, and the player tracking server 1000 may calculate a location of the sports participant based on the bounding box. Preferably, the athlete tracking server 1000 may calculate the position of the sports participant based on the bottom line of the bounding box.

다른 예를 들어, 상술한 인공 신경망을 통하여 이미지 데이터 내에 포함된 스포츠 참가자의 "발"이 검출될 수 있으며, 선수 추적 서버(1000)는 스포츠 참가자는 "발"에 대응되는 픽셀의 위치를 기초로 스포츠 참가자의 위치가 계산될 수 있다. As another example, the "foot" of the sports participant included in the image data may be detected through the above-described artificial neural network, and the athlete tracking server 1000 determines the sports participant based on the position of the pixel corresponding to the "foot". The position of the sports participant may be calculated.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 측위 센서 데이터로부터 측위 센서 기반 위치를 획득할 수 있다. 구체적으로 선수 추적 서버(1000)는 상기 측위 센서 데이터에 포함된 선수의 위치와 관련된 데이터를 고려하여 선수의 위치를 계산할 수 있다. 예를 들어, 선수 추적 서버(1000)는 측위 센서 데이터에 기초하여 삼각 측량법을 통하여 측위 센서 기반 위치를 계산하거나 획득할 수 있다.The player tracking system 100 according to an embodiment of the present application may obtain a positioning sensor-based position from the positioning sensor data. Specifically, the player tracking server 1000 may calculate the player's position in consideration of data related to the player's position included in the positioning sensor data. For example, the player tracking server 1000 may calculate or obtain a positioning sensor-based position through triangulation based on the positioning sensor data.

여기서 측위 센서 데이터는 선수의 위치와 관련된 데이터를 포함하고 있다. 이때, 혹은 측위 센서 기반 위치는 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다. Here, the positioning sensor data includes data related to the player's position. In this case, or the positioning sensor-based position may be obtained from data related to speed or acceleration included in the positioning sensor data.

또한, 선수 추적 서버(1000)는, 상술한 이미지 데이터의 위치와 관련된 데이터와 측위 센서 데이터의 위치와 관련된 데이터로부터 미적분과 같은 수학적인 방법을 이용하여 스포츠 참가자의 속도나 가속도를 각각 계산하도록 제공될 수 있다. In addition, the player tracking server 1000 is provided to calculate the speed or acceleration of the sports participant using a mathematical method such as calculus from the data related to the position of the above-described image data and the data related to the position of the positioning sensor data, respectively. can

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 획득된 이미지 기반 위치의 유효성을 판단할 수 있다. The player tracking system 100 according to an embodiment of the present application may determine the validity of the acquired image-based position.

구체적으로는 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 이미지 기반 위치의 유효성을 평가할 수 있다. 보다 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치의 유효성을 평가하는 데, 오클루전 이벤트의 검출 여부, 오클루전 이벤트의 심각도, 선수의 수직적인 움직임(vertical movement) 및 이미지 데이터로부터 계산된 선수의 위치의 이격(internal disparity) 중 적어도 하나를 고려하도록 제공될 수 있다. Specifically, the player tracking server 1000 may evaluate the validity of the image-based position of the player calculated from the image data. More specifically, the player tracking server 1000 evaluates the validity of the image-based position, and whether an occlusion event is detected, the severity of the occlusion event, the player's vertical movement, and the image data calculated from the It may be provided to account for at least one of the internal disparity of the athlete's position.

도 5 내지 도 8을 참고한다 도 5 내지 도 8은 본 출원의 일 실시예에 따른 선수 추적 서버(1000)의 이미지 데이터 내의 복수의 선수들 간의 오클루전 이벤트 발생 여부를 판단하거나 검출하는 방법에 대한 예시적인 도면이다. 5 to 8 is a method for determining or detecting whether an occlusion event occurs between a plurality of players in the image data of the player tracking server 1000 according to an embodiment of the present application It is an exemplary drawing for

일 예로, 선수 추적 서버(1000)는 이미지 데이터 내의 복수의 선수들간의 오클루전 이벤트의 검출 여부를 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 여기서 오클루전 이벤트란, 복수의 선수들간에 적어도 일부분이 중첩되는 이벤트를 의미할 수 있다. For example, the player tracking server 1000 may evaluate the validity of the position of the player calculated from the image data in consideration of whether an occlusion event between a plurality of players in the image data is detected. Here, the occlusion event may mean an event in which at least a portion overlaps among a plurality of players.

예를 들어, 선수 추적 서버(1000)는 인텐시티 맵(intensity map) 형태나 RGB 맵 형태의 이미지 데이터에 기초하여 오클루전 이벤트를 검출할 수 있다. 예를 들어, 선수 추적 서버(1000)는 상술한 바와 같이 임의의 적절한 인공지능망을 기초로 이미지 데이터 내에 포함된 스포츠 참가자를 인식할 수 있으며, 인식의 결과로 스포츠 참가자별로 바운딩 박스(bounding box)가 생성될 수 있다. 이때, 선수 추적 서버(1000)는 복수의 선수들 간의 바운딩 박스(bounding box)의 중첩 정도를 고려하여 오클루전이 발생하였는지 여부를 판단할 수 있다. For example, the player tracking server 1000 may detect an occlusion event based on image data in the form of an intensity map or an RGB map. For example, the player tracking server 1000 may recognize a sports participant included in the image data based on any suitable artificial intelligence network as described above, and as a result of the recognition, a bounding box for each sports participant is can be created In this case, the player tracking server 1000 may determine whether occlusion has occurred in consideration of the degree of overlap of bounding boxes between a plurality of players.

일 예로, 바운딩 박스(bounding box)의 중첩 정도와 관련된 임계값이 미리 설정될 수 있으며, 상기 선수 추적 서버(1000)는 상기 임계값을 초과하여 선수들 간의 바운딩 박스(bounding box)가 중첩되는 경우에는 오클루전 이벤트가 발생하였다고 판단할 수 있다. 반면, 선수 추적 서버(1000)는 상기 임계값 미만으로 선수들 간의 바운딩 박스(bounding box)가 중첩되거나 바운딩 박스(bounding box)가 중첩되지 않은 경우에는 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다. As an example, a threshold value related to the degree of overlap of bounding boxes may be preset, and the player tracking server 1000 exceeds the threshold value when bounding boxes between players overlap. It can be determined that an occlusion event has occurred. On the other hand, the player tracking server 1000 may determine that the occlusion event has not occurred if the bounding boxes between the players overlap or do not overlap the bounding boxes below the threshold value. .

구체적으로 도 5를 참고한다. 도 5는 이미지 데이터로부터 인식된 제1 스포츠 참가자에 대응되는 제1 바운딩 박스(BB1)와 이미지 데이터로부터 인식된 제2 스포츠 참가자에 대응되는 제2 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율에 따라 오클루전 여부를 검출하거나 판단하는 것을 도시한 도면이다. Specifically, refer to FIG. 5 . 5 shows the size or ratio of the overlapping area of the first bounding box BB1 corresponding to the first sports participant recognized from the image data and the second bounding box BB2 corresponding to the second sports participant recognized from the image data. It is a diagram illustrating detection or determination of whether occlusion exists according to the .

도 5(a)를 참고하면, 상기 제1 바운딩 박스(BB1)와 상기 제2 바운딩 박스(BB2)가 중첩되지 않는 상황이 존재할 수 있다. 이때, 선수 추적 서버(1000)는 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다.Referring to FIG. 5A , there may be a situation in which the first bounding box BB1 and the second bounding box BB2 do not overlap. In this case, the player tracking server 1000 may determine that the occlusion event has not occurred.

도 5(b), (c), (d)를 참고하면, 상기 제1 바운딩 박스(BB1)와 상기 제2 바운딩 박스(BB2)가 일부 중첩되는 상황이 존재할 수 있다. 이때, 선수 추적 서버(1000)는, 상기 제1 바운딩 박스(BB1)와 상기 제2 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율에 대한 미리 설정된 제1 임계값에 기초하여, 오클루전 이벤트가 발생하였는지 여부를 판단할 수 있다. Referring to FIGS. 5(b), (c), and (d), a situation in which the first bounding box BB1 and the second bounding box BB2 partially overlap may exist. At this time, the player tracking server 1000, based on a preset first threshold value for the size or ratio of the overlapping area of the first bounding box (BB1) and the second bounding box (BB2), occlusion It can be determined whether an event has occurred.

예를 들어, 도 5(b)는 상기 제1 바운딩 박스(BB1)와 상기 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율이 미리 설정된 제1 임계값보다는 작은 경우를 도시한 도면일 수 있다. 이때, 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다. For example, FIG. 5(b) may be a diagram illustrating a case in which the size or ratio of the overlapping regions of the first bounding box BB1 and the bounding box BB2 is smaller than a preset first threshold value. . In this case, the player tracking server 1000 may determine that an occlusion event has not occurred between the first sports participant and the second sports participant.

다른 예를 들어, 도 5(c)는 상기 제1 바운딩 박스(BB1)와 상기 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율이 미리 설정된 제1 임계값보다 초과되는 경우를 도시한 도면일 수 있다. 이때, 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트가 발생하였다고 판단할 수 있다. For another example, FIG. 5C is a diagram illustrating a case in which the size or ratio of the overlapping area of the first bounding box BB1 and the bounding box BB2 exceeds a preset first threshold value. can In this case, the player tracking server 1000 may determine that an occlusion event has occurred between the first sports participant and the second sports participant.

상술한 바에 따르면, 선수 추적 서버(1000)는 오클루전 이벤트가 발생하였는지 "여부"를 판단할 수 있다고 서술하였으나, 선수 추적 서버(1000)는 추가적으로 미리 설정된 제2 임계값을 고려하여 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트의 "심각도"를 판단할 수 있다. According to the above description, it has been described that the player tracking server 1000 can determine whether an occlusion event has occurred, but the player tracking server 1000 additionally considers the second threshold value set in advance. A “severity” of the occlusion event may be determined between the sports participant and the second sports participant.

예를 들어, 도 5(c)는 상기 제1 바운딩 박스(BB1)와 상기 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율이 미리 설정된 상기 제2 임계값보다는 작은 경우를 도시한 도면일 수 있다. 다시 말해, 도 5(c)의 경우에는 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트가 발생하였으나 오클루전의 심각도가 심각하지는 않다고 판단할 수 있다. For example, FIG. 5(c) is a diagram illustrating a case in which the size or ratio of the overlapping regions of the first bounding box BB1 and the bounding box BB2 is smaller than the preset second threshold value. have. In other words, in the case of FIG. 5C , the player tracking server 1000 may determine that the occlusion event has occurred between the first sports participant and the second sports participant, but the severity of the occlusion is not serious.

반면, 도 5(d)는 상기 제1 바운딩 박스(BB1)와 상기 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율이 미리 설정된 상기 제1 임계값 및 상기 제2 임계값보다 모두 큰 경우를 도시한 도면일 수 있다. On the other hand, FIG. 5( d ) shows a case in which the size or ratio of the overlapping regions of the first bounding box BB1 and the bounding box BB2 is larger than the preset first threshold value and the second threshold value. It may be a drawing shown.

이때, 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트가 발생하였으며, 오클루전의 심각도가 심각하다고 판단할 수 있다. In this case, the player tracking server 1000 may determine that an occlusion event has occurred between the first sports participant and the second sports participant, and the severity of the occlusion is serious.

다른 예로, 선수 추적 서버(1000)는 RGB 맵 형태(혹은 인텐시티 맵(intensity map) 형태)의 이미지 데이터에 기초하여 오클루전 이벤트를 검출할 수 있다. 구체적으로, 선수 추적 서버(1000)는 RGB 맵에 포함된 픽셀 데이터를 이용하여 오클루전 이벤트를 검출하여 오클루전 이벤트의 발생 여부를 판단할 수 있다. As another example, the player tracking server 1000 may detect an occlusion event based on image data in the form of an RGB map (or an intensity map). Specifically, the player tracking server 1000 may determine whether an occlusion event has occurred by detecting an occlusion event using pixel data included in the RGB map.

예를 들어, 오클루전 이벤트가 발생하지 않은 이전 시점의 이미지 데이터 내에 포함된 복수의 선수들에 해당하는 픽셀 수의 합에 대하여 현재 시점의 이미지 데이터 내에 포함된 상기 복수의 선수들에 해당하는 픽셀 수의 합이 일정 비율 미만으로 감소하는 경우에는, 선수 추적 서버(1000)는 오클루전 이벤트가 발생하였다고 판단하도록 구현될 수 있다. 이를 위하여 상기 일정 비율에 대하여 임의의 적절한 임계 비율이 미리 설정될 수 있다. For example, a pixel corresponding to the plurality of players included in the image data of the current time with respect to the sum of the number of pixels corresponding to the plurality of players included in the image data of the previous time point where the occlusion event does not occur When the sum of the numbers decreases below a certain ratio, the player tracking server 1000 may be implemented to determine that an occlusion event has occurred. For this purpose, any suitable threshold ratio may be preset with respect to the predetermined ratio.

구체적으로 도 6을 참고하면, 선수 추적 서버(1000)는, 이미지 데이터로부터 제1 스포츠 참가자와 제2 스포츠 참가자 각각과 관련된 픽셀 데이터를 획득할 수 있다. 이때, 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 관련된 픽셀 데이터와 제2 스포츠 참가자와 관련된 픽셀 데이터를 고려하여, 제1 스포츠 참가자와 제2 스포츠 참가자 간의 오클루전 이벤트 발생 여부를 검출하거나 판단할 수 있다. Specifically, referring to FIG. 6 , the player tracking server 1000 may obtain pixel data related to each of the first sports participant and the second sports participant from the image data. In this case, the player tracking server 1000 detects whether or not an occlusion event between the first sports participant and the second sports participant occurs in consideration of the pixel data related to the first sports participant and the pixel data related to the second sports participant can judge

구체적으로, 도 6(a)는 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)를 나타낸 도면이다. 이때, 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)가 중첩되지 않을 수 있다. Specifically, FIG. 6A is a diagram illustrating a plurality of pixel data PD1 corresponding to a first sports participant and a plurality of pixel data PD2 corresponding to a second sports participant. In this case, the plurality of pixel data PD1 corresponding to the first sports participant and the plurality of pixel data PD2 corresponding to the second sports participant may not overlap.

도 6(b)는 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2) 중 일부가 중첩된 복수의 픽셀 데이터(PD3)를 나타낸 도면이다. 6B is a diagram illustrating a plurality of pixel data PD3 in which some of the plurality of pixel data PD1 corresponding to the first sports participant and the plurality of pixel data PD2 corresponding to the second sports participant are overlapped; to be.

바람직한 실시예에 따르면, 도 6(a)와 도 6(b)는 시간적으로 인접한 두 시점에 대한 이미지 데이터로부터 획득된 제1 스포츠 참가자와 제2 스포츠 참가자에 관련된 복수의 픽셀 데이터일 수 있다. 이때, 선수 추적 서버(1000)는, 도 6(a)의 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 상기 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)의 총합에 대한, 도 6(b)의 복수의 픽셀 데이터(PD3)의 총합에 대한 비율을 고려하여 오클루전 이벤트 발생 여부를 검출하거나 판단할 수 있다. According to a preferred embodiment, FIGS. 6A and 6B may be a plurality of pixel data related to a first sports participant and a second sports participant obtained from image data for two temporally adjacent viewpoints. At this time, the player tracking server 1000 is configured for the sum of the plurality of pixel data PD1 corresponding to the first sports participant of FIG. 6A and the plurality of pixel data PD2 corresponding to the second sports participant of FIG. 6A . , it is possible to detect or determine whether an occlusion event has occurred in consideration of a ratio to the sum of the plurality of pixel data PD3 of FIG. 6B .

예를 들어, 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 상기 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)의 총합에 대한, 도 6(b)의 복수의 픽셀 데이터(PD3)의 총합에 대한 비율에 대하여 오클루전 이벤트의 발생 여부에 대한 기준 임계 비율값이 미리 설정될 수 있다. 이때, 선수 추적 서버(1000)는 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 상기 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)의 총합에 대한, 도 6(b)의 복수의 픽셀 데이터(PD3)의 총합에 대한 비율이 기준 임계 비율값보다 작은 경우에는 상기 제1 스포츠 참가자와 상기 제2 스포츠 참가자 간의 오클루전 이벤트가 발생하였다고 판단할 수 있다. For example, the plurality of pixel data (PD1) corresponding to the first sports participant and the plurality of pixel data (PD2) corresponding to the second sports participant in FIG. With respect to the ratio to the total of PD3), a reference threshold ratio value for whether an occlusion event occurs may be preset. At this time, the player tracking server 1000 calculates the sum of the plurality of pixel data PD1 corresponding to the first sports participant and the plurality of pixel data PD2 corresponding to the second sports participant, as shown in FIG. 6( b ). When the ratio to the sum of the plurality of pixel data PD3 is smaller than the reference threshold ratio, it may be determined that an occlusion event between the first sports participant and the second sports participant has occurred.

다만, 상술한 내용은 예시에 불과하며 픽셀 데이터를 이용한 임의의 적절한 방법을 이용하여 오클루전 이벤트의 발생 여부를 판단할 수 있다. 또한, 추가적인 임계 비율값이 미리 설정됨으로써, 선수 추적 서버(1000)는 오클루전 이벤트의 발생 여부뿐만 아니라, 오클루전 이벤트의 심각도 또한 판단할 수 있음은 자명하다. However, the above description is only an example, and it may be determined whether an occlusion event has occurred using any suitable method using pixel data. In addition, it is self-evident that by setting the additional threshold ratio in advance, the player tracking server 1000 can determine not only whether an occlusion event has occurred, but also the severity of the occlusion event.

또 다른 예로, 선수 추적 서버(1000)는 측위 센서 데이터에 포함된 선수의 위치에 관한 데이터를 고려하여 기초하여 오클루전 이벤트를 검출할 수 있다. 구체적으로, 선수 추적 서버(1000)는 복수의 선수에 대응되는 측위 센서 데이터에 포함된 복수의 선수의 위치와 관련된 데이터를 획득할 수 있다. 이때, 선수 추적 서버(1000)는 특정 선수를 기준으로 미리 결정된 반경 이내에 위치된 선수의 수를 고려하여 오클루전 이벤트의 발생 여부를 판단할 수 있다. 상기 미리 결정된 반경 이내에 위치된 선수의 수와 관련하여는, 임의의 적절한 임계값이 미리 설정될 수 있으며, 선수 추적 서버(1000)는 특정 선수를 기준으로 미리 결정된 반경 이내에 위치된 선수의 수가 상기 임계값보다 큰 경우에는 오클루전 이벤트가 발생하였다고 판단할 수 있다. 반면, 특정 선수를 기준으로 미리 결정된 반경 이내에 위치된 선수의 수가 상기 임계값보다 작은 경우에는 선수 추적 서버(1000)는 오클루전 이벤트가 발생하였다고 판단할 수 있다. As another example, the player tracking server 1000 may detect an occlusion event based on data regarding the position of the player included in the positioning sensor data. Specifically, the player tracking server 1000 may acquire data related to the positions of the plurality of players included in the positioning sensor data corresponding to the plurality of players. In this case, the player tracking server 1000 may determine whether an occlusion event occurs in consideration of the number of players located within a predetermined radius based on a specific player. With respect to the number of players positioned within the predetermined radius, any suitable threshold may be preset, and the player tracking server 1000 determines that the number of players positioned within a predetermined radius based on a specific player is the threshold. If it is greater than the value, it can be determined that an occlusion event has occurred. On the other hand, when the number of players located within a predetermined radius based on a specific player is less than the threshold value, the player tracking server 1000 may determine that an occlusion event has occurred.

도 7를 참고한다. 도 7은 복수의 스포츠 참가자들의 위치를 도시한 도면이다. See FIG. 7 . 7 is a diagram illustrating positions of a plurality of sports participants.

상기 복수의 스포츠 참가자들의 위치는 이미지 데이터 또는 측위 센서 데이터로부터 획득된 위치일 수 있다. 바람직하게는 복수의 스포츠 참가자들의 각각의 위치는 측위 센서 데이터로부터 획득된 위치일 수 있다. 또한, 바람직하게는 상기 복수의 스포츠 참가자들의 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터를 좌표 변환하여 획득된 위치들일 수 있다. 이때, 선수 추적 서버(1000)는, 상기 복수의 스포츠 참가자들에 대응되는 위치 중 특정 스포츠 참가자에 대응되는 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수를 획득할 수 있다. 또한, 선수 추적 서버(1000)는, 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수를 고려하여 오클루전 이벤트가 발생하였는지 여부를 결정할 수 있다. 예를 들어, 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수와 관련하여 임계값이 미리 설정될 수 있으며, 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 상기 임계값보다 큰 경우에는 오클루전 이벤트가 발생하였다고 판단할 수 있다. 반면, 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 상기 임계값보다 작은 경우에는 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다.The positions of the plurality of sports participants may be positions obtained from image data or positioning sensor data. Preferably, each position of the plurality of sports participants may be a position obtained from positioning sensor data. Also, preferably, the positions of the plurality of sports participants may be positions obtained by coordinate transformation of position-related data included in the positioning sensor data. At this time, the player tracking server 1000 is configured to control the sports participants located in an area R within a predetermined radius based on a specific location (L1_sensor) corresponding to a specific sports participant among locations corresponding to the plurality of sports participants. number can be obtained. Also, the player tracking server 1000 may determine whether an occlusion event has occurred in consideration of the number of sports participants located in the area R within a predetermined radius based on the specific location L1_sensor. . For example, a threshold value may be preset in relation to the number of sports participants located in the area R within a predetermined radius, and the athlete tracking server 1000 determines the predetermined location based on the specific location (L1_sensor). When the number of sports participants located in the area R within the radius is greater than the threshold value, it may be determined that an occlusion event has occurred. On the other hand, the player tracking server 1000 determines that the occlusion event has not occurred when the number of sports participants located in the area R within a predetermined radius based on the specific location L1_sensor is smaller than the threshold value. can do.

또 다른 예로, 선수 추적 서버(1000)는, 이미지 캡처 장치의 배열 및 포즈와 관련된 데이터를 획득할 수 있다. 또한 선수 추적 서버(1000)는 각각의 선수가 착용한 측위 센서 장치(200)로부터 각 선수의 위치와 관련된 데이터를 포함하는 측위 센서 데이터도 수신할 수 있다. 이때, 선수 추적 서버(1000)는 상기 이미지 캡처 장치의 배열 및 포즈와 관련된 데이터와 상기 선수의 위치와 관련된 데이터를 포함하는 측위 센서 데이터를 모두 고려하여 오클루전 발생 여부를 검출할 수 있다. 예를 들어, 선수 추적 서버(1000)는, 이미지 캡처 장치의 라인 오브 사이트(line of sight) 및 각도와 관련된 데이터와 측위 센서 데이터로부터 계산된 선수의 위치들을 기초로, 오클루전 발생 여부를 검출하거나 판단할 수 있다. As another example, the player tracking server 1000 may acquire data related to the arrangement and pose of the image capturing device. Also, the player tracking server 1000 may receive positioning sensor data including data related to the position of each player from the positioning sensor device 200 worn by each player. In this case, the player tracking server 1000 may detect whether occlusion has occurred in consideration of both the data related to the arrangement and pose of the image capture device and the positioning sensor data including data related to the position of the player. For example, the player tracking server 1000 detects whether occlusion occurs based on the player's positions calculated from the data related to the line of sight and angle of the image capture device and the positioning sensor data. or can be judged.

도 8을 참고한다. 도 8은 복수의 스포츠 참가자들의 위치, 이미지 캡처 장치(300)에 대응되는 가상 포인트(310) 및 상기 이미지 캡처 장치(300)의 라인 오브 사이트(line of sight)를 포함하는 포즈(pose)에 관한 가상 선(320, 322)을 도시한 도면이다.See FIG. 8 . 8 illustrates a pose including positions of a plurality of sports participants, a virtual point 310 corresponding to the image capturing device 300 , and a line of sight of the image capturing device 300 . It is a diagram illustrating virtual lines 320 and 322 .

상기 복수의 스포츠 참가자들의 위치는 이미지 데이터 또는 측위 센서 데이터로부터 획득된 위치일 수 있다. 바람직한 예에 따르면, 상기 복수의 스포츠 참가자들의 각각의 위치(L2_sensor, L3_sensor)는 측위 센서 데이터로부터 획득된 위치일 수 있다. 또한, 바람직하게는 상기 복수의 스포츠 참가자들의 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터를 좌표 변환하여 획득된 위치들일 수 있다.The positions of the plurality of sports participants may be positions obtained from image data or positioning sensor data. According to a preferred example, each position (L2_sensor, L3_sensor) of the plurality of sports participants may be a position obtained from positioning sensor data. Also, preferably, the positions of the plurality of sports participants may be positions obtained by coordinate transformation of position-related data included in the positioning sensor data.

상기 이미지 캡처 장치에 대응되는 가상 포인트(310)는 플레이필드 주변에 위치된 이미지 캡처 장치(300)의 위치 정보를 포함하는 배열 정보로부터 획득된 위치일 수 있다. 바람직한 예에 따르면, 상기 이미지 캡처 장치에 대응되는 가상 포인트(310)는 이미지 캡처 장치(300)의 위치와 관련된 데이터를 좌표 변환하여 획득된 위치일 수 있다. The virtual point 310 corresponding to the image capturing device may be a location obtained from arrangement information including location information of the image capturing device 300 positioned around the playfield. According to a preferred example, the virtual point 310 corresponding to the image capturing device may be a position obtained by coordinate transformation of data related to the position of the image capturing device 300 .

가상선(320)과 관련된 상기 이미지 캡처 장치의 포즈(pose)에 대한 정보와 가상선(322)과 관련된 상기 이미지 캡처 장치의 라인 오브 사이트(line of sight)에 대한 정보는, 이미지 캡처 장치(300)로부터 획득될 수 있다. 바람직한 예에 따르면, 상기 이미지 캡처 장치의 라인 오브 사이트(line of sight)에 대응되는 가상선(322)은 상기 상기 복수의 스포츠 참가자들의 각각의 위치(L2_sensor, L3_sensor) 또는 상기 가상 포인트(310)와 공통의 좌표계에 대하여 좌표 변환되어 생성된 가상의 선일 수 있다. The information on the pose of the image capturing device in relation to the virtual line 320 and the information on the line of sight of the image capturing device in relation to the virtual line 322 include the image capturing device 300 . ) can be obtained from According to a preferred example, the virtual line 322 corresponding to the line of sight of the image capture device is the respective positions (L2_sensor, L3_sensor) or the virtual point 310 of the plurality of sports participants. It may be a virtual line generated by coordinate transformation with respect to a common coordinate system.

이때, 선수 추적 서버(1000)는, 라인 오브 사이트(line of sight)에 대응되는 가상선(322)과 상기 복수의 스포츠 참가자들의 각각의 위치(L2_sensor, L3_sensor)를 고려하여, 복수의 스포츠 참가자들간의 오클루전 발생 여부를 검출하거나 판단할 수 있다. 예를 들어, 제1 스포츠 참가자의 위치(L2_senosr)는 제1 스포츠 참가자의 측위 센서 장치(210, 220)로부터 획득된 측위 센서 데이터로부터 획득될 수 있으며, 제2 스포츠 참가자의 위치(L3_senosr)는 제2 스포츠 참가자의 측위 센서 장치(210, 220)로부터 획득된 측위 센서 데이터로부터 획득될 수 있다. 이때, 선수 추적 서버(1000)는, 라인 오브 사이트(line of sight)에 대하여 상기 제1 스포츠 참가자의 위치(L2_senosr) 및 제2 스포츠 참가자의 위치(L3_senosr)가 실질적으로 일직선 상에 위치되는 경우, 상기 제1 스포츠 참가자와 상기 제2 스포츠 참가자 간의 오클루전 이벤트가 발생하였다고 결정하거나 판단할 수 있다. At this time, the player tracking server 1000 considers the virtual line 322 corresponding to the line of sight and the respective positions (L2_sensor, L3_sensor) of the plurality of sports participants, between the plurality of sports participants. It is possible to detect or determine whether occlusion has occurred. For example, the position (L2_senosr) of the first sports participant may be obtained from positioning sensor data obtained from the positioning sensor devices 210 and 220 of the first sports participant, and the position (L3_senosr) of the second sports participant is the second 2 It may be obtained from positioning sensor data obtained from the positioning sensor devices 210 and 220 of the sports participant. At this time, the player tracking server 1000, when the position (L2_senosr) of the first sports participant and the position (L3_senosr) of the second sports participant with respect to the line of sight are substantially on a straight line, It may be determined or determined that an occlusion event between the first sports participant and the second sports participant has occurred.

또 다른 예로, 선수 추적 서버(1000)는 오클루전 이벤트와 관련된 선수들간의 팀(Team)의 동일 여부를 고려하여 오클루전 이벤트의 발생 여부를 판단하도록 구현될 수 있다. 구체적으로, 이미지 데이터, 특히 RGB 맵 형태의 이미지 데이터에서는 유니폼과 관련된 픽셀의 유사한 정도를 기초로 선수들간의 팀이 구별될 수 있다. 또한, 측위 센서 데이터에는 개별 선수의 식별자(identifier)가 포함될 수 있기 때문에, 식별자를 기초로 선수들간의 팀을 구별할 수 있다. As another example, the player tracking server 1000 may be implemented to determine whether an occlusion event occurs in consideration of whether a team between players related to the occlusion event is the same. Specifically, in image data, particularly, in image data in the form of an RGB map, teams between players may be distinguished based on the similarity of pixels related to uniforms. In addition, since the positioning sensor data may include an identifier of an individual player, it is possible to distinguish a team between players based on the identifier.

이때, 선수 추적 서버(1000)는 오클루전 이벤트와 관련된 선수들간의 팀이 동일하다면, 오클루전 이벤트가 발생한 것으로 판단하는 동작을 수행할 수 있다. 반면, 오클루전 이벤트와 관련된 선수들간의 팀이 동일하지 않다면, 선수 추적 서버(1000)는 오클루전 이벤트가 발생하지 않은 것으로 판단할 수 있다. In this case, the player tracking server 1000 may perform an operation of determining that the occlusion event has occurred if the teams between the players related to the occlusion event are the same. On the other hand, if the teams between the players related to the occlusion event are not the same, the player tracking server 1000 may determine that the occlusion event has not occurred.

다만, 이는 예시에 불과하며, 오클루전 이벤트와 관련된 선수들간의 팀이 동일하지 않더라도, 오클루전 이벤트가 발생한 것으로 판단할 수 있으며, 오클루전 이벤트의 심각도를 판단하는 동작에서 이미지 데이터로부터 계산된 선수의 위치와 관련된 유효성을 추가적으로 평가할 수 있을 것이다. However, this is only an example, and even if the teams between the players related to the occlusion event are not the same, it can be determined that the occlusion event has occurred, and it is calculated from the image data in the operation to determine the severity of the occlusion event. It will be possible to further evaluate the effectiveness related to the position of the athlete.

또 다른 예로, 선수 추적 서버(1000)는 스포츠 경기 중의 상황을 고려하여 오클루전 이벤트의 발생 여부를 검출하거나 판단하도록 제공될 수 있다. 구체적으로, 스포츠 경기 중 특히 코너킥 상황 등과 같이 복수의 선수들이 밀집해있는 상황이 발생할 수 있다. 이때, 선수 추적 서버(1000)는 이러한 밀집된 상황을 인식하여 오클루전 이벤트가 발생하였다고 추정할 수 있다. As another example, the player tracking server 1000 may be provided to detect or determine whether an occlusion event occurs in consideration of a situation during a sports game. Specifically, a situation in which a plurality of players are concentrated, such as a corner kick situation in particular during a sports game, may occur. At this time, the player tracking server 1000 may recognize such a dense situation and estimate that an occlusion event has occurred.

상술한 오클루전 이벤트 검출 방법들은 예시에 불과하며 인텐시티 맵(Intensity map)과 RGB 맵 형태의 이미지 내에서, 또는 이미지 데이터와 측위 센서 데이터각각으로터 계산된 선수의 위치를 고려하여 복수의 선수들간의 오클루전 이벤트를 검출하기 위한 임의의 적절한 방법이 선수 추적 서버(1000)에 제공될 수 있음은 자명하다.The above-described occlusion event detection methods are merely examples, and between a plurality of players in consideration of the player's position calculated from each of the intensity map and RGB map type images, or from image data and positioning sensor data, respectively. It is self-evident that any suitable method for detecting an occlusion event of a may be provided in the player tracking server 1000 .

상술한 바와 같이, 본 출원의 일 실시예에 따른 상기 선수 추적 서버(1000)는 이미지 데이터 내에서 복수의 선수들 간의 오클루전 이벤트의 발생 여부를 검출할 수 있으며, 상기 선수 추적 서버(1000)가 오클루전 이벤트가 발생하였다고 판단한 경우에는, 이미지 데이터로부터 계산된 선수의 위치가 유효하지 않는 것으로 판단될 수 있다. As described above, the player tracking server 1000 according to an embodiment of the present application may detect whether an occlusion event between a plurality of players occurs in the image data, and the player tracking server 1000 When it is determined that the occlusion event has occurred, it may be determined that the position of the player calculated from the image data is invalid.

본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 이미지 데이터 내의 복수의 선수들간의 오클루전 이벤트의 심각도(severity)를 더 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가하도록 제공될 수 있다. 여기서 오클루전 이벤트의 심각도(severity)란, 복수의 선수들간에 적어도 일부분이 중첩되는 오클루전 이벤트의 심각한 정도를 수치화 혹은 정량화한 개념을 포괄하는 의미로 사용될 수 있다. The player tracking server 1000 according to an embodiment of the present application further considers the severity of the occlusion event between a plurality of players in the image data to evaluate the validity of the position of the player calculated from the image data can be Here, the severity of the occlusion event may be used as a meaning encompassing the concept of quantifying or quantifying the severity of the occlusion event in which at least a part overlaps among a plurality of players.

일 예로, 다시 도 8을 참고하면, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는, 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수를 고려하여 오클루전 이벤트의 심각도를 결정하거나 판단할 수 있으며, 이를 통하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. As an example, referring back to FIG. 8 , the player tracking server 1000 according to an embodiment of the present application includes sports participants located in an area R within a predetermined radius based on the specific location L1_sensor. Considering the number, the severity of the occlusion event can be determined or judged, and through this, the validity of the position of the athlete calculated from the image data can be evaluated.

예를 들어, 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수와 관련하여 복수의 임계값(제1 임계값, 제2 임계값)이 미리 설정될 수 있으며, 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 상기 제1 임계값보다 크면서 제2 임계값보다 작은 경우에는, 오클루전 이벤트가 발생하였으나 심각도가 마일드(mild)하다고 판단할 수 있다. For example, a plurality of threshold values (a first threshold value, a second threshold value) may be preset in relation to the number of sports participants located in the area R within a predetermined radius, and the athlete tracking server 1000 ) is when the number of sports participants located in the area R within a predetermined radius based on the specific location L1_sensor is greater than the first threshold and smaller than the second threshold, an occlusion event occurs However, it can be judged that the severity is mild.

반면, 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 제2 임계값보다 큰 경우에는 오클루전 이벤트가 발생하였으며 오클루전 이벤트의 심각도가 심각(Severe)하다고 판단할 수 있다. On the other hand, in the player tracking server 1000, when the number of sports participants located in the area R within a predetermined radius based on the specific location (L1_sensor) is greater than the second threshold value, an occlusion event has occurred. It may be determined that the severity of the closure event is severe.

오클루전 이벤트의 심각도와는 별개로 상기 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 상기 제1 임계값보다 작은 경우에는 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다.Independently of the severity of the occlusion event, the player tracking server 1000 determines that the number of sports participants located in the area R within a predetermined radius based on the specific location L1_sensor is smaller than the first threshold. In this case, it may be determined that the occlusion event has not occurred.

다른 예로, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는, 오클루전 이벤트가 발생하였다고 판단하였더라도, 팀 식별인자(Team identifier)를 추가적으로 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가하도록 제공될 수 있다. 예를 들면, 선수 추적 서버(1000)는, 이미지 데이터 내에 포함된 복수의 스포츠 참가자들 간의 오클루전 이벤트가 발생하였더라도 오클루전 이벤트와 관련된 선수들의 팀 식별인자(Team identifier)에 따라 오클루전 이벤트의 심각도를 추가적으로 판단함으로써 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. As another example, even if the player tracking server 1000 according to an embodiment of the present application determines that an occlusion event has occurred, the validity of the position of the player calculated from the image data by additionally considering a team identifier can be provided to evaluate. For example, the player tracking server 1000 performs occlusion according to the team identifier of players related to the occlusion event even if an occlusion event between a plurality of sports participants included in the image data occurs. By further judging the severity of the event, the validity of the athlete's position calculated from the image data can be evaluated.

일반적으로 스포츠 참가자들의 팀이 동일한 경우에는 유니폼이 상이하기 때문에, 동일한 팀에 소속된 스포츠 참가자들 간의 오클루전 이벤트가 발생한다면 이미지 데이터로부터 계산된 스포츠 참가자들의 위치가 유효하지 않을 가능성이 높다In general, since uniforms are different when teams of sports participants are the same, if an occlusion event occurs between sports participants belonging to the same team, it is highly likely that the positions of sports participants calculated from image data are invalid.

반면, 스포츠 참가자들의 팀이 동일하지 않은 경우에는 유니폼이 상이하기 때문에, 동일하지 않는 팀에 소속된 스포츠 참가자들 간의 오클루전 이벤트가 발생하더라도, 유니폼 색과 관련된 RGB 맵의 픽셀 데이터를 이용하여 스포츠 참가자들의 위치를 유효하게 획득할 수 있다. On the other hand, since the uniforms are different when the teams of the sports participants are not the same, even if an occlusion event occurs between sports participants belonging to the non-identical team, the sports are performed using pixel data of the RGB map related to the uniform color. It is possible to obtain the positions of the participants effectively.

따라서, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는, 오클루전 이벤트가 발생하였다고 판단하였더라도, 팀 식별인자(Team identifier)를 추가적으로 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있는 것이다.Therefore, even if the player tracking server 1000 according to an embodiment of the present application determines that an occlusion event has occurred, the validity of the position of the player calculated from the image data by additionally considering the team identifier that can be evaluated

팀 식별인자(Team identifier)로서 이미지 데이터로부터 획득된 유니폼의 색상과 관련된 픽셀 데이터를 예시하였으나, 이는 예시에 불과하며, 측위 센서 데이터에 선수의 식별인자 뿐만 아니라 팀 식별인자를 더 포함시킴으로써 구현될 수 있을 것이다. Although pixel data related to the color of the uniform obtained from image data has been exemplified as a team identifier, this is only an example, and it can be implemented by further including the team identifier as well as the player's identifier in the positioning sensor data. There will be.

도 9를 참고한다. 도 9(a) 및 도 9(b)는 본 출원에 개시된 이미지 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다. See FIG. 9 . 9(a) and 9(b) are exemplary views of a method for determining the validity of a position of a player calculated from image data disclosed in the present application.

일 예로, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)을 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가하도록 제공될 수 있다. 여기서 수직적인 움직임(vertical movement)이란, 이미지 데이터로부터 계산된 선수의 위치와 관련된 좌표계 평면으로부터 수직적인 방향으로의 모든 움직임을 포괄하는 의미일 수 있다. 구체적으로 선수들에 착용된 관성 센서로부터 상기 수직적인 움직임(vertical movement)와 관련된 데이터가 더 획득될 수 있으며, 수직적인 움직임(vertical movement)이 있는 경우 이미지 데이터로부터 계산된 선수의 위치에 오차가 발생할 가능성이 존재한다. 따라서, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)을 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. As an example, the player tracking server 1000 may be provided to evaluate the validity of the position of the player calculated from the image data in consideration of the vertical movement of the player included in the image data. Here, the vertical movement may mean all movements in the vertical direction from the coordinate system plane related to the position of the player calculated from the image data. Specifically, data related to the vertical movement may be further obtained from the inertial sensor worn by the players, and if there is a vertical movement, an error may occur in the position of the player calculated from the image data. Possibility exists. Accordingly, the player tracking server 1000 may evaluate the validity of the position of the player calculated from the image data in consideration of the vertical movement of the player included in the image data.

도 9(a)를 참고하면, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 없는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L1_image)와 스포츠 참가자(1)의 실제 위치(L1)의 차이가 상대적으로 작을 수 있다. 다시 말해, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 없는 경우, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L1_image)가 실제 위치(L1)에 대하여 근사하여 계산될 수 있다. Referring to FIG. 9( a ), when there is substantially no vertical movement of the sports participant 1 included in the image data, the position (L1_image) of the sports participant 1 calculated from the image data and The difference between the actual position L1 of the sports participant 1 may be relatively small. In other words, when there is substantially no vertical movement of the sports participant 1 included in the image data, the position L1_image of the sports participant 1 calculated from the image data is calculated with respect to the actual position L1. can be approximated.

반면, 도 9(b)를 참고하면, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 존재하는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L2_image)와 스포츠 참가자(1)의 실제 위치(L2)의 차이가 상대적으로 클 수 있다. 다시 말해, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 존재하는 경우, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L2_image)가 실제 위치(L2)에 대하여 유의미한 오차가 발생할 가능성이 높다.On the other hand, referring to FIG. 9B , if there is a vertical movement of the sports participant 1 included in the image data, the position (L2_image) of the sports participant 1 calculated from the image data A difference between and the actual position L2 of the sports participant 1 may be relatively large. In other words, if there is a vertical movement of the sports participant 1 included in the image data, the position L2_image of the sports participant 1 calculated from the image data is significant with respect to the actual position L2. error is likely to occur.

따라서, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)을 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 예를 들어, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)이 검출되는 경우, 즉 스포츠 참가자(1)가 착용한 관성 센서로부터 z-방향 데이터의 변화값이 감지되는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자의 위치가 유효하지 않다고 결정하거나 판단할 수 있다. Accordingly, the player tracking server 1000 may evaluate the validity of the position of the player calculated from the image data in consideration of the vertical movement of the player included in the image data. For example, when the player tracking server 1000 detects a vertical movement of a player included in the image data, that is, the change value of z-direction data from the inertial sensor worn by the sports participant 1 is If detected, it may be determined or determined that the sports participant's location calculated from the image data is invalid.

다른 예를 들어, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)이 검출되지 않는 경우, 즉 스포츠 참가자(1)가 착용한 관성 센서로부터 z-방향 데이터의 변화값이 감지되지 않는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치를 유효하다고 결정하거나 판단할 수 있다.For another example, the player tracking server 1000 may detect a change in z-direction data from the inertial sensor worn by the sports participant 1 when vertical movement of the player included in the image data is not detected. If the value is not detected, the position of the sports participant 1 calculated from the image data may be determined or determined to be valid.

상술한 바에 따르면, 스포츠 참가자의 수직적인 움직임(vertical movement)의 검출 여부에 따라, 이미지 데이터로부터 계산된 스포츠 참가자의 유효성 여부를 평가할 수 있다고 서술하였으나, 이는 예시에 불과하며 수직적인 움직임(vertical movement)이 검출되더라도 z-방향으로의 가속도의 방향이나 크기를 더 고려하여 이미지 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 결정하도록 구현될 수 있을 것이다. 또한, 이미지 캡처 장치(300)의 높이나 위치, 캡처 각도에 대한 정보가 추가적으로 이미지 데이터로부터 계산된 스포츠 참가자의 위치의 유효성 여부를 판단하는데 고려되도록 제공될 수 있다. As described above, it has been described that the validity of the sports participant calculated from the image data can be evaluated depending on whether the vertical movement of the sports participant is detected, but this is only an example and the vertical movement Even if this is detected, it may be implemented to determine the validity of the position of the sports participant calculated from the image data by further considering the direction or magnitude of the acceleration in the z-direction. In addition, information on the height, position, and capture angle of the image capturing device 300 may be additionally provided to be considered in determining whether the position of the sports participant calculated from the image data is valid.

도 10을 참고한다. 도 10은 본 출원에 개시된 이미지 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다. See FIG. 10 . 10 is an exemplary diagram of a method for determining the validity of a position of a player calculated from image data disclosed in the present application.

일 예로, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치의 이격(internal disparity)을 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 구체적으로, 선수 추적 서버(1000)는 이미지 데이터로부터 선수의 위치를 지속적으로 계산할 수 있으며, 이때, 계산된 선수의 위치의 변화가 미리 결정된 임계값보다 크게 변화하는 경우에는 선수 추적 서버(1000)는 크게 변화된 시점의 선수의 위치에 대한 데이터는 유효하지 않은 것으로 판단할 수 있다. 다시 말해, 제1 시점에 대응하는 이미지 데이터로부터 계산된 선수의 위치와 제2 시점에 대응하는 이미지 데이터로부터 계산된 선수의 위치의 변화가 미리 결정된 임계값보다 크게 변화하는 경우에는, 선수 추적 서버(1000)는 제2 시점에 대응하는 이미지 데이터로부터 계산된 선수의 위치는 유효하지 않은 것으로 판단할 수 있다. For example, the player tracking server 1000 may evaluate the validity of the position of the player calculated from the image data in consideration of internal disparity of the position of the player calculated from the image data. Specifically, the player tracking server 1000 may continuously calculate the position of the player from the image data. At this time, when the calculated change in the position of the player is greater than a predetermined threshold value, the player tracking server 1000 is The data on the position of the athlete at the time of significant change may be judged to be invalid. In other words, when the change in the position of the player calculated from the image data corresponding to the first time point and the position of the player calculated from the image data corresponding to the second time point changes more than a predetermined threshold value, the player tracking server ( 1000) may determine that the position of the player calculated from the image data corresponding to the second time point is invalid.

도 10을 참고하면, 선수 추적 서버(1000)는 이미지 데이터로부터 시간적 흐름에 따른 특정 스포츠 참가자의 위치들을 계산하거나 획득하도록 제공될 수 있다. 이때, 제1 시점으로부터 계산된 스포츠 참가자의 위치(Lt1_image)로부터 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_image)간의 차이가 미리 결정된 임계값보다 큰 경우에는, 선수 추적 서버(1000)는 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_image)를 유효하지 않은 것으로 판단할 수 있다. 반면, 제3 시점으로부터 계산된 스포츠 참가자의 위치(Lt3_image)로부터 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_image)간의 차이가 미리 결정된 임계값보다 작은 경우에는, 선수 추적 서버(1000)는 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_image)를 유효한 것으로 판단할 수 있다. Referring to FIG. 10 , the athlete tracking server 1000 may be provided to calculate or obtain positions of specific sports participants according to time flow from image data. At this time, if the difference between the sports participant's position (Lt1_image) calculated from the first time point and the sports participant's position (Lt2_image) calculated from the second time point is greater than a predetermined threshold, the player tracking server 1000 is the second It may be determined that the position (Lt2_image) of the sports participant calculated from the viewpoint is invalid. On the other hand, when the difference between the sports participant's position (Lt3_image) calculated from the third time point and the sports participant's position (Lt4_image) calculated from the fourth time point is less than a predetermined threshold, the player tracking server 1000 is a fourth It may be determined that the position (Lt4_image) of the sports participant calculated from the viewpoint is valid.

상술한 바에 따르면, 미리 설정된 임계값을 기준으로 이미지 데이터로부터 계산된 스포츠 참가자의 시간적 흐름에 따른 위치의 유효성을 판단하는 것으로 기재하였으나, 이는 예시에 불과하며, 임의의 적절한 방법을 사용하여 이미지 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 판단할 수 있다. 예를 들어, 선수 추적 서버(1000)는 스포츠 참가자의 시간적 흐름에 따른 위치들의 경향성을 정량화하여 추세선 등을 계산할 수 있으며, 추세선 등에 대한 편차(Deviation)의 크기에 기초하여 이미지 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 판단할 수 있을 것이다. According to the above description, it has been described as determining the validity of the position according to the temporal flow of the sports participant calculated from the image data based on the preset threshold value, but this is only an example, and any suitable method is used to The validity of the calculated sports participant's position may be determined. For example, the athlete tracking server 1000 may calculate a trend line by quantifying the tendency of the positions of the sports participant according to the temporal flow, and the sports participant calculated from the image data based on the size of the deviation with respect to the trend line. will be able to judge the validity of the position of

또한 본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 획득된 측위 센서 기반 위치의 유효성을 판단할 수 있다. 구체적으로, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 보다 구체적으로, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가하는 데, 측위 센서 데이터의 신뢰도에 대한 정보, 측위 센서 데이터로부터 계산된 선수의 위치의 이격(internal disparity) 중 적어도 하나를 고려할 수 있다. In addition, the player tracking system 100 according to an embodiment of the present application may determine the validity of the acquired positioning sensor-based position. Specifically, the player tracking server 1000 may evaluate the validity of the player's position calculated from the positioning sensor data. More specifically, the player tracking server 1000 evaluates the validity of the position of the player calculated from the positioning sensor data, information about the reliability of the positioning sensor data, the distance of the player's position calculated from the positioning sensor data (internal) disparity) can be considered.

도 11을 참고한다. 도 11은 본 출원에 개시된 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다. See FIG. 11 . 11 is an exemplary diagram of a method for determining the validity of a position of a player calculated from positioning sensor data disclosed in the present application.

일 예로, 선수 추적 서버(1000)는 측위 센서 데이터에 포함된 센서 시그널의 신뢰도와 관련된 정보를 고려하여 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. As an example, the player tracking server 1000 may evaluate the validity of the position of the player calculated from the positioning sensor data in consideration of information related to the reliability of the sensor signal included in the positioning sensor data.

예를 들어, 범지구항법시스템(Global Navigation Satellite System, GNSS)로부터 측위 센서 장치로 송신된 신호에는 신호의 신뢰도와 관련된 정보(예, DoP, SNR)가 포함될 수 있다. For example, a signal transmitted from the Global Navigation Satellite System (GNSS) to the positioning sensor device may include information (eg, DoP, SNR) related to the reliability of the signal.

이때 상기 신뢰도와 관련된 정보는, 통신모듈(1100)을 통해, 선수 추적 서버(1000)가 획득할 수 있으며, 선수 추적 서버(1000)는 획득된 상기 센서-시그널 신뢰도와 관련된 정보를 고려하여, 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. At this time, the information related to the reliability may be obtained by the player tracking server 1000 through the communication module 1100 , and the player tracking server 1000 considers the acquired information related to the sensor-signal reliability, positioning The validity of the athlete's position calculated from the sensor data can be evaluated.

예를 들어, 상기 신뢰도와 관련된 정보와 관련하여 임계값이 미리 설정될 수 있으며, 상기 측위 센서 데이터에 포함된 신뢰도와 관련된 정보가 미리 설정된 상기 임계값보다 큰 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치가 유효한 것으로 판단할 수 있다. 반면 상기 측위 센서 데이터에 포함된 신뢰도와 관련된 정보가 미리 설정된 상기 임계값보다 작은 경우에는 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치가 유효하지 않은 것으로 판단할 수 있다. For example, a threshold value may be preset in relation to the information related to the reliability, and when the information related to the reliability included in the positioning sensor data is greater than the preset threshold value, the player tracking server 1000 is It can be determined that the position of the athlete calculated from the positioning sensor data is valid. On the other hand, when the reliability-related information included in the positioning sensor data is smaller than the preset threshold, the player tracking server 1000 may determine that the position of the player calculated from the positioning sensor data is invalid.

도 11을 참고하면, 상기 센서-시그널의 신뢰도와 관련된 정보는 플레이필드의 영역별로 상이할 수 있다. 예를 들어, 플레이필드의 제1 영역(A1)에 스포츠 참가자가 위치하는 경우에는 상기 센서-시그널의 신뢰도가 상대적으로 낮을 수 있다. 따라서, 상기 제1 영역(A1)에 위치한 스포츠 참가자의 측위 센서 장치로부터 획득된 측위 센서 데이터에 포함된 위치 데이터는 상대적으로 신뢰도가 낮을 수 있다. 반면, 플레이필드의 제2 영역(A2)에 스포츠 참가자가 위치하는 경우에는 상기 센서-시그널의 신뢰도가 상대적으로 높을 수 있다. 따라서, 상기 제2 영역(A2)에 위치한 스포츠 참가자의 측위 센서 장치로부터 획득된 측위 센서 데이터에 포함된 위치 데이터는 상대적으로 신뢰도가 높을 수 있다. Referring to FIG. 11 , the information related to the reliability of the sensor-signal may be different for each area of the playfield. For example, when a sports participant is located in the first area A1 of the playfield, the reliability of the sensor-signal may be relatively low. Accordingly, the location data included in the location sensor data obtained from the location sensor device of the sports participant located in the first area A1 may have relatively low reliability. On the other hand, when a sports participant is located in the second area A2 of the playfield, the reliability of the sensor-signal may be relatively high. Accordingly, the location data included in the location sensor data obtained from the location sensor device of the sports participant located in the second area A2 may have relatively high reliability.

이때, 선수 추적 서버(1000)는, 상기 제1 영역(A1)에서의 센서-시그널의 신뢰도가 미리 결정된 임계값보다 높은 경우에는, 상기 제1 영역(A1)에 위치한 스포츠 참가자의 측위 센서 장치로부터 획득된 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치를 유효한 것으로 판단하거나 결정할 수 있다. 반면, 선수 추적 서버(1000)는, 상기 제2 영역(A2)에서의 센서-시그널의 신뢰도가 미리 결정된 임계값보다 낮은 경우에는, 상기 제2 영역(A2)에 위치한 스포츠 참가자의 측위 센서 장치로부터 획득된 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치를 유효하지 않은 것으로 판단하거나 결정할 수 있다.At this time, the athlete tracking server 1000 is, when the reliability of the sensor-signal in the first area A1 is higher than a predetermined threshold value, from the positioning sensor device of the sports participant located in the first area A1. The position of the sports participant calculated from the obtained positioning sensor data may be determined or determined as valid. On the other hand, the athlete tracking server 1000, when the reliability of the sensor-signal in the second area A2 is lower than a predetermined threshold value, from the positioning sensor device of the sports participant located in the second area A2 It is possible to determine or determine the position of the sports participant calculated from the obtained positioning sensor data as invalid.

또한, 선수 추적 서버(1000)는 센서-시그널의 신뢰도와 이미지 데이터의 신뢰도를 정량화 및 비교하여 신뢰도가 높은 데이터에 기초하여 계산된 스포츠 참가자의 위치를 유효하다고 판단하거나, 센서-시그널 신뢰도와 이미지 데이터의 신뢰도에 따른 가중치를 통하여 스포츠 참가자의 위치를 계산할 수 있다. 이에 대하여는, 도 22와 관련하여 후술한다. In addition, the player tracking server 1000 quantifies and compares the reliability of the sensor-signal and the reliability of the image data, and determines that the position of the sports participant calculated based on the high-reliability data is valid, or the sensor-signal reliability and the image data are valid. The position of the sports participant can be calculated through the weight according to the reliability of . This will be described later with reference to FIG. 22 .

도 11에서는 제1 영역과 제2 영역을 플레이필드 내의 특정 영역에 한정하여 서술하였으나, 이는 영역별로 센서-시그널의 신뢰도가 상이하다는 것을 설명하기 위한 하나의 예시에 불과하다. In FIG. 11 , the first area and the second area are limited to a specific area within the playfield, but this is only an example for explaining that the reliability of the sensor-signal is different for each area.

도 12를 참고한다. 도 12는 본 출원에 개시된 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 판단하는 방법의 예시적인 도면이다. See FIG. 12 . 12 is an exemplary diagram of a method for determining the validity of a position of a player calculated from the positioning sensor data disclosed in the present application.

일 예로, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치의 이격(internal disparity)을 고려하여 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 구체적으로, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 선수의 위치를 지속적으로 계산하거나 획득할 수 있으며, 이때, 계산하거나 획득된 선수의 위치의 변화가 미리 결정된 임계값보다 크게 변화하는 경우에는 상기 선수 추적 서버(1000)는 크게 변화된 시점의 선수의 위치에 대한 데이터는 유효하지 않은 것으로 판단할 수 있다. 다시 말해, 제1 시점에 대응하는 측위 센서 데이터로부터 계산된 선수의 위치와 제2 시점에 대응하는 측위 센서 데이터로부터 계산된 선수의 위치의 변화가 미리 결정된 임계값보다 크게 변화하는 경우에는, 선수 추적 서버(1000)는 제2 시점에 대응하는 측위 센서 데이터로부터 계산된 선수의 위치는 유효하지 않은 것으로 판단할 수 있다. As an example, the player tracking server 1000 may evaluate the validity of the position of the player calculated from the positioning sensor data in consideration of the internal disparity of the position of the player calculated from the positioning sensor data. Specifically, the player tracking server 1000 may continuously calculate or obtain the position of the player from the positioning sensor data, and in this case, if the calculated or obtained change in the position of the player changes greater than a predetermined threshold, The player tracking server 1000 may determine that the data on the position of the player at the time of significant change is invalid. In other words, when the change in the position of the athlete calculated from the positioning sensor data corresponding to the first time point and the position of the athlete calculated from the positioning sensor data corresponding to the second time point changes more than a predetermined threshold, the player tracking The server 1000 may determine that the position of the player calculated from the positioning sensor data corresponding to the second time point is invalid.

도 12를 참고하면, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 시간적 흐름에 따른 특정 스포츠 참가자의 위치들을 계산하거나 획득할 수 있다. 이때, 제1 시점으로부터 계산된 스포츠 참가자의 위치(Lt1_sensor)로부터 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_sensor)간의 차이가 미리 결정된 임계값보다 큰 경우에는, 상기 선수 추적 서버(1000)는 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_ sensor)를 유효하지 않은 것으로 판단할 수 있다. 반면, 제3 시점으로부터 계산된 스포츠 참가자의 위치(Lt3_ sensor)로부터 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_ sensor)간의 차이가 미리 결정된 임계값보다 작은 경우에는, 상기 선수 추적 서버(1000)는 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_ sensor)를 유효한 것으로 판단할 수 있다. Referring to FIG. 12 , the player tracking server 1000 may calculate or obtain positions of a specific sports participant according to time from the positioning sensor data. At this time, if the difference between the sports participant's position (Lt1_sensor) calculated from the first time point and the sports participant's position (Lt2_sensor) calculated from the second time point is greater than a predetermined threshold, the player tracking server 1000 is It may be determined that the position (Lt2_ sensor) of the sports participant calculated from time 2 is invalid. On the other hand, when the difference between the sports participant's position (Lt3_ sensor) calculated from the third time point and the sports participant's position (Lt4_ sensor) calculated from the fourth time point is smaller than a predetermined threshold, the player tracking server 1000 may determine that the position (Lt4_ sensor) of the sports participant calculated from the fourth time point is valid.

상술한 바에 따르면, 미리 설정된 임계값을 기준으로 측위 센서 데이터로부터 계산된 스포츠 참가자의 시간적 흐름에 따른 위치의 유효성을 판단하는 것으로 기재하였으나, 이는 예시에 불과하며, 임의의 적절한 방법을 사용하여 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 판단할 수 있다. 예를 들어, 선수 추적 서버(1000)는 스포츠 참가자의 시간적 흐름에 따른 위치들의 경향성을 정량화하여 추세선 등을 계산할 수 있으며, 추세선 등에 대한 편차(Deviation)의 크기에 기초하여 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 판단할 수 있을 것이다. As described above, it has been described that the validity of the position of the sports participant calculated from the positioning sensor data based on the preset threshold value is determined according to the time flow, but this is only an example, and any suitable method may be used to determine the positioning sensor data. It is possible to determine the validity of the position of the sports participant calculated from the data. For example, the player tracking server 1000 may calculate a trend line by quantifying the tendency of the positions of the sports participant according to the temporal flow, and the sports calculated from the positioning sensor data based on the size of the deviation with respect to the trend line. It will be possible to judge the validity of the participant's position.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치와 측위 센서 기반 위치의 차이에 기초하여 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 유효성을 판단할 수 있다. 구체적으로, 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 유효성을 판단하도록 제공될 수 있다. 보다 구체적으로, 상기 선수 추적 서버(1000)는, 이미지 기반 위치와 측위 센서 기반 위치 간의 이격(extenal disparity)에 기초하여, 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 유효성을 판단하도록 제공될 수 있다. The player tracking system 100 according to an embodiment of the present application may determine the validity of at least one of the image-based position and the positioning sensor-based position based on the difference between the image-based position and the positioning sensor-based position. Specifically, the player tracking server 1000 may be provided to determine the validity of at least one of an image-based position and a positioning sensor-based position. More specifically, the player tracking server 1000 may be provided to determine the validity of at least one of an image-based location and a location sensor-based location based on an extenal disparity between the image-based location and the location sensor-based location. have.

일 예로, 선수 추적 서버(1000)는 측위 센서 데이터 및 이미지 데이터로부터 선수의 위치를 각각 지속적으로 계산하거나 획득할 수 있다. 이때, 동일한 시간적 시점에 대하여 이미지 데이터로부터 계산된 선수의 제1 위치와 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 차이(이하, External disparity)를 고려한 이격도 지수(disparity index)에 기초하여, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치 중 적어도 하나의 유효성을 평가할 수 있다. As an example, the player tracking server 1000 may continuously calculate or obtain the position of the player from the positioning sensor data and the image data, respectively. At this time, based on the disparity index in consideration of the difference (hereinafter, External disparity) between the first position of the player calculated from the image data and the second position of the player calculated from the positioning sensor data for the same temporal time point, the The player tracking server 1000 may evaluate the validity of at least one of the player's position calculated from the image data and the player's position calculated from the positioning sensor data.

예를 들어, 제1 시점에서 계산된 상기 제1 위치와 상기 제2 위치 간의 이격도 지수는 제1 이격도 지수일 수 있으며, 상기 제1 시점과 시간적으로 인접한 제2 시점에서 계산된 상기 제1 위치와 상기 제2 위치 간의 이격도 지수는 제2 이격도 지수일 수 있다. For example, the separation degree index between the first location and the second location calculated at a first time point may be a first separation degree index, and the first location and the first location calculated at a second time point temporally adjacent to the first time point The separation index between the second positions may be a second separation index.

이때, 상기 제1 이격도 지수(

)의 절대값이 미리 정해진 제1 임계값 미만인 경우에는, 상기 선수 추적 서버(1000)는 제1 시점의 이미지 데이터로부터 계산된 선수의 제1 위치와 제1 시점의 측위 센서 데이터로부터 계산된 선수의 제2 위치 중 적어도 하나 이상이 유효한 것으로 판단할 수 있다. At this time, the first separation index (

If the absolute value of ) is less than a predetermined first threshold, the player tracking server 1000 determines the player's first position calculated from the image data at the first time point and the player's first position calculated from the positioning sensor data at the first time point. At least one of the second positions may be determined to be valid.

반면, 상기 제2 이격도 지수(

)의 절대값이 미리 정해진 제2 임계값을 초과하는 경우에는, 상기 선수 추적 서버(1000)는 제2 시점의 이미지 데이터로부터 계산된 선수의 제1 위치와 제2 시점의 측위 센서 데이터로부터 계산된 선수의 제2 위치 중 적어도 하나가 유효하지 않은 것으로 평가할 수 있다. On the other hand, the second separation index (

When the absolute value of ) exceeds the second predetermined threshold, the player tracking server 1000 calculates the player's first position calculated from the image data at the second time point and the positioning sensor data at the second time point. At least one of the athlete's second positions may be evaluated as invalid.

여기서, 상기 제1 임계값과 상기 제2 임계값은 서로 동일할 수 있으나, 서로 상이한 임의의 적절한 값으로 미리 설정될 수 있다. Here, the first threshold value and the second threshold value may be the same as each other, but may be preset to any appropriate value different from each other.

다른 예를 들어, 상기 제1 이격도 지수(

)과 상기 제2 이격도 지수(

)의 차이(

) 혹은

)를 고려하여, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치 중 적어도 하나의 유효성을 평가할 수 있다. For another example, the first separation index (

) and the second separation index (

) difference (

) or

), the player tracking server 1000 may evaluate the validity of at least one of the player's position calculated from the image data and the player's position calculated from the positioning sensor data.

구체적으로 상기 제1 이격도 지수(

)와 상기 제2 이격도 지수(

)의 차이(

) 혹은

)가 미리 결정된 제3 임계값 미만인 경우(바람직하게는, 제1 이격도 지수과 관련된 제1 위치와 제2 위치는 유효하다고 판단된 경우), 즉 제2 시점의 이미지 데이터로부터 계산된 선수의 제1 위치와 제2 시점의 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 차이가 오차 범위 내라고 볼 수 있는 경우에는, 상기 선수 추적 서버(1000)는 제2 시점의 제1 위치와 제2 위치 모두가 유효한 것으로 판단할 수 있다.Specifically, the first separation index (

) and the second separation index (

) difference (

) or

) is less than the third predetermined threshold (preferably, the first position and the second position related to the first distance index are determined to be valid), that is, the first position of the athlete calculated from the image data at the second time point. If it can be seen that the difference between the second position of the player calculated from the positioning sensor data at the second time point and the second time point is within an error range, the player tracking server 1000 determines that both the first position and the second position of the second time point are valid. can be judged as

반면, 상기 제1 이격도 지수 (

)과 상기 제2 이격도 지수 (

)의 차이(

) 혹은

)가 미리 결정된 제4 임계값보다 초과하는 경우(바람직하게는, 제1 이격도 지수과 관련된 제1 위치와 제2 위치는 유효하다고 판단된 경우), 즉 제2 시점의 이미지 데이터로부터 계산된 선수의 제1 위치와 제2 시점의 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 차이가 크게 변하는 시점이 검출된 경우에는, 상기 선수 추적 서버(1000)는 제2 시점의 제1 위치와 제2 위치 중 적어도 하나의 위치가 유효하지 않다고 판단할 수 있다. On the other hand, the first separation index (

) and the second separation index (

) difference (

) or

) exceeds the fourth predetermined threshold (preferably, when the first position and the second position related to the first separation index are determined to be valid), that is, the second time point of the athlete calculated from the image data of the second time point. When the time point at which the difference between the second position of the player calculated from the positioning sensor data of the first position and the second time is significantly changed is detected, the player tracking server 1000 is configured between the first position and the second position of the second time. It may be determined that at least one location is invalid.

여기서, 상기 제3 임계값과 상기 제4 임계값은 서로 동일할 수 있으나, 서로 상이한 임의의 적절한 값으로 미리 설정될 수 있다. Here, the third threshold value and the fourth threshold value may be the same as each other, but may be preset to any appropriate value different from each other.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치 및 측위 센서 기반 위치와 관련된 신뢰도 인덱스를 생성하도록 제공될 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치 및 측위 센서 기반 위치에 대한 유효성 판단 결과에 기초하여, 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스를 생성하도록 제공될 수 있다. Athlete tracking system 100 according to an embodiment of the present application may be provided to generate a confidence index associated with an image-based position and a positioning sensor-based position. Specifically, the player tracking server 1000 may be provided to generate a reliability index related to the image-based position and a reliability index related to the positioning sensor-based position based on the result of the validity determination for the image-based position and the positioning sensor-based position.

구체적으로 선수 추적 서버(1000)는 측위 센서 데이터의 유효성을 평가한 결과에 기초하여 측위 센서 데이터로부터 계산된 선수의 위치의 제1 신뢰도 인덱스를 생성할 수 있다. 예를 들어, 상기 제1 신뢰도 인덱스는 상기 측위 센서 데이터에 포함된 신호의 신뢰도와 관련된 정보로부터 정량화될 수 있다. Specifically, the player tracking server 1000 may generate a first reliability index of the position of the player calculated from the positioning sensor data based on a result of evaluating the validity of the positioning sensor data. For example, the first reliability index may be quantified from information related to the reliability of the signal included in the positioning sensor data.

또한, 선수 추적 서버(1000)는 이미지 데이터의 유효성을 평가한 결과에 기초하여 이미지 데이터로부터 계산된 선수의 위치의 제2 신뢰도 인덱스를 생성할 수 있다. 이때, 상기 제2 신뢰도 인덱스는 상기 제1 신뢰도 인덱스와의 정량적 비교를 위하여 상기 제1 신뢰도 인덱스에 대응되는 인덱스로서 정량화될 수 있다. Also, the player tracking server 1000 may generate a second reliability index of the position of the player calculated from the image data based on the result of evaluating the validity of the image data. In this case, the second reliability index may be quantified as an index corresponding to the first reliability index for quantitative comparison with the first reliability index.

이때, 생성된 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스는 후술할 스포츠 참가자의 위치를 최종적으로 결정하는 데 고려인자 중 하나로 사용될 수 있다.In this case, the generated first reliability index and the second reliability index may be used as one of the consideration factors to finally determine the position of the sports participant, which will be described later.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치 및 측위 센서 기반 위치 간의 좌표를 변환하도록 제공될 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치 간의 좌표 변환을 수행할 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치 간의 좌표 변환을 수행하도록 제공될 수 있다. 이를 통하여 이미지 기반 위치와 측위 센서 기반 위치 간의 좌표가 통일될 수 있다. The player tracking system 100 according to an embodiment of the present application may be provided to convert coordinates between an image-based position and a positioning sensor-based position. Specifically, the player tracking server 1000 may perform coordinate transformation between the image-based position and the positioning sensor-based position. Specifically, the player tracking server 1000 may be provided to perform coordinate transformation between an image-based position and a positioning sensor-based position. Through this, coordinates between the image-based position and the positioning sensor-based position can be unified.

구체적으로, 이미지 데이터로부터 계산된 선수의 위치는 제1 좌표계에 대하여 계산될 수 있으며, 측위 센서 데이터로부터 계산된 선수의 위치는 제2 좌표계에 대하여 계산될 수 있다. 이때, 선수를 추적하는 데 있어 필요에 따라, 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치를 모두 고려하여 선수의 위치를 결정하거나, 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치 간의 "전환"하는 경우에, 공통된 좌표계에 대하여 선수의 위치를 결정하여야 하기 때문에 상기 제1 좌표계와 상기 제2 좌표계 간의 변환 동작이 수행되어야 한다. Specifically, the position of the player calculated from the image data may be calculated with respect to the first coordinate system, and the position of the player calculated from the positioning sensor data may be calculated with respect to the second coordinate system. At this time, if necessary in tracking the player, the position of the player is determined by considering both the position of the player calculated from the image data and the position of the player calculated from the positioning sensor data, or the position of the player calculated from the image data and the In the case of "switching" between the positions of the players calculated from the positioning sensor data, the conversion operation between the first coordinate system and the second coordinate system must be performed because the position of the athlete must be determined with respect to a common coordinate system.

일 예로, 상기 제1 좌표계에 대하여 상기 제2 좌표계를 변환할 수도 있다.For example, the second coordinate system may be transformed with respect to the first coordinate system.

다른 예로, 상기 제2 좌표계에 대하여 상기 제1 좌표계를 변환할 수 있다.As another example, the first coordinate system may be transformed with respect to the second coordinate system.

또 다른 예로, 상기 제1 좌표계와 상기 제2 좌표계를, 상기 제1 좌표계와 상기 제2 좌표계와 상이한 절대좌표계에 대하여, 계산된 선수의 위치를 각각 변환시킬 수 있다. As another example, the calculated position of the player may be transformed between the first coordinate system and the second coordinate system with respect to an absolute coordinate system different from the first coordinate system and the second coordinate system.

다만 상술한 좌표계의 변환 내용은 예시에 불과하며, 임의의 적절한 방법에 따라 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치가 공통된 좌표계에 대하여 다양하게 변환될 수 있을 것이다. However, the above-described transformation of the coordinate system is only an example, and the position of the player calculated from the image data and the position of the player calculated from the positioning sensor data according to any suitable method may be variously transformed with respect to the common coordinate system.

이때, 선수 추적 서버(1000)는 다양한 좌표 변환 알고리즘을 이용하도록 제공될 수 있다. In this case, the player tracking server 1000 may be provided to use various coordinate transformation algorithms.

일 예로 선수 추적 서버(1000)는 기계학습 또는 딥러닝 등 임의의 적절한 방법에 의해 학습된 인공신경망을 이용하여 구현될 수 있다. For example, the player tracking server 1000 may be implemented using an artificial neural network learned by any suitable method, such as machine learning or deep learning.

도 13 내지 도 14를 참고한다. Reference is made to FIGS. 13 to 14 .

도 13은 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하기 위한 인공신경망을 학습시키는 것을 도시한 도면이다. 13 is a diagram illustrating training an artificial neural network for converting a position of a first coordinate system related to positioning sensor data to a position of a second coordinate system related to image data.

도 14를 참고한다. 도 14는 인공신경망을 이용하여 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하는 것을 도시한 도면이다. See FIG. 14 . 14 is a diagram illustrating conversion of a position of a first coordinate system related to positioning sensor data to a position of a second coordinate system related to image data using an artificial neural network.

도 14를 참고하면, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 인공신경망을 이용하여 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로의 좌표 변환을 수행할 수 있다. Referring to FIG. 14 , the player tracking server 1000 according to an embodiment of the present application converts a position of a first coordinate system related to positioning sensor data to a position of a second coordinate system related to image data using an artificial neural network. can be performed.

예를 들어, 이미지 데이터로부터 획득된 이미지 기반 위치가 유효하지 않다고 판단된 경우에는, 측위 센서 데이터로부터 획득된 측위 센서 기반 위치로부터 스포츠 참가자의 위치를 결정할 필요성이 존재한다. 다만, 측위 센서 기반 위치와 이미지 기반 위치는 좌표계가 상이할 수 있기 때문에, 선수 추적 서버(1000)는 획득된 제1 좌표계의 측위 센서 기반 위치로부터 이미지 데이터와 관련된 제2 좌표계의 위치로 변환할 수 있다. 여기서, 이미지 기반 위치가 유효하지 않은 경우는, 스포츠 참가자 간의 오클루전이 검출, 오클루전 이벤트가 심각하다고 판단된 경우, 스포츠 참가자의 수직적인 움직임이 검출된 경우 및 이미지 기반 위치 간의 이격(internal disparity)이 존재하는 경우 중 적어도 하나인 경우를 의미할 수 있다. For example, when it is determined that the image-based location obtained from the image data is invalid, there is a need to determine the location of the sports participant from the location sensor-based location obtained from the location sensor data. However, since the positioning sensor-based position and the image-based position may have different coordinate systems, the player tracking server 1000 may convert the acquired positioning sensor-based position of the first coordinate system to the position of the second coordinate system related to the image data. have. Here, when the image-based location is invalid, occlusion between sports participants is detected, when it is determined that the occlusion event is serious, when vertical motion of the sports participant is detected, and internal disparity between the image-based locations ) may mean at least one of the existing cases.

일 예로, 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하기 위해 학습될 인공신경망은, 인풋 레이어, 복수의 노드를 포함하는 히든 레이어 및 출력레이어를 포함할 수 있다. As an example, the artificial neural network to be trained to convert the position of the first coordinate system related to the positioning sensor data to the position of the second coordinate system related to the image data may include an input layer, a hidden layer including a plurality of nodes, and an output layer. can

상기 인공신경망을 학습시키기 위해서, 상기 인풋 레이어에는 유효하다고 판단된 이미지 기반 위치(x_image, y_image)와 유효하다고 판단된 이미지 기반 위치에 대응되는 측위 센서 기반 위치(x_sensor, y_sensor)가 입력될 수 있다. 또한, 정확한 학습을 위하여 상기 인풋 레이어에는, 유효하다고 판단된 이미지 기반 위치에 대응되는 측위 센서 기반 위치(x_sensor, y_sensor) 뿐만 아니라 측위 센서 기반 속력(|v|_sensor)이 추가적으로 입력될 수 있다. 이때, 측위 센서 기반 속력(|v|_sensor)은 측위 센서 기반 위치(x_sensor, y_sensor))로부터 계산될 수 있다. 혹은 측위 센서 기반 속력(|v|_sensor)은 스포츠 선수가 착용한 관성 센서의 가속도계(accelerometer)로부터 획득된 데이터로부터 계산될 수 있다.In order to train the artificial neural network, image-based positions determined to be valid (x_image, y_image) and positioning sensor-based positions (x_sensor, y_sensor) corresponding to image-based positions determined to be valid may be input to the input layer. In addition, positioning sensor-based positions (x_sensor, y_sensor) corresponding to image-based positions determined to be valid as well as positioning sensor-based speed (|v|_sensor) may be additionally input to the input layer for accurate learning. In this case, the positioning sensor-based speed (|v|_sensor) may be calculated from the positioning sensor-based positions (x_sensor, y_sensor). Alternatively, the positioning sensor-based speed (|v|_sensor) may be calculated from data obtained from an accelerometer of an inertial sensor worn by a sports player.

예를 들어, 도 13을 참고하면, 이미지 데이터는, 오클루전이 검출되지 않은 이미지 데이터(이미지 1), 오클루전이 검출되었으나 심각하지 않다고 판단된 이미지 데이터(이미지 2) 및 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)를 포함할 수 있다. For example, referring to FIG. 13 , the image data includes image data in which occlusion is not detected (image 1), image data in which occlusion is detected but not serious (image 2), and occlusion is detected and severe. image data (image 3) determined to be

이때, 상술한 바에 따르면, 상기 오클루전이 검출되지 않은 이미지 데이터(이미지 1)에 의해 획득된 이미지 기반 위치는 유효할 수 있다. 즉 인공신경망을 학습하는 데 활용될 수 있다. 따라서, 상기 오클루전이 검출되지 않은 이미지 데이터(이미지 1)에 의해 획득된 제1 이미지 기반 위치(x_image1, y_image1)와 제1 이미지 기반 위치와 대응되는, 제1 측위 센서 기반 위치(x_sensor1, y_sensor1) 및 제1 측위 센서 기반 속력(|v|_sensor1)은 학습세트의 입력값으로 사용될 수 있다.In this case, according to the above description, the image-based position obtained by the image data (image 1) in which the occlusion is not detected may be valid. That is, it can be used to learn artificial neural networks. Accordingly, the first image-based position (x_image1, y_image1) obtained by the image data (image 1) in which the occlusion is not detected and the first positioning sensor-based position (x_sensor1, y_sensor1) corresponding to the first image-based position and the first positioning sensor-based speed (|v|_sensor1) may be used as an input value of the training set.

이때, 상술한 바에 따르면, 상기 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)에 의해 획득된 이미지 기반 위치는 유효하지 않을 수 있다. 즉, 인공신경망을 학습하는 데 활용된다면 학습의 정확도가 떨어질 수 있다. 따라서, 상기 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)와 관련된 데이터들은 학습세트로서 사용되지 않을 수 있다.In this case, according to the above description, the image-based position obtained by the image data (image 3) determined to be serious in which the occlusion has been detected may not be valid. That is, if it is used to learn an artificial neural network, the learning accuracy may be lowered. Accordingly, data related to the image data (image 3) in which the occlusion has been detected and determined to be serious may not be used as a training set.

또한, 오클루전이 검출되었으나 심각하지 않다고 판단된 이미지 데이터(이미지 2)는, 상술한 바와 같은 기준을 고려하여 적절히 학습세트로 사용되거나 사용되지 않도록 선택될 수 있다. In addition, image data (image 2) in which occlusion is detected but not serious may be appropriately selected to be used as a training set or not to be used in consideration of the criteria as described above.

도 13을 다시 참고하면, 입력레이어에 입력된 유효하다고 판단된 이미지 기반 위치와 대응되는, 측위 센서 기반 위치(x_sensor, y_sensor)와 측위 센서 기반 속력(|v|_sensor)은 히든레이어를 거처 출력레이어에 출력값으로 이미지 기반 위치에 대한 좌표에 대한 위치(x'_image, y'_image)로 변환될 수 있다. Referring back to FIG. 13 , the positioning sensor-based position (x_sensor, y_sensor) and the positioning sensor-based speed (|v|_sensor) corresponding to the image-based position determined to be valid input to the input layer pass through the hidden layer to the output layer. As an output value, it can be converted into a position (x'_image, y'_image) for coordinates for an image-based position.

이때 출력값(x'_image, y'_image)들은 입력레이어에 입력된 이미지 기반 위치(x_image, y_image)와 비교될 수 있다. 이를 통하여 출력값과 이미지 기반 위치와의 차이에 기초하여 히든레이어에 포함된 노드의 가중치가 조절됨으로써, 인공신경망이 학습될 수 있다. In this case, the output values (x'_image, y'_image) may be compared with the image-based positions (x_image, y_image) input to the input layer. Through this, the artificial neural network can be learned by adjusting the weight of the node included in the hidden layer based on the difference between the output value and the image-based position.

도 14를 참고하면, 도 13에 따라 학습된 인공신경망을 이용하여 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환할 수 있다. 본 출원의 일 실시예에 따른 학습된 인공신경망은 바람직하게는, 이미지 기반 위치가 유효하지 않다고 판단된 경우에 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하는 데 이용될 수 있다. Referring to FIG. 14 , a position of a first coordinate system related to positioning sensor data may be converted into a position of a second coordinate system related to image data using the artificial neural network learned according to FIG. 13 . The trained artificial neural network according to an embodiment of the present application preferably converts the position of the first coordinate system related to the positioning sensor data to the position of the second coordinate system related to the image data when it is determined that the image-based position is not valid can be used to

예를 들어, 이미지 데이터는, 오클루전이 검출되지 않은 이미지 데이터(이미지 1), 오클루전이 검출되었으나 심각하지 않다고 판단된 이미지 데이터(이미지 2) 및 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)를 포함할 수 있다. For example, the image data includes image data in which occlusion is not detected (image 1), image data in which occlusion is detected but determined to be not serious (image 2), and image data in which occlusion is detected and determined to be severe ( image 3) may be included.

이때, 이미지 데이터 중 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)에 의해 획득된 이미지 기반 위치(x_image3, y_image3)는 유효하지 않다고 판단될 수 있다. 이 경우 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)에 의해 획득된 이미지 기반 위치(x_image3, y_image3)에 대응하는, 측위 센서 기반 위치(x_sesnor3, y_sensor3)와 측위 센서 기반 속력(|v|_sensor3)을 학습된 인공신경망의 입력레이어로 입력한다면, 측위 센서 기반 위치(x_sesnor3, y_sensor3)가 이미지 기반 위치와 관련된 좌표계로 변환될 수 있다. 이를 통하여, 이미지 기반 위치가 유효하지 않은 경우에도 측위 센서 기반 위치에 기초하여 스포츠 참가자의 위치를 지속적으로 획득할 수 있다. At this time, it may be determined that the image-based positions (x_image3, y_image3) obtained by the image data (image 3) in which occlusion is detected and determined to be serious among the image data are invalid. In this case, the positioning sensor-based position (x_sesnor3, y_sensor3) and the positioning sensor-based speed (|v If |_sensor3) is input as an input layer of the learned artificial neural network, the positioning sensor-based positions (x_sesnor3, y_sensor3) may be converted into a coordinate system related to the image-based position. Through this, even when the image-based position is not valid, it is possible to continuously acquire the position of the sports participant based on the positioning sensor-based position.

이때, 이미지 데이터 중 오클루전이 검출되었으나 심각하지 않다고 판단된 이미지 데이터(이미지 2)와 관련하여는, 후술할 이미지 기반 위치와 측위 센서 기반 위치 간의 신뢰도 인덱스를 비교하여 측위 센서 기반 위치가 이미지 기반 위치보다 신뢰도가 높은 경우에는 학습된 인공신경망을 이용하여 좌표값을 변환하도록 제공될 수 있다. At this time, with respect to the image data (image 2) in which occlusion was detected but not serious in the image data, the reliability index between the image-based position and the positioning sensor-based position, which will be described later, is compared to determine the positioning sensor-based position as the image-based position. When the reliability is higher, it may be provided to transform the coordinate values using the learned artificial neural network.

상술한 바에 따르면, 제1 좌표계의 측위 센서 기반 위치를, 이미지 기반 위치와 관련된 제2 좌표계의 위치로 변환하는 것을 중심으로 서술하였으나, 임의의 적절한 공통의 좌표계의 위치로 변환하도록 인공신경망을 학습시킬 수 있을 것이다. As described above, although the description has been focused on converting the positioning sensor-based position of the first coordinate system to the position of the second coordinate system related to the image-based position, the artificial neural network can be trained to convert to a position in any suitable common coordinate system. will be able

또한, 이미지 기반 위치가 유효하지 않은 경우에 측위 센서 기반 위치의 좌표를 변환하는 것을 중심으로 서술하였으나, 이는 예시에 불과하며, 측위 센서 기반 위치가 유효하지 않다고 판단된 경우에, 유사한 방법에 의해, 이미지 기반 위치를 측위 센서 기반 위치로 변환하는 인공신경망을 학습하거나 디플로잉할 수 있음은 자명하다. In addition, although the image-based location has been mainly described to transform the coordinates of the positioning sensor-based location when the location is not valid, this is only an example, and when it is determined that the positioning sensor-based location is invalid, by a similar method, It is self-evident that it is possible to train or deploy an artificial neural network that transforms an image-based position into a positioning sensor-based position.

상술한 바와 같이 본 출원에서 선수 추적 서버(1000)는 좌표를 변환하기 위한 다양한 좌표 변환 알고리즘을 이용할 수 있다.As described above, in the present application, the player tracking server 1000 may use various coordinate conversion algorithms for converting coordinates.

일 예로, 좌표 변환 알고리즘은 기계학습 모델로 제공될 수 있다. 기계학습 모델의 대표적인 예로는, 인공 신경망(Artificial Neural Network)이 있을 수 있다. 구체적으로 인공 신경망의 대표적인 예로는 데이터를 입력받는 입력 레이어, 결과를 출력하는 출력 레이어 및 입력 레이어와 출력 레이어 사이에서 데이터를 처리하는 히든 레이어(hidden layer)를 포함하는 딥 러닝 계열의 인공 신경망이 있다. 인공 신경망의 세부적인 예시들로는, 회귀분석 인공 신경망(Convolution Neural Network), 순환신경망(Recurrent Neural Network), 심층신경망(Deep Neural Network) 등이 있으며, 본 명세서에서 인공 신경망은 상술된 인공 신경망, 그 외의 다양한 형태의 인공 신경망 및 이들이 조합된 형태의 인공 신경망을 모두 포함하는 포괄적인 의미로 해석되어야 하며, 반드시 딥 러닝 계열이어야만 하는 것도 아니다.As an example, the coordinate transformation algorithm may be provided as a machine learning model. A representative example of the machine learning model may include an artificial neural network. Specifically, a representative example of an artificial neural network is a deep learning-based artificial neural network including an input layer that receives data, an output layer that outputs a result, and a hidden layer that processes data between the input layer and the output layer. . Specific examples of the artificial neural network include a regression analysis artificial neural network, a recurrent neural network, a deep neural network, and the like, and in the present specification, the artificial neural network is the aforementioned artificial neural network, other It should be interpreted as a comprehensive meaning that includes all types of artificial neural networks of various types and combinations thereof, and does not necessarily have to be a deep learning series.

뿐만 아니라, 기계학습 모델이 반드시 인공 신경망 모델 형태이어야만 하는 것은 아니며, 이외에도 최근접 이웃 알고리즘(KNN), 랜덤 포레스트(RandomForest), 서포트 벡터 머신(SVM), 주성분분석법(PCA) 등이 포함될 수 있으며, 이상에서 언급된 기법들이 앙상블된 형태나 그 외에 다양한 방식으로 조합된 형태까지도 전부 포함할 수 있다. 한편, 인공 신경망을 중심으로 언급되는 실시예들에서 특별한 언급이 없는 한 인공 신경망이 다른 기계학습 모델로 대체될 수 있음을 미리 밝혀둔다.In addition, the machine learning model does not necessarily have to be in the form of an artificial neural network model, and in addition, nearest neighbor algorithm (KNN), random forest (RandomForest), support vector machine (SVM), principal component analysis (PCA), etc. may be included, The above-mentioned techniques may include an ensemble form or a form combined in various other ways. On the other hand, it is stated in advance that the artificial neural network can be replaced with another machine learning model unless otherwise specified in the embodiments mentioned mainly with the artificial neural network.

나아가, 본 명세서에서 좌표 변환 알고리즘이 반드시 기계학습 모델로 한정되는 것은 아니다. 즉, 좌표 변환 알고리즘은 기계학습 모델이 아닌 다양한 판단/결정 알고리즘이 포함될 수도 있다. Furthermore, in the present specification, the coordinate transformation algorithm is not necessarily limited to a machine learning model. That is, the coordinate transformation algorithm may include various judgment/decision algorithms rather than a machine learning model.

따라서, 본 명세서에서 좌표 변환 알고리즘은 제1 좌표계에 대한 데이터를 이용하여 좌표 변환을 수행하는 모든 형태의 알고리즘을 모두 포함하는 포괄적인 의미로 이해되어야 함을 미리 밝혀 둔다.Therefore, it is clarified in advance that the coordinate transformation algorithm in the present specification should be understood as a comprehensive meaning including all types of algorithms for performing coordinate transformation using data for the first coordinate system.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치 및 측위 센서 기반 위치 간의 좌표 변환 시 보간을 하도록 제공될 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치 간의 좌표를 변환하는 과정에서 발생할 수 있는 오차를 보정하기 위하여 변환된 좌표값을 보간(interpolation)하는 동작을 추가적으로 수행할 수 있다. 예를 들어, 이미지 데이터로부터 계산된 선수의 위치로 선수를 추적하다가 이미지 데이터로부터 계산된 선수의 위치의 유효성이 없다고 판단되는 경우에, 필요에 따라 측위 센서 데이터로부터 계산된 선수의 위치로 선수를 추적하여야 할 수 있다. 이때, 측위 센서 데이터로부터 계산된 선수의 위치가 상기 이미지 데이터로부터 계산된 선수의 위치의 제1 좌표계에 대응되어 변환되는 경우에는 변환된 위치의 값에 오차가 존재할 수 있다. The player tracking system 100 according to an embodiment of the present application may be provided to perform interpolation when converting coordinates between an image-based position and a positioning sensor-based position. Specifically, the player tracking server 1000 interpolates the converted coordinate values to correct errors that may occur in the process of converting the coordinates between the position of the player calculated from the image data and the position of the player calculated from the positioning sensor data. ) can be additionally performed. For example, if it is determined that the position of the player calculated from the image data is not valid while tracking the player by the position of the player calculated from the image data, the player is tracked by the position of the player calculated from the positioning sensor data if necessary may have to In this case, when the position of the player calculated from the positioning sensor data is converted to correspond to the first coordinate system of the position of the player calculated from the image data, an error may exist in the value of the converted position.

따라서, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 상기 제1 좌표계에 대응하여 측위 센서 데이터로부터 계산된 선수의 위치의 좌표 변환된 값을 이전에 추적했던 이미지 데이터로부터 계산된 선수의 위치와 보간(interpolation)을 하는 동작을 수행할 수 있다. Therefore, the player tracking server 1000 according to an embodiment of the present application calculates the coordinate-converted value of the position of the player calculated from the positioning sensor data corresponding to the first coordinate system from the image data calculated from the image data previously tracked. An operation of interpolating with a position may be performed.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치와 측위 센서 기반 위치를 고려하여 선수의 위치를 결정할 수 있다.The player tracking system 100 according to an embodiment of the present application may determine the position of the player in consideration of the image-based position and the positioning sensor-based position.

구체적으로 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치에 기초하여 최종적으로 선수의 위치의 결정을 수행하도록 제공될 수 있다. Specifically, the player tracking server 1000 may be provided to finally determine the position of the player based on the image-based position and the positioning sensor-based position.

일 예로, 이미지 기반 위치가 유효한 경우에는 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정하도록 제공될 수 있다. For example, when the image-based location is valid, the player tracking server 1000 may be provided to determine the player's position based on the player's position calculated from the image data.

반면, 이미지 기반 위치가 유효하지 않는 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다. On the other hand, when the image-based position is not valid, the player tracking server 1000 may determine the position of the player based on the position calculated from the positioning sensor data.

예를 들어, 이미지 데이터에 포함된 복수의 선수들 간에 오클루전 이벤트가 없다고 판단되거나 검출되지 않아 이미지 데이터로부터 계산된 선수의 위치가 유효하다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. 반면, 이미지 데이터에 포함된 복수의 선수들 간에 오클루전 이벤트가 있다고 판단되거나 검출되어 이미지 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단되는 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다. For example, when it is determined that there is no occlusion event among a plurality of players included in the image data or it is not detected and the position of the player calculated from the image data is determined to be valid, the player tracking server 1000 may The position of the athlete can be determined based on the position of the athlete calculated from On the other hand, when it is determined or detected that there is an occlusion event between a plurality of players included in the image data and it is determined that the position of the player calculated from the image data is not valid, the player tracking server 1000 is The position of the athlete can be determined based on the calculated position.

다른 예로, 이미지 데이터에 포함된 선수와 관련하여 수직적인 움직임이 검출되지 않아 이미지 데이터로부터 계산된 선수의 위치가 유효하다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. 반면, 이미지 데이터에 포함된 선수와 관련하여 수직적인 움직임이 검출되어 이미지 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단된 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다. As another example, when it is determined that the position of the player calculated from the image data is valid because no vertical movement is detected with respect to the player included in the image data, the player tracking server 1000 determines the position of the player calculated from the image data The position of the player can be determined based on On the other hand, when vertical movement is detected with respect to the player included in the image data and it is determined that the position of the player calculated from the image data is not valid, the player tracking server 1000 is based on the position calculated from the positioning sensor data to determine the player's position.

또 다른 예로, 이미지 데이터로부터 계산된 선수의 위치 간의 이격(internal disparity)이 미리 결정된 임계값을 초과하지 않아 이미지 데이터로부터 계산된 선수의 위치가 유효하다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. 반면, 이미지 데이터로부터 계산된 선수의 위치 간의 이격(internal disparity)이 미리 결정된 임계값을 초과하여 이미지 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단되는 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다. As another example, when it is determined that the position of the player calculated from the image data is valid because the internal disparity between the positions of the players calculated from the image data does not exceed a predetermined threshold, the player tracking server 1000 is The position of the player may be determined based on the position of the player calculated from the image data. On the other hand, when it is determined that the position of the player calculated from the image data is invalid because the internal disparity between the positions of the players calculated from the image data exceeds a predetermined threshold, the player tracking server 1000 is a positioning sensor The position of the athlete can be determined based on the position calculated from the data.

일 실시예로, 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효한 경우에는 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. 반면, 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하지 않는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다. In one embodiment, when the position of the player calculated from the positioning sensor data is valid, the player tracking server 1000 may determine the position of the player based on the position of the player calculated from the positioning sensor data. On the other hand, when the position of the player calculated from the positioning sensor data is invalid, the player tracking server 1000 may determine the position of the player based on the position calculated from the image data.

일 예로, 선수 추적 서버(1000)는, 측위 센서 데이터에 포함된 신호의 신뢰도와 관련된 정보에 기초하여 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하다는 판단에 기초하여, 선수의 위치를 결정할 수 있다. For example, the player tracking server 1000 may determine the position of the player based on the determination that the position of the player calculated from the positioning sensor data is valid based on information related to the reliability of the signal included in the positioning sensor data. have.

예를 들어, 측위 센서 데이터에 포함된 신호의 신뢰도가 미리 설정된 임계값보다 크기 때문에 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하다고 판단된 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. For example, when it is determined that the position of the player calculated from the positioning sensor data is valid because the reliability of the signal included in the positioning sensor data is greater than a preset threshold, the player tracking server 1000 is The player's position may be determined based on the calculated player's position.

반면, 측위 센서 데이터에 포함된 신호의 신뢰도가 미리 설정된 임계값보다 작기 때문에 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단된 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.On the other hand, when it is determined that the position of the player calculated from the positioning sensor data is not valid because the reliability of the signal included in the positioning sensor data is smaller than a preset threshold, the player tracking server 1000 calculates from the image data. The player's position may be determined based on the player's position.

다른 예로, 상기 측위 센서 데이터로부터 계산된 선수의 위치 간의 이격(internal disparity)이 미리 결정된 임계값을 초과하지 않아 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하다고 판단되는 경우에는, 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. As another example, when it is determined that the position of the player calculated from the positioning sensor data is valid because the internal disparity between the positions of the players calculated from the positioning sensor data does not exceed a predetermined threshold, the player tracking server ( 1000) may determine the position of the player based on the position of the player calculated from the positioning sensor data.

반면, 상기 측위 센서 데이터로부터 계산된 선수의 위치 간의 이격(internal disparity)이 미리 결정된 임계값을 초과하여 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다.On the other hand, when it is determined that the position of the player calculated from the positioning sensor data is invalid because the internal disparity between the positions of the players calculated from the positioning sensor data exceeds a predetermined threshold, the player tracking server 1000 ) can determine the position of the athlete based on the position calculated from the image data.

일 실시예로 선수 추적 서버(1000)는 이미지 데이터와 측위 센서 데이터로부터 각각 계산된 선수의 위치의 차이 혹은 이격도 지수에 기초하여 최종적으로 선수의 위치를 결정할 수 있다. In one embodiment, the player tracking server 1000 may finally determine the position of the player based on the difference or the separation index of the player's position calculated from the image data and the positioning sensor data, respectively.

구체적으로 상술한 바와 같이, 제1 시점에서의 상기 이미지 데이터로부터 계산된 선수의 제1 위치와 상기 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 제1 이격도 지수(

)와 제2 시점에서의 상기 이미지 데이터로부터 계산된 선수의 제1 위치와 상기 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 제2 이격도 지수(

)에 기초하여 상기 제1 위치와 상기 제2 위치 중 적어도 하나가 유효하지 않다고 판단될 수 있다. 이때, 선수 추적 서버(1000)는 상기 이격도 지수에 기초한 유효성 판단에 기초하여 선수의 위치를 최종적으로 결정할 수 있다. Specifically, as described above, the first separation index (

) and a second separation index (

), it may be determined that at least one of the first location and the second location is invalid. In this case, the player tracking server 1000 may finally determine the position of the player based on the validity determination based on the separation index.

예를 들어, 선수 추적 서버(1000)는, 계산된 이격도 지수가 미리 결정된 제1 임계값보다 작으면, 즉 측위 센서 데이터로부터 계산된 선수의 위치와 이미지 데이터로부터 계산된 선수의 위치가 모두 유효하다고 판단될 수 있는 경우에는, 상기 측위 센서 데이터로부터 계산된 선수의 위치와 상기 이미지 데이터로부터 계산된 선수의 위치 중 하나의 위치에 기초로 하여 선수의 위치를 결정할 수 있다. For example, the player tracking server 1000, when the calculated separation index is less than a predetermined first threshold, that is, that both the position of the player calculated from the positioning sensor data and the position of the player calculated from the image data are valid. If it can be determined, the position of the player may be determined based on one of the position of the player calculated from the positioning sensor data and the position of the player calculated from the image data.

반면, 계산된 이격도 지수가 미리 결정된 제2 임계값보다 크면, 즉 측위 센서 데이터로부터 계산된 선수의 위치와 이미지 데이터로부터 계산된 선수의 위치 중 적어도 하나 이상이 유효하지 않다고 판단될 수 있는 경우에는, 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 선수의 위치와 상기 이미지 데이터로부터 계산된 선수의 위치 중 신뢰도 인덱스가 높은 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.On the other hand, if the calculated distance index is greater than the second predetermined threshold, that is, if it can be determined that at least one or more of the player's position calculated from the positioning sensor data and the player's position calculated from the image data is invalid, The player tracking server 1000 may determine the position of the player based on the position of the player having a high reliability index among the position of the player calculated from the positioning sensor data and the position of the player calculated from the image data.

도 15를 참고한다. 도 15는 본 출원의 일 실시예에 따른 신뢰도 인덱스에 기초하여 선수의 위치를 결정하는 예시적인 방법을 도시한 도면이다. See FIG. 15 . 15 is a diagram illustrating an exemplary method of determining a position of a player based on a reliability index according to an embodiment of the present application.

일 실시예로, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치와 관련된 제1 신뢰도 인덱스 및 측위 센서 데이터로부터 계산된 선수의 위치와 관련된 제2 신뢰도 인덱스의 비교에 기초하여 선수의 위치를 결정할 수 있다. In one embodiment, the player tracking server 1000 is the player's position based on the comparison of the first confidence index related to the position of the player calculated from the image data and the second confidence index related to the position of the player calculated from the positioning sensor data can be decided

일 예로, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스보다 높은 경우(도 15(a) 혹은 도 15(b))에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. For example, when the first reliability index is higher than the second reliability index (FIG. 15 (a) or FIG. 15 (b)), the player tracking server 1000 based on the position of the player calculated from the image data You can determine the player's position.

예를 들어, 도 15(a)의 경우와 같이, 상기 제1 신뢰도 인덱스는 미리 결정된 신뢰도 임계값보다 높으며 상기 제2 신뢰도 인덱스는 미리 결정된 신뢰도 임계값보다 낮은 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 스포츠 참가자의 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. For example, as in the case of Figure 15 (a), the first reliability index is higher than a predetermined reliability threshold and the second reliability index is lower than the predetermined reliability threshold, when the player tracking server 1000 is The position of the sports participant may be determined based on the position of the sports participant calculated from the image data.

예를 들어, 도 15(b)의 경우와 같이, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스보다 높으며, 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스가 모두 미리 결정된 신뢰도 임계값보다 높은 경우에는, 도 15(a)와 유사하게 상기 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 스포츠 참가자의 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. For example, as in the case of FIG. 15B , when the first reliability index is higher than the second reliability index, and both the first reliability index and the second reliability index are higher than a predetermined reliability threshold, , similar to FIG. 15( a ), the player tracking server 1000 may determine the position of the sports participant based on the position of the sports participant calculated from the image data.

또 다른 예를 들어, 상기 제2 신뢰도 인덱스가 상기 제1 신뢰도 인덱스보다 높은 경우(도 15(c)의 경우)에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.For another example, when the second reliability index is higher than the first reliability index (in the case of FIG. 15 ( c )), the player tracking server 1000 is based on the position of the player calculated from the positioning sensor data. You can determine the player's position.

또 다른 예를 들어, 도 15(c)의 경우와 같이, 상기 제2 신뢰도 인덱스는 미리 결정된 신뢰도 임계값보다 높으며 상기 제1 신뢰도 인덱스는 미리 결정된 신뢰도 임계값보다 낮은 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. For another example, as in the case of FIG. 15 ( c ), the second reliability index is higher than a predetermined reliability threshold and the first reliability index is lower than the predetermined reliability threshold, when the player tracking server 1000 ) may determine the position of the sports participant based on the sports participant's position calculated from the positioning sensor data.

다른 예로, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 제1 위치와 관련된 제1 신뢰도 인덱스 및 측위 센서 데이터로부터 계산된 선수의 제2 위치와 관련된 제2 신뢰도 인덱스를 고려하여 가중치를 부여하여 선수의 위치를 결정할 수 있다. 구체적으로 선수 추적 서버(1000)는 상기 제1 위치와 상기 제2 위치 각각에 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스를 고려한 가중치를 부여함으로써, 선수의 위치의 결정할 수 있다. As another example, the player tracking server 1000 gives weights in consideration of the first reliability index related to the first position of the player calculated from the image data and the second reliability index related to the second position of the player calculated from the positioning sensor data to determine the player's position. Specifically, the player tracking server 1000 may determine the position of the player by assigning a weight in consideration of the first reliability index and the second reliability index to each of the first position and the second position.

예를 들어, 도 15(b)와 같이 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스가 모두 미리 결정된 신뢰도 임계값보다 높은 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 스포츠 참가자의 제1 위치 및 측위 센서 데이터로부터 계산된 스포츠 참가자의 제2 위치에 대하여 신뢰도 인덱스에 따른 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다. For example, when both the first reliability index and the second reliability index are higher than a predetermined reliability threshold as shown in FIG. The position of the sports participant may be determined by assigning a weight according to the reliability index to the second position of the sports participant calculated from the first position and positioning sensor data.

또 다른 예를 들어, 도 15(d)의 경우와 같이, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스가 유사하거나 실질적으로 동일한 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 스포츠 참가자의 위치 및 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치에 대하여 신뢰도 인덱스에 따른 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다. For another example, as in the case of FIG. 15( d ), when the first reliability index is similar to or substantially the same as the second reliability index, the athlete tracking server 1000 is a sports participant calculated from the image data. It is possible to determine the position of the sports participant by assigning a weight according to the reliability index to the position of the sports participant calculated from the position and positioning sensor data of .

상술한 바에 따르면, 도 15(b) 및 도 15(d)의 경우에 한하여 신뢰도 인덱스에 따른 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다고 서술하였으나, 이는 예시에 불과하며, 도 15(a), 도 15(c) 또는 임의의 경우에도 적절하게 신뢰도 인덱스에 따른 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있음은 자명하다. As described above, it has been described that the position of the sports participant can be determined by assigning a weight according to the reliability index only in the case of FIGS. 15 (b) and 15 (d), but this is only an example, and FIG. 15 (a) , Fig. 15(c) or in any case, it is obvious that the position of the sports participant can be determined by appropriately assigning weights according to the reliability index.

본 출원의 일 실시예에 따른 선수 추적 서버(1000)에서 결정된 스포츠 참가자의 위치는 통신모듈(1100)을 통하여 메모리(1200)에 전달되어 저장될 수 있다. 또는 선수 추적 서버(1000)에서 결정된 스포츠 참가자의 위치는 통신 모듈(1100)을 통해 외부 서버로 송신되거나 인터넷에 업로드될 수 있다. The location of the sports participant determined by the athlete tracking server 1000 according to an embodiment of the present application may be transmitted and stored in the memory 1200 through the communication module 1100 . Alternatively, the sports participant's location determined by the athlete tracking server 1000 may be transmitted to an external server through the communication module 1100 or uploaded to the Internet.

이상에서는 본 출원의 "일 실시예"에 따른 선수 추적 서버(1000)의 구성과 동작에 대하여 서술하였다. 이하에서는 본 실시예에 따른 선수 추적 방법에 관하여 설명한다. 이하의 설명에서는 본 출원의 일 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)에 의해 수행되는 것으로 설명한다. 다만, 이는 설명의 편의를 위한 것에 불과하므로, 본 출원의 일 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)으로 한정되는 것은 아니다. 즉, 후술되는 선수 추적 방법이 반드시 선수 추적 시스템(100)에 의해서만 수행되어야 하는 것은 아니며 상술한 선수 추적 시스템(100)과 유사한 기능을 갖는 다른 시스템이나 장치 등에 의해 수행되는 것도 가능하다.In the above, the configuration and operation of the player tracking server 1000 according to "an embodiment" of the present application has been described. Hereinafter, a method for tracking a player according to the present embodiment will be described. In the following description, it will be described that the player tracking method according to an embodiment of the present application is performed by the aforementioned player tracking system 100 . However, since this is only for convenience of explanation, the player tracking method according to an embodiment of the present application is not limited to the aforementioned player tracking system 100 . That is, the player tracking method described later does not necessarily have to be performed only by the player tracking system 100 , and may be performed by other systems or devices having a function similar to the above-described player tracking system 100 .

또한, 상술한, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)의 구성과 동작은, 후술할 선수 추적 시스템(100)의 다른 실시예에 대하여도 적절하게 적용될 수 있을 것이다.In addition, the above-described configuration and operation of the player tracking server 1000 according to an embodiment of the present application may be appropriately applied to other embodiments of the player tracking system 100 to be described later.

도 16을 참고한다. 도 16은 본 출원의 일 실시예에 따른 선수 추적 시스템(100)에 의해 구현되는 선수 추적 방법을 도시한 흐름도이다. See FIG. 16 . 16 is a flowchart illustrating a player tracking method implemented by the player tracking system 100 according to an embodiment of the present application.

본 출원의 일 실시예에 따른 선수 추적 방법은 이미지 데이터를 획득하는 단계(S1100), 측위 센서 데이터를 획득하는 단계(S1200) 및 선수의 위치를 결정하는 단계(S1300)를 포함할 수 있다. A player tracking method according to an embodiment of the present application may include acquiring image data (S1100), acquiring positioning sensor data (S1200), and determining the position of the player (S1300).

상기 이미지 데이터를 획득하는 단계(S1100)에서는, 플레이필드 주변에 위치된 이미지 캡처 장치(300)로부터 촬영된 이미지 데이터가 획득될 수 있다. In the step of obtaining the image data ( S1100 ), image data photographed from the image capturing device 300 located around the playfield may be obtained.

상기 측위 센서 데이터를 획득하는 단계(S1200)에서는, 스포츠 참가자(1)에 착용된 측위 센서 장치(200)로부터 송신된 측위 센서 데이터가 획득될 수 있다.In the acquiring of the positioning sensor data ( S1200 ), positioning sensor data transmitted from the positioning sensor device 200 worn on the sports participant 1 may be acquired.

이때, 선수 추적 서버(1000)가 획득하는 이미지 데이터와 측위 센서 데이터는, 이미지 데이터와 측위 센서 데이터간의 타임 싱크를 맞춰진 데이터들일 수 있다.In this case, the image data and the positioning sensor data acquired by the player tracking server 1000 may be data obtained by time synchronization between the image data and the positioning sensor data.

또한, 선수 추적 서버(1000)가 획득하는 이미지 데이터는, 리샘플링(Resampling)된 데이터일 수 있다.In addition, the image data obtained by the player tracking server 1000 may be resampling data.

또한, 선수 추적 서버(1000)가 획득하는 이미지 데이터는, 노이즈가 제거된 데이터일 수 있다.Also, the image data obtained by the player tracking server 1000 may be data from which noise has been removed.

또한, 선수 추적 서버(1000)가 획득하는 측위 센서 데이터는, 측위 센서 데이터의 노이즈 제거, 증폭, 필터링 등의 처리 과정을 거친 데이터일 수 있다. In addition, the positioning sensor data acquired by the player tracking server 1000 may be data that has been processed such as noise removal, amplification, and filtering of the positioning sensor data.

또한, 선수 추적 서버(1000)가 획득하는 이미지 데이터는, 스포츠 참가자의 위치와 관련된 데이터, 스포츠 참가자에 대응되는 픽셀에 대한 데이터를 포함할 수 있다. In addition, the image data obtained by the player tracking server 1000 may include data related to the location of the sports participant and data about pixels corresponding to the sports participant.

또한 선수 추적 서버(1000)는 이미지 데이터를 촬영된 이미지 캡처 장치의 종류와 관련된 식별 데이터 및 촬영된 이미지 캡처 장치의 위치, 포즈 등과 관련된 배열 정보를 추가적으로 획득할 수 있다. 다만, 상술한 내용은 예시에 불과하며 임의의 적절한 데이터들을 포함하도록 구현할 수 있다. In addition, the player tracking server 1000 may additionally acquire identification data related to the type of the image capturing device captured image data, and arrangement information related to the position and pose of the captured image capturing device. However, the above description is merely an example and may be implemented to include any appropriate data.

또한, 선수 추적 서버(1000)가 획득하는 측위 센서 데이터는, 스포츠 참가자의 위치와 관련된 데이터, 센서-시그널의 신뢰도와 관련된 데이터 및 스포츠 참가자의 식별인자와 관련된 데이터를 포함할 수 있다. 다만, 상술한 내용은 예시에 불과하며 임의의 적절한 데이터들을 포함하도록 구현할 수 있다. In addition, the positioning sensor data obtained by the player tracking server 1000 may include data related to the location of the sports participant, data related to the reliability of the sensor-signal, and data related to the identification factor of the sports participant. However, the above description is merely an example and may be implemented to include any appropriate data.

상기 선수의 위치를 결정하는 단계(S1300)에서는, 상기 이미지 데이터와 상기 측위 센서 데이터 중 적어도 하나에 기초하여 선수의 위치가 결정될 수 있다. In the step of determining the position of the player (S1300), the position of the player may be determined based on at least one of the image data and the positioning sensor data.

일 예로, 선수 추적 서버(1000)는 상기 이미지 데이터로부터 계산된 이미지 기반 위치의 유효성을 검증하여, 이미지 기반 위치가 유효한 경우에는 이미지 기반 위치로 선수의 위치를 결정할 수 있다. 반면, 상기 이미지 데이터로부터 계산된 이미지 기반 위치가 유효하지 않은 경우에는, 측위 센서 데이터로부터 계산된 선수의 위치로 선수의 위치를 결정할 수 있다. 이와 관련하여는 도 17 내지 도 19에서 자세히 서술한다. For example, the player tracking server 1000 may verify the validity of the image-based position calculated from the image data, and when the image-based position is valid, determine the position of the player as the image-based position. On the other hand, when the image-based position calculated from the image data is not valid, the position of the player may be determined by the position of the player calculated from the positioning sensor data. This will be described in detail with reference to FIGS. 17 to 19 .

다른 예로, 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 측위 센서 기반 위치의 유효성을 검증하여, 측위 센서 기반 위치가 유효한 경우에는 측위 센서 기반 위치로 선수의 위치를 결정할 수 있다. 반면, 상기 측위 센서 데이터로부터 계산된 측위 센서 기반 위치가 유효하지 않은 경우에는, 이미지 데이터로부터 계산된 이미지 기반 위치로 선수의 위치를 결정할 수 있다. 혹은, 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 측위 센서 기반 위치가 유효하지 않은 경우에는, 상기 이미지 기반 위치의 유효성을 추가적으로 평가하여, 이미지 기반 위치의 유효성 결과에 기초하여 선수의 위치가 결정될 수 있다. 이와 관련하여는 도 20 내지 도 21에서 자세히 서술한다. As another example, the player tracking server 1000 may verify the validity of the positioning sensor-based position calculated from the positioning sensor data, and when the positioning sensor-based position is valid, determine the position of the player as the positioning sensor-based position. On the other hand, when the positioning sensor-based position calculated from the positioning sensor data is not valid, the position of the player may be determined using the image-based position calculated from the image data. Alternatively, when the positioning sensor-based position calculated from the positioning sensor data is invalid, the player tracking server 1000 additionally evaluates the validity of the image-based position, and based on the result of the validity of the image-based position, the player's position can be determined. This will be described in detail with reference to FIGS. 20 to 21 .

또 다른 예로, 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 측위 센서 기반 위치의 신뢰도와 이미지 데이터로부터 획득된 이미지 기반 위치의 신뢰도를 정량화 및 비교함으로써 선수의 위치를 결정할 수 있다. 구체적으로 선수 추적 서버(1000)는 측위 센서 기반 위치와 이미지 기반 위치 중 신뢰도가 높은 위치에 기초하여 선수의 위치를 결정하거나, 측위 센서 기반 위치와 이미지 기반 위치 각각에 대하여 신뢰도에 따른 가중치를 부여하여 선수의 위치를 결정할 수 있다. 이와 관련하여는, 도 22에서 자세히 후술한다. As another example, the player tracking server 1000 may determine the position of the player by quantifying and comparing the reliability of the positioning sensor-based position obtained from the positioning sensor data and the reliability of the image-based position obtained from the image data. Specifically, the player tracking server 1000 determines the position of the player based on a highly reliable position among the positioning sensor-based position and the image-based position, or by assigning a weight according to the reliability to each of the positioning sensor-based position and the image-based position. You can determine the player's position. In this regard, it will be described later in detail with reference to FIG. 22 .

또 다른 예로, 선수 추적 서버(1000)는 플레이필드의 영역별 측위 센서 기반 위치의 신뢰도 맵와 플레이필드의 영역별 이미지 기반 위치의 신뢰도 맵에 기초하여 선수의 위치를 결정할 수 있다. 좀 더 구체적으로 플레이필드의 영역에 따라 계산된 선수의 측위 센서 기반 위치에 대한 신뢰도가 상이할 수 있다. 또한, 플레이필드의 영역에 따라 계산된 선수의 이미지 기반 위치에 대한 신뢰도가 상이할 수 있다. 따라서, 선수 추적 서버(1000)는, 신뢰도 맵에 기초하여 측위 센서 기반 위치와 이미지 기반 위치 중 어느 하나를 선택하여 선수의 위치를 결정하거나, 측위 센서 기반 위치와 이미지 기반 위치 각각에 대하여 신뢰도에 따른 가중치를 부여하여 선수의 위치를 결정할 수 있다. 이와 관련하여는, 도 23 내지 도 25에서 자세히 후술한다. As another example, the player tracking server 1000 may determine the position of the player based on the confidence map of the positioning sensor-based position for each region of the playfield and the confidence map of the image-based position for each region of the playfield. More specifically, depending on the area of the playfield, the calculated reliability of the player's positioning sensor-based position may be different. Also, the reliability of the calculated image-based position of the player may be different depending on the area of the playfield. Therefore, the player tracking server 1000 determines the position of the player by selecting any one of the positioning sensor-based position and the image-based position based on the confidence map, or according to the reliability for each of the positioning sensor-based position and the image-based position. A weight can be assigned to determine the position of the player. In this regard, it will be described later in detail with reference to FIGS. 23 to 25 .

이미지 캡처 장치로부터 획득된 이미지 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 스포츠 참가자의 위치를 정확하게 측정할 수 있으며, 플레이필드 주변의 구조물에 영향을 상대적으로 적게 받으며, 스포츠 참가자의 모션을 인식하거나 분석하는 것이 상대적으로 용이하며, 실내에서도 이용하기 편리하다는 장점이 존재한다. 또한, 스포츠 참가자가 측위 센서 장치를 착용하지 않아도 무방하기에 스포츠 참가자의 측면에서도 편의할 수 있다. 다만, 스포츠 참가자 간의 오클루전 이벤트가 발생할 수 있으며, 이미지 데이터의 용량이 크기 때문에 상대적으로 연산량이 많아진다는 문제가 발생할 수 있다. Determining the position of the sports participant from the image data obtained from the image capture device can accurately measure the position of the sports participant, is relatively less affected by the structures around the playfield, and recognizes or analyzes the sports participant's motion. It is relatively easy to do and has the advantage of being convenient to use indoors. In addition, since the sports participant does not need to wear the positioning sensor device, it may be convenient for the sports participant. However, an occlusion event between sports participants may occur, and a relatively large amount of computation may occur because the image data capacity is large.

반면, 측위 센서 장치로부터 획득된 측위 센서 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 이미지 데이터로부터 스포츠 참가자의 위치를 결정하는데 있어 발생할 수 있는 오클루전 이벤트가 발생하지 않으며, 이미지 데이터보다 측위 센서 데이터의 용량이 상대적으로 작기 때문에 측위 센서 데이터의 처리 효율이 이미지 데이터의 처리 효율보다 상대적으로 뛰어날 수 있다. On the other hand, determining the position of the sports participant from the positioning sensor data obtained from the positioning sensor device does not cause an occlusion event that may occur in determining the position of the sports participant from the image data, and positioning sensor data rather than image data Because of the relatively small capacity of , the processing efficiency of the positioning sensor data may be relatively superior to the processing efficiency of the image data.

따라서, 본 출원의 일 실시예에 따른 일 예의 선수 추적 방법은, 이미지 데이터로부터 스포츠 참가자의 위치를 결정하되, 이미지 데이터로부터 계산된 스포츠 참가자의 위치가 유효하지 않은 경우에 한해, 측위 센서 데이터로부터 스포츠 참가자의 위치를 결정할 수 있다. Accordingly, an example player tracking method according to an embodiment of the present application determines the position of a sports participant from image data, but only when the sports participant's position calculated from the image data is not valid, from the positioning sensor data You can determine the location of the participant.

도 17을 참고한다. 도 17은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이며, 구체적으로 도 17의 상기 S1300 단계를 세분화한 도면이다.See FIG. 17 . 17 is a view showing a flowchart of a method for tracking a player according to an embodiment of the present application, and in detail, the step S1300 of FIG. 17 is subdivided.

도 17을 참고하면, 본 출원의 일 실시예에 따른 상기 S1300 단계는 이미지 데이터를 기초로 오클루전을 검출하는 단계(S1310), 오클루전의 심각도를 판단하는 단계(S1320) 및 오클루전의 심각도가 미리 결정된 임계값 이상인지 여부를 판단하는 단계(S1330), 측위 센서 데이터 혹은 이미지 데이터를 기초로 선수의 위치를 결정하는 단계(S1340 또는 S1350) 및 결정된 위치로 선수의 위치를 출력하는 단계(S1360)를 포함할 수 있다. Referring to FIG. 17 , the step S1300 according to an embodiment of the present application includes the step of detecting occlusion based on image data (S1310), determining the severity of the occlusion (S1320), and the severity of the occlusion. Determining whether or not is above a predetermined threshold (S1330), determining the position of the player based on the positioning sensor data or image data (S1340 or S1350) and outputting the position of the player to the determined position (S1360) ) may be included.

상기 S1310 단계는 이미지 데이터에 포함된 스포츠 참가자들간의 오클루전 이벤트를 검출할 수 있다. 구체적으로 상술한 선수 추적 서버(1000)는 이미지 데이터에 포함된 스포츠 참가자들간의 오클루전 이벤트를 검출할 수 있다. 또는 선수 추적 서버(1000)는 이미지 데이터에 포함된 스포츠 참가자들 간의 오클루전 이벤트의 발생 여부를 판단하거나 결정할 수 있다.In step S1310, an occlusion event between sports participants included in the image data may be detected. Specifically, the aforementioned player tracking server 1000 may detect an occlusion event between sports participants included in the image data. Alternatively, the player tracking server 1000 may determine or determine whether an occlusion event between sports participants included in the image data occurs.

이때, 상기 S1310 단계에서 스포츠 참가자간의 오클루전 이벤트가 검출되지 않거나, 스포츠 선수들간의 오클루전 이벤트가 발생하지 않았다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. At this time, when it is determined that an occlusion event between sports participants is not detected or that an occlusion event between sports players does not occur in step S1310, the player tracking server 1000 is based on the location calculated from the image data. to determine the position of the sports participant.

반면, 상기 S1310 단계에서 스포츠 참가자간의 오클루전 이벤트가 검출되거나, 스포츠 선수들간의 오클루전 이벤트가 발생하였다고 판단되는 경우에는, 오클루전 이벤트의 심각도를 판단하는 단계(S1320)가 수행될 수 있다. 상기 S1320 단계에서는 선수 추적 서버(1000)는 검출된 오클루전 이벤트의 심각도를 추가적으로 판단할 수 있다. On the other hand, when it is determined that an occlusion event between sports participants is detected or that an occlusion event between sports players has occurred in step S1310, the step of determining the severity of the occlusion event (S1320) may be performed. have. In step S1320, the player tracking server 1000 may additionally determine the severity of the detected occlusion event.

일 예로, 선수 추적 서버(1000)는 상술한 바와 같이 이미지 데이터로부터 획득된 스포츠 참가자들에 대응하는 바운딩 박스 간의 중첩 정도를 고려하여 오클루전 이벤트의 심각도를 판단할 수 있다. As an example, the player tracking server 1000 may determine the severity of the occlusion event in consideration of the degree of overlap between the bounding boxes corresponding to the sports participants obtained from the image data as described above.

다른 예로, 선수 추적 서버(1000)는 상술한 바와 같이 이미지 데이터로부터 획득된 스포츠 참가자들에 대응하는 픽셀 수의 총합의 변화를 고려하여 오클루전 이벤트의 심각도를 판단할 수 있다. As another example, the player tracking server 1000 may determine the severity of the occlusion event in consideration of a change in the total number of pixels corresponding to sports participants obtained from image data as described above.

또 다른 예로, 선수 추적 서버(1000)는 상술한 바와 같이 측위 센서 데이터로부터 획득된 스포츠 참가자들의 위치를 고려하여, 특정 스포츠 참가자로부터 미리 결정된 영역 이내에 위치된 스포츠 참가자들의 수에 기초하여 오클루전 이벤트의 심각도를 판단할 수 있다. As another example, the player tracking server 1000 considers the positions of the sports participants obtained from the positioning sensor data as described above, and based on the number of sports participants located within a predetermined area from a specific sports participant, the occlusion event severity can be assessed.

또 다른 예로, 선수 추적 서버(1000)는 상술한 바와 같이 오클루전 이벤트와 관련된 스포츠 참가자들의 팀 정보를 고려하여, 오클루전 이벤트의 심각도를 판단할 수 있다. 스포츠 참가자들의 팀 정보는, 이미지 데이터, 특히 RGB map의 스포츠 참가자들의 유니폼에 대응되는 픽셀 정보로부터 획득될 수 있다. 또는 스포츠 참가자들의 팀 정보는, 측위 센서 데이터에 포함된 식별인자로부터 획득될 수 있다.As another example, the player tracking server 1000 may determine the severity of the occlusion event in consideration of team information of sports participants related to the occlusion event as described above. Team information of sports participants may be obtained from image data, particularly pixel information corresponding to uniforms of sports participants in an RGB map. Alternatively, the team information of the sports participants may be obtained from the identification factor included in the positioning sensor data.

또 다른 예로, 선수 추적 서버(1000)는 상술한 바와 같이 오클루전 이벤트이 검출된 경기의 "상황"을 고려하여, 오클루전 이벤트의 심각도를 판단할 수 있다. As another example, the player tracking server 1000 may determine the severity of the occlusion event in consideration of the "situation" of the game in which the occlusion event is detected as described above.

이때, 오클루전 이벤트의 심각도는 임의의 적절한 방법에 의하여 정량화될 수 있다. 혹은 임의의 적절한 기준에 의해 오클루전 이벤트가 심각도의 정도에 따라 분류될 수 있다. In this case, the severity of the occlusion event may be quantified by any suitable method. Alternatively, the occlusion event may be classified according to the degree of severity by any suitable criteria.

상기 S1330 단계에서는, 상기 S1320 단계에서 도출된 오클루전 이벤트의 심각도 판단 결과가 미리 결정된 값 이상인지 여부가 판단될 수 있다. 구체적으로 선수 추적 서버(1000)는 상기 S1320 단계에서 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 이상인지 여부를 판단할 수 있다. In step S1330, it may be determined whether the severity determination result of the occlusion event derived in step S1320 is equal to or greater than a predetermined value. Specifically, the player tracking server 1000 may determine whether the severity value of the occlusion event quantified in step S1320 is greater than or equal to a predetermined value.

일 예로, 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 이상이라면, 이미지 데이터를 기초로 계산된 스포츠 참가자의 위치가 유효하지 않다고 판단되거나 예측될 수 있다. 따라서, 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 이상이라면, 상기 S1350 단계에서, 선수 추적 서버(1000)는 이미지 데이터가 아닌 측위 센서 데이터에 기초하여 계산된 측위 센서 기반 위치로 스포츠 참가자의 위치를 결정할 수 있다. For example, if the severity value of the quantified occlusion event is greater than or equal to a predetermined value, it may be determined or predicted that the position of the sports participant calculated based on the image data is invalid. Therefore, if the severity value of the quantified occlusion event is greater than or equal to a predetermined value, in step S1350, the player tracking server 1000 returns to the positioning sensor-based position calculated based on the positioning sensor data, not the image data, of the sports participant. location can be determined.

다른 예로, 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 미만이라면, 이미지 데이터를 기초로 계산된 스포츠 참가자의 위치가 유효하거나 유효한 것으로 예측될 수 있다. 따라서, 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 미만이라면, 상기 S1340 단계에서, 선수 추적 서버(1000)는 이미지 데이터에 기초하여 계산된 이미지 기반 위치로 스포츠 참가자의 위치를 결정할 수 있다. As another example, if the severity value of the quantified occlusion event is less than a predetermined value, the location of the sports participant calculated based on the image data may be valid or predicted to be valid. Accordingly, if the severity value of the quantified occlusion event is less than the predetermined value, in step S1340 , the player tracking server 1000 may determine the position of the sports participant as the image-based position calculated based on the image data.

또는, 선수 추적 서버(1000)는 상기 S1320 단계에서 오클루전 이벤트의 심각도의 분류 결과에 따라 측위 센서 데이터에 기초하여 선수의 위치를 결정할지 혹은 이미지 데이터에 기초하여 선수의 위치를 결정할 지 여부를 결정할 수 있다. Alternatively, the player tracking server 1000 determines whether to determine the position of the player based on the positioning sensor data or the image data according to the classification result of the severity of the occlusion event in step S1320. can decide

일 예로, 선수 추적 서버(1000)는, 오클루전 이벤트를 오클루전 이벤트의 심각도에 따라 마일드한 오클루전 이벤트 혹은 심각한 오클루전 이벤트 등으로 할당할 수 있다. 이때, 선수 추적 서버(1000)는 오클루전 이벤트를 마일드한 오클루전 이벤트로 할당한 결과에 따라 이미지 데이터를 기초로 스포츠 참가자의 위치를 결정할 수 있다. 반면, 선수 추적 서버(1000)는 오클루전 이벤트를 심각한 오클루전 이벤트로 할당한 결과에 따라 측위 센서 데이터를 기초로 스포츠 참가자의 위치를 결정할 수 있다.For example, the player tracking server 1000 may allocate the occlusion event as a mild occlusion event or a serious occlusion event according to the severity of the occlusion event. In this case, the player tracking server 1000 may determine the location of the sports participant based on the image data according to a result of allocating the occlusion event to the mild occlusion event. On the other hand, the player tracking server 1000 may determine the position of the sports participant based on the positioning sensor data according to a result of allocating the occlusion event as a serious occlusion event.

상기 S1360 단계에서는, 결정된 스포츠 참가자의 위치에 기초하여 스포츠 참가자의 위치가 출력되거나 업데이트될 수 있다. 출력되는 스포츠 참가자의 위치는 임의의 적절한 좌표계에 대응되는 좌표값일 수 있다. In step S1360, the location of the sports participant may be output or updated based on the determined location of the sports participant. The output position of the sports participant may be a coordinate value corresponding to any suitable coordinate system.

도 18을 참고한다. 도 18은 본 출원의 일 실시예에 따른 좌표 변환 알고리즘과 관련된 인공신경망의 학습 과정을 도시한 흐름도이다. See FIG. 18 . 18 is a flowchart illustrating a learning process of an artificial neural network related to a coordinate transformation algorithm according to an embodiment of the present application.

본 출원의 일 실시예에 따른 좌표변환부의 인공신경망을 이용한 학습 방법은, 이미지 데이터 및 이미지 기반 위치를 획득하는 단계(S2100), 센서 데이터 및 측위 센서 기반 위치를 획득하는 단계(S2200), 이미지 기반 위치를 검증하는 단계(S2300), 학습 세트 준비하는 단계(S2400) 및 학습세트를 사용하여 인공신경망을 훈련하는 단계(S2500)를 포함할 수 있다. 본 인공신경망을 이용한 학습 방법은, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)에 의해 구현될 수 있거나 임의의 별개의 학습 모듈에서 구현될 수 있다. A learning method using an artificial neural network of a coordinate conversion unit according to an embodiment of the present application includes: acquiring image data and an image-based position (S2100), acquiring sensor data and a positioning sensor-based position (S2200), image-based It may include verifying the location (S2300), preparing a training set (S2400), and training an artificial neural network using the training set (S2500). The learning method using the present artificial neural network may be implemented by the player tracking server 1000 according to an embodiment of the present application or may be implemented in any separate learning module.

상기 S2100 단계에서는, 이미지 캡처 장치(300)로부터 송신된 이미지 데이터가 획득될 수 있다. 또한, 상기 이미지 데이터로부터 이미지 기반 위치가 획득될 수 있다. 상기 이미지 기반 위치는 이미지 데이터에 포함된 스포츠 참가자의 위치에 대응되는 픽셀의 좌표값으로부터 획득될 수 있다.In step S2100 , image data transmitted from the image capturing device 300 may be acquired. Also, an image-based position may be obtained from the image data. The image-based location may be obtained from coordinate values of pixels corresponding to the sports participant's location included in the image data.

상기 S2200 단계에서는, 측위 센서 장치(210, 220)로부터 송신된 측위 센서 데이터가 획득될 수 있다. 또한, 상기 측위 센서 데이터로부터 측위 센서 기반 위치가 획득될 수 있다. 상기 측위 센서 기반 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터로부터 획득될 수 있으며, 혹은 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다. 구체적으로 상기 S2200 단계에서는, 이미지 기반 위치에 대응하는, 측위 센서 기반 위치 및 측위 센서 기반 속력들이 획득될 수 있다.In step S2200, positioning sensor data transmitted from the positioning sensor devices 210 and 220 may be acquired. Also, a positioning sensor-based position may be obtained from the positioning sensor data. The positioning sensor-based position may be obtained from data related to a position included in the positioning sensor data, or may be acquired from data related to speed or acceleration included in the positioning sensor data. Specifically, in step S2200, the positioning sensor-based position and the positioning sensor-based speed corresponding to the image-based position may be obtained.

상기 S2300 단계에서는, 이미지 기반 위치에 대한 유효성 판단 결과에 기초하여, 상기 S2100 단계로부터 획득된 이미지 기반 위치가 학습 세트로 사용될 수 있을지 여부가 검증될 수 있다. In step S2300, it may be verified whether the image-based location obtained from step S2100 can be used as a training set based on a result of determining the validity of the image-based location.

일 예로, 선수 추적 서버(1000)는, 오클루전 이벤트의 검출 여부에 기초하여 이미지 기반 위치의 유효성을 판단할 수 있다. 다시 말해, 상기 S2300 단계에서는 이미지 데이터 내의 오클루전 이벤트의 검출 결과에 기초하여 이미지 기반 위치가 학습 세트로 사용될 수 있을 지 여부가 검증될 수 있다. For example, the player tracking server 1000 may determine the validity of the image-based location based on whether an occlusion event is detected. In other words, in step S2300, based on the detection result of the occlusion event in the image data, it may be verified whether the image-based location can be used as the training set.

예를 들어, 이미지 데이터 내의 오클루전 이벤트가 검출되었다면 획득된 이미지 기반 위치는 학습 세트로서 적절히 않다고 판단될 수 있다. For example, if an occlusion event in the image data has been detected, it may be determined that the acquired image-based position is not suitable as a training set.

예를 들어, 이미지 데이터 내의 오클루전 이벤트가 검출되지 않았다면(혹은 오클루전 이벤트가 검출되었으나 심각하지 않다고 판단된 경우도 포함될 수 있음) 획득된 이미지 기반 위치는 학습 세트로서 이용될 수 있다고 판단될 수 있다. For example, if an occlusion event in the image data is not detected (or may also include a case where an occlusion event is detected but is determined not to be serious), the acquired image-based position may be determined to be used as a training set. can

상기 S2400 단계에서는, 상기 S2300 단계의 검증 결과에 따라 학습 세트 및 인공 신경망이 준비될 수 있다. In step S2400, a training set and an artificial neural network may be prepared according to the verification result of step S2300.

상기 인공신경망은 입력 레이어, 출력 레이어 및 복수의 노드를 포함하는 히든레이어를 포함할 수 있다. The artificial neural network may include an input layer, an output layer, and a hidden layer including a plurality of nodes.

상기 학습세트는, 상기 S2300 단계에서 검증된 이미지 기반 위치와, 이미지 기반 위치에 대응하는 측위 센서 기반 위치 및 측위 센서 기반 속력을 포함할 수 있다. 이때, 상기 이미지 기반 위치는 제1 좌표계에 관한 위치일 수 있다. 또한, 상기 측위 센서 기반 위치는 제1 좌표계와는 상이한 제2 좌표계일 수 있다. The learning set may include the image-based position verified in step S2300, the positioning sensor-based position and the positioning sensor-based speed corresponding to the image-based position. In this case, the image-based position may be a position with respect to the first coordinate system. In addition, the positioning sensor-based position may be a second coordinate system different from the first coordinate system.

상기 S2500 단계에서는, 상기 S2400 단계에서 준비된 학습 세트를 이용하여 인공신경망을 학습시킬 수 있다. In the step S2500, the artificial neural network may be trained using the training set prepared in the step S2400.

예를 들어, 상기 학습 세트 중 측위 센서 기반 위치와 측위 센서 기반 속력이 입력레이어로 입력될 수 있다. 이때, 입력된 측위 센서 기반 위치와 측위 센서 기반 속력은 인공신경망을 거쳐 상기 제2 좌표계에서 상기 제1 좌표계로 변환되어 출력레이어를 통해 출력될 수 있다. 이때, 출력레이어를 통해 출력된 출력값과 학습 세트의 이미지 기반 위치와의 차이에 기초하여 히든레이어에 포함된 복수의 노드의 가중치가 조절될 수 있다. For example, a positioning sensor-based position and a positioning sensor-based speed in the training set may be input as an input layer. In this case, the input positioning sensor-based position and positioning sensor-based speed may be converted from the second coordinate system to the first coordinate system through an artificial neural network and output through an output layer. In this case, the weights of the plurality of nodes included in the hidden layer may be adjusted based on the difference between the output value output through the output layer and the image-based position of the training set.

복수의 노드의 가중치가 적절히 조절됨으로써, 학습 세트의 이미지 기반 위치와 출력레이어를 통해 출력되는 출력값들 간의 오차가 감소하도록, 인공신경망이 학습될 수 있다. By appropriately adjusting the weights of the plurality of nodes, the artificial neural network may be trained so that an error between the image-based position of the training set and output values output through the output layer is reduced.

도 19는 도 18의 학습된 인공신경망을 이용한 좌표 변환을 통한 선수 추적 방법의 일 실시예를 도시한 흐름도이다.19 is a flowchart illustrating an embodiment of a player tracking method through coordinate transformation using the learned artificial neural network of FIG. 18 .

학습된 인공신경망을 이용한 좌표 변환을 통한 선수 추적 방법은, 이미지 데이터 및 이미지 기반 위치를 획득하는 단계(S3100), 측위 센서 데이터를 획득하는 단계(S3200), 이미지 기반 위치의 유효성을 판단하는 단계(S3300), 스포츠 참가자의 위치를 결정하는 단계(S3400, S3500, S3600)를 포함할 수 있다. A player tracking method through coordinate transformation using a learned artificial neural network includes: acquiring image data and an image-based position (S3100), acquiring positioning sensor data (S3200), determining the validity of an image-based position ( S3300), determining the location of the sports participant (S3400, S3500, S3600) may include.

상기 S3100 단계에서는 이미지 캡처 장치(300)로부터 송신된 이미지 데이터가 획득될 수 있다. 또한, 상기 이미지 데이터로부터 이미지 기반 위치가 획득될 수 있다. 상기 이미지 기반 위치는 이미지 데이터에 포함된 스포츠 참가자의 위치에 대응되는 픽셀의 좌표값으로부터 획득될 수 있다.In step S3100, image data transmitted from the image capturing device 300 may be acquired. Also, an image-based position may be obtained from the image data. The image-based location may be obtained from coordinate values of pixels corresponding to the sports participant's location included in the image data.

상기 S3200 단계에서는, 측위 센서 장치(200)로부터 송신된 측위 센서 데이터가 획득될 수 있다. In step S3200, positioning sensor data transmitted from the positioning sensor device 200 may be acquired.

상기 S3300 단계에서는, 선수 추적 서버(1000)에 의하여, 이미지 기반 위치의 유효성이 판단될 수 있다. In the step S3300, the validity of the image-based location may be determined by the player tracking server 1000 .

일 예로, 도 5 내지 도 10과 관련하여 상술한 임의의 적절한 이미지 기반 위치의 유효성을 판단하는 방법에 따라, 상기 S3100 단계로부터 획득된 이미지 기반 위치의 유효성이 판단되거나 예측될 수 있다. As an example, according to the method of determining the validity of any suitable image-based position described above with reference to FIGS. 5 to 10 , the validity of the image-based position obtained from step S3100 may be determined or predicted.

예를 들어, 오클루전 이벤트의 검출 여부, 오클루전 이벤트의 심각도 판단 결과, 스포츠 참가자의 수직적인 움직임 및 이미지 기반 위치의 이격(internal disparity) 중 적어도 하나를 고려하여 선수 추적 서버(1000)에 의하여 이미지 기반 위치의 유효성이 판단될 수 있다.For example, in consideration of at least one of whether the occlusion event is detected, the severity of the occlusion event is determined, the vertical movement of the sports participant, and the internal disparity of the image-based position, the Thus, the validity of the image-based location may be determined.

상기 S3400 단계에서는, 상기 S3300에서 이미지 기반 위치가 유효하다고 판단된 경우에는, 선수 추적 서버(1000)는 이미지 기반 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. In step S3400, if it is determined that the image-based location is valid in S3300, the player tracking server 1000 may determine the location of the sports participant based on the image-based location.

반면, 상기 S3300 단계에서, 이미지 기반 위치가 유효하지 않다고 판단된 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. On the other hand, when it is determined that the image-based location is not valid in step S3300, the player tracking server 1000 may determine the location of the sports participant based on the positioning sensor data.

상기 S3500 단계에서는, 상기 S3200 단계에서 획득된 측위 센서 데이터로부터 측위 센서 기반 위치가 획득될 수 있다. 상기 측위 센서 기반 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터로부터 획득될 수 있으며, 혹은 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다. 구체적으로 상기 S3400 단계에서는, 이미지 기반 위치에 대응하는 측위 센서 기반 위치 및 측위 센서 기반 속력들이 획득될 수 있다. In step S3500, a positioning sensor-based position may be obtained from the positioning sensor data obtained in step S3200. The positioning sensor-based position may be obtained from data related to a position included in the positioning sensor data, or may be acquired from data related to speed or acceleration included in the positioning sensor data. Specifically, in step S3400, the positioning sensor-based position and the positioning sensor-based speed corresponding to the image-based position may be obtained.

도 19에 따르면, 상기 S3300 단계에서 이미지 기반 위치가 유효하지 않다고 판단된 경우에 한해, 측위 센서 기반 위치가 획득되는 것으로 도시하였으나, 이는 예시에 불과하며, 상기 S3500 단계뿐만 아니라 상기 S3200 단계에서 측위 센서 데이터로부터 측위 센서 기반 위치나 측위 센서 기반 속력이 계산될 수 있음은 자명하다. According to FIG. 19 , it is illustrated that the positioning sensor-based position is obtained only when it is determined that the image-based position is not valid in the step S3300, but this is only an example, and the positioning sensor in the step S3200 as well as the step S3500 It is self-evident that a positioning sensor-based position or a positioning sensor-based speed can be calculated from the data.

상기 S3600 단계에서는, 상기 S3500 단계에서 획득된 측위 센서 기반 위치와 측위 센서 기반 속력이 학습된 인공신경망의 입력 레이어의 입력값으로 입력될 수 있다. In step S3600, the positioning sensor-based position and positioning sensor-based speed obtained in step S3500 may be input as input values of the learned input layer of the artificial neural network.

상기 측위 센서 기반 위치와 상기 측위 센서 기반 속력은 제2 좌표계에서 획득된 값들일 수 있다. 또한 상기 측위 센서 기반 위치와 상기 센서 기반 속력은, 유효하지 않다고 판단된 이미지 기반 위치에 대응하는 위치와 속력에 대한 값일 수 있다. The positioning sensor-based position and the positioning sensor-based speed may be values obtained in a second coordinate system. Also, the positioning sensor-based position and the sensor-based speed may be values for a position and a speed corresponding to an image-based position determined to be invalid.

상기 S3600 단계에서는, 입력 레이어의 입력된 제2 좌표계의 상기 측위 센서 기반 위치와 상기 측위 센서 기반 속력이 인공신경망을 거침에 따라 제1 좌표계의 이미지 기반 위치에 대하여 좌표가 변환될 수 있다. In step S3600, the coordinates may be converted with respect to the image-based position of the first coordinate system as the positioning sensor-based position and the positioning sensor-based speed of the input second coordinate system of the input layer pass through the artificial neural network.

선수 추적 서버(1000)는 상기 S3600 단계에서 출력된 값에 기초하여 스포츠 참가자의 위치가 결정될 수 있다. The player tracking server 1000 may determine the location of the sports participant based on the value output in step S3600 .

상술한 본 출원에 개시된 일 실시예에 따른 선수 추적 방법에 의하면, 우선적으로 이미지 데이터를 기초로 하여 선수를 추적함으로써, 스포츠 참가자의 행동이나 상황을 용이하게 인식할 수 있고 상대적으로 높은 정확도의 위치 측정을 구현할 수 있다는 이미지 데이터의 장점을 살릴 수 있다. 다만, 이미지 데이터는 오클루전 이벤트 등에 따라 객체를 구별하기 어려운 상황이 존재하고 데이터 크기가 상대적으로 크기 때문에 데이터 처리 효율이 다소 떨어질 수 있는데 이러한 이미지 데이터의 단점을 측위 센서 데이터에 의하여 보완할 수 있다.According to the player tracking method according to an embodiment disclosed in the present application described above, by first tracking the player based on image data, the action or situation of the sports participant can be easily recognized and position measurement with relatively high accuracy The advantage of image data that can be implemented can be utilized. However, in image data, there are situations in which it is difficult to distinguish objects depending on an occlusion event, and since the data size is relatively large, data processing efficiency may be somewhat lowered. .

측위 센서 장치로부터 획득된 측위 센서 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 스포츠 참가자들 간의 구별이 용이하며, 야간의 경우에도 스포츠 참가자들의 위치를 용이하게 계산할 수 있으며, 데이터의 용량이 상대적으로 작기 때문에 연산량이 적다는 장점이 존재한다. 또한, 이미지 캡처 장치들을 플레이필드 주변부 등에 미리 설치하지 않아도 무방하다는 편의성이 존재한다. 다만, 스포츠 참가자들이 측위 센서 장치를 착용해야 하며, 플레이필드 주변의 구조물에 영향을 많이 받을 수 있으며, 이미지 데이터에 비하여 스포츠 참가자들의 행동이나 이벤트 인식을 파악하는 것이 상대적으로 복잡할 수 있다.Determining the position of the sports participant from the positioning sensor data obtained from the positioning sensor device makes it easy to distinguish between sports participants, and it is possible to easily calculate the positions of the sports participants even at night, and the data capacity is relatively small. Therefore, there is an advantage that the amount of computation is small. In addition, there is a convenience in that it is not necessary to pre-install the image capture devices in the periphery of the playfield or the like. However, sports participants must wear a positioning sensor device, may be greatly affected by structures around the playfield, and it may be relatively complicated to understand the behavior or event recognition of sports participants compared to image data.

반면, 이미지 캡처 장치로부터 획득된 이미지 데이터로부터 스포츠 참가자의 움직임을 추적하는 것은, 플레이필드 주변의 구조물에 영향을 받지 않으며, 스포츠 참가자들의 행동이나 이벤트 인식에 용이하다는 장점이 존재한다.On the other hand, tracking the movement of a sports participant from the image data obtained from the image capture device is not affected by structures around the playfield, and there is an advantage in that it is easy to recognize the actions or events of the sports participants.

따라서, 본 출원의 일 실시예에 따른 다른 예의 선수 추적 방법에 의하면, 측위 센서 데이터로부터 스포츠 참가자의 위치가 결정되되, 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치가 유효하지 않은 경우에 한해, 이미지 데이터로부터 계산된 스포츠 참가자의 위치를 더 고려하여 선수의 위치가 결정될 수 있다. Therefore, according to another example of the athlete tracking method according to an embodiment of the present application, the position of the sports participant is determined from the positioning sensor data, but only when the position of the sports participant calculated from the positioning sensor data is not valid, the image data The position of the athlete may be determined by further considering the position of the sports participant calculated from .

본 출원의 일 실시예의 다른 예에 따른 선수 추적 방법은, 도 3에 도시된 선수 추적 시스템 (100)에 의해 구현될 수 있다. 또한 본 출원의 일 실시예에 따른 선수 추적 방법은, 도 4에 도시된 선수 추적 서버(1000)에 의해 구현될 수 있다. A player tracking method according to another example of an embodiment of the present application may be implemented by the player tracking system 100 shown in FIG. 3 . Also, the player tracking method according to an embodiment of the present application may be implemented by the player tracking server 1000 shown in FIG. 4 .

도 20을 참고한다. 도 20은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다. 도 20을 참고하면, 본 출원의 일 실시예에 따른 선수 추적 방법은 이미지 데이터를 획득하는 단계(S4100), 측위 센서 데이터를 획득하는 단계(S4200) 및 선수의 위치를 결정하는 단계(S4300)를 포함할 수 있다. See FIG. 20 . 20 is a diagram illustrating a flowchart of a player tracking method according to an embodiment of the present application. Referring to Figure 20, the player tracking method according to an embodiment of the present application includes the steps of acquiring image data (S4100), acquiring positioning sensor data (S4200), and determining the position of the player (S4300) may include

상기 S4100 단계, 상기 S4200 단계 및 상기 S4300 단계에서는 도 16과 관련하여 서술한 S1100 단계, S1200 단계 및 S1300 단계에 대한 내용이 동일하게 적용될 수 있다. 따라서 이하에서는 도 16 내지 도 19와는 상이하거나 추가되는 도 21의 내용들을 중심으로 서술한다. In the step S4100, the step S4200, and the step S4300, the contents of the step S1100, the step S1200, and the step S1300 described with reference to FIG. 16 may be equally applied. Accordingly, hereinafter, the contents of FIG. 21 that are different from or added to FIGS. 16 to 19 will be mainly described.

도 21을 참고한다. 도 21은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이며, 구체적으로 도 20의 상기 S4300 단계를 세분화한 도면이다.See FIG. 21 . 21 is a diagram illustrating a flowchart of a player tracking method according to an embodiment of the present application, and is a detailed diagram of the step S4300 of FIG. 20 .

도 21을 참고하면, 본 출원의 일 실시예에 따른 상기 S4300 단계는 측위 센서 기반 위치가 유효한지 여부를 판단하는 단계(S4310), 이미지 기반 위치의 유효성을 검증 및 예측하는 단계(S4330 및 S4340), 측위 센서 기반 위치 혹은 이미지 기반 위치 중 적어도 하나에 기초하여 선수의 위치를 결정하는 단계(S4320 또는 S4350) 및 결정된 위치로 선수의 위치를 출력하는 단계(S4360)를 포함할 수 있다. Referring to FIG. 21 , the step S4300 according to an embodiment of the present application includes determining whether the positioning sensor-based position is valid (S4310), verifying and predicting the validity of the image-based position (S4330 and S4340) , It may include determining the position of the player based on at least one of the positioning sensor-based position or the image-based position (S4320 or S4350) and outputting the position of the player to the determined position (S4360).

상기 S4310 단계에서는, 측위 센서 데이터로부터 획득된 측위 센서 기반 위치가 유효한지 여부가 판단될 수 있다. In step S4310, it may be determined whether the positioning sensor-based position obtained from the positioning sensor data is valid.

일 예로, 상술한 선수 추적 서버(1000)는 측위 센서 데이터에 포함된 측위 센서 기반 위치의 신뢰도에 관한 데이터를 고려하여 측위 센서 기반 위치의 유효성을 평가할 수 있다. 구체적으로 측위 센서 데이터에는 측위 센서 기반 위치와 관련된 신뢰도에 대한 정보(예, DoP, SNR)가 포함될 수 있다. 이때, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 상기 신뢰도에 대한 정보와 미리 설정된 신뢰도와 관련된 임계값을 고려하여, 측위 센서 기반 위치의 유효성을 평가할 수 있다. 예를 들어, 상기 측위 센서 데이터에 포함된 신뢰도와 관련된 정보가 미리 설정된 상기 임계값보다 큰 경우에는 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 측위 센서 기반 위치가 유효한 것으로 판단할 수 있다. 반면 상기 측위 센서 데이터에 포함된 신뢰도와 관련된 정보가 미리 설정된 상기 임계값보다 작은 경우에는 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 측위 센서 기반 위치가 유효하지 않은 것으로 판단할 수 있다. As an example, the above-described player tracking server 1000 may evaluate the validity of the positioning sensor-based position in consideration of data on the reliability of the positioning sensor-based position included in the positioning sensor data. In more detail, the positioning sensor data may include information (eg, DoP, SNR) about reliability related to a positioning sensor-based location. In this case, the player tracking server 1000 may evaluate the validity of the positioning sensor-based position in consideration of the information about the reliability obtained from the positioning sensor data and a threshold value related to a preset reliability. For example, if the information related to the reliability included in the positioning sensor data is greater than the preset threshold value, the player tracking server 1000 determines that the positioning sensor based position of the player calculated from the positioning sensor data is valid. can On the other hand, if the information related to the reliability included in the positioning sensor data is smaller than the preset threshold value, the player tracking server 1000 may determine that the positioning sensor-based position of the player calculated from the positioning sensor data is invalid. have.

다른 예로, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 측위 센서 기반 위치의 이격(internal disparity)을 고려하여 측위 센서 기반 위치의 유효성을 평가할 수 있다. 구체적으로, 제1 시점에 대응하는 측위 센서 기반 위치와 제2 시점에 대응하는 측위 센서 기반 위치의 "변화"가 미리 결정된 임계값보다 크게 변화하는 경우에는, 상기 선수 추적 서버(1000)는 제2 시점에 대응하는 측위 센서 데이터로부터 계산된 측위 센서 기반 위치는 유효하지 않은 것으로 판단할 수 있다. As another example, the player tracking server 1000 may evaluate the effectiveness of the positioning sensor-based position in consideration of the internal disparity of the positioning sensor-based position obtained from the positioning sensor data. Specifically, when the "change" of the positioning sensor-based position corresponding to the first time point and the positioning sensor-based position corresponding to the second time point is greater than a predetermined threshold value, the player tracking server 1000 is the second The positioning sensor-based position calculated from the positioning sensor data corresponding to the time point may be determined to be invalid.

또 다른 예로, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 측위 센서 기반 위치와 이미지 데이터로부터 획득된 이미지 기반 위치 간의 차이 혹은 이격도를 고려하여 측위 센서 기반 위치의 유효성을 평가할 수 있다. 이와 관련된 내용은 도 22에 대하여 자세히 후술한다. As another example, the player tracking server 1000 may evaluate the effectiveness of the positioning sensor-based position in consideration of the difference or separation between the positioning sensor-based position obtained from the positioning sensor data and the image-based position acquired from the image data. The related contents will be described later in detail with reference to FIG. 22 .

상기 S4320 단계에서는, 상기 S4310 단계에서 상기 선수 추적 서버(1000)로부터 상기 측위 센서 기반 위치가 유효하다고 판단되면, 측위 센서 기반 위치를 기초로 하여 스포츠 참가자의 위치를 결정할 수 있다.In step S4320, if it is determined from the player tracking server 1000 that the positioning sensor-based location is valid in step S4310, the sports participant's location may be determined based on the positioning sensor-based location.

반면, 상기 S4310 단계에서 상기 선수 추적 서버(1000)로부터 상기 측위 센서 기반 위치가 유효하지 않다고 판단되면, 이미지 기반 위치의 유효성을 검증하는 단계(S4330 및 S4340)가 추가적으로 더 포함될 수 있다. On the other hand, if it is determined by the player tracking server 1000 that the positioning sensor-based position is not valid in the step S4310, the steps of verifying the validity of the image-based position (S4330 and S4340) may be further included.

상기 이미지 기반 위치의 유효성을 검증하는 단계는, 이미지 기반 위치의 유효성을 검증하는 단계(S4330) 및 이미지 기반 위치가 유효하다고 예측되는지 판단하는 단계(S4340)가 포함될 수 있다.The step of verifying the validity of the image-based location may include verifying the validity of the image-based location ( S4330 ) and determining whether the image-based location is predicted to be valid ( S4340 ).

상기 S4330 단계에서는, 이미지 데이터로부터 오클루전 이벤트의 발생 여부, 오클루전 이벤트의 심각도, 이미지 데이터로부터 획득된 이미지 기반 위치의 이격(internal disparity) 및 스포츠 참가자의 수직적인 움직임(vertical movement) 중 적어도 하나를 고려하여 이미지 데이터로부터 획득된 이미지 기반 위치의 유효성을 검증할 수 있다. In step S4330, at least one of the occurrence of an occlusion event from the image data, the severity of the occlusion event, the internal disparity of the image-based position obtained from the image data, and the vertical movement of the sports participant. Considering one, it is possible to verify the validity of the image-based location obtained from the image data.

일 실시예에 따르면, 상기 선수 추적 서버(1000)는 상술한 바와 같이 다양한 방법을 이용하여 오클루전 이벤트를 검출하거나 오클루전 이벤트의 발생 여부를 판단할 수 있으며, 이를 기초로 하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다. According to an embodiment, the player tracking server 1000 may detect an occlusion event or determine whether an occlusion event has occurred using various methods as described above, and based on this, image-based location can be validated or predicted.

일 예로, 이미지 데이터로부터 획득된 스포츠 참가자에 대응되는 바운딩 박스 간의 중첩 정도를 고려하여 오클루전 이벤트가 검출되거나 오클루전 이벤트의 발생 여부가 판단될 수 있다. For example, an occlusion event may be detected or whether an occlusion event has occurred may be determined in consideration of a degree of overlap between bounding boxes corresponding to sports participants obtained from image data.

다른 예로, 이미지 데이터로부터 획득된 스포츠 참가자들과 관련된 픽셀의 데이터를 고려하여 오클루전 이벤트가 검출되거나 오클루전 이벤트의 발생 여부가 판단될 수 있다. As another example, an occlusion event may be detected or whether an occlusion event has occurred may be determined in consideration of pixel data related to sports participants obtained from image data.

또 다른 예로, 측위 센서 데이터로부터 획득된 스포츠 참가자의 위치들을 고려하여, 오클루전 이벤트가 검출되거나 오클루전 이벤트의 발생 여부가 판단될 수 있다. 구체적으로 특정 스포츠 참가자에 대응되는 측위 센서 기반 위치로부터 미리 결정된 영역 내에 일정 수 이상의 스포츠 참가자가 위치하는 경우에는 오클루전 이벤트가 발생하였다고 판단될 수 있다.As another example, an occlusion event may be detected or whether an occlusion event has occurred may be determined in consideration of the positions of the sports participants obtained from the positioning sensor data. Specifically, it may be determined that an occlusion event has occurred when a certain number of sports participants are located within a predetermined area from a positioning sensor-based location corresponding to a specific sports participant.

또 다른 예로, 이미지 캡처 장치의 라인 오브 사이트(line of sight)와 포즈에 대한 데이터 및 측위 센서 데이터로부터 획득된 스포츠 참가자들의 위치를 고려하여, 오클루전 이벤트를 검출하거나 오클루전 이벤트의 발생 여부를 판단할 수 있다.As another example, in consideration of the position of sports participants obtained from the data on the line of sight and pose of the image capture device and the positioning sensor data, the occlusion event is detected or whether the occlusion event occurs can be judged

본 출원의 일 실시예에 따른 선수 추적 방법은, 오클루전 이벤트가 검출되거나 오클루전 이벤트가 발생되었다고 판단되면, 상기 S4340 단계에서는 이미지 기반 위치가 유효하지 않다고 예측될 수 있다. In the player tracking method according to an embodiment of the present application, when an occlusion event is detected or it is determined that an occlusion event has occurred, it may be predicted that the image-based location is invalid in step S4340.

다만, 오클루전 이벤트가 검출되거나 발생되었다고 판단되더라도 오클루전 심각도가 심각하지 않다면, 상기 S4340 단계에서는 이미지 기반 위치가 유효하다고 예측될 수 있다. 이를 위하여 오클루전 이벤트가 발생된 경우에는 오클루전 이벤트의 심각도를 추가적으로 고려하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다. However, even if it is determined that the occlusion event is detected or generated, if the occlusion severity is not serious, it may be predicted that the image-based location is valid in step S4340. To this end, when an occlusion event occurs, the validity of the image-based location may be verified or predicted by additionally considering the severity of the occlusion event.

일 실시예에 따르면, 상기 선수 추적 서버(1000)는 상술한 바와 같이 다양한 방법을 이용하여 오클루전 이벤트의 심각도를 판단할 수 있으며, 이를 기초로 하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다. According to an embodiment, the player tracking server 1000 may determine the severity of the occlusion event using various methods as described above, and may verify or predict the validity of the image-based location based on this. .

본 출원의 일 실시예에 따른 선수 추적 방법은, 심각한 오클루전 이벤트가 검출되거나 검출된 오클루전이 심각하다고 판단되면, 상기 S4340 단계에서는 이미지 기반 위치가 유효하지 않다고 예측될 수 있다. 반면, 마일드 오클루전 이벤트가 검출되거나 검출된 오클루전이 마일드하다고 판단되면, 상기 S4340 단계에서는 이미지 기반 위치가 유효하다고 예측될 수 있다.In the player tracking method according to an embodiment of the present application, if a serious occlusion event is detected or it is determined that the detected occlusion is serious, it may be predicted that the image-based location is invalid in step S4340. On the other hand, if a mild occlusion event is detected or it is determined that the detected occlusion is mild, it may be predicted that the image-based location is valid in step S4340.

일 실시예에 따르면, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 이미지 기반 위치 및 동일한 시간적 시점의 스포츠 참가자의 수직적인 움직임을 고려하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다. According to an embodiment, the player tracking server 1000 may verify or predict the validity of the image-based position in consideration of the image-based position obtained from the image data and the vertical movement of the sports participant at the same time point.

다시 도 9(a)를 참고하면, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 없는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L1_image)와 스포츠 참가자(110)의 실제 위치(L0)의 차이가 상대적으로 작을 수 있다. 따라서, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 스포츠 참가자(1)의 위치(L1_image)를 유효한 것으로 예측하거나 판단할 수 있다. Referring back to FIG. 9( a ), when there is substantially no vertical movement of the sports participant 1 included in the image data, the position (L1_image) of the sports participant 1 calculated from the image data A difference between and the actual position L0 of the sports participant 110 may be relatively small. Accordingly, the player tracking server 1000 may predict or determine the position (L1_image) of the sports participant 1 obtained from the image data as valid.

반면, 다시 도 9(b)를 참고하면, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 존재하는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(110)의 위치(L2_image)와 스포츠 참가자(1)의 실제 위치(L0)의 차이가 상대적으로 클 수 있다. 다시 말해, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 존재하는 경우, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L2_image)가 실제 위치(L0)에 대하여 유의미한 오차가 발생할 가능성이 높다. 따라서, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 스포츠 참가자(1)의 위치(L2_image)는 유효하지 않은 것으로 예측하거나 판단할 수 있다. On the other hand, referring again to FIG. 9B , when the vertical movement of the sports participant 1 included in the image data is substantially present, the position of the sports participant 110 calculated from the image data A difference between (L2_image) and the actual location (L0) of the sports participant 1 may be relatively large. In other words, when there is substantially vertical movement of the sports participant 1 included in the image data, the position (L2_image) of the sports participant 1 calculated from the image data is the actual position (L0). Significant errors are likely to occur. Accordingly, the player tracking server 1000 may predict or determine that the location (L2_image) of the sports participant 1 obtained from the image data is invalid.

본 출원의 일 실시예에 따른 선수 추적 방법은, 스포츠 참가자의 수직적인 움직임이 검출된 경우, S4340 단계에서는 수직적인 움직임이 검출된 시간적 시점에 대하여 획득된 이미지 기반 위치가 유효하지 않다고 예측될 수 있다. 반면, 스포츠 참가자의 수직적인 움직임이 검출되지 않은 경우, S4340 단계에서는 이미지 기반 위치가 유효하다고 예측될 수 있다.In the athlete tracking method according to an embodiment of the present application, when a vertical movement of a sports participant is detected, in step S4340, it may be predicted that an image-based position obtained with respect to a time point at which the vertical movement is detected is not valid. . On the other hand, when the vertical movement of the sports participant is not detected, it may be predicted that the image-based position is valid in step S4340.

일 실시예에 따르면, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 이미지 기반 위치의 이격(internal disparity)을 고려하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다. According to an embodiment, the player tracking server 1000 may verify or predict the validity of the image-based position in consideration of internal disparity of the image-based position obtained from image data.

다시 도 10을 참고하면, 제1 시점으로부터 계산된 스포츠 참가자의 위치(Lt1_image)로부터 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_image)간의 차이가 미리 결정된 임계값보다 큰 경우에는, 상기 선수 추적 서버(1000)는 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_image)를 유효하지 않은 것으로 판단할 수 있다. 반면, 제3 시점으로부터 계산된 스포츠 참가자의 위치(Lt3_image)로부터 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_image)간의 차이가 미리 결정된 임계값보다 작은 경우에는, 상기 선수 추적 서버(1000)는 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_image)를 유효한 것으로 판단할 수 있다. Referring back to FIG. 10 , when the difference between the sports participant's position (Lt1_image) calculated from the first time point and the sports participant's position (Lt2_image) calculated from the second time point is greater than a predetermined threshold, the player tracking server ( 1000 ) may determine that the location (Lt2_image) of the sports participant calculated from the second time point is invalid. On the other hand, when the difference between the sports participant's position (Lt3_image) calculated from the third time point and the sports participant's position (Lt4_image) calculated from the fourth time point is smaller than a predetermined threshold, the athlete tracking server 1000 is It may be determined that the position (Lt4_image) of the sports participant calculated from the 4 viewpoints is valid.

본 출원의 일 실시예에 따른 선수 추적 방법은, 이미지 기반 위치의 이격(internal disparity)이 미리 결정된 임계값보다 크게 측정되는 경우에는 상기 S4340 단계에서는 이미지 기반 위치가 유효하지 않다고 예측될 수 있다. 반면, 이미지 기반 위치의 이격(internal disparity)이 미리 결정된 임계값보다 작게 측정되는 경우에는 상기 S4340 단계에서는 이미지 기반 위치가 유효하다고 예측될 수 있다.In the player tracking method according to an embodiment of the present application, when the internal disparity of the image-based position is measured to be greater than a predetermined threshold value, it may be predicted that the image-based position is invalid in step S4340. On the other hand, when the internal disparity of the image-based position is measured to be smaller than a predetermined threshold value, it may be predicted that the image-based position is valid in step S4340.

상술한 내용에 따라, 상기 S4340 단계에서 이미지 기반 위치가 유효하다고 예측된다면, 선수 추적 서버(1000)는 이미지 기반 위치에 기초하여 선수의 위치를 결정(S4350)할 수 있다. According to the above description, if the image-based position is predicted to be valid in step S4340, the player tracking server 1000 may determine the position of the player based on the image-based position (S4350).

반면 상기 S4340 단계에서 이미지 기반 위치가 유효하지 않다고 예측된다면, 선수 추적 서버(1000)는 이미지 기반 위치가 아닌 측위 센서 기반 위치에 기초하여 선수의 위치를 결정(S4320)할 수 있다. On the other hand, if the image-based position is predicted to be invalid in step S4340, the player tracking server 1000 may determine the position of the player based on the positioning sensor-based position rather than the image-based position (S4320).

도 21에서는 상기 S4340 단계에서 이미지 기반 위치가 유효하지 않다고 예측된다면, 선수 추적 서버(1000)는 이미지 기반 위치가 아닌 측위 센서 기반 위치에 기초하여 선수의 위치를 결정(S4320)할 수 있다고 도시하였으나 이에 제한되지 않는다. 따라서 상기 S4340 단계에서 이미지 기반 위치가 유효하지 않다고 예측된 경우라도, 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치를 모두 고려(예, 신뢰도에 따른 가중치 부여 등)하여 선수의 위치를 결정하는 방법 등 임의의 적절한 방법이 적용될 수 있음은 자명하다. In FIG. 21, if it is predicted that the image-based position is not valid in step S4340, the player tracking server 1000 may determine the position of the player based on the positioning sensor-based position rather than the image-based position (S4320). not limited Therefore, even when it is predicted that the image-based position is invalid in step S4340, the player tracking server 1000 considers both the image-based position and the positioning sensor-based position (eg, weighting according to reliability, etc.) to determine the position of the player. It is obvious that any suitable method, such as a method of determining, may be applied.

상기 S4360 단계에서는, 결정된 스포츠 참가자의 위치를 출력함으로써, 스포츠 참가자의 위치가 출력되거나 업데이트될 수 있다. 출력되는 스포츠 참가자의 위치는 임의의 적절한 좌표계에 대응되는 좌표값일 수 있다. In step S4360, by outputting the determined location of the sports participant, the sports participant's location may be output or updated. The output position of the sports participant may be a coordinate value corresponding to any suitable coordinate system.

상술한 본 출원에 개시된 일 실시예에 따른 선수 추적 방법에 의하면, 우선적으로 측위 센서 데이터를 기초로 하여 선수를 추적함으로써, 데이터 처리 효율을 증대시키고 스포츠 참가자들간의 구별을 용이하게 할 수 있다는 측위 센서 데이터의 장점을 살릴 수 있다. 다만, 측위 센서 데이터는 주변 구조물에 따라 위치 계산의 정확도가 변하고 스포츠 참가자의 행동이나 상황을 인식하는 것이 다소 부족할 수 있는데 이러한 측위 센서 데이터의 단점을 이미지 데이터에 의하여 보완할 수 있다는 장점이 존재한다.According to the player tracking method according to an embodiment disclosed in the present application described above, by preferentially tracking an athlete based on the positioning sensor data, the positioning sensor can increase data processing efficiency and facilitate discrimination between sports participants. You can take advantage of the data. However, the positioning sensor data has the advantage of being able to compensate for the disadvantages of the positioning sensor data by image data, although the accuracy of the location calculation changes depending on the surrounding structures and it may be somewhat insufficient to recognize the behavior or situation of a sports participant.

측위 센서 장치로부터 획득된 측위 센서 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 스포츠 참가자들 간의 구별이 용이하며, 야간의 경우에도 스포츠 참가자들의 위치를 용이하게 계산할 수 있으며, 데이터의 용량이 상대적으로 작기 때문에 연산량이 적다는 장점이 존재한다. 또한, 이미지 캡처 장치들을 플레이필드 주변부 등에 미리 설치하지 않아도 무방하다는 편의성이 존재한다. Determining the position of the sports participant from the positioning sensor data obtained from the positioning sensor device makes it easy to distinguish between sports participants, and it is possible to easily calculate the positions of the sports participants even at night, and the data capacity is relatively small. Therefore, there is an advantage that the amount of computation is small. In addition, there is a convenience in that it is not necessary to pre-install the image capture devices in the periphery of the playfield or the like.

이미지 캡처 장치로부터 획득된 이미지 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 스포츠 참가자의 위치를 정확하게 측정할 수 있으며, 플레이필드 주변의 구조물에 영향을 상대적으로 적게 받으며, 스포츠 참가자의 모션을 인식하거나 분석하는 것이 상대적으로 용이하며, 실내에서도 이용하기 편리하다는 장점이 존재한다. 또한, 스포츠 참가자가 측위 센서 장치를 착용하지 않아도 무방하기에 스포츠 참가자의 측면에서도 편의할 수 있다. Determining the position of the sports participant from the image data obtained from the image capture device can accurately measure the position of the sports participant, is relatively less affected by the structures around the playfield, and recognizes or analyzes the sports participant's motion. It is relatively easy to do and has the advantage of being convenient to use indoors. In addition, since the sports participant does not need to wear the positioning sensor device, it may be convenient for the sports participant.

따라서, 본 출원의 일 실시예에 따른 선수 추적 방법에 의하면, 측위 센서 데이터및 이미지 데이터를 모두 고려하여 스포츠 참가자의 위치를 결정함으로써 측위 센서 데이터및 이미지 데이터의 장점을 모두 향유할 수 있다. 또한, 계산된 각각의 측위 센서 기반 위치와 이미지 기반 위치에 대한 신뢰도 인덱스를 생성하여 비교하여 스포츠 참가자의 위치를 결정함으로써, 보다 정확하게 스포츠 참가자를 추적할 수 있다. Therefore, according to the player tracking method according to an embodiment of the present application, both the positioning sensor data and the image data are taken into consideration to determine the position of the sports participant, thereby enjoying both the advantages of the positioning sensor data and the image data. In addition, by determining the position of the sports participant by generating and comparing the reliability index for each calculated positioning sensor-based position and the image-based position, it is possible to track the sports participant more accurately.

본 출원의 일 실시예에 따른 선수 추적 방법은, 도 3에 도시된 선수 추적 시스템(100)에 의해 구현될 수 있다. 또한 본 출원의 일 실시예에 따른 선수 추적 방법은, 도 4에 도시된 선수 추적 서버(1000)에 의해 구현될 수 있다. The player tracking method according to an embodiment of the present application may be implemented by the player tracking system 100 shown in FIG. 3 . Also, the player tracking method according to an embodiment of the present application may be implemented by the player tracking server 1000 shown in FIG. 4 .

본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스를 생성하도록 제공될 수 있다. The player tracking server 1000 according to an embodiment of the present application may generate a reliability index related to an image-based location and a reliability index related to a positioning sensor-based location. The player tracking server 1000 may be provided to generate a confidence index related to the image-based position and a confidence index related to the positioning sensor-based position.

구체적으로 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 측위 센서 기반 위치와 관련된 신뢰도에 대한 신뢰도 인덱스를 생성할 수 있다. 구체적으로 선수 추적 서버(1000)는 측위 센서 기반 위치의 유효성을 평가한 결과에 기초하여 측위 센서 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.In detail, the player tracking server 1000 may generate a reliability index for the reliability related to the positioning sensor-based position obtained from the positioning sensor data. In detail, the player tracking server 1000 may generate a reliability index for the positioning sensor-based position based on a result of evaluating the validity of the positioning sensor-based position.

일 예로, 측위 센서 데이터에는 센서-시그널 신호의 신뢰도와 관련된 정보(예, DoP, SNR)가 포함될 수 있다. 이때, 선수 추적 서버(1000)는 센서-시그널 신호의 신뢰도와 관련된 정보(예, DoP, SNR)에 기초하여 측위 센서 기반 위치의 유효성을 평가할 수 있으며, 이에 기초하여 선수 추적 서버(1000)는 상기 센서-시그널 신호의 신뢰도와 관련된 정보(예, DoP, SNR)를 고려하여, 측위 센서 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다. For example, the positioning sensor data may include information (eg, DoP, SNR) related to reliability of a sensor-signal signal. At this time, the player tracking server 1000 may evaluate the validity of the positioning sensor-based location based on information (eg, DoP, SNR) related to the reliability of the sensor-signal signal, and based on this, the player tracking server 1000 is the A reliability index for a positioning sensor-based position may be generated in consideration of information (eg, DoP, SNR) related to the reliability of the sensor-signal signal.

다른 예로, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 측위 센서 기반 위치의 이격(internal disparity)에 기초하여 측위 센서 기반 위치의 유효성을 평가할 수 있다. 이때 선수 추적 서버(1000)는, 측위 센서 기반 위치의 이격(internal disparity)에 기초한 측위 센서 기반 위치의 유효성 평가 결과에 기초하여, 측위 센서 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다. As another example, the player tracking server 1000 may evaluate the effectiveness of the positioning sensor-based position based on the internal disparity of the positioning sensor-based position calculated from the positioning sensor data. In this case, the player tracking server 1000 may generate a reliability index for the positioning sensor-based position based on the evaluation result of the effectiveness of the positioning sensor-based position based on the internal disparity of the positioning sensor-based position.

선수 추적 서버(1000)는 또한, 이미지 데이터로부터 획득된 이미지 기반 위치와 관련된 신뢰도에 대한 신뢰도 인덱스를 생성할 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치의 유효성을 평가한 결과에 기초하여 이미지 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.The player tracking server 1000 may also generate a confidence index for the reliability associated with the image-based position obtained from the image data. Specifically, the player tracking server 1000 may generate a confidence index for the image-based position based on the result of evaluating the validity of the image-based position.

일 예로, 선수 추적 서버(1000)는 오클루전 이벤트 검출 여부에 따라 이미지 데이터로부터 획득된 이미지 기반 위치의 유효성을 평가할 수 있다. 이때 선수 추적 서버(1000)는, 오클루전 이벤트 검출 여부에 따른 이미지 기반 위치의 유효성 평가 결과에 기초하여, 이미지 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다. As an example, the player tracking server 1000 may evaluate the validity of an image-based position obtained from image data according to whether an occlusion event is detected. In this case, the player tracking server 1000 may generate a reliability index for the image-based position based on the result of evaluating the validity of the image-based position according to whether an occlusion event is detected.

다른 예로, 선수 추적 서버(1000)는 스포츠 참가자의 수직적인 움직임(vertical movement)을 고려하여 이미지 데이터로부터 획득된 이미지 기반 위치의 유효성을 평가할 수 있다. 이때 선수 추적 서버(1000)는, 스포츠 참가자의 수직적인 움직임(vertical movement)을 고려한 이미지 기반 위치의 유효성 평가 결과에 기초하여, 이미지 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다. As another example, the athlete tracking server 1000 may evaluate the validity of the image-based position obtained from the image data in consideration of the vertical movement of the sports participant. In this case, the player tracking server 1000 may generate a reliability index for the image-based position based on the evaluation result of the image-based position in consideration of the vertical movement of the sports participant.

또 다른 예로, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 이미지 기반 위치의 이격(internal disparity)에 기초하여 이미지 기반 위치의 유효성을 평가할 수 있다. 이때 선수 추적 서버(1000)는, 이미지 기반 위치의 이격(internal disparity)에 기초한 이미지 기반 위치의 유효성 평가 결과에 기초하여, 이미지 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다. As another example, the player tracking server 1000 may evaluate the validity of the image-based position based on an internal disparity of the image-based position calculated from the image data. In this case, the player tracking server 1000 may generate a confidence index for the image-based position based on the evaluation result of the validity of the image-based position based on the internal disparity of the image-based position.

이때 선수 추적 서버(1000)는 생성된 측위 센서 기반 위치에 대한 신뢰도 인덱스와 이미지 기반 위치에 대한 신뢰도 인덱스를 비교함으로써, 스포츠 참가자의 위치를 결정할 수 있다. In this case, the player tracking server 1000 may determine the position of the sports participant by comparing the confidence index for the generated positioning sensor-based position with the confidence index for the image-based position.

여기서, 측위 센서 기반 위치에 대한 신뢰도 인덱스와 이미지 기반 위치에 대한 신뢰도 인덱스를 비교하기 위해서는, 신뢰도 인덱스 간의 표준화가 필요하다. 따라서, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스의 표준화를 수행할 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스의 표준화를 수행할 수 있다. Here, in order to compare the reliability index for the positioning sensor-based location and the reliability index for the image-based location, standardization between the reliability indexes is required. Therefore, the player tracking server 1000 according to an embodiment of the present application may perform standardization of the reliability index related to the image-based location and the reliability index related to the positioning sensor-based location. Specifically, the player tracking server 1000 may perform standardization of a reliability index related to an image-based location and a reliability index related to a positioning sensor-based location.

상기 선수 추적 서버(1000)에 의한 신뢰도 인덱스 표준화는, 임의의 적절한 통계적인 방법이나 표준화 모델을 사용하여, 측위 센서 기반 위치에 대한 신뢰도 인덱스와 이미지 기반 위치에 대한 신뢰도 인덱스를 비교할 수 있도록 각각의 신뢰도 인덱스를 보정하거나 표준화할 수 있다. Reliability index standardization by the player tracking server 1000 is, using any suitable statistical method or standardization model, each reliability so that the reliability index for the positioning sensor-based position and the reliability index for the image-based position can be compared. Indexes can be calibrated or standardized.

도 22를 참고한다. 도 22는 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.See FIG. 22 . 22 is a diagram illustrating a flowchart of a player tracking method according to an embodiment of the present application.

도 22를 참고하면, 본 출원의 일 실시예에 따른 선수 추적 방법은 측위 센서 데이터및 측위 센서 기반 위치를 획득하는 단계(S5100), 이미지 데이터 및 이미지 기반 위치를 획득하는 단계(S5200), 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성 판단하는 단계(S5300) 및 선수의 위치를 결정하는 단계(S5400, S5500 및 S5600)를 포함할 수 있다. 이때, 상기 선수의 위치를 결정하는 단계는, 상기 S5300 단계의 오차 가능성 판단 결과에 따라, 측위 센서 기반 위치와 이미지 기반 위치의 신뢰도 인덱스 각각을 비교(S5500)하여 선수의 위치를 결정하는 단계(S5600) 및 측위 센서 기반 위치 및 이미지 기반 위치 중 하나에 기초하여 선수의 위치를 결정하는 단계(S5400)로 구현될 수 있다. Referring to FIG. 22 , the player tracking method according to an embodiment of the present application includes the steps of acquiring positioning sensor data and a positioning sensor-based position (S5100), acquiring image data and an image-based position (S5200), a positioning sensor Determining the possibility of error of at least one of the base position and the image-based position (S5300) and determining the position of the player (S5400, S5500 and S5600) may include. In this case, the step of determining the position of the player includes the step of determining the position of the player by comparing each of the reliability indexes of the positioning sensor-based position and the image-based position (S5500) according to the error possibility determination result of the step S5300 (S5600) ) and determining the position of the player based on one of the positioning sensor-based position and the image-based position (S5400).

상기 S5100 단계에서는 측위 센서 장치(210, 220)로부터 송신된 측위 센서 데이터가 획득될 수 있다. 또한, 상기 측위 센서 데이터로부터 측위 센서 기반 위치가 획득될 수 있다. 상기 측위 센서 기반 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터로부터 획득될 수 있으며, 혹은 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다. In step S5100, positioning sensor data transmitted from the positioning sensor devices 210 and 220 may be acquired. Also, a positioning sensor-based position may be obtained from the positioning sensor data. The positioning sensor-based position may be obtained from data related to a position included in the positioning sensor data, or may be acquired from data related to speed or acceleration included in the positioning sensor data.

상기 S5200 단계에서는 이미지 캡처 장치(300)로부터 송신된 이미지 데이터가 획득될 수 있다. 또한, 상기 이미지 데이터로부터 이미지 기반 위치가 획득될 수 있다. 상기 이미지 기반 위치는 이미지 데이터에 포함된 스포츠 참가자의 위치에 대응되는 픽셀의 좌표값으로부터 획득될 수 있다.In step S5200, image data transmitted from the image capturing device 300 may be acquired. Also, an image-based position may be obtained from the image data. The image-based location may be obtained from coordinate values of pixels corresponding to the sports participant's location included in the image data.

상기 S5300 단계에서는 상기 S5100 단계에서 획득된 측위 센서 기반 위치와 상기 S5200 단계에서 획득된 이미지 기반 위치 각각에 대한 유효 여부가 판단될 수 있다. 따라서, 도 5 내지 도 12과 관련한 서술한 이미지 기반 위치와 측위 센서 기반 위치의 유효성을 판단하는 선수 추적 서버(1000)의 실시예들이 상기 S5400 단계에서 구현될 수 있다. In step S5300, it may be determined whether each of the positioning sensor-based position acquired in step S5100 and the image-based position acquired in step S5200 are valid. Accordingly, embodiments of the player tracking server 1000 that determine the validity of the image-based position and the positioning sensor-based position described in relation to FIGS. 5 to 12 may be implemented in step S5400.

일 실시예에 따르면, 상기 S5300 단계에서는, 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성이 판단될 수 있다. According to an embodiment, in step S5300 , it may be determined that at least one of the positioning sensor-based position and the image-based position has an error probability.

일 예로, 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성은 측위 센서 기반 위치와 이미지 기반 위치 간의 차이를 고려하여 판단될 수 있다. As an example, the possibility of error of at least one of the positioning sensor-based position and the image-based position may be determined in consideration of a difference between the positioning sensor-based position and the image-based position.

예를 들어, 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 스포츠 참가자의 이미지 기반 위치와 측위 센서 데이터로부터 획득된 스포츠 참가자의 측위 센서 기반 위치 간의 이격도 지수(disparity index)를 시간 변수에 따라 계산할 수 있다. 이때, 선수 추적 서버(1000)는 이격도 지수에 기초하여 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 유효성을 판단할 수 있다. For example, the athlete tracking server 1000 may calculate a disparity index between the image-based position of the sports participant obtained from the image data and the positioning sensor-based position of the sports participant obtained from the positioning sensor data according to the time variable. have. In this case, the player tracking server 1000 may determine the validity of at least one of the image-based position and the positioning sensor-based position based on the separation index.

구체적으로 선수 추적 서버(1000)는 제1 시점에서 획득된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치 간의 차이에 대응되는 제1 이격도 지수를 계산할 수 있다. 또한, 선수 추적 서버(1000)는 제2 시점에서 획득된 제2 이미지 기반 위치와 제2 측위 센서 기반 위치 간의 차이에 대응되는 제2 이격도 지수를 계산할 수 있다. Specifically, the player tracking server 1000 may calculate a first separation index corresponding to the difference between the first image-based position obtained at the first time point and the first positioning sensor-based position. Also, the player tracking server 1000 may calculate a second separation index corresponding to a difference between the second image-based position obtained at the second time point and the second positioning sensor-based position.

이때, 선수 추적 서버(1000)는 상기 제1 이격도 지수와 상기 제2 이격도 지수의 "크기"를 고려하여 측위 센서 기반 위치(예, 제1 측위 센서 기반 위치, 제2 측위 센서 기반 위치)와 이미지 기반 위치(예, 제1 이미지 기반 위치, 제2 이미지 기반 위치) 중 적어도 하나의 유효성을 평가할 수 있다. 예를 들어 제1 이격도 지수가 미리 결정된 제1 임계값을 초과하는 경우에는, 상기 선수 추적 서버(1000)는 제1 시점에서 획득된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치 중 적어도 하나가 오차가 존재한다고 판단할 수 있다. 반면, 제2 이격도 지수가 미리 결정된 제2 임계값 미만인 경우에는, 선수 추적 서버(1000)는 제2 시점에서 획득된 제2 이미지 기반 위치와 제2 측위 센서 기반 위치 중 하나 이상이 유효하다고 판단할 수 있다. 이때, 상기 제1 임계값과 상기 제2 임계값은 동일한 값일 수 있으나 다른 값으로 미리 결정될 수 있다. At this time, the player tracking server 1000 considers the "size" of the first separation index and the second separation index, and the positioning sensor-based position (eg, the first positioning sensor-based position, the second positioning sensor-based position) and the image The validity of at least one of the base positions (eg, the first image-based position and the second image-based position) may be evaluated. For example, if the first separation index exceeds a first predetermined threshold, the player tracking server 1000 is at least one of the first image-based position acquired at the first time point and the first positioning sensor-based position It can be determined that there is an error. On the other hand, if the second separation index is less than the second predetermined threshold, the player tracking server 1000 determines that at least one of the second image-based position and the second positioning sensor-based position obtained at the second time point is valid. can In this case, the first threshold value and the second threshold value may be the same value, but may be predetermined to be different values.

또한, 선수 추적 서버(1000)는 상기 제1 이격도 지수가 상기 제2 이격도 지수의 "변화"를 고려하여 측위 센서 기반 위치(예, 제1 측위 센서 기반 위치, 제2 측위 센서 기반 위치)와 이미지 기반 위치(예, 제1 이미지 기반 위치, 제2 이미지 기반 위치) 중 적어도 하나의 유효성을 평가할 수 있다. In addition, the player tracking server 1000 is a positioning sensor-based position (eg, a first positioning sensor-based position, a second positioning sensor-based position) and images in consideration of the “change” in the first separation index of the second separation index The validity of at least one of the base positions (eg, the first image-based position and the second image-based position) may be evaluated.

예를 들어, 제1 이격도 지수와 제2 이격도 지수의 변화값이 미리 결정된 제3 임계값을 초과하는 경우(바람직하게는 제1 이격도 지수과 관련된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치는 유효하다고 판단된 경우)에는, 상기 선수 추적 서버(1000)는 제2 시점에서 획득된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치 중 적어도 하나가 오차가 존재한다고 판단할 수 있다. 반면, 제1 이격도 지수와 제2 이격도 지수의 변화값이 미리 결정된 제4 임계값을 미만인 경우(바람직하게는 제1 이격도 지수과 관련된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치는 유효하다고 판단된 경우)에는, 선수 추적 서버(1000)는 제2 시점에서 획득된 제2 이미지 기반 위치와 제2 측위 센서 기반 위치 중 하나 이상이 유효하다고 판단할 수 있다. 이때, 상기 제3 임계값과 상기 제4 임계값은 동일한 값일 수 있으나 다른 값으로 미리 결정될 수 있다. For example, when the change values of the first separation index and the second separation index exceed a third predetermined threshold value (preferably, the first image-based position and the first positioning sensor-based position related to the first separation index are valid ), the player tracking server 1000 may determine that there is an error in at least one of the first image-based position acquired at the second time point and the first positioning sensor-based position. On the other hand, when the change value of the first separation index and the second separation index is less than a predetermined fourth threshold (preferably, the first image-based position and the first positioning sensor-based position related to the first separation index are determined to be valid) case), the player tracking server 1000 may determine that at least one of the second image-based position acquired at the second time point and the second positioning sensor-based position is valid. In this case, the third threshold value and the fourth threshold value may be the same value, but may be predetermined as different values.

상술한 이미지 기반 위치와 측위 센서 기반 위치 간의 차이를 고려하여 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 오차 가능성을 판단하는 내용은 예시에 불과하며, 이미지 기반 위치와 측위 센서 기반 위치 간의 차이를 고려한 임의의 적절한 방법을 이용하여 이미지 기반 위치나 측위 센서 기반 위치의 유효성이 판단될 수 있을 것이다. The content of determining the possibility of error of at least one of the image-based position and the positioning sensor-based position in consideration of the difference between the above-described image-based position and the positioning sensor-based position is merely an example, and the difference between the image-based position and the positioning sensor-based position is only an example. The validity of an image-based location or a localization sensor-based location may be determined using any suitable method contemplated.

상기 S5300 단계에서 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성이 없다고 판단된다면, 즉 측위 센서 기반 위치와 이미지 기반 위치가 모두 유효하다고 판단된 경우에는, 상기 S5400 단계에서는, 선수 추적 서버(1000)는 측위 센서 기반 위치와 이미지 기반 위치 중 하나에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. If it is determined in step S5300 that there is no possibility of error in at least one of the positioning sensor-based position and the image-based position, that is, when it is determined that both the positioning sensor-based position and the image-based position are valid, in the step S5400, the player tracking server ( 1000) may determine the location of the sports participant based on one of a positioning sensor-based location and an image-based location.

또는, 측위 센서 기반 위치와 이미지 기반 위치가 오차 가능성이 적기 때문에 선수 추적 서버(1000)는 측위 센서 기반 위치와 이미지 기반 위치를 모두 고려하여 스포츠 참가자의 위치를 결정할 수 있다. 예를 들어, 측위 센서 기반 위치와 이미지 기반 위치의 평균값으로 스포츠 참가자의 위치를 결정할 수 있다. 혹은 측위 센서 기반 위치와 이미지 기반 위치 각각에 대한 신뢰도 인덱스를 고려하여 스포츠 참가자의 위치를 결정할 수 있을 것이다.Alternatively, since the positioning sensor-based position and the image-based position have little error possibility, the athlete tracking server 1000 may determine the sports participant's position in consideration of both the positioning sensor-based position and the image-based position. For example, the position of the sports participant may be determined by the average value of the positioning sensor-based position and the image-based position. Alternatively, the position of the sports participant may be determined by considering the reliability index for each of the positioning sensor-based position and the image-based position.

상기 S5300 단계에서 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성이 존재한다고 판단된다면, 즉 측위 센서 기반 위치와 이미지 기반 위치 중 적어도 하나가 유효하지 않다고 판단된 경우에는, 상기 S5500 단계에서는, 측위 센서 기반 위치에 대한 제1 신뢰도 인덱스와 이미지 기반 위치의 제2 신뢰도 인덱스를 비교하는 단계가 선수 추적 서버(1000)는 의해 수행될 수 있다. If it is determined in step S5300 that there is an error possibility of at least one of the positioning sensor-based position and the image-based position, that is, when it is determined that at least one of the positioning sensor-based position and the image-based position is invalid, in the step S5500, Comparing the first confidence index for the positioning sensor-based position and the second confidence index for the image-based position may be performed by the player tracking server 1000 .

구체적으로 선수 추적 서버(1000)는, 측위 센서 데이터에 포함된 신뢰도에 대한 정보를 고려하여 측위 센서 기반 위치에 대한 제1 신뢰도 인덱스를 생성할 수 있다. 혹은 선수 추적 서버(1000)는 측위 센서 기반 위치의 이격(internal disparity)에 기초한 측위 센서 기반 위치에 대한 유효성 판단 결과에 기초하여 측위 센서 기반 위치에 대한 제1 신뢰도 인덱스를 생성할 수 있다.In more detail, the player tracking server 1000 may generate a first reliability index for the positioning sensor-based position in consideration of information on the reliability included in the positioning sensor data. Alternatively, the player tracking server 1000 may generate a first reliability index for the positioning sensor-based location based on the result of determining the validity of the positioning sensor-based location based on the internal disparity of the positioning sensor-based location.

또한, 선수 추적 서버(1000)는, 이미지 기반 위치와 관련된 오클루전 이벤트, 스포츠 참가자의 수직적인 움직임 및 이격(internal disparity) 중 적어도 하나에 기초한 이미지 기반 위치에 대한 유효성 판단 결과에 기초하여 이미지 기반 위치에 대한 제2 신뢰도 인덱스를 생성할 수 있다.In addition, the player tracking server 1000, the image-based position based on the validity determination result for the image-based position based on at least one of the occlusion event related to the image-based position, the vertical movement of the sports participant, and the internal disparity (internal disparity) A second confidence index for the location may be generated.

또한, 선수 추적 서버(1000)는 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스를 표준화할 수 있다. Also, the player tracking server 1000 may standardize the first reliability index and the second reliability index.

이때, 상기 S5500 및 상기 S5600 단계에서는, 선수 추적 서버(1000)가 측위 센서 기반 위치에 대한 상기 제1 신뢰도 인덱스와 이미지 기반 위치에 대한 상기 제2 신뢰도 인덱스를 비교함으로써, 스포츠 참가자의 위치가 결정될 수 있다. At this time, in the steps S5500 and S5600, the athlete tracking server 1000 compares the first confidence index for the positioning sensor-based position with the second confidence index for the image-based position, the position of the sports participant can be determined have.

일 예로, 선수 추적 서버(1000)는 상기 제1 신뢰도 인덱스와 제2 신뢰도 인덱스 중 높은 신뢰도 인덱스에 대응하는 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다. For example, the player tracking server 1000 may determine the position of the sports participant based on a position corresponding to a high confidence index among the first confidence index and the second confidence index.

예를 들어, 상기 제1 신뢰도 인덱스가 제2 신뢰도 인덱스보다 더 큰 경우, 즉 제1 신뢰도 인덱스에 대응하는 측위 센서 기반 위치가 상대적으로 신뢰도가 높은 경우, 선수 추적 서버(1000)는 측위 센서 기반 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.For example, if the first reliability index is greater than the second reliability index, that is, if the positioning sensor-based position corresponding to the first confidence index is relatively high in reliability, the player tracking server 1000 is the positioning sensor-based position It is possible to determine the location of the sports participant based on the.

다른 예를 들어, 상기 제2 신뢰도 인덱스가 제1 신뢰도 인덱스보다 더 큰 경우, 즉 제2 신뢰도 인덱스에 대응하는 이미지 기반 위치가 상대적으로 신뢰도가 높은 경우, 선수 추적 서버(1000)는 이미지 기반 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.For another example, when the second reliability index is greater than the first reliability index, that is, when the image-based position corresponding to the second reliability index is relatively high in reliability, the player tracking server 1000 is located in the image-based position. based on the location of the sports participant may be determined.

다른 예로, 선수 추적 서버(1000)는 상기 제1 신뢰도 인덱스와 제2 신뢰도 인덱스를 고려하여, 측위 센서 기반 위치와 이미지 기반 위치에 대하여 적절한 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다. As another example, the player tracking server 1000 may determine the position of the sports participant by giving appropriate weights to the positioning sensor-based position and the image-based position in consideration of the first confidence index and the second confidence index.

예를 들어, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스보다 큰 값이라면, 선수 추적 서버(1000)는 측위 센서 기반 위치에 상대적으로 높은 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다. For example, if the first confidence index is a value greater than the second confidence index, the player tracking server 1000 may determine the position of the sports participant by giving a relatively high weight to the positioning sensor-based position.

예를 들어, 상기 제2 신뢰도 인덱스가 상기 제1 신뢰도 인덱스보다 큰 값이라면, 선수 추적 서버(1000)는 이미지 기반 위치에 상대적으로 높은 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다. For example, if the second confidence index is a value greater than the first confidence index, the athlete tracking server 1000 may determine the position of the sports participant by giving a relatively high weight to the image-based position.

예를 들어, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스와 유사하거나 실질적으로 동일하다면, 선수 추적 서버(1000)는 측위 센서 기반 위치와 이미지 기반 위치에 유사한 가중치를 부여(예, 1: 1 가중치 평균)하여 스포츠 참가자의 위치를 결정할 수 있다. For example, if the first confidence index is similar to or substantially the same as the second confidence index, the player tracking server 1000 gives a similar weight to the positioning sensor-based position and the image-based position (eg, 1: 1 weight) average) to determine the position of the sports participant.

상술한 본 출원에 개시된 일 실시예에 따른 선수 추적 방법에 의하면, 측위 센서 기반 위치와 이미지 기반 위치 중 적어도 하나에 대한 오차 가능성을 판단함으로써, 스포츠 참가자의 위치를 정확하게 측정할 수 있다. According to the athlete tracking method according to an embodiment disclosed in the present application described above, the position of the sports participant can be accurately measured by determining the possibility of error with respect to at least one of the positioning sensor-based position and the image-based position.

또한, 측위 센서 기반 위치와 이미지 기반 위치 중 적어도 하나가 오차가 존재할 수 있는 경우에도, 측위 센서 기반 위치와 이미지 기반 위치의 신뢰도를 평가함으로써, 오차가 존재할 수 있는 경우에도 스포츠 참가자의 위치를 정확하게 측정할 수 있다는 장점이 존재한다. In addition, even when there may be an error in at least one of the positioning sensor-based position and the image-based position, by evaluating the reliability of the positioning sensor-based position and the image-based position, the position of a sports participant is accurately measured even when an error may exist There are advantages to being able to.

상술한 바에 따르면, 상기 S5300 단계에서 이미지 기반 위치와 측위 센서 기반 위치 간의 차이를 고려한 유효성 판단하는 내용을 중심으로 기재하였으나, 이는 예시에 불과하며, 도 5 내지 도 12와 관련한 이미지 기반 위치와 측위 센서 기반 위치에 대한 유효성 판단하는 내용이 동일하게 적용될 수 있을 것이다. As described above, the content of determining validity in consideration of the difference between the image-based position and the positioning sensor-based position in step S5300 has been mainly described, but this is only an example, and the image-based position and positioning sensor related to FIGS. 5 to 12 The content of determining the validity of the base location may be equally applied.

스포츠 참가자의 위치를 획득함에 있어, 스포츠 참가자가 위치하는 플레이필드의 영역에 따라 스포츠 참가자의 위치에 대한 정확도가 변화할 수 있다. 다시 말해, 스포츠 참가자가 위치하는 플레이필드의 영역에 따라, 획득된 위치에 대한 신뢰도가 변화할 수 있다. 이는, 스포츠 참가자가 위치하는 플레이필드의 영역별로 센서-시그널 혹은 이미지 데이터과 관련된 신뢰도가 변화할 수 있기 때문이다. In obtaining the sports participant's position, the accuracy of the sports participant's position may be changed according to the area of the playfield where the sports participant is located. In other words, depending on the area of the playfield in which the sports participant is located, the reliability of the obtained position may change. This is because the reliability related to the sensor-signal or image data may change for each area of the playfield where the sports participant is located.

예를 들어, 측위 센서 데이터로부터 획득된 스포츠 참가자 위치의 신뢰도는 스포츠 참가자가 위치하는 플레이필드 주변의 경기장의 구조나 경기장의 형태에 영향을 받을 수 있다. 따라서 플레이필드 영역별로 경기장의 구조나 형태 등에 영향을 받는 정도가 상이할 수 있기 때문에, 측위 센서 데이터로부터 획득된 스포츠 참가자 위치의 신뢰도는 플레이필드의 영역별로 상이할 수 있다. For example, the reliability of the sports participant position obtained from the positioning sensor data may be affected by the structure of the stadium or the shape of the stadium around the playfield where the sports participant is located. Therefore, since the degree of being affected by the structure or shape of the stadium may be different for each playfield area, the reliability of the sports participant's position obtained from the positioning sensor data may be different for each playfield area.

또한, 이미지 데이터로부터 획득된 스포츠 참가자의 위치의 신뢰도는 이미지 캡처 장치의 위치, 각도, 렌즈 왜곡 등의 요인에 영향을 받을 수 있다. 따라서, 이미지 캡처 장치로부터 획득된 스포츠 참가자의 위치는 플레이필드 영역별로 그 신뢰도가 상이할 수 있다. In addition, the reliability of the position of the sports participant obtained from the image data may be affected by factors such as the position, angle, and lens distortion of the image capturing device. Accordingly, the reliability of the sports participant's position obtained from the image capturing device may be different for each playfield area.

따라서, 본 출원에 개시된 일 실시예에 따른 또 다른 예의 선수 추적 방법은 플레이필드 영역별로 신뢰도 맵을 생성하며 스포츠 참가자가 위치하는 플레이필드 영역에 따른 신뢰도 정보를 이용할 수 있다. 따라서, 본 출원에 개시된 일 실시예에 따른 선수 추적 방법에 따르면, 정확도가 향상된 스포츠 참가자의 위치를 획득할 수 있다. Accordingly, another example of a player tracking method according to an embodiment disclosed in the present application may generate a reliability map for each playfield area and use reliability information according to a playfield area where a sports participant is located. Accordingly, according to the player tracking method according to an embodiment disclosed in the present application, it is possible to obtain the position of the sports participant with improved accuracy.

본 출원의 일 실시예에 따른 선수 추적 방법은, 도 3에 도시된 선수 추적 시스템 (100)에 의해 구현될 수 있다. 또한 본 출원의 일 실시예에 따른 선수 추적 방법은, 도 4에 도시된 선수 추적 서버(1000)에 의해 구현될 수 있다. The player tracking method according to an embodiment of the present application may be implemented by the player tracking system 100 shown in FIG. 3 . Also, the player tracking method according to an embodiment of the present application may be implemented by the player tracking server 1000 shown in FIG. 4 .

본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스를 생성할 수 있다. 또한, 선수 추적 서버(1000)는 생성된 이미지 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스를 기초로 하여 신뢰도 맵을 각각 생성할 수 있다. 구체적으로 선수 추적 서버(1000)는 생성된 이미지 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스를 기초로 하여 신뢰도 맵을 각각 생성하도록 제공될 수 있다.The player tracking server 1000 according to an embodiment of the present application may generate a reliability index for each area of a playfield related to an image-based location and a reliability index for each area of a playfield related to a positioning sensor-based location. In addition, the player tracking server 1000 may generate each confidence map based on the reliability index for each area of the playfield related to the generated image-based location and the reliability index for each area of the playfield related to the positioning sensor-based location. Specifically, the player tracking server 1000 may be provided to respectively generate a confidence map based on the reliability index for each area of the playfield related to the generated image-based location and the reliability index for each area of the playfield related to the positioning sensor-based location. have.

선수 추적 서버(1000)는 플레이필드의 영역별로, 이미지 데이터로부터 획득된 스포츠 참가자의 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 이때, 선수 추적 서버(1000)는 이미지 기반 위치의 유효성을 평가한 결과와 스포츠 참가자의 플레이필드 내의 위치를 고려하여 이미지 기반 위치에 대한 신뢰도 인덱스를 플레이필드의 영역별로 생성할 수 있다. The player tracking server 1000 may generate a reliability index related to the position of the sports participant obtained from the image data for each area of the playfield. In this case, the player tracking server 1000 may generate a reliability index for the image-based position for each playfield area in consideration of the result of evaluating the validity of the image-based position and the position in the playfield of the sports participant.

이미지 기반 위치의 유효성을 판단하는 것과 관련하여는, 도 5 내지 도 10과 관련하여 서술한 내용이 유사하게 적용될 수 있다. With respect to determining the validity of the image-based location, the contents described with reference to FIGS. 5 to 10 may be similarly applied.

선수 추적 서버(1000)는 플레이필드의 영역별로, 측위 센서 데이터로부터 획득된 스포츠 참가자의 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 이때, 선수 추적 서버(1000)는 측위 센서 기반 위치의 유효성을 평가한 결과와 스포츠 참가자의 플레이필드 내의 위치를 고려하여 측위 센서 기반 위치에 대한 신뢰도 인덱스를 플레이필드의 영역별로 생성할 수 있다. The player tracking server 1000 may generate a reliability index related to the position of the sports participant obtained from the positioning sensor data for each area of the playfield. In this case, the player tracking server 1000 may generate a reliability index for the positioning sensor-based position for each playfield area in consideration of the evaluation result of the positioning sensor-based position and the position in the playfield of the sports participant.

측위 센서 기반 위치의 유효성을 판단하는 것과 관련하여는, 도 11 내지 도 12와 관련하여 서술한 내용이 유사하게 적용될 수 있다. With respect to determining the validity of the positioning sensor-based location, the contents described with reference to FIGS. 11 to 12 may be similarly applied.

또한, 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스의 표준화를 수행하도록 제공될 수 있다. 선수 추적 서버(1000)에 의한 신뢰도 인덱스 표준화는, 임의의 적절한 통계적인 방법이나 표준화 모델을 사용하여, 측위 센서 기반 위치에 대한 신뢰도 인덱스와 이미지 기반 위치에 대한 신뢰도 인덱스를 비교할 수 있도록 각각의 신뢰도 인덱스를 보정하거나 표준화할 수 있다. In addition, the player tracking server 1000 may be provided to perform standardization of the confidence index related to the image-based position and the confidence index related to the positioning sensor-based position. Reliability index standardization by the player tracking server 1000, using any suitable statistical method or standardization model, each reliability index so that the reliability index for the positioning sensor-based position and the reliability index for the image-based position can be compared can be corrected or standardized.

또한, 선수 추적 서버(1000)는 생성 및 표준화된 측위 센서 기반 위치와 관련된 플레이필드 영역별 신뢰도 인덱스에 기초하여 제1 신뢰도 맵을 생성할 수 있다. 이때, 상기 제1 신뢰도 맵은 플레이필드의 영역에 따라 획득된 측위 센서 기반 위치와 관련된 신뢰도 인덱스에 대한 정보를 포함할 수 있다. Also, the player tracking server 1000 may generate a first confidence map based on the confidence index for each playfield area related to the generated and standardized positioning sensor-based position. In this case, the first reliability map may include information on the reliability index related to the positioning sensor-based location obtained according to the area of the playfield.

도 23을 참고한다. 도 23은 본 출원의 일 실시예에 따른 제1 신뢰도 맵의 예시적인 도면이다. 도 23을 참고하면, 제1 신뢰도 맵은 측위 센서 기반 위치와 관련된 신뢰도 정보를 포함할 수 있다. See FIG. 23 . 23 is an exemplary diagram of a first reliability map according to an embodiment of the present application. Referring to FIG. 23 , the first reliability map may include reliability information related to the positioning sensor-based location.

상기 제1 신뢰도 맵에 포함된 제1 영역(R1_sensor), 제2 영역(R2_sensor), 제3 영역(R3_sensor) 및 제4 영역(R4_sensor)을 포함하는 복수의 영역은 플레이필드의 복수의 영역들에 대응되는 영역일 수 있다. A plurality of regions including the first region R1_sensor, the second region R2_sensor, the third region R3_sensor, and the fourth region R4_sensor included in the first reliability map are in the plurality of regions of the playfield. It may be a corresponding area.

또한, 제1 신뢰도 맵에 포함된 복수의 영역별로 측위 센서 기반 위치와 관련된 신뢰도 정보가 상이할 수 있다. Also, the reliability information related to the positioning sensor-based location may be different for each of the plurality of areas included in the first reliability map.

일 예로, 제1 신뢰도 맵의 제1 영역(R1_sensor)과 관련된 신뢰도 정보는 상대적으로 높은 값일 수 있다. 예를 들어, 플레이필드 주변의 경기장의 구조를 고려할 때, 상기 제1 영역(R1_sensor)에 대응되는 플레이필드의 중심부에 스포츠 참가자가 위치하는 경우 신뢰도가 높은 센서-시그널이 수신될 수 있다. For example, the reliability information related to the first region R1_sensor of the first reliability map may have a relatively high value. For example, when a sports participant is located in the center of the playfield corresponding to the first area R1_sensor in consideration of the structure of the stadium around the playfield, a sensor-signal with high reliability may be received.

다른 예로, 제1 신뢰도 맵의 제2 영역(R2_sensor)과 관련된 신뢰도 정보는 상대적으로 낮은 값일 수 있다. 예를 들어, 플레이필드 주변의 경기장의 구조를 고려할 때, 상기 제2 영역(R2_sensor)에 대응되는 플레이필드의 가장자리부에 스포츠 참가자가 위치하는 경우에는, 경기장의 구조에 따라 센서-시그널이 영향을 받을 수 있어 신뢰도가 상대적으로 낮은 센서-시그널이 수신될 수 있다. As another example, the reliability information related to the second region R2_sensor of the first reliability map may have a relatively low value. For example, when considering the structure of the stadium around the playfield, when a sports participant is located at the edge of the playfield corresponding to the second area R2_sensor, the sensor-signal affects depending on the structure of the stadium. Therefore, a sensor-signal with relatively low reliability may be received.

또 다른 예로, 제1 신뢰도 맵의 제3 영역(R3_sensor) 혹은 제4 영역(R4_sensor)과 관련된 신뢰도 정보는 상기 제1 영역(R1_sensor)과 관련된 신뢰도보다는 낮으며, 상기 제2 영역(R3_sensor)과 관련된 신뢰도보다는 높은 값 일 수 있다. As another example, the reliability information related to the third region R3_sensor or the fourth region R4_sensor of the first reliability map is lower than the reliability related to the first region R1_sensor, and the reliability information related to the second region R3_sensor It may be a higher value than reliability.

다만, 상술한 제1 신뢰도 맵의 영역별 신뢰도는 설명의 편의를 위한 예시에 불과하며, 경기장의 구조 및 형태에 따라 그 영역별 신뢰도가 변할 수 있음은 자명하다. However, the reliability for each region of the above-described first reliability map is merely an example for convenience of explanation, and it is obvious that the reliability for each region may change depending on the structure and shape of the stadium.

또한, 선수 추적 서버(1000)는, 생성 및 표준화된 표준화된 이미지 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스에 기초하여 제2 신뢰도 맵을 생성할 수 있다. Also, the player tracking server 1000 may generate the second confidence map based on the region-specific confidence index of the playfield associated with the generated and standardized standardized image-based position.

이때, 상기 제2 신뢰도 맵은 플레이필드의 영역에 따라 획득된 이미지 기반 위치와 관련된 신뢰도 인덱스에 대한 정보를 포함할 수 있다. In this case, the second reliability map may include information on the reliability index related to the image-based location obtained according to the area of the playfield.

도 24를 참고한다. 도 24는 본 출원의 일 실시예에 따른 제2 신뢰도 맵의 예시적인 도면이다. 도 24를 참고하면, 제2 신뢰도 맵은 이미지 기반 위치와 관련된 신뢰도 정보를 포함할 수 있다. See FIG. 24 . 24 is an exemplary diagram of a second reliability map according to an embodiment of the present application. Referring to FIG. 24 , the second reliability map may include reliability information related to an image-based location.

상기 제2 신뢰도 맵에 포함된 제1 영역(R1_image), 제2 영역(R2_image), 제3 영역(R3_image), 제4 영역(R4_image) 및 제5 영역(R5_image)을 포함하는 복수의 영역은 플레이필드의 복수의 영역들에 대응되는 영역일 수 있다. A plurality of regions including the first region R1_image, the second region R2_image, the third region R3_image, the fourth region R4_image, and the fifth region R5_image included in the second reliability map are play It may be an area corresponding to a plurality of areas of the field.

또한, 제2 신뢰도 맵에 포함된 복수의 영역별로 이미지 기반 위치와 관련된 신뢰도 정보가 상이할 수 있다. Also, reliability information related to the image-based location may be different for each of a plurality of regions included in the second reliability map.

일 예로, 제2 신뢰도 맵의 제1 영역(R1_ image)과 관련된 신뢰도 정보는 상대적으로 높은 값일 수 있다. 예를 들어, 이미지 캡처 장치(300)의 위치와 각도를 포함하는 포즈를 고려할 때, 상기 제1 영역(R1_image)에 대응되는 플레이필드의 영역에 스포츠 참가자가 위치하는 경우, 왜곡이 상대적으로 적은 이미지 데이터가 획득될 수 있다. 따라서, 상기 제1 영역(R1_image)에 대응되는 플레이필드의 영역에 스포츠 참가자가 위치하는 경우에 이미지 데이터로부터 획득된 이미지 기반 위치는 상대적으로 신뢰도가 높을 수 있다. For example, the reliability information related to the first region R1_ image of the second reliability map may have a relatively high value. For example, when a pose including the position and angle of the image capturing device 300 is considered, when a sports participant is located in the playfield area corresponding to the first area R1_image, an image with relatively little distortion Data may be obtained. Accordingly, when the sports participant is located in the playfield area corresponding to the first area R1_image, the image-based location obtained from the image data may be relatively reliable.

다른 예로, 제2 신뢰도 맵의 제2 영역(R2_image)과 관련된 신뢰도 정보는 상대적으로 낮은 값일 수 있다. 예를 들어, 이미지 캡처 장치(300)의 위치와 각도를 포함하는 포즈를 고려할 때, 상기 제2 영역(R2_image)에 대응되는 플레이필드의 영역에 스포츠 참가자가 위치하는 경우, 왜곡이 상대적으로 많은 이미지 데이터가 획득될 수 있다. 따라서, 상기 제2 영역(R2_image)에 대응되는 플레이필드의 영역에 스포츠 참가자가 위치하는 경우에 이미지 데이터로부터 획득된 이미지 기반 위치는 상대적으로 신뢰도가 낮을 수 있다. As another example, the reliability information related to the second region R2_image of the second reliability map may have a relatively low value. For example, when a pose including the position and angle of the image capture device 300 is considered, when a sports participant is located in a playfield area corresponding to the second area R2_image, an image with relatively large amount of distortion Data may be obtained. Accordingly, when the sports participant is located in the area of the play field corresponding to the second area R2_image, the image-based location obtained from the image data may have relatively low reliability.

또 다른 예로, 제2 신뢰도 맵의 제3 영역(R3_image), 제4 영역(R4_ image) 또는 제5 영역(R5_image)과 관련된 신뢰도 정보는, 이미지 캡처 장치(300)의 위치와 각도를 포함하는 포즈를 고려할 때, 제2 신뢰도 맵의 상기 제1 영역(R1_image)과 관련된 신뢰도보다는 낮으며, 상기 제2 영역(R2_ image)과 관련된 신뢰도보다는 높은 값 일 수 있다. As another example, the reliability information related to the third region (R3_image), the fourth region (R4_image), or the fifth region (R5_image) of the second confidence map is a pose including the position and angle of the image capturing device 300 . Considering , it may be lower than the reliability associated with the first region R1_image of the second reliability map and higher than the reliability associated with the second region R2_image.

다만, 상술한 제2 신뢰도 맵의 영역별 신뢰도는 설명의 편의를 위한 예시에 불과하며, 이미지 캡처 장치(300)의 위치와 포즈와 관련된 배열, 개수, 렌즈의 왜곡 등에 따라 영역별 신뢰도가 변할 수 있음은 자명하다.However, the reliability for each area of the above-described second reliability map is merely an example for convenience of explanation, and the reliability for each area may vary depending on the arrangement, number, and lens distortion related to the position and pose of the image capture device 300 . It is self-evident that

도 25를 참고한다. 도 25는 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다. See FIG. 25 . 25 is a diagram illustrating a flowchart of a player tracking method according to an embodiment of the present application.

도 25를 참고하면, 본 출원의 일 실시예에 따른 선수 추적 방법은, 측위 센서 데이터및 측위 센서 기반 위치를 획득하는 단계(S6100), 측위 센서 기반 위치의 영역별 신뢰도를 획득하는 단계(S6200), 이미지 데이터 및 이미지 기반 위치를 획득하는 단계(S6300), 이미지 기반 위치의 영역별 신뢰도를 획득하는 단계(S6400), 신뢰도 맵을 생성하는 단계(S6500) 및 신뢰도 맵 영역의 신뢰도에 기초하여 선수의 위치를 결정하는 단계(S6600)를 포함할 수 있다. Referring to FIG. 25 , the player tracking method according to an embodiment of the present application includes the steps of obtaining positioning sensor data and a positioning sensor-based position (S6100), acquiring the reliability for each area of the positioning sensor-based position (S6200) , obtaining image data and an image-based position (S6300), obtaining a region-specific reliability of the image-based position (S6400), generating a confidence map (S6500) and based on the reliability of the confidence map region of the athlete It may include determining the location (S6600).

상기 S6100 단계에서는 측위 센서 장치(210, 220)로부터 송신된 측위 센서 데이터가 획득될 수 있다. 또한, 상기 측위 센서 데이터로부터 측위 센서 기반 위치가 획득될 수 있다. 상기 측위 센서 기반 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터로부터 획득될 수 있으며, 혹은 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다. In step S6100, positioning sensor data transmitted from the positioning sensor devices 210 and 220 may be acquired. Also, a positioning sensor-based position may be obtained from the positioning sensor data. The positioning sensor-based position may be obtained from data related to a position included in the positioning sensor data, or may be acquired from data related to speed or acceleration included in the positioning sensor data.

상기 S6200 단계에서는, 측위 센서 기반 위치의 영역별 신뢰도가 획득될 수 있다. In step S6200, the reliability for each area of the positioning sensor-based location may be obtained.

이때, 측위 센서 기반 위치의 영역별 신뢰도는, 선수 추적 서버(1000)에 의해 생성될 수 있다. 예를 들어, 상술한 바와 같이, 선수 추적 서버(1000)는 플레이필드의 영역별로, 측위 센서 데이터로부터 획득된 스포츠 참가자의 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 이때, 선수 추적 서버(1000)는 측위 센서 기반 위치의 유효성을 평가한 결과와 스포츠 참가자의 플레이필드 내의 위치를 고려하여 측위 센서 기반 위치에 대한 신뢰도 인덱스를 플레이필드의 영역별로 생성할 수 있다. In this case, the reliability for each area of the positioning sensor-based location may be generated by the player tracking server 1000 . For example, as described above, the player tracking server 1000 may generate a reliability index related to the position of the sports participant obtained from the positioning sensor data for each area of the playfield. In this case, the player tracking server 1000 may generate a reliability index for the positioning sensor-based position for each playfield area in consideration of a result of evaluating the validity of the positioning sensor-based position and the position in the playfield of the sports participant.

또한, 측위 센서 기반 위치의 영역별 신뢰도는, 선수 추적 서버(1000)에 의해 표준화된 신뢰도 인덱스일 수 있다. In addition, the reliability for each area of the positioning sensor-based location may be a reliability index standardized by the player tracking server 1000 .

선수 추적 서버(1000)는 획득된 상기 측위 센서 기반 위치의 영역별 신뢰도에 기초하여 측위 센서 기반 위치와 관련된 신뢰도 맵을 생성할 수 있다. The player tracking server 1000 may generate a reliability map related to the positioning sensor-based location based on the obtained reliability for each area of the positioning sensor-based location.

상기 S6300 단계에서는 이미지 캡처 장치(300)로부터 송신된 이미지 데이터가 획득될 수 있다. 또한, 상기 이미지 데이터로부터 이미지 기반 위치가 획득될 수 있다. 상기 이미지 기반 위치는 이미지 데이터에 포함된 스포츠 참가자의 위치에 대응되는 픽셀의 좌표값으로부터 획득될 수 있다.In step S6300, image data transmitted from the image capturing device 300 may be acquired. Also, an image-based position may be obtained from the image data. The image-based location may be obtained from coordinate values of pixels corresponding to the sports participant's location included in the image data.

상기 S6400 단계에서는, 이미지 기반 위치의 영역별 신뢰도가 획득될 수 있다. In the step S6400, the reliability for each area of the image-based location may be obtained.

이때, 이미지 기반 위치의 영역별 신뢰도는, 선수 추적 서버(1000)에 의해 생성될 수 있다. 예를 들어, 상술한 바와 같이 선수 추적 서버(1000)는 플레이필드의 영역별로, 이미지 데이터로부터 획득된 스포츠 참가자의 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 이때, 선수 추적 서버(1000)는 이미지 기반 위치의 유효성을 평가한 결과와 스포츠 참가자의 플레이필드 내의 위치를 고려하여 이미지 기반 위치에 대한 신뢰도 인덱스를 플레이필드의 영역별로 생성할 수 있다. In this case, the reliability for each area of the image-based location may be generated by the player tracking server 1000 . For example, as described above, the player tracking server 1000 may generate a reliability index related to the position of the sports participant obtained from the image data for each area of the playfield. In this case, the player tracking server 1000 may generate a reliability index for the image-based position for each playfield area in consideration of the result of evaluating the validity of the image-based position and the position in the playfield of the sports participant.

또한, 이미지 기반 위치의 영역별 신뢰도는, 표준화된 신뢰도 인덱스일 수 있다. Also, the reliability for each area of the image-based location may be a standardized reliability index.

선수 추적 서버(1000)는 획득된 상기 이미지 기반 위치의 영역별 신뢰도에 기초하여 이미지 기반 위치와 관련된 신뢰도 맵을 생성할 수 있다. The player tracking server 1000 may generate a confidence map related to the image-based position based on the obtained reliability for each region of the image-based position.

상기 S6500 단계에서는, 선수 추적 서버(1000)는 측위 센서 기반 위치의 영역별 신뢰도 및 이미지 기반 위치의 영역별 신뢰도를 고려하여, 측위 센서 기반 위치와 관련된 제1 신뢰도 맵과 이미지 기반 위치와 관련된 제2 신뢰도 맵을 생성할 수 있다. In step S6500, the player tracking server 1000 considers the regional reliability of the positioning sensor-based position and the region-specific reliability of the image-based position, a first confidence map related to the positioning sensor-based position and a second confidence map related to the image-based position You can create a confidence map.

상술한 바에 따르면, 선수 추적 서버(1000)가 측위 센서 기반 위치와 관련된 제1 신뢰도 맵과 이미지 기반 위치와 관련된 제2 신뢰도 맵을 각각 생성하는 것으로 서술하였으나, 이는 예시에 불과하며, 선수 추적 서버(1000)는 측위 센서 기반 위치의 영역별 신뢰도와 이미지 기반 위치의 영역별 신뢰도를 모두 고려한, 단일의 신뢰도 맵을 생성할 수 있다. As described above, it has been described that the player tracking server 1000 generates a first confidence map associated with a positioning sensor-based position and a second confidence map associated with an image-based position, respectively, but this is only an example, and the player tracking server ( 1000) may generate a single reliability map in consideration of both the reliability for each area of the positioning sensor-based location and the reliability for each area of the image-based location.

상기 S6600 단계에서, 선수 추적 서버(1000)는 상기 S7500 단계에서 생성된 측위 센서 기반 위치와 관련된 제1 신뢰도 맵과 이미지 기반 위치와 관련된 제2 신뢰도 맵에 포함된 신뢰도 정보를 고려하여 스포츠 참가자의 위치를 결정할 수 있다. In the step S6600, the athlete tracking server 1000 considers the reliability information included in the first confidence map related to the positioning sensor-based position generated in the step S7500 and the second confidence map related to the image-based position, the position of the sports participant can be decided

이를 위해서는, 상기 제1 신뢰도 맵과 상기 제2 신뢰도 맵 각각의 영역에 대응하는 스포츠 참가자의 위치가 추가적으로 고려되어야 한다. To this end, the position of the sports participant corresponding to each region of the first confidence map and the second confidence map should be additionally considered.

따라서, 선수 추적 서버(1000)는 추가적으로 스포츠 참가자가 위치하는 플레이필드 영역에 대한 정보를 더 획득하도록 구현될 수 있다. Accordingly, the player tracking server 1000 may be implemented to additionally acquire information about the playfield area where the sports participant is located.

예를 들어, 선수 추적 서버(1000)는 측위 센서 데이터로부터 스포츠 참가자의 위치와 관련된 데이터를 획득할 수 있으며, 선수 추적 서버(1000)는 측위 센서 데이터에 포함된 스포츠 참가자의 위치와 관련된 데이터를 기초로, 스포츠 참가자가 위치하는 플레이필드 영역을 검출할 수 있다. For example, the player tracking server 1000 may obtain data related to the position of the sports participant from the positioning sensor data, and the player tracking server 1000 based on the data related to the position of the sports participant included in the positioning sensor data. Thus, it is possible to detect the playfield area in which the sports participant is located.

다른 예를 들어, 선수 추적 서버(1000)는 이미지 데이터로부터 스포츠 참가자의 위치와 관련된 데이터를 획득할 수 있으며, 선수 추적 서버(1000)는 이미지 데이터에 포함된 스포츠 참가자의 위치와 관련된 데이터를 기초로, 스포츠 참가자가 위치하는 플레이필드 영역을 검출할 수 있다. As another example, the athlete tracking server 1000 may obtain data related to the location of the sports participant from the image data, and the athlete tracking server 1000 may be configured to obtain data related to the location of the sports participant included in the image data based on the data related to the location of the sports participant included in the image data. , it is possible to detect a playfield area in which a sports participant is located.

순차적으로 선수 추적 서버(1000)는 검출된 스포츠 참가자의 위치하는 영역에 대응하는 제1 신뢰도 맵 영역의 제1 신뢰도 정보 및 제2 신뢰도 맵 영역의 제2 신뢰도 정보를 고려하여 스포츠 참가자의 위치를 결정할 수 있다. Sequentially, the player tracking server 1000 determines the location of the sports participant in consideration of the first reliability information of the first reliability map area and the second reliability information of the second reliability map area corresponding to the detected area where the sports participant is located. can

일 예로, 선수 추적 서버(1000)는 상기 제1 신뢰도 정보 및 제2 신뢰도 정보 중 높은 신뢰도 정보를 가진 데이터로부터 획득된 위치를 고려하여 스포츠 참가자의 위치를 결정할 수 있다. For example, the player tracking server 1000 may determine the location of the sports participant in consideration of a location obtained from data having high reliability information among the first reliability information and the second reliability information.

예를 들어, 제1 신뢰도 정보가 제2 신뢰도 정보보다 높은 영역에 스포츠 참가자가 위치하는 경우에는, 선수 추적 서버(1000)는 측위 센서 기반 위치를 기초로 하여 스포츠 참가자의 위치를 결정할 수 있다. For example, when the sports participant is located in an area where the first reliability information is higher than the second reliability information, the athlete tracking server 1000 may determine the sports participant's location based on the positioning sensor-based location.

다른 예를 들어, 제2 신뢰도 정보가 제1 신뢰도 정보보다 높은 영역에 스포츠 참가자가 위치하는 경우에는, 선수 추적 서버(1000)는 이미지 기반 위치를 기초로 하여 스포츠 참가자의 위치를 결정할 수 있다. As another example, when the sports participant is located in an area where the second reliability information is higher than the first reliability information, the athlete tracking server 1000 may determine the location of the sports participant based on the image-based location.

다른 예로, 선수 추적 서버(1000)는 상기 제1 신뢰도 정보 및 제2 신뢰도 정보에 따라 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다. As another example, the player tracking server 1000 may determine the location of the sports participant by assigning weights according to the first reliability information and the second reliability information.

예를 들어, 제1 신뢰도 정보가 제2 신뢰도 정보보다 높은 영역에 스포츠 참가자가 위치하는 경우에는, 선수 추적 서버(1000)는 이미지 기반 위치보다 측위 센서 기반 위치에 상대적으로 높은 가중치를 부여하여 하여 스포츠 참가자의 위치를 결정할 수 있다. For example, when a sports participant is located in an area where the first reliability information is higher than the second reliability information, the player tracking server 1000 gives a relatively high weight to the positioning sensor-based location than the image-based location to perform sports You can determine the location of the participant.

다른 예를 들어, 제2 신뢰도 정보가 제1 신뢰도 정보보다 높은 영역에 스포츠 참가자가 위치하는 경우에는, 선수 추적 서버(1000)는 측위 센서 기반 위치보다 이미지 기반 위치에 상대적으로 높은 가중치를 부여하여 하여 스포츠 참가자의 위치를 결정할 수 있다. For another example, if the sports participant is located in an area where the second reliability information is higher than the first reliability information, the player tracking server 1000 gives a relatively high weight to the image-based position than the positioning sensor-based position, It is possible to determine the location of the sports participant.

상술한 신뢰도 맵은 스포츠 경기 중에 실시간으로 생성되거나 업데이트될 수 있다. 다만 이는 예시에 불과하며, 스포츠 경기 시작 전에도 이미지 기반 위치와 측위 센서 기반 위치와 관련된 신뢰도 맵이 미리 생성될 수 있을 것이다. The above-described confidence map may be generated or updated in real time during a sporting event. However, this is only an example, and even before the start of a sports game, a confidence map related to an image-based location and a positioning sensor-based location may be generated in advance.

이상에서는 적어도 하나의 이미지 캡처 장치로부터 이미지 기반 위치를 획득하며, 측위 센서 기반 위치를 함께 고려하여 스포츠 참가자의 위치의 정확도를 높이는 일 실시예에 대하여 서술하였다. In the above, an embodiment in which an image-based position is acquired from at least one image capturing device and the positional accuracy of a sports participant is increased by considering the positioning sensor-based position has been described.

이하에서는 복수의 이미지 캡처 장치로부터 획득된 복수의 이미지 데이터에 기초하여 스포츠 참가자의 위치의 정확도를 높이는 일 실시예에 따른 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템에 대하여 구체적으로 서술하기로 한다. 본 실시예에 따른 선수 추적 시스템(100)에서는 복수의 이미지 캡처 장치로부터 획득된 복수의 이미지 데이터에 기초하여 스포츠 참가자의 위치의 정확도를 올리는 내용을 중심으로 서술하나, 상술한 측위 센서 기반 위치를 함께 고려하는 것을 결합하거나 조합하는 것은 자명하다. Hereinafter, a player tracking method, an athlete tracking device, and a player tracking system according to an embodiment for increasing the accuracy of the location of a sports participant based on a plurality of image data obtained from a plurality of image capturing devices will be described in detail. In the player tracking system 100 according to the present embodiment, the content of raising the accuracy of the position of a sports participant based on a plurality of image data obtained from a plurality of image capturing devices is mainly described, but the above-described positioning sensor-based position is also used together. It is self-evident to combine or combine the considerations.

도 26은 본 출원의 일 실시예에 따른 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법에 관한 개략도이다. 26 is a schematic diagram of a player tracking device, a player tracking system, and a player tracking method according to an embodiment of the present application.

도 26을 참고하면, 본 출원의 일 실시예에 따른 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템은 복수의 이미지 캡처 장치로부터 획득된 이미지 데이터를 이용하여 선수 위치를 추적할 수 있다.Referring to FIG. 26 , the player tracking method, the player tracking device, and the player tracking system according to an embodiment of the present application may track the player position using image data obtained from a plurality of image capturing devices.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 시스템(100)에 관하여 도 26을 참고하여 설명한다. Hereinafter, the player tracking system 100 according to an embodiment of the present application will be described with reference to FIG. 26 .

도 26을 참고하면, 선수 추적 시스템(100)은, 복수의 이미지 캡처 장치(301, 302, 303, 304), 측위 센서 장치(200) 및 선수 추적 장치(2000)를 포함할 수 있다. 한편, 도 26에는 도 3에 도시된 중간 서버(400)나 플레이필드의 도시되지 않았으나, 이는 설명의 편의를 위한 것이며 도 3의 선수 추적 시스템(100)의 중간서버(400)를 통하여 이미지 데이터나 측위 센서 데이터를 획득할 수 있다. Referring to FIG. 26 , the player tracking system 100 may include a plurality of image capturing devices 301 , 302 , 303 , 304 , a positioning sensor device 200 , and an athlete tracking device 2000 . On the other hand, although the intermediate server 400 or the playfield shown in FIG. 3 is not shown in FIG. 26, this is for convenience of explanation and image data or Positioning sensor data may be acquired.

선수 추적 시스템(100)의 복수의 이미지 캡처 장치(301, 302, 303, 304)는 플레이필드와 스포츠 참가자(1)를 촬영할 수 있으며, 선수 추적 장치(2000)는 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 획득된 이미지 데이터에 기초하여 스포츠 참가자(1)의 위치를 결정하여 스포츠 참가자(1)의 위치를 지속적으로 추적할 수 있다. A plurality of image capturing devices 301 , 302 , 303 , 304 of the player tracking system 100 may photograph the playfield and the sports participant 1 , and the player tracking device 2000 includes a plurality of image capturing devices 301 , The position of the sports participant 1 may be determined based on the image data obtained from 302 , 303 , and 304 , and the position of the sports participant 1 may be continuously tracked.

도 26을 참고하면, 플레이필드 주변부에 복수의 이미지 캡처 장치들(301, 302, 303, 304)이 위치될 수 있다. 복수의 이미지 캡처 장치들(301, 302, 303, 304)은 복수의 스포츠 참가자들(1)과 플레이필드가 포함된 이미지 데이터를 촬영하여, 본 출원의 일 실시예에 따른 선수 추적 서버(2000)로 송신할 수 있다. Referring to FIG. 26 , a plurality of image capturing devices 301 , 302 , 303 , and 304 may be positioned around the playfield. A plurality of image capture devices (301, 302, 303, 304) take image data including a plurality of sports participants (1) and a playfield, and the player tracking server (2000) according to an embodiment of the present application can be sent to

복수의 이미지 캡처 장치(301, 302, 303, 304)들은 도 26에 도시된 바와 같이 플레이필드의 주변부의 상이한 위치에 배치될 수 있다. 다만, 이는 예시에 불과하며, 복수의 이미지 캡처 장치(301, 302, 303, 304)들은 플레이필드의 주변부의 실질적으로 동일한 위치에 배치되거나 인접한 위치에 배치될 수 있다. 또한, 복수의 이미지 캡처 장치(301, 302, 303, 304)들은 임의의 적절한 위치에 다양한 배열로 배치될 수 있음은 자명하다. The plurality of image capture devices 301 , 302 , 303 , 304 may be disposed at different positions around the periphery of the playfield as shown in FIG. 26 . However, this is only an example, and the plurality of image capturing devices 301 , 302 , 303 , and 304 may be disposed at substantially the same location or adjacent locations around the playfield. Also, it is apparent that the plurality of image capturing devices 301 , 302 , 303 , 304 may be disposed in various arrangements at any suitable location.

이때, 선수 추적 장치(2000)는, 복수의 이미지 캡처 장치들로부터, 복수의 이미지 캡처 장치들의 위치 및 포즈와 관련된 배열 정보와, 복수의 이미지 캡처 장치들의 렌즈 왜곡 파라미터와 관련된 데이터를 추가적으로 획득할 수 있다. 이를 이용하여, 타겟 스포츠 참가자가 보다 잘 검출되거나 타겟 스포츠 참가자의 위치를 보다 정확히 획득할 수 있는 이미지 데이터가 선택될 수 있다. 이와 관련하여는 도 27및 도 28 관련하여 자세히 후술한다. In this case, the player tracking device 2000 may additionally acquire, from the plurality of image capturing devices, arrangement information related to positions and poses of the plurality of image capturing devices, and data related to lens distortion parameters of the plurality of image capturing devices. have. Using this, image data from which the target sports participant can be detected better or the location of the target sports participant can be obtained more accurately can be selected. This will be described in detail later with reference to FIGS. 27 and 28 .

이때, 복수의 이미지 캡처 장치들로부터 획득된 각각의 이미지 데이터에는 촬영된 이미지 캡처 장치에 대한 정보가 라벨링되어 선수 추적 장치(2000)로 송신될 수 있다. 예를 들어, 제1 이미지 캡처 장치(301)로부터 획득된 제1 이미지 데이터가 제1 이미지 캡처 장치(301)로부터 촬영되었다는 임의의 적절한 데이터를 포함하도록 임의의 적절한 라벨링 기법이 적용될 수 있다. 또한, 제2 이미지 캡처 장치(302)로부터 획득된 제2 이미지 데이터가 제2 이미지 캡처 장치(302)로부터 촬영되었다는 임의의 적절한 데이터를 포함하도록 임의의 적절한 라벨링 기법이 적용될 수 있다. 이를 통하여, 오클루전 예측을 통하여 스포츠 참가자가 보다 잘 검출되거나 스포츠 참가자의 위치를 보다 정확히 획득할 수 있는 이미지 데이터를 획득할 수 있는 이미지 캡처 장치를 결정하여 스포츠 참가자를 추적할 수 있다. 이와 관련하여는 도 29 내지 도 30과 관련하여 자세히 후술한다. In this case, each image data obtained from the plurality of image capturing devices may be labeled with information on the captured image capturing device and transmitted to the player tracking device 2000 . For example, any suitable labeling technique may be applied to include any suitable data that the first image data obtained from the first image capture device 301 was captured from the first image capture device 301 . Further, any suitable labeling technique may be applied to include any suitable data that the second image data obtained from the second image capture device 302 was captured from the second image capture device 302 . Through this, it is possible to track the sports participant by determining an image capture device capable of acquiring image data that allows the sports participant to be detected better or to more accurately acquire the sports participant's position through occlusion prediction. This will be described later in detail with reference to FIGS. 29 to 30 .

이때, 복수의 스포츠 참가자들(1)은 측위 센서 장치(200)를 착용할 수 있으며, 선수 추적 서버(2000)는, 도 3과 관련하여 상술한 바와 같이, 측위 센서 데이터를 획득할 수 있다. 복수의 스포츠 참가자들(1)와 관련된 각각의 측위 센서 데이터는, 오클루전 여부를 검출하거나, 가상 플레이필드를 생성하거나, 오클루전 예측하는 데 고려될 수 있다. 이와 관련하여는 도 27 내지 31와 관련하여 자세히 후술한다. In this case, the plurality of sports participants 1 may wear the positioning sensor device 200 , and the player tracking server 2000 may acquire positioning sensor data as described above with reference to FIG. 3 . The respective positioning sensor data related to the plurality of sports participants 1 may be considered for detecting whether occlusion is present, generating a virtual playfield, or predicting occlusion. This will be described later in detail with reference to FIGS. 27 to 31 .

선수 추적 장치(2000)는 임의의 적절한 형태의 서버 장치로 구현될 수 있다. 이하에서는 선수 추적 장치(2000)를 선수 추적 서버(2000)로 지칭하여 서술하나, 이것은 설명의 편의를 위한 것에 불과할 뿐, 선수 추적 장치(2000)가 반드시 서버 형태로 구현되어야 하는 것은 아니다.The player tracking device 2000 may be implemented as any suitable type of server device. Hereinafter, the player tracking device 2000 will be referred to as the player tracking server 2000 , but this is only for convenience of description, and the player tracking device 2000 does not necessarily have to be implemented in the form of a server.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 서버(2000)에 대하여 설명한다. Hereinafter, the player tracking server 2000 according to an embodiment of the present application will be described.

본 명세서의 일 실시예에 따르면, 선수 추적 서버(2000)는 스포츠 참가자의 위치를 결정하기 위해 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 복수의 이미지 데이터를 획득할 수 있다. 또한 선수 추적 서버(2000)는 획득된 복수의 이미지 데이터로부터 추적하고자 하는 타겟 스포츠 참가자가 포함된 이미지를 후보 이미지로 선택할 수 있다. 또한 선수 추적 서버(2000)는 획득된 복수의 후보 이미지로부터 오클루전 이벤트를 고려하여 유효 이미지를 선택할 수 있다. 또한 선수 추적 서버(2000)는 선택된 유효 이미지로부터 타겟 스포츠 참가자를 위치를 결정할 수 있다.According to an embodiment of the present specification, the athlete tracking server 2000 may acquire a plurality of image data from a plurality of image capture devices 301 , 302 , 303 , and 304 to determine a location of a sports participant. Also, the player tracking server 2000 may select an image including a target sports participant to be tracked as a candidate image from a plurality of acquired image data. Also, the player tracking server 2000 may select a valid image from the plurality of obtained candidate images in consideration of the occlusion event. Also, the player tracking server 2000 may determine the location of the target sports participant from the selected valid image.

본 명세서의 일 실시예에 따른 선수 추적 서버(2000)는 도 4와 관련하여 서술한 내용이 동일하게 적용될 수 있다. 즉, 선수 추적 서버(2000)는 통신 모듈(1100), 메모리(1200) 및 컨트롤러(1300)를 포함할 수 있다. 특히 통신 모듈(1100), 메모리(1200), 및 컨트롤러(1300)의 내용은 도 4와 관련한 내용이 동일하게 적용될 수 있는 바, 자세한 설명은 생략하기로 한다. 따라서, 이하에서는 선수 추적 서버(2000)에 추가되는 내용을 중심으로 서술한다. In the player tracking server 2000 according to an embodiment of the present specification, the contents described with reference to FIG. 4 may be applied in the same manner. That is, the player tracking server 2000 may include a communication module 1100 , a memory 1200 , and a controller 1300 . In particular, as the contents of the communication module 1100 , the memory 1200 , and the controller 1300 may be identically applied to the contents of FIG. 4 , a detailed description thereof will be omitted. Therefore, hereinafter, the content added to the player tracking server 2000 will be mainly described.

본 실시예에 따른 선수 추적 시스템(100)은 복수의 이미지 캡처 장치로부터 복수의 이미지 데이터를 획득할 수 있다. 구체적으로 선수 추적 서버(200)는 복수의 이미지 캡처 장치로부터 촬영된 복수의 이미지 데이터를 획득할 수 있다. The player tracking system 100 according to the present embodiment may acquire a plurality of image data from a plurality of image capturing devices. Specifically, the player tracking server 200 may acquire a plurality of image data captured from a plurality of image capturing devices.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 복수의 이미지 데이터로부터 후보이미지를 선택할 수 있다. 구체적으로 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 획득된 복수의 이미지 데이터 각각에 대하여, 추적하고자 하는 타겟 스포츠 참가자를 검출하도록 구현될 수 있다. 구체적으로 복수의 이미지 데이터 각각은 복수의 스포츠 참가자에 대응되는 데이터(예, 픽셀)를 포함할 수 있다. 이때, 상기 선수 추적 서버(2000)는, 상술한 복수의 스포츠 참가자에 대응되는 데이터를 고려하여 스포츠 참가자들을 인식하도록 구현될 수 있으며, 인식된 스포츠 참가자들에 대응되는 식별자(identifier)와 관련된 데이터 등을 추가로 고려하여 타겟 스포츠 참가자를 검출할 수 있다. The player tracking system 100 according to an embodiment of the present application may select a candidate image from a plurality of image data. Specifically, the player tracking server 2000 may be implemented to detect a target sports participant to be tracked with respect to each of the plurality of image data acquired from the plurality of image capturing devices 301 , 302 , 303 , and 304 . Specifically, each of the plurality of image data may include data (eg, pixels) corresponding to the plurality of sports participants. In this case, the player tracking server 2000 may be implemented to recognize sports participants in consideration of data corresponding to the plurality of sports participants described above, and data related to identifiers corresponding to the recognized sports participants, etc. can be further considered to detect a target sports participant.

또한, 상기 선수 추적 서버(2000)는, 상기 타겟 스포츠 참가자의 검출 결과에 따라 상기 복수의 이미지 데이터로부터 적어도 하나 이상의 후보 이미지를 선택하도록 구현될 수 있다. 예를 들어, 선수 추적 서버(2000)는 복수의 이미지 데이터들 중 상기 타겟 스포츠 참가자가 검출된 이미지 데이터를 후보 이미지로 선택하도록 구현될 수 있다. 상기 후보 이미지는 적어도 하나 이상일 수 있다. Also, the player tracking server 2000 may be implemented to select at least one candidate image from the plurality of image data according to the detection result of the target sports participant. For example, the athlete tracking server 2000 may be implemented to select, as a candidate image, image data detected by the target sports participant from among a plurality of image data. The candidate image may be at least one.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은, 타겟 스포츠 참가자의 위치를 결정하는데 고려될 수 있는 유효 이미지를 선택하도록 구현될 수 있다. 구체적으로 선수 추적 서버(2000)는, 선택된 적어도 하나 이상의 후보 이미지 중 타겟 스포츠 참가자의 위치를 결정하는데 고려될 수 있는 유효 이미지를 선택하도록 구현될 수 있다. The player tracking system 100 according to an embodiment of the present application may be implemented to select a valid image that may be considered in determining a location of a target sports participant. Specifically, the player tracking server 2000 may be implemented to select a valid image that may be considered for determining the location of the target sports participant from among the selected at least one or more candidate images.

여기서 유효 이미지란, 타겟 스포츠 참가자의 위치를 결정하는데 고려될 수 있는 가능성이 있는 이미지를 포괄하는 의미로 사용될 수 있다. 예를 들어, 타겟 스포츠 참가자가 검출된 이미지는 모두 유효 이미지가 될 수 있다. 다만, 바람직한 실시예에 따르면, 보다 정확하게 타겟 스포츠 참가자의 위치를 결정하기 위하여, 유효 이미지는 타겟 스포츠 참가자와 관련되어 오클루전 이벤트가 검출되지 않은 이미지 혹은 오클루전 이벤트가 검출되었으나 오클루전 이벤트의 심각도가 심각하지는 않은 이미지로 정의될 수 있다. Here, the valid image may be used to encompass images that may be considered in determining the location of the target sports participant. For example, all images in which a target sports participant is detected may be valid images. However, according to a preferred embodiment, in order to more accurately determine the location of the target sports participant, the valid image is related to the target sports participant and an image in which an occlusion event is not detected or an occlusion event is detected but an occlusion event is associated with the target sports participant. can be defined as an image whose severity is not severe.

일 예로, 선수 추적 서버(2000)는, 복수의 이미지 데이터에 대한 오클루전 이벤트 검출 여부 혹은 오클루전 이벤트의 발생 여부 판단 결과를 고려하여, 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 유효 이미지를 선택할 수 있다. For example, the player tracking server 2000 selects at least one valid image from the at least one candidate image in consideration of a result of determining whether an occlusion event has been detected or whether an occlusion event has occurred for a plurality of image data. You can choose.

예를 들어, 선수 추적 서버(2000)는 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되지 않은 후보 이미지들을 유효 이미지로 선택하도록 구현될 수 있다. For example, the player tracking server 2000 may be implemented to select candidate images in which an occlusion event related to a target sports participant is not detected as valid images.

다른 예를 들어, 선수 추적 서버(2000)는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되었으나 그 심각도가 심각하지 않고 마일드한 후보 이미지들을 유효 이미지로 선택하도록 구현될 수 있다.As another example, the athlete tracking server 2000 may be implemented to select, as valid images, mild candidate images in which an occlusion event related to a target sports participant is detected but the severity is not serious.

또 다른 예를 들어, 선수 추적 서버(2000)는 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 후보 이미지에 대하여, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸는지, 타겟 스포츠 참가자가 다른 스포츠 참가자에게 가려졌는지를 고려하여 유효 이미지를 선택하도록 구현될 수 있다. For another example, the player tracking server 2000 may determine whether the target sports participant covered other sports participants or the target sports participant covered other sports participants with respect to the candidate image in which the occlusion event related to the target sports participant was detected. It may be implemented to select a valid image in consideration of whether or not it is lost.

구체적으로, 제1 후보이미지에서 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되더라도 오클루전 이벤트가 타겟 스포츠 참가자가 다른 스포츠 참가자를 가림으로써 검출된 경우라면, 제1 후보 이미지로부터 타겟 스포츠 참가자의 위치를 결정하는 것은 상대적으로 정확도가 높을 수 있다. Specifically, even if an occlusion event related to the target sports participant is detected in the first candidate image, if the occlusion event is detected by the target sports participant obscuring other sports participants, the location of the target sports participant from the first candidate image Determining can be relatively accurate.

반면 제2 후보이미지에서 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되더라도 오클루전 이벤트가 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려짐으로써 검출된 경우라면, 제2 후보 이미지로부터 타겟 스포츠 참가자의 위치를 결정하는 것은 상대적으로 어려울 수 있다. 또한 상기 제2 후보 이미지로부터 획득된 타겟 스포츠 참가자의 위치는 그 정확도가 상대적으로 낮을 수 있다. On the other hand, even if an occlusion event related to the target sports participant is detected in the second candidate image, if the occlusion event is detected because the target sports participant is obscured by another sports participant, the location of the target sports participant from the second candidate image It can be relatively difficult to determine. Also, the location of the target sports participant obtained from the second candidate image may have relatively low accuracy.

따라서, 선수 추적 서버(2000)는 후보 이미지에서 오클루전 이벤트가 타겟 스포츠 참가자가 다른 스포츠 참가자를 가림으로써 검출되었는지, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가려짐으로써 검출되었는지 여부를 고려하여 유효 이미지를 선택하도록 구현될 수 있다. 바람직하게는, 이러한 선수 추적 서버(2000)의 동작은 대부분 혹은 모든 후보 이미지에서, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 경우에 유리할 수 있다. Accordingly, the player tracking server 2000 determines whether an occlusion event in the candidate image was detected by the target sports participant occluding another sports participant, or whether the target sports participant was detected by occluding the other sports participant to determine the valid image. It can be implemented to select. Preferably, such an operation of the player tracking server 2000 may be advantageous when an occlusion event related to a target sports participant is detected in most or all candidate images.

또 다른 예를 들어, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치(301, 302, 303, 304)의 위치 및 포즈와 관련된 배열 정보를 고려하여 유효 이미지를 선택하도록 구현될 수 있다. 구체적으로, 복수의 이미지 캡처 장치(301, 302, 303, 304)들은 플레이필드 주변부의 상이한 위치에 임의의 적절한 배열로 각각 배치될 수 있다. 이때, 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치(301, 302, 303, 304)들로부터 획득된 복수의 이미지 데이터 중에서, 복수의 이미지 캡처 장치(301, 302, 303, 304)의 배열 정보를 고려하여, 상기 타겟 스포츠 참가자가 가장 크게 나온 이미지 데이터 혹은 가장 중심에 나온 이미지 데이터를 유효 이미지로 선택하도록 구현될 수 있다. As another example, the player tracking server 2000 may be implemented to select a valid image in consideration of arrangement information related to positions and poses of the plurality of image capturing devices 301 , 302 , 303 , and 304 . Specifically, the plurality of image capture devices 301 , 302 , 303 , 304 may each be disposed in any suitable arrangement at different locations around the playfield perimeter. At this time, the player tracking server 2000, among the plurality of image data obtained from the plurality of image capturing devices 301 , 302 , 303 , 304 , an arrangement of the plurality of image capturing devices 301 , 302 , 303 , 304 . In consideration of the information, the target sports participant may be implemented to select the largest image data or the most central image data as an effective image.

또 다른 예를 들어, 선수 추적 서버(2000)는, 렌즈 왜곡 파라미터를 고려하여 유효 이미지를 선택하도록 구현될 수 있다. 구체적으로 이미지 데이터의 중심부는 렌즈 왜곡 파라미터를 고려할 때 상대적으로 왜곡이 덜 발생할 가능성이 높다. 이에 따라, 타겟 스포츠 참가자가 이미지 데이터 중심부에 위치하는 이미지 데이터로부터 타겟 스포츠 참가자의 위치를 계산하는 경우, 그 위치의 정확도가 상대적으로 높을 수 있다. 반면 이미지 데이터의 가장자리부는 렌즈 왜곡 파라미터를 고려할 때 상대적으로 왜곡이 많이 발생할 가능성이 높다. 이에 따라, 타겟 스포츠 참가자가 이미지 데이터 가장자리부에 위치하는 이미지 데이터로부터 타겟 스포츠 참가자의 위치를 계산하는 경우, 그 위치의 정확도가 상대적으로 낮을 수 있다. 따라서, 선수 추적 서버(2000)는, 렌즈 왜곡 파라미터를 고려하여, 타겟 스포츠 참가자가 위치하는 이미지 데이터의 영역의 왜곡이 상대적으로 적은 이미지 데이터를 유효 이미지로 선택하도록 구현될 수 있다. As another example, the player tracking server 2000 may be implemented to select a valid image in consideration of a lens distortion parameter. Specifically, the center of the image data is more likely to have relatively less distortion in consideration of the lens distortion parameter. Accordingly, when the target sports participant calculates the location of the target sports participant from image data located in the center of the image data, the accuracy of the location may be relatively high. On the other hand, the edge portion of the image data is more likely to have a relatively large amount of distortion in consideration of the lens distortion parameter. Accordingly, when the target sports participant calculates the location of the target sports participant from image data located at the edge of the image data, the accuracy of the location may be relatively low. Accordingly, the athlete tracking server 2000 may be implemented to select, as an effective image, image data having relatively little distortion in the image data area in which the target sports participant is located in consideration of the lens distortion parameter.

도 27을 참고한다. 도 27은 본 출원의 일 실시예에 따른 선수 추적 서버(2000)의 유효 이미지 선택하는 예시적인 과정을 나타낸 도면이다. See FIG. 27 . 27 is a diagram illustrating an exemplary process of selecting a valid image of the player tracking server 2000 according to an embodiment of the present application.

도 27(a)는 복수의 이미지 캡처 장치(301, 302, 303, 304)들로부터 획득된 복수의 이미지 데이터일 수 있다. 이때, 상기 도 27(a)의 복수의 이미지 데이터들은 동일한 시간적 시점에서 획득된 이미지 데이터들일 수 있다. 상기 도 27(a)의 복수의 이미지 데이터들은, 위치를 결정하고자 하는 타겟 스포츠 참가자가 포함된 이미지 데이터와 상기 타겟 스포츠 참가자가 포함되지 않은 이미지 데이터로 구성될 수 있다. 27( a ) may show a plurality of image data obtained from a plurality of image capturing devices 301 , 302 , 303 , and 304 . In this case, the plurality of image data of FIG. 27( a ) may be image data acquired at the same time point. The plurality of image data of FIG. 27A may include image data including the target sports participant whose location is to be determined and image data not including the target sports participant.

도 27(b)는 타겟 스포츠 참가자가 검출된 적어도 하나 이상의 후보 이미지일 수 있다. 구체적으로 선수 추적 서버(2000)는 도 27(a)의 복수의 이미지 데이터들 각각에 대하여 타겟 스포츠 참가자를 검출할 수 있으며, 타겟 스포츠 참가자가 검출된 이미지 데이터를 후보 이미지로 선택할 수 있다.27( b ) may be at least one candidate image in which a target sports participant is detected. Specifically, the player tracking server 2000 may detect a target sports participant with respect to each of the plurality of image data of FIG. 27( a ), and the target sports participant may select the detected image data as a candidate image.

도 27(c)는 적어도 하나 이상의 유효 이미지일 수 있다. 구체적으로 상기 적어도 하나 이상의 유효 이미지는, 상기 도 27(b)의 후보 이미지 중에서 타겟 스포츠 참가자와 관련된 오클루전 이벤트이 검출되지 않은 이미지일 수 있다. 27( c ) may be at least one valid image. Specifically, the at least one valid image may be an image in which an occlusion event related to a target sports participant is not detected among the candidate images of FIG. 27( b ).

도 27(c)와 같이 유효 이미지가 복수인 경우에는, 선수 추적 서버(2000)는 유효 이미지 각각으로부터 획득된 타겟 스포츠 참가자의 위치를 고려하여 타겟 스포츠 참가자의 위치를 결정할 수 있다. 예를 들어, 선수 추적 서버(2000)는 유효 이미지 각각으로부터 획득된 타겟 스포츠 참가자의 위치를 평균 내어 타겟 스포츠 참가자의 위치를 결정할 수 있다. When there are a plurality of valid images as shown in FIG. 27( c ), the player tracking server 2000 may determine the location of the target sports participant in consideration of the location of the target sports participant obtained from each of the valid images. For example, the player tracking server 2000 may determine the location of the target sports participant by averaging the positions of the target sports participants obtained from each valid image.

다른 예를 들어, 도 27(c)와 같이 유효 이미지가 복수인 경우에는, 선수 추적 서버(2000)는 이미지 캡처 장치들의 배열 정보 혹은 렌즈 왜곡 파라미터 등을 추가로 더 고려하여, 타겟 스포츠 참가자의 위치를 결정할 수 있다. For another example, when there are a plurality of valid images as shown in FIG. 27( c ), the athlete tracking server 2000 further considers arrangement information of image capture devices or a lens distortion parameter, etc., to further consider the location of the target sports participant. can be decided

도 27(d)는 이미지 캡처 장치들의 배열 정보 혹은 렌즈 왜곡 파라미터 등을 고려하여 선수 추적 서버(2000)에 의해 선택된 적어도 단일 이미지의 예시이다.27( d ) is an example of at least a single image selected by the player tracking server 2000 in consideration of arrangement information of image capture devices or a lens distortion parameter.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 유효이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다. 구체적으로 본 출원의 일 실시예에 따른 선수 추적 서버(2000)는, 선택된 유효 이미지의 타겟 스포츠 참가자에 대응되는 픽셀 데이터(픽셀 위치)에 기초하여 위치를 결정할 수 있다. The player tracking system 100 according to an embodiment of the present application may determine the location of the target sports participant based on the valid image. Specifically, the player tracking server 2000 according to an embodiment of the present application may determine a position based on pixel data (pixel position) corresponding to the target sports participant of the selected valid image.

일 실시예로, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 복수의 유효 이미지로부터 각각 획득된 타겟 스포츠 참가자의 위치를 모두 고려하여 타겟 스포츠 참가자의 위치를 결정할 수 있다. As an embodiment, when there are a plurality of valid images selected, the player tracking server 2000 may determine the location of the target sports participant in consideration of the positions of the target sports participants respectively obtained from the plurality of valid images.

구체적으로 유효 이미지가 제1 유효 이미지 및 제2 유효 이미지를 포함할 수 있다. 이때, 선수 추적 서버(2000)는 상기 제1 유효 이미지 내의 상기 타겟 스포츠 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 스포츠 참가자의 제1 위치를 획득할 수 있다. 또한, 선수 추적 서버(2000)는 상기 제2 유효 이미지 내의 상기 타겟 스포츠 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 스포츠 참가자의 제2 위치를 획득할 수 있다.Specifically, the effective image may include a first effective image and a second effective image. In this case, the player tracking server 2000 may acquire the first position of the target sports participant based on the pixel position corresponding to the target sports participant in the first valid image. Also, the athlete tracking server 2000 may obtain the second location of the target sports participant based on a pixel location corresponding to the target sports participant in the second valid image.

최종적으로 선수 추적 서버(2000)는 상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다. Finally, the player tracking server 2000 may determine the location of the target sports participant based on both the first location and the second location.

일 예로 선수 추적 서버(2000)는 상기 제1 위치 및 상기 제2 위치를 평균내서 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다. For example, the player tracking server 2000 may determine the location of the target sports participant by averaging the first location and the second location.

다른 실시예로, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치의 위치를 고려하여 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다. 이를 위하여, 선수 추적 서버(2000)는 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치의 위치와 관련된 조건을 고려하여, 유효 이미지들로부터 단일 이미지를 선택하도록 제공될 수 있다. 이때, 선수 추적 서버(2000)는 단일 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다.In another embodiment, when there are a plurality of selected valid images, the player tracking server 2000 may determine the location of the target sports participant in consideration of the location of the target sports participant and the image capture device that has captured the valid image. To this end, the athlete tracking server 2000 may be provided to select a single image from the valid images in consideration of a condition related to the location of the target sports participant and the image capture device that took the valid image. In this case, the player tracking server 2000 may determine the location of the target sports participant based on the single image.

예를 들어, 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치가 상대적으로 가까운 경우의 유효 이미지로부터 획득된 타겟 스포츠 참가자의 위치는 상대적으로 정확할 가능성이 높다. 반면, 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치가 상대적으로 먼 경우의 유효 이미지로부터 획득된 타겟 스포츠 참가자의 위치는 상대적으로 정확할 가능성이 높다. For example, when the location of the target sports participant and the image capturing device that captured the valid image are relatively close, the position of the target sports participant obtained from the valid image is highly likely to be relatively accurate. On the other hand, when the location of the target sports participant and the location of the image capture device that captured the effective image are relatively far, the location of the target sports participant obtained from the effective image is highly likely to be relatively accurate.

따라서, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치와 관련된 조건들을 추가적으로 고려하여 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다. Accordingly, when there are a plurality of selected valid images, the player tracking server 2000 may determine the location of the target sports participant by additionally considering conditions related to the location between the target sports participant and the image capture device that has captured the valid images.

다른 실시예로, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터를 고려하여 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다. 이를 위하여, 선수 추적 서버(2000)는 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련된 조건을 고려하여, 유효 이미지들로부터 단일 이미지를 선택하도록 제공될 수 있다. 이때, 선수 추적 서버(2000)는 단일 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다.In another embodiment, when there are a plurality of valid images selected, the athlete tracking server 2000 may determine the location of the target sports participant in consideration of a lens distortion parameter of an image capture device that has captured the valid image. To this end, the player tracking server 2000 may be provided to select a single image from the valid images in consideration of a condition related to a lens distortion parameter of an image capture device that has taken a valid image. In this case, the player tracking server 2000 may determine the location of the target sports participant based on the single image.

예를 들어, 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련하여, 타겟 스포츠 참가자가 유효 이미지 내의 렌즈 왜곡이 상대적으로 큰(예, 유효 이미지 내의 가장가리부) 영역에 위치하는 경우에는, 타겟 스포츠 참가자로부터 획득된 위치가 정확도가 낮을 수 있다. For example, with respect to the lens distortion parameter of the image capture device that took the effective image, if the target sports participant is located in a region where the lens distortion in the effective image is relatively large (eg, at the edge of the effective image), A location obtained from a target sports participant may have low accuracy.

반면, 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련하여, 타겟 스포츠 참가자가 유효 이미지 내의 렌즈 왜곡이 상대적으로 작은(예, 유효 이미지 내의 중심부) 영역에 위치하는 경우에는, 타겟 스포츠 참가자로부터 획득된 위치가 정확도가 높을 수 있다.On the other hand, with respect to the lens distortion parameter of the image capture device that has captured the effective image, when the target sports participant is located in an area where the lens distortion in the effective image is relatively small (eg, the center in the effective image), the target sports participant The obtained position may have high accuracy.

따라서, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련된 조건들을 추가적으로 고려하여, 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다. Accordingly, when there are a plurality of valid images selected, the player tracking server 2000 may determine the location of the target sports participant by additionally considering conditions related to the lens distortion parameter of the image capturing device that has captured the valid image.

본 출원의 일 실시예에 따른 선수 추적 서버(2000)는, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸는지 혹은 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌는지 여부를 고려해서, 타겟 스포츠 참가자의 위치를 결정할 수 있다. 바람직하게는, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸는지 혹은 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌는지 여부를 고려해서, 타겟 스포츠 참가자의 위치를 결정하는 것은, 유효 이미지가 없는 경우, 즉 복수의 이미지 데이터로부터 타겟 스포츠 참가자가 검출되었으나 모든 후보 이미지에서 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 발생한 경우에 유리하게 적용될 수 있다. 이를 위하여 선수 추적 서버(2000)는 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸는지 혹은 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌는지 여부를 고려해서, 후보 이미지들로부터 타겟 이미지를 선택하도록 제공될 수 있다. 이때, 선수 추적 서버(2000)는 상기 타겟 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다.The player tracking server 2000 according to an embodiment of the present application determines the location of the target sports participant by considering whether the target sports participant is obscured by other sports participants or the target sports participant is obscured by other sports participants. can Preferably, taking into account whether the target sports participant is obscured by another sports participant or the target sports participant is obscured by another sports participant, determining the location of the target sports participant comprises: It can be advantageously applied when a target sports participant is detected from the image data, but an occlusion event related to the target sports participant occurs in all candidate images. To this end, the player tracking server 2000 may be provided to select a target image from candidate images in consideration of whether the target sports participant has covered other sports participants or whether the target sports participant has been covered by other sports participants. In this case, the player tracking server 2000 may determine the location of the target sports participant based on the target image.

예를 들어, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸다면 이미지 데이터 내의 타겟 스포츠 참가자에 대응하는 픽셀 위치는 특정될 수 있다. 따라서, 선수 추적 서버(2000)는 타겟 스포츠 참가자가 다른 스포츠 참가자를 가린 이미지 데이터를 타겟 이미지로 선택할 수 있다. 또한, 선수 추적 서버(2000)는 선택된 타겟 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다. For example, a pixel location corresponding to the target sports participant in the image data may be specified if the target sports participant has obscured another sports participant. Accordingly, the player tracking server 2000 may select image data in which the target sports participant obscures other sports participants as the target image. Also, the player tracking server 2000 may determine the location of the target sports participant based on the selected target image.

반면, 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌다면 이미지 데이터 내의 타겟 스포츠 참가자에 대응하는 픽셀 위치가 특정되지 않을 가능성이 높다. 따라서, 선수 추적 서버(2000)는 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려진 이미지 데이터는, 타겟 스포츠 참가자의 위치를 결정하는데 이용되지 않도록 구현될 수 있다. On the other hand, if the target sports participant is obscured by other sports participants, there is a high possibility that the pixel position corresponding to the target sports participant in the image data is not specified. Accordingly, the athlete tracking server 2000 may be implemented so that image data of the target sports participant obscured by other sports participants is not used to determine the location of the target sports participant.

다만, 상술한 내용은 예시에 불과하며, 모든 후보 이미지들로부터 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 발생한 경우에는, 도 16 내지 도 25에서 서술한, 측위 센서 기반 위치를 이용하여 선수의 위치를 결정할 수 있음은 자명하다. However, the above is only an example, and when an occlusion event related to a target sports participant occurs from all candidate images, the position of the player is determined using the positioning sensor-based position described in FIGS. 16 to 25 . It is obvious that you can decide.

이상에서는 본 출원의 일 실시예에 따른 선수 추적 서버(2000)의 구성과 동작에 대하여 서술하였다. 이하에서는 본 실시예에 따른 선수 추적 방법에 관하여 설명한다. 이하의 설명에서는 본 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)에 의해 수행되는 것으로 설명한다. 다만, 이는 설명의 편의를 위한 것에 불과하므로, 본 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)으로 한정되는 것은 아니다. 즉, 후술되는 선수 추적 방법이 반드시 선수 추적 시스템(100)에 의해서만 수행되어야 하는 것은 아니며 상술한 선수 추적 시스템(100)과 유사한 기능을 갖는 다른 시스템이나 장치 등에 의해 수행되는 것도 가능하다.In the above, the configuration and operation of the player tracking server 2000 according to an embodiment of the present application has been described. Hereinafter, a method for tracking a player according to the present embodiment will be described. In the following description, it will be described that the player tracking method according to the present embodiment is performed by the aforementioned player tracking system 100 . However, since this is only for convenience of explanation, the player tracking method according to the present embodiment is not limited to the player tracking system 100 described above. That is, the player tracking method described later does not necessarily have to be performed only by the player tracking system 100 , and may be performed by other systems or devices having a function similar to the above-described player tracking system 100 .

도 28을 참고한다. 도 28은 본 출원의 일 실시예에 따른 선수 추적 방법에 관한 순서도이다.See FIG. 28 . 28 is a flowchart of a player tracking method according to an embodiment of the present application.

도 28을 참조하면, 본 출원의 일 실시예에 따른 선수 추적 방법은 복수의 이미지 데이터를 획득하는 단계(S7100), 타겟 스포츠 참가자가 포함된 이미지 데이터를 선택하는 단계(S7200), 유효 이미지를 선택하는 단계(S7300), 유효 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정하는 단계(S7400)를 포함할 수 있다.Referring to FIG. 28 , the athlete tracking method according to an embodiment of the present application includes acquiring a plurality of image data (S7100), selecting image data including a target sports participant (S7200), and selecting a valid image performing (S7300), and determining the location of the target sports participant based on the valid image (S7400).

이하에서는 상술한 각 단계들에 대하여 보다 구체적으로 설명한다. Hereinafter, each of the above-described steps will be described in more detail.

선수 추적 서버(2000)는 복수의 이미지 데이터를 획득할 수 있다. (S7100) 구체적으로는, 선수 추적 서버(2000)는 통신 모듈(1100)을 통하여 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 복수의 이미지 데이터를 획득할 수 있다. The player tracking server 2000 may acquire a plurality of image data. (S7100) Specifically, the player tracking server 2000 may acquire a plurality of image data from the plurality of image capturing devices 301 , 302 , 303 , and 304 through the communication module 1100 .

상기 S7100 단계에서는, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들(301, 302, 303, 304)로부터 촬영된 복수의 이미지 데이터를 획득할 수 있다. 이때, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 위치 및 포즈와 관련된 배열 정보, 이미지 캡처 장치의 식별자(identifier), 렌즈 왜곡 파라미터, 스포츠 참가자의 위치와 관련된 데이터(이미지 데이터의 픽셀 데이터 혹은 측위 센서 데이터) 또한 획득할 수 있다. In step S7100 , the player tracking server 2000 may acquire a plurality of image data captured from a plurality of image capturing devices 301 , 302 , 303 , and 304 . At this time, the player tracking server 2000 is arranged information related to the positions and poses of the plurality of image capturing devices 301 , 302 , 303 , 304 , an identifier of the image capturing device, a lens distortion parameter, a position of a sports participant Data related to (pixel data of image data or positioning sensor data) may also be acquired.

상기 S7100 단계에서 획득된 복수의 이미지 데이터들 각각은 복수의 스포츠 참가자들을 포함할 수 있다. 상기 복수의 이미지 데이터들 각각은 위치를 결정하고자 하는 타겟 스포츠 참가자가 포함할 수 있으나, 타겟 스포츠 참가자를 포함하지 않을 수도 있다. Each of the plurality of image data obtained in step S7100 may include a plurality of sports participants. Each of the plurality of image data may include a target sports participant whose location is to be determined, but may not include a target sports participant.

따라서, 선수 추적 서버(2000)는 복수의 이미지 데이터로부터 타겟 스포츠 참가자를 검출하여, 타겟 스포츠 참가자가 포함된 이미지 데이터를 선택할 수 있다.(S7200). 구체적으로 선수 추적 서버(2000)는 복수의 이미지 데이터 내에 포함된 타겟 스포츠 참가자를 검출하는 동작을 수행하도록 제공될 수 있다. 이때, 상기 선수 추적 서버(2000)는, 타겟 스포츠 참가자의 검출 결과에 따라 후보 이미지를 선택하도록 구현될 수 있다. Accordingly, the player tracking server 2000 may detect the target sports participant from the plurality of image data and select the image data including the target sports participant (S7200). Specifically, the player tracking server 2000 may be provided to perform an operation of detecting a target sports participant included in a plurality of image data. In this case, the player tracking server 2000 may be implemented to select a candidate image according to the detection result of the target sports participant.

예를 들어, 선수 추적 서버(2000)는 타겟 스포츠 참가자가 검출된 이미지 데이터를 후보 이미지로 선택할 수 있다.For example, the player tracking server 2000 may select image data detected by the target sports participant as a candidate image.

이때 타겟 스포츠 참가자가 검출된 후보 이미지는 적어도 하나 이상일 수 있다. In this case, there may be at least one candidate image in which the target sports participant is detected.

일 예로, 복수의 이미지 데이터 전체에서 타겟 스포츠 참가자가 검출될 수 있다. 이때는, 타겟 스포츠 참가자가 검출된 이미지가 모두 후보 이미지로 선택될 수 있다.For example, a target sports participant may be detected from all of the plurality of image data. In this case, all images in which the target sports participant is detected may be selected as candidate images.

다만, 타겟 스포츠 참가자의 검출 여부에 따라 선택된 상기 후보 이미지는, 타겟 스포츠 참가자의 위치를 결정하는 데 기초가 되기에 적절하지 않은 이미지들을 포함할 수 있다. However, the candidate image selected according to whether the target sports participant is detected may include images that are not suitable as a basis for determining the location of the target sports participant.

따라서, 선수 추적 서버(2000)는 후보 이미지로부터 유효 이미지를 선택할 수 있다. (S7300) 여기서, 유효 이미지란, 타겟 스포츠 참가자의 위치를 결정하기에 임의의 적절한 이미지를 포괄하는 의미로 사용될 수 있다. Accordingly, the player tracking server 2000 may select a valid image from the candidate image. (S7300) Here, the effective image may be used to encompass any suitable image for determining the location of the target sports participant.

구체적으로 선수 추적 서버(2000)는, 상기 후보이미지들로부터, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 검출 여부를 고려하여, 유효 이미지를 선택하도록 제공될 수 있다.Specifically, the player tracking server 2000 may be provided to select a valid image from the candidate images in consideration of whether an occlusion event related to a target sports participant is detected.

일 예로, 선수 추적 서버(2000)는, 오클루전 이벤트를 검출하거나 오클루전 이벤트의 발생 여부를 판단할 수 있다. 혹은 선수 추적 서버(2000)는, 오클루전 이벤트의 심각도를 판단할 수 있다. For example, the player tracking server 2000 may detect an occlusion event or determine whether an occlusion event has occurred. Alternatively, the player tracking server 2000 may determine the severity of the occlusion event.

특히 선수 추적 서버(2000)는, "타겟 스포츠 참가자와 관련"된, 오클루전 이벤트를 검출하거나 오클루전 이벤트의 발생 여부를 판단할 수 있다. 혹은 선수 추적 서버(2000)는, "타겟 스포츠 참가자와 관련"된 오클루전 이벤트의 심각도를 판단할 수 있다. In particular, the player tracking server 2000 may detect an occlusion event "related to a target sports participant" or determine whether an occlusion event has occurred. Alternatively, the player tracking server 2000 may determine the severity of the occlusion event "related to the target sports participant".

이때, 선수 추적 서버(2000)는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 검출 결과에 기초하여, 상기 S7200 단계에서 선택된 후보이미지들로부터 적어도 하나 이상의 유효 이미지를 선택할 수 있다. In this case, the player tracking server 2000 may select at least one valid image from the candidate images selected in step S7200 based on the detection result of the occlusion event related to the target sports participant.

예를 들어, 선수 추적 서버(2000)는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되지 않은 후보 이미지들을 유효 이미지를 선택할 수 있다. For example, the player tracking server 2000 may select valid images from candidate images in which an occlusion event related to the target sports participant is not detected.

반면 선수 추적 서버(2000)는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 후보이미지들을 유효 이미지로 선택하지 않을 수 있다. 다만, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 경우라도 오클루전 이벤트가 심각하지 않다고 판단된 경우에는, 선수 추적 서버(2000)는 해당 후보 이미지를 유효 이미지로 선택하도록 제공될 수 있을 것이다. On the other hand, the player tracking server 2000 may not select candidate images in which an occlusion event related to the target sports participant is detected as valid images. However, even when an occlusion event related to the target sports participant is detected, if it is determined that the occlusion event is not serious, the player tracking server 2000 may be provided to select the candidate image as a valid image. .

상기 S7300 단계에서는, 오클루전 이벤트의 검출 결과를 고려하여 선택된 유효이미지들로부터, 추가적인 조건들을 고려하여 단일 이미지가 선택될 수 있다. In step S7300 , a single image may be selected in consideration of additional conditions from valid images selected in consideration of the detection result of the occlusion event.

구체적으로, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 검출 결과를 고려하여 선택된 유효 이미지가 복수개인 경우, 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치와 관련된 조건이나 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련된 조건들을 추가적으로 고려하여, 유효이미지들로부터 단일 이미지가 선택될 수 있다. Specifically, when there are a plurality of valid images selected in consideration of the detection result of the occlusion event related to the target sports participant, a condition related to the location between the target sports participant and the image capture device that took the valid image or an image obtained by taking the valid image A single image may be selected from the valid images by additionally considering conditions related to the lens distortion parameter of the capture device.

일 예로, 유효 이미지 내에 포함된 타겟 스포츠 참가자의 크기나 선명도에 따라 결정된 타겟 스포츠 참가자의 위치의 정확도가 상이할 수 있다. 유효 이미지 내에 포함된 타겟 스포츠 참가자의 크기가 크거나 해상도가 선명하다면, 해당 유효 이미지로부터 결정된 타겟 스포츠 참가자의 위치는 상대적으로 정확할 것이다. For example, the accuracy of the location of the target sports participant determined according to the size or sharpness of the target sports participant included in the effective image may be different. If the size of the target sports participant included in the valid image is large or the resolution is clear, the location of the target sports participant determined from the valid image will be relatively accurate.

이때, 유효 이미지 내에 포함된 타겟 스포츠 참가자의 크기나 해상도는 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 위치에 의존할 수 있다. 예를 들어, 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 위치가 상대적으로 가까운 경우에는, 타겟 스포츠 참가자가 크고 선명하게 촬영되었을 수 있다. 반면, 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 위치가 상대적으로 먼 경우에는, 타겟 스포츠 참가자가 상대적으로 작고 선명하지 않게 촬영되었을 수 있다. In this case, the size or resolution of the target sports participant included in the effective image may depend on the location of the target sports participant and the location where the effective image is captured. For example, when the location of the target sports participant and the location where the effective image is photographed are relatively close, the target sports participant may be photographed large and clear. On the other hand, when the location of the target sports participant and the location at which the effective image is photographed are relatively far, the target sports participant may be photographed relatively small and indistinctly.

따라서, 일 실시예에 따르면, 상기 S7300 단계에서는 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치와 관련된 조건을 고려하여, 유효 이미지들로부터 단일이미지가 선택되도록 구현될 수 있다. Therefore, according to an embodiment, in step S7300, a single image may be selected from valid images in consideration of a condition related to a location between a target sports participant and an image capture device that has taken a valid image.

다른 예로, 유효 이미지 내의 타겟 스포츠 참가자의 위치와 유효 이미지의 영역별 왜곡 정도에 따라, 결정된 타겟 스포츠 참가자의 위치의 정확도가 상이할 수 있다. As another example, the determined accuracy of the location of the target sports participant may be different according to the location of the target sports participant in the valid image and the distortion level for each region of the valid image.

예를 들어, 타겟 스포츠 참가자가 유효 이미지의 왜곡이 적은 영역에 위치된 경우에는, 해당 유효 이미지로부터 결정된 타겟 스포츠 참가자의 위치는 상대적으로 정확할 것이다. For example, when the target sports participant is located in an area with little distortion of the effective image, the location of the target sports participant determined from the effective image will be relatively accurate.

다른 예를 들어, 타겟 스포츠 참가자가 유효 이미지 내에 왜곡 정도가 상대적으로 적은 중심부에 위치하는 경우에는, 해당 유효 이미지로부터 결정된 타겟 스포츠 참가자의 위치의 정확도가 상대적으로 높을 수 있다. 반면 타겟 스포츠 참가자가 유효 이미지 내에 왜곡 정도가 상대적으로 많은 가장가리에 위치하는 경우에는, 해당 유효 이미지로부터 결정된 타겟 스포츠 참가자의 위치의 정확도가 상대적으로 낮을 수 있다.As another example, when the target sports participant is located in the center of the effective image with a relatively low degree of distortion, the accuracy of the location of the target sports participant determined from the effective image may be relatively high. On the other hand, when the target sports participant is located at the edge with a relatively large degree of distortion in the effective image, the accuracy of the location of the target sports participant determined from the effective image may be relatively low.

이때, 유효 이미지의 영역별 왜곡 정도는 렌즈 왜곡 파라미터에 의존할 수 있다. 따라서, 일 실시예에 따르면, 상기 S7300 단계에서는 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련된 조건을 고려하여, 유효 이미지들로 단일 이미지가 선택되도록 구현될 수 있다. In this case, the distortion degree for each area of the effective image may depend on the lens distortion parameter. Accordingly, according to an embodiment, in step S7300, a single image may be selected as valid images in consideration of a condition related to a lens distortion parameter of an image capturing apparatus that has captured an effective image.

상기 S7300 단계에서는, 상기 S7200 단계에서 선택된 후보이미지들로부터, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 유형을 고려하여 타겟 이미지가 선택될 수 있다. 바람직하게는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 유형을 고려하여 타겟 이미지를 선택하는 것은, 모든 후보 이미지들에 대하여, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 경우에 유리하게 적용될 수 있다. In step S7300, a target image may be selected from the candidate images selected in step S7200 in consideration of the type of the occlusion event related to the target sports participant. Preferably, the selection of the target image in consideration of the type of occlusion event associated with the target sports participant may be advantageously applied when, for all candidate images, an occlusion event associated with the target sports participant is detected. have.

상기 오클루전 이벤트의 유형은, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가림에 따라 발생한 제1 유형과 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려짐에 따른 제2 유형을 포함할 수 있다. The type of the occlusion event may include a first type that occurs when a target sports participant obscures another sports participant, and a second type that occurs when the target sports participant is obscured by another sports participant.

상기 제1 유형의 경우에는, 타겟 스포츠 참가자에 대응되는 픽셀의 위치를 특정하는 것이 상대적으로 용이할 수 있다. 반면 상기 제2 유형의 경우에는 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌기 때문에 타겟 스포츠 참가자에 대응되는 픽셀의 위치를 특정하는 것이 상대적으로 어려울 수 있다. In the case of the first type, it may be relatively easy to specify a position of a pixel corresponding to a target sports participant. On the other hand, in the case of the second type, since the target sports participant is obscured by another sports participant, it may be relatively difficult to specify a position of a pixel corresponding to the target sports participant.

따라서, 선수 추적 서버(2000)는 상기 제1 유형에 해당하는 후보 이미지를 타겟 이미지로 선택하도록 제공될 수 있다. 반면, 선수 추적 서버(2000)는상기 제2 유형에 해당하는 후보 이미지를 타겟 이미지로 선택하지 않도록 제공될 수 있다. Accordingly, the player tracking server 2000 may be provided to select the candidate image corresponding to the first type as the target image. On the other hand, the player tracking server 2000 may be provided so as not to select the candidate image corresponding to the second type as the target image.

선수 추적 서버(2000)는 선택된 유효이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다. (S7400)The player tracking server 2000 may determine the location of the target sports participant based on the selected valid image. (S7400)

구체적으로 선수 추적 서버(2000)는, 상기 S7300 단계에서 선택된 유효 이미지, 타겟 이미지 혹은 단일 이미지(이하, 유효 이미지 등) 내의 타겟 스포츠 참가자에 대응되는 픽셀 위치를 고려하여 타겟 스포츠 참가자의 위치를 결정하도록 제공될 수 있다.Specifically, the player tracking server 2000 determines the position of the target sports participant in consideration of the pixel position corresponding to the target sports participant in the valid image, the target image, or a single image (hereinafter, effective image, etc.) selected in step S7300. can be provided.

일 예로, 상기 S7300 단계에서 선택된 유효 이미지 등이 단수인 경우에는, 상기 선택 이미지의 타겟 스포츠 참가자에 대응되는 픽셀 위치를 고려하여 타겟 스포츠 참가자의 위치가 결정될 수 있다. For example, when the valid image selected in step S7300 is singular, the position of the target sports participant may be determined in consideration of the pixel position corresponding to the target sports participant of the selected image.

다른 예로, 상기 S7300 단계에서 선택된 유효 이미지 등이 복수인 경우에는, 상기 복수의 유효 이미지 등 내에 타겟 스포츠 참가자에 대응되는 픽셀 위치를 모두(혹은 일부) 고려하여 타겟 스포츠 참가자의 위치가 결정될 수 있다. 예를 들어, 복수의 유효 이미지 등으로부터 획득된 픽셀 위치들을 평균하여 타겟 스포츠 참가자의 위치가 결정될 수 있다.As another example, when there are a plurality of valid images selected in step S7300, the location of the target sports participant may be determined by considering all (or some) pixel positions corresponding to the target sports participant in the plurality of valid images. For example, the position of the target sports participant may be determined by averaging pixel positions obtained from a plurality of valid images or the like.

또는, 상기 S7300 단계에서 선택된 유효 이미지 등이 복수인 경우에는, 상기 S7300 단계에서 서술한, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 조건이나 렌즈 왜곡 파라미터와 관련된 조건을 더 고려하여 타겟 스포츠 참가자의 위치가 결정될 수 있다. 예를 들어, 유효 이미지 등으로부터, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 조건이나 렌즈 왜곡 파라미터와 관련된 조건을 고려하여 선택된 단일 이미지 내에 타겟 스포츠 참가자에 대응되는 픽셀 위치를 고려하여 타겟 스포츠 참가자의 위치가 결정될 수 있다.Alternatively, if there are a plurality of valid images selected in step S7300, the conditions related to the position between the target participant and the camera that photographed the at least one valid image or conditions related to lens distortion parameters described in step S7300 In further consideration, the location of the target sports participant may be determined. For example, pixel positions corresponding to target sports participants within a single image selected from a valid image, etc., taking into account a condition related to a position between the target participant and a camera that captured the at least one valid image or a condition related to a lens distortion parameter. The location of the target sports participant may be determined in consideration of

상술한 바에 따르면, 이미지 데이터로부터 획득된 위치들에 기초하여 타겟 스포츠 참가자의 위치를 결정하는 것을 중심으로 기재하였으나, 측위 센서 데이터로부터 획득된 위치를 고려하여 스포츠 참가자의 위치를 결정하는 도 16 내지 27의 내용이 적용될 수 있음은 자명하다.According to the above description, although the determination of the location of the target sports participant based on the locations obtained from the image data has been mainly described, FIGS. 16 to 27 for determining the location of the sports participant in consideration of the location obtained from the positioning sensor data It is obvious that the contents of

본 명세서의 일 실시예에 따르면, 선수 추적 서버(2000)는 스포츠 참가자의 위치를 결정하기 위해 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 이미지 데이터를 획득할 수 있다. 또한, 선수 추적 서버(2000)는 스포츠 참가자의 위치를 결정하기 위해 측위 센서 장치(200)로부터 측위 센서 데이터를 획득할 수 있다. 또한 선수 추적 서버(2000)는 획득된 이미지 데이터로부터 이미지 기반 위치를 계산할 수 있으며, 획득된 측위 센서 데이터로부터 측위 센서 기반 위치를 계산할 수 있다. 또한, 선수 추적 서버(2000)는 계산된 이미지 기반 위치 및 측위 센서 기반 위치에 기초하여 가상 플레이필드를 생성하거나 매칭테이블을 생성할 수 있다. 다만 바람직한 일 실시예에 따르면, 선수 추적 서버(2000)는 측위 센서 기반 위치에 기초하여 가상 플레이필드를 생성하거나 매칭테이블을 생성할 수 있다. According to an embodiment of the present specification, the athlete tracking server 2000 may acquire image data from a plurality of image capturing devices 301 , 302 , 303 , and 304 to determine a location of a sports participant. Also, the athlete tracking server 2000 may obtain positioning sensor data from the positioning sensor device 200 to determine the position of the sports participant. Also, the player tracking server 2000 may calculate an image-based position from the acquired image data, and may calculate a positioning sensor-based position from the acquired positioning sensor data. Also, the player tracking server 2000 may generate a virtual playfield or a matching table based on the calculated image-based position and the positioning sensor-based position. However, according to a preferred embodiment, the player tracking server 2000 may generate a virtual playfield or a matching table based on the positioning sensor-based position.

본 명세서의 일 실시예에 따른 선수 추적 서버(2000)는 도 4와 관련하여 서술한 내용이 동일하게 적용될 수 있다. 즉, 선수 추적 서버(2000)는 통신 모듈(1100), 메모리(1200), 컨트롤러(1300)를 포함할 수 있다. 특히 통신 모듈(1100), 메모리(1200) 및 컨트롤러(1300)의 내용은 도 4와 관련한 내용이 동일하게 적용될 수 있는 바, 자세한 설명은 생략하기로 한다. 따라서, 이하에서는 선수 추적 서버(2000)에 대하여 추가되는 내용을 중심으로 서술한다. In the player tracking server 2000 according to an embodiment of the present specification, the contents described with reference to FIG. 4 may be applied in the same manner. That is, the player tracking server 2000 may include a communication module 1100 , a memory 1200 , and a controller 1300 . In particular, the contents of the communication module 1100 , the memory 1200 , and the controller 1300 may be the same as those related to FIG. 4 , and detailed descriptions thereof will be omitted. Therefore, hereinafter, the content added to the player tracking server 2000 will be mainly described.

본 실시예에 따른 선수 추적 시스템(100)은 복수의 이미지 캡처 장치로부터 복수의 이미지 데이터를 획득할 수 있다. 구체적으로 선수 추적 서버(200)는 복수의 이미지 캡처 장치로부터 촬영된 복수의 이미지 데이터를 획득할 수 있다. 또한, 선수 추적 시스템(100)은 복수의 이미지 캡처 장치로부터 복수의 이미지 캡처 장치의 위치 및 포즈와 관련된 배열 정보를 획득할 수 있다. 또한 선수 추적 시스템(100)은 측위 센서 장치(200)로부터 측위 센서 데이터를 획득할 수 있다. 또한 선수 추적 시스템(100)은 이미지 캡처 장치와 관련된 배열 정보와 측위 센서 데이터를 기초로 가상 플레이필드를 생성하여 매칭 테이블을 생성할 수 있다. The player tracking system 100 according to the present embodiment may acquire a plurality of image data from a plurality of image capturing devices. Specifically, the player tracking server 200 may acquire a plurality of image data captured from a plurality of image capturing devices. Also, the player tracking system 100 may obtain arrangement information related to positions and poses of the plurality of image capturing devices from the plurality of image capturing devices. Also, the player tracking system 100 may acquire positioning sensor data from the positioning sensor device 200 . In addition, the player tracking system 100 may generate a matching table by creating a virtual playfield based on the arrangement information related to the image capture device and the positioning sensor data.

본 출원의 일 실시예에 따른 선수 추적 서버(2000)는 도 6 내지 도 11와 관련하여 상술한, 이미지 데이터로부터 획득한 스포츠 참가자의 위치의 유효성을 판단할 수 있다. The player tracking server 2000 according to an embodiment of the present application may determine the validity of the location of the sports participant obtained from the image data described above with reference to FIGS. 6 to 11 .

예를 들어, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 획득된 복수의 이미지 데이터 각각에 대하여 오클루전 이벤트를 검출하거나 오클루전 이벤트가 발생하였는지 여부를 판단할 수 있다. For example, the player tracking server 2000 detects an occlusion event for each of a plurality of image data acquired from a plurality of image capture devices 301 , 302 , 303 , and 304 , or whether an occlusion event has occurred can be judged

또한, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 획득된 복수의 이미지 데이터 각각에 대하여 오클루전 이벤트의 심각도를 판단할 수 있다. Also, the player tracking server 2000 may determine the severity of the occlusion event with respect to each of the plurality of image data acquired from the plurality of image capturing devices 301 , 302 , 303 , and 304 .

본 실시예에 따른 선수 추적 시스템(100)은 가상 플레이필드를 생성할 수 있다. 구체적으로 선수 추적 서버(2000)는 이미지 캡처 장치와 관련된 배열 정보와 측위 센서 데이터를 기초로 가상 플레이필드를 생성하도록 제공될 수 있다. 구체적으로 선수 추적 서버(2000)는 이미지 캡처 장치의 위치와 관련된 배열 정보를 기초로 이미지 캡처 장치에 대응되는 가상의 포인트를 생성할 수 있다. The player tracking system 100 according to the present embodiment may create a virtual playfield. Specifically, the player tracking server 2000 may be provided to generate a virtual playfield based on the arrangement information related to the image capture device and the positioning sensor data. In more detail, the player tracking server 2000 may generate a virtual point corresponding to the image capturing device based on arrangement information related to the position of the image capturing device.

또한 선수 추적 서버(2000)는 복수의 스포츠 참가자의 측위 센서 데이터에 기초하여 복수의 스포츠 참가자의 위치에 각각 대응하는 복수의 무빙 포인트를 생성할 수 있다. Also, the player tracking server 2000 may generate a plurality of moving points respectively corresponding to the positions of the plurality of sports participants based on the positioning sensor data of the plurality of sports participants.

본 실시예에 따른 선수 추적 시스템(100)은 생성된 가상 플레이필드에 기초하여 오클루전 이벤트(혹은 오클루전 이벤트의 심각도)을 예측하도록 구현될 수 있다. 구체적으로 선수 추적 서버(2000)는 가상 플레이필드의 복수의 무빙포인트 간의 위치 관계, 이미지 캡처 장치의 포즈와 관련된 배열정보에 기초하여 스포츠 참가자 간의 오클루전 이벤트를 예측하도록 구현될 수 있다. The player tracking system 100 according to the present embodiment may be implemented to predict the occlusion event (or the severity of the occlusion event) based on the generated virtual playfield. Specifically, the player tracking server 2000 may be implemented to predict an occlusion event between sports participants based on a positional relationship between a plurality of moving points of a virtual playfield and arrangement information related to a pose of an image capturing device.

본 실시예에 따른 선수 추적 시스템(100)은 생성된 가상 플레이필드에 기초하여 복수의 이미지 캡처 장치와 복수의 스포츠 참가자 간의 매칭테이블을 생성하도록 구현될 수 있다. The player tracking system 100 according to the present embodiment may be implemented to generate a matching table between a plurality of image capture devices and a plurality of sports participants based on the generated virtual playfield.

구체적으로, 선수 추적 서버(2000)는 생성된 가상 플레이필드의 이미지 캡처 장치에 대응하는 복수의 포인트와 스포츠 참가자에 대응하는 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 복수의 이미지 캡처 장치와 복수의 스포츠 참가자 간의 관련성을 계산할 수 있다. 이때, 선수 추적 서버(2000)는 상기 관련성과 오클루전 이벤트의 예측 결과에 기초하여 복수의 이미지 캡처 장치들과 스포츠 참가자들간의 매칭 테이블을 생성하도록 구현될 수 있다. Specifically, the player tracking server 2000 is configured to provide a plurality of image capture devices and a plurality of sports based on the relative positions between the plurality of points corresponding to the image capture devices of the generated virtual playfield and the plurality of moving points corresponding to the sports participants. Relevance between participants can be calculated. In this case, the player tracking server 2000 may be implemented to generate a matching table between the plurality of image capture devices and the sports participants based on the relevance and the prediction result of the occlusion event.

도 29를 참고한다. 도 29는 본 출원의 일 실시예에 따른 가상 플레이필드를 도식화한 예시적인 도면이다. See FIG. 29 . 29 is an exemplary diagram schematically illustrating a virtual playfield according to an embodiment of the present application.

선수 추적 서버(2000)는, 이미지 캡처 장치들의 배열 정보 및 복수의 스포츠 참가자들의 위치 정보에 기초하여 가상 플레이필드를 생성할 수 있다.The player tracking server 2000 may generate a virtual playfield based on arrangement information of image capturing devices and location information of a plurality of sports participants.

상기 이미지 캡처 장치들의 배열 정보는 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 위치, 라인 오브 사이트(line of sight) 및 포즈에 대한 정보를 포함할 수 있다.The arrangement information of the image capturing devices may include information on positions, line of sight, and poses of the plurality of image capturing devices 301 , 302 , 303 , and 304 .

상기 복수의 스포츠 참가자들의 위치 정보는 측위 센서 데이터로부터 획득될 수 있다. 또는 상기 복수의 스포츠 참가자들의 위치 정보는 이미지 데이터로부터 획득될 수 있다. The location information of the plurality of sports participants may be obtained from positioning sensor data. Alternatively, the location information of the plurality of sports participants may be obtained from image data.

선수 추적 서버(2000)는, 상기 이미지 캡처 장치들의 배열 정보를 고려하여, 상기 복수의 이미지 캡처 장치들에 대응하는 복수의 포인트를 가상의 플레이필드 좌표계에 생성할 수 있다. The player tracking server 2000 may generate a plurality of points corresponding to the plurality of image capturing devices in a virtual playfield coordinate system in consideration of arrangement information of the image capturing devices.

이때, 이미지 캡처 장치들의 위치는 변화할 수 있으나, 고정되어 있을 수 있다. In this case, the positions of the image capturing devices may be changed, but may be fixed.

이미지 캡처 장치들의 위치가 변하는 경우, 선수 추적 서버(2000)는, 스포츠 경기 진행에 따라 복수의 이미지 캡처 장치들의 위치 정보의 변화를 고려하여 상기 복수의 이미지 캡처 장치들에 대응하는 복수의 무빙 포인트를 가상의 플레이필드 좌표계에 생성할 수 있다.When the positions of the image capturing devices change, the player tracking server 2000 selects a plurality of moving points corresponding to the plurality of image capturing devices in consideration of changes in the position information of the plurality of image capturing devices according to the progress of a sports game. It can be created in the virtual playfield coordinate system.

이미지 캡처 장치들의 위치가 고정된 경우, 선수 추적 서버(2000)는, 도 29에 도시된 것과 같이 상기 복수의 이미지 캡처 장치들에 대응하는 복수의 고정 포인트(FP1, FP2, FP3, FP4)를 가상의 플레이필드 좌표계에 생성할 수 있다.When the positions of the image capturing devices are fixed, the player tracking server 2000 virtualizes a plurality of fixed points FP1, FP2, FP3, FP4 corresponding to the plurality of image capturing devices as shown in FIG. It can be created in the playfield coordinate system of

또한, 선수 추적 서버(2000)는, 상기 복수의 스포츠 참가자들의 위치 정보를 고려하여, 상기 복수의 스포츠 참가자들에 대응하는 복수의 포인트(MP1, MP2, MP3)를 가상의 플레이필드 좌표계에 생성할 수 있다. In addition, the player tracking server 2000 may generate a plurality of points (MP1, MP2, MP3) corresponding to the plurality of sports participants in a virtual playfield coordinate system in consideration of the location information of the plurality of sports participants. can

또한, 선수 추적 서버(2000)는, 스포츠 경기 진행에 따라 복수의 스포츠 참가자들의 위치 정보의 변화를 고려하여 상기 복수의 스포츠 참가자들에 대응하는 복수의 포인트를 가상의 플레이필드 좌표계에 생성할 수 있다. 즉, 상기 복수의 스포츠 참가자들에 대응하는 복수의 포인트는 무빙 포인트(MP1, MP2, MP3)일 수 있다. Also, the player tracking server 2000 may generate a plurality of points corresponding to the plurality of sports participants in the virtual playfield coordinate system in consideration of changes in location information of the plurality of sports participants according to the progress of the sports competition. . That is, the plurality of points corresponding to the plurality of sports participants may be moving points MP1, MP2, and MP3.

또한, 선수 추적 서버(2000)는, 생성된 가상 플레이필드에 기초하여 복수의 이미지 캡처 장치들(301, 302, 303, 304)과 복수의 스포츠 참가자들 간의 관련성을 계산할 수 있다. Also, the player tracking server 2000 may calculate a relationship between the plurality of image capture devices 301 , 302 , 303 , and 304 and the plurality of sports participants based on the generated virtual playfield.

구체적으로 선수 추적 서버(2000)는 가상 플레이필드의 복수의 이미지 캡처 장치들(301, 302, 303, 304)에 대응하는 포인트(FP1, FP2, FP3, FP4)와 복수의 스포츠 참가자들에 대응하는 무빙 포인트(MP1, MP2, MP3) 간의 상대적인 위치에 기초하여 복수의 이미지 캡처 장치들(301, 302, 303, 304)과 복수의 스포츠 참가자들 간의 관련성을 계산할 수 있다. Specifically, the player tracking server 2000 corresponds to the points FP1, FP2, FP3, and FP4 corresponding to the plurality of image capture devices 301, 302, 303, and 304 of the virtual playfield and the plurality of sports participants. A relation between the plurality of image capturing devices 301 , 302 , 303 , and 304 and the plurality of sports participants may be calculated based on the relative positions between the moving points MP1 , MP2 , and MP3 .

또한, 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치들(301, 302, 303, 304)과 복수의 스포츠 참가자들 간의 관련성에 기초하여, 복수의 스포츠 참가자들간의 오클루전 이벤트의 발생 여부를 예측할 수 있다. In addition, the player tracking server 2000 determines whether an occlusion event occurs between the plurality of sports participants based on the association between the plurality of image capturing devices 301 , 302 , 303 , and 304 and the plurality of sports participants. can be predicted

예를 들어, 가상 플레이필드의 복수의 이미지 캡처 장치들(301, 302, 303, 304)에 대응하는 포인트(FP1, FP2, FP3, FP4)로부터, 복수의 스포츠 참가자들에 대응하는 복수의 무빙 포인트(MP1, MP2, MP3)에 대하여 복수의 가상선(VL)이 생성될 수 있다. For example, from the points FP1 , FP2 , FP3 , FP4 corresponding to the plurality of image capturing devices 301 , 302 , 303 , 304 of the virtual playfield, the plurality of moving points corresponding to the plurality of sports participants A plurality of virtual lines VL may be generated for (MP1, MP2, MP3).

이때, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들(301, 302, 303, 304)에 대응하는 포인트(FP1, FP2, FP3, FP4)의 위치, 복수의 스포츠 참가자들에 대응하는 복수의 무빙 포인트(MP1, MP2, MP3)의 위치 및 상기 복수의 가상선(VL1, VL2)들 간의 각도 중 적어도 하나 이상을 고려하여, 스포츠 참가자 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다. At this time, the player tracking server 2000 is the location of the points (FP1, FP2, FP3, FP4) corresponding to the plurality of image capture devices (301, 302, 303, 304), a plurality of sports participants corresponding to Whether or not an occlusion event occurs between sports participants may be predicted by considering at least one of the positions of the moving points MP1 , MP2 , and MP3 and the angles between the plurality of virtual lines VL1 and VL2 .

예를 들어, 도 29를 참고하면, 제1 고정 포인트(FP1)로부터 제1 무빙 포인트(MP1)로 연장되는 제1 가상선(VL1)과 제1 고정 포인트(FP1)로부터 제2 무빙 포인트(MP2)로 연장되는 제2 가상선(VL2)이 생성될 수 있다. For example, referring to FIG. 29 , a first virtual line VL1 extending from the first fixed point FP1 to the first moving point MP1 and a second moving point MP2 from the first fixed point FP1 A second virtual line VL2 extending to ) may be generated.

이때, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2)이 중첩되거나, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2) 간의 각도가 미리 결정된 각도 미만인 경우에는, 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에 오클루전 이벤트가 발생할 수 있다고 판단하거나 예측할 수 있다. In this case, when the first virtual line VL1 and the second virtual line VL2 overlap or the angle between the first virtual line VL1 and the second virtual line VL2 is less than a predetermined angle, The player tracking server 2000 determines or predicts that an occlusion event may occur between a first sports participant corresponding to the first moving point MP1 and a second sports participant corresponding to the second moving point MP2. can

이때, 추가적으로 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에 오클루전 이벤트가 제1 고정 포인트(FP1)에 대응되는 제1 이미지 캡처 장치(301)로부터 발생할 수 있다고 판단하거나 예측할 수 있다. In this case, additionally, the player tracking server 2000 fixes the first occlusion event between the first sports participant corresponding to the first moving point MP1 and the second sports participant corresponding to the second moving point MP2. It may be determined or predicted that the point FP1 may be generated from the first image capture device 301 corresponding to the point FP1.

또한, 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)와 상기 제2 무빙 포인트(MP2)의 간의 위치 차이를 더 고려하여, 스포츠 참가자 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다. Also, the player tracking server 2000 may predict whether an occlusion event between sports participants will occur by further considering a difference in position between the first moving point MP1 and the second moving point MP2.

예를 들어, 도 29를 참고하면, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2)의 각도가 동일하더라도, 상기 제1 무빙 포인트(MP1)와 상기 제2 무빙 포인트(MP2)의 간의 위치 차이에 따라, 제1 고정 포인트(FP1)에 대한 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자들 간의 오클루전 여부가 상이해질 수 있다. For example, referring to FIG. 29 , even if the angles of the first virtual line VL1 and the second virtual line VL2 are the same, the first moving point MP1 and the second moving point MP2 are According to a position difference between The presence or absence of clausion may be different.

따라서, 선수 추적 서버(2000)는 복수의 스포츠 참가자들에 대응되는 무빙 포인트들 간의 위치 차이를 더 고려하여 스포츠 참가자 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다. Accordingly, the player tracking server 2000 may predict whether an occlusion event will occur between the sports participants by further considering the position difference between the moving points corresponding to the plurality of sports participants.

또한, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들에 대응되는 가상 플레이필드의 포인트, 복수의 스포츠 참가자들에 대응되는 가상 플레이필드의 무빙 포인트 및 복수의 이미지 캡처 장치들의 라인 오브 사이트(line of sight)에 대한 정보를 고려하여, 스포츠 참가자들 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다. In addition, the player tracking server 2000 includes a point of a virtual playfield corresponding to a plurality of image capturing devices, a moving point of a virtual playfield corresponding to a plurality of sports participants, and a line of a plurality of image capturing devices. of sight), it is possible to predict whether an occlusion event between sports participants will occur.

예를 들어, 제1 고정포인트(FP1)에 대응되는 제1 이미지 캡처 장치(301)의 라인 오브 사이트를 고려하여, 라인 오브 사이트에 대응되는 가상선이 생성될 수 있으며, 이때 라인 오브 사이트에 대응되는 가상선에 제1 무빙 포인트와 제2 무빙 포인트가 실질적으로 위치한다면, 선수 위치 서버(2000)는 제1 무빙 포인트에 대응하는 제1 스포츠 참가자와 제2 무빙 포인트에 대응하는 제2 스포츠 참가자 간의 오클루전 이벤트가 발생하였다고 판단할 수 있다. For example, a virtual line corresponding to the line of sight may be generated in consideration of the line of sight of the first image capturing device 301 corresponding to the first fixed point FP1, and in this case, corresponding to the line of sight If the first moving point and the second moving point are substantially located on the virtual line being It can be determined that an occlusion event has occurred.

또한, 선수 추적 서버(2000)는 복수의 스포츠 참가자들의 속도 데이터(혹은 가속도 데이터)와 복수의 이미지 캡처 장치들의 포즈 정보를 고려하여, 이후 시점의 복수의 스포츠 참가자들 간의 오클루전 이벤트 발생 여부를 예측할 수 있다. In addition, the player tracking server 2000 considers the speed data (or acceleration data) of the plurality of sports participants and the pose information of the plurality of image capturing devices, and determines whether an occlusion event occurs between the plurality of sports participants at a later time point. predictable.

예를 들어, 도 29를 참고하면, 제1 스포츠 참가자와 제3 스포츠 참가자의 속도 데이터(혹은 가속도 데이터)들이 임의의 적절한 방법에 의해 획득될 수 있다. 또한, 제1 이미지 캡처 장치의 포즈 정보가 획득될 수 있다. 이때, 선수 추적 서버(2000)는, 속도 데이터(혹은 가속도 데이터)에 기초하여, 제1 스포츠 참가자에 대응되는 제1 무빙포인트(FP1)는 제3 스포츠 참가자에 대응되는 제3 무빙포인트(FP3)와 가까워지는 방향으로 움직이며, 제3 스포츠 참가자에 대응되는 제3 무빙포인트(FP3)는 제1 스포츠 참가자에 대응되는 제1 무빙포인트(FP1)와 가까워지는 방향으로 움직일 것이라는 것을 예측할 수 있다. For example, referring to FIG. 29 , velocity data (or acceleration data) of the first sports participant and the third sports participant may be obtained by any suitable method. Also, pose information of the first image capturing device may be obtained. At this time, the player tracking server 2000, based on the speed data (or acceleration data), the first moving point FP1 corresponding to the first sports participant is the third moving point FP3 corresponding to the third sports participant. It may be predicted that the third moving point FP3 corresponding to the third sports participant will move in a direction closer to the first moving point FP1 corresponding to the first sports participant.

또한, 선수 추적 서버(2000)는, 포즈 정보를 기초로, 제1 이미지 캡처 장치에 대응되는 제1 고정 포인트(FP1)의 포즈를 예측할 수 있다. Also, the player tracking server 2000 may predict the pose of the first fixed point FP1 corresponding to the first image capturing device, based on the pose information.

따라서, 선수 추적 서버(2000)는, 제1 고정포인트(FP1)에 대응되는 제1 이미지 캡처 장치에 대하여, 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자들 간의 이후 시점에서의 오클루전을 예측할 수 있다. Accordingly, the player tracking server 2000, with respect to the first image capture device corresponding to the first fixed point FP1, the first sports participant corresponding to the first moving point MP1 and the second moving point MP2 ) can be predicted at a later time point between the second sports participants corresponding to the occlusion.

또한, 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치에 대응되는 복수의 포인트 및 복수의 스포츠 참가자에 대응되는 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 계산된 복수의 이미지 캡처 장치과 복수의 스포츠 참가자 간의 관련성에 기초하여 복수의 이미지 캡처 장치과 복수의 스포츠 참가자 간의 매칭 테이블을 생성하도록 구현될 수 있다.In addition, the player tracking server 2000 may include a plurality of image capturing devices and a plurality of sports participants calculated based on the relative positions between the plurality of points corresponding to the plurality of image capturing devices and the plurality of moving points corresponding to the plurality of sports participants. It may be implemented to generate a matching table between the plurality of image capture devices and the plurality of sports participants based on the relationship between the two.

선수 추적 서버(2000)는, 오클루전 예측에 기초하여 복수의 이미지 캡처 장치과 복수의 스포츠 참가자 간의 매칭 테이블을 생성할 수 있다. The player tracking server 2000 may generate a matching table between the plurality of image capture devices and the plurality of sports participants based on the prediction of occlusion.

일 예로, 복수의 이미지 캡처 장치(301, 302, 303, 304)들에 대응되는 복수의 고정포인트들(FP1, FP2, FP3, FP4)로부터 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트들(MP1, MP2, MP3를 포함하는 복수의 무빙포인트들) 각각에 대하여 가상선들의 연장될 수 있으며 가상선들간의 각도에 기초한 오클루전 이벤트의 예측 결과에 대한 테이블이 생성될 수 있다. For example, from a plurality of fixed points (FP1, FP2, FP3, FP4) corresponding to a plurality of image capturing devices (301, 302, 303, 304), a plurality of moving points ( (a plurality of moving points including MP1, MP2, and MP3) may be extended for each of the virtual lines, and a table for a prediction result of an occlusion event based on an angle between the virtual lines may be generated.

예를 들어, 도 29를 참고하면, 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에, 제1 고정 포인트(FP1)에 대응되는 제1 이미지 캡처 장치(301)로부터 오클루전 이벤트가 예측될 수 있다. For example, referring to FIG. 29 , between a first sports participant corresponding to the first moving point MP1 and a second sports participant corresponding to the second moving point MP2, a first fixed point FP1 An occlusion event may be predicted from the first image capturing device 301 corresponding to .

반면 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에, 제2, 3, 4 고정 포인트에 대응되는 제2, 3, 4 이미지 캡처 장치(302, 303, 304)로부터 오클루전 이벤트가 발생하지 않을 것이라고 예측될 수 있다. On the other hand, between the first sports participant corresponding to the first moving point MP1 and the second sports participant corresponding to the second moving point MP2, the second, third, 4 It can be predicted that no occlusion event will occur from the image capture devices 302 , 303 , 304 .

이때, 선수 추적 서버(2000)는, 이미지 캡처 장치(301, 302, 303, 304)들에 대응되는 복수의 고정포인트들(FP1, FP2, FP3, FP4)의 위치 및 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트의 위치 및 복수의 가상 선들간의 각도에 따른 오클루전 예측 여부에 기초하여, 매칭 테이블을 생성할 수 있다. At this time, the player tracking server 2000 corresponds to the positions of the plurality of fixed points FP1 , FP2 , FP3 and FP4 corresponding to the image capturing devices 301 , 302 , 303 , and 304 and the plurality of sports participants. A matching table may be generated based on whether occlusion is predicted according to the positions of the plurality of moving points and angles between the plurality of virtual lines.

유사하게, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들에 대응되는 복수의 무빙 포인트들 간의 위치 차이에 따른 오클루전 예측 여부에 기초하여 매칭 테이블을 생성할 수 있다.Similarly, the player tracking server 2000 may generate a matching table based on whether occlusion is predicted according to a difference in position between a plurality of moving points corresponding to a plurality of sports participants.

유사하게, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들의 속도 데이터(혹은 가속도 데이터) 및 복수의 이미지 캡처 장치들의 포즈 정보에 따른 오클루전 예측 여부에 기초하여 매칭 테이블을 생성할 수 있다.Similarly, the player tracking server 2000 may generate a matching table based on whether occlusion is predicted according to speed data (or acceleration data) of a plurality of sports participants and pose information of a plurality of image capturing devices.

상술한 바와 같이 생성된 매칭 테이블은 타겟 스포츠 참가자를 추적하는데 가장 적합한 이미지 캡처 장치를 선택하여 지속적으로 모니터링하는데 활용될 수 있다. The matching table generated as described above may be used to continuously monitor by selecting an image capture device most suitable for tracking a target sports participant.

또한 매칭 테이블은 브로드캐스팅과 관련하여 타겟 스포츠 참가자를 촬영하는 데 가장 적합한 이미지 캡처 장치를 선택하는데 활용될 수 있다. In addition, the matching table may be utilized to select an image capture device most suitable for photographing a target sports participant in connection with broadcasting.

또한 매칭 테이블은 타겟 스포츠 참가자의 개별 하이라이트를 생성하기 위하여 가장 적합한 이미지 캡처 장치를 선택하는데 활용될 수 있다. The matching table may also be utilized to select the most suitable image capture device for generating individual highlights of the target sports participant.

도 30을 참고한다. 도 30은 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법을 나타낸 순서도이다.See FIG. 30 . 30 is a flowchart illustrating a player tracking method using a plurality of image capture devices according to an embodiment of the present application.

도 30을 참고하면, 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법은, 복수의 이미지 캡처 장치의 배열 정보를 획득하는 단계(S8100), 복수의 스포츠 참가자의 측위 센서 데이터를 수신하는 단계(S8200), 측위 센서 데이터로부터 복수의 스포츠 참가자의 위치를 획득하는 단계(S8300), 가상 플레이필드를 생성하는 단계(S8400) 및 매칭 테이블을 생성하는 단계(S8500)를 포함할 수 있다. Referring to FIG. 30 , the method for tracking a player using a plurality of image capturing devices according to an embodiment of the present application includes acquiring arrangement information of the plurality of image capturing devices ( S8100 ), positioning sensor data of a plurality of sports participants It may include receiving (S8200), obtaining the positions of a plurality of sports participants from positioning sensor data (S8300), generating a virtual playfield (S8400), and generating a matching table (S8500). have.

선수 추적 서버(2000)는 복수의 이미지 캡처 장치의 배열 정보를 획득할 수 있다. (S8100) 구체적으로 상기 S8100 단계에서 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치들(301, 302, 303, 304)로부터 촬영된 복수의 이미지 데이터 및 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 위치 및 포즈와 관련된 배열 정보를, 통신모듈(1100)을 통하여, 획득할 수 있다. The player tracking server 2000 may acquire arrangement information of a plurality of image capturing devices. (S8100) Specifically, in step S8100, the player tracking server 2000 includes a plurality of image data captured from a plurality of image capturing devices 301, 302, 303, and 304 and a plurality of image capturing devices 301 and 302 , 303 , 304 may obtain arrangement information related to positions and poses through the communication module 1100 .

선수 추적 서버(2000)는 복수의 스포츠 참가자의 측위 센서 데이터를 수신할 수 있다. (S8200) 구체적으로는, 선수 추적 서버(2000)는, 통신 모듈(1100)을 통하여, 복수의 스포츠 참가자에 착용된 측위 센서 장치(200)로부터 복수의 이미지 데이터를 획득할 수 있다. The player tracking server 2000 may receive positioning sensor data of a plurality of sports participants. (S8200) Specifically, the player tracking server 2000 may acquire a plurality of image data from the positioning sensor device 200 worn by a plurality of sports participants through the communication module 1100 .

상기 S8200 단계에서, 선수 추적 서버(2000)는 복수의 스포츠 참가자가 착용한 측위 센서 장치(200)로부터 송신된 측위 센서 데이터를 획득할 수 있다. 상기 측위 센서 데이터는 스포츠 참가자와 관련된 위치와 대한 정보, 스포츠 참가자의 식별자(identifier) 및 센서-시그널의 신뢰도를 포함할 수 있다. In step S8200 , the player tracking server 2000 may acquire positioning sensor data transmitted from the positioning sensor device 200 worn by a plurality of sports participants. The positioning sensor data may include information on a location related to a sports participant, an identifier of the sports participant, and reliability of a sensor-signal.

선수 추적 서버(2000)는 복수의 스포츠 참가자의 측위 센서 기반 위치를 계산하거나 획득할 수 있다. (S8300) 구체적으로는, 선수 추적 서버(2000)는, 통신 모듈(1100)을 통하여, 복수의 스포츠 참가자에 착용된 측위 센서 장치(200)로부터 복수의 측위 센서 데이터를 획득할 수 있다. 구체적으로 선수 추적 서버(2000)는 측위 센서 데이터에 포함된, 스포츠 참가자와 관련된 위치에 대한 정보로부터 복수의 스포츠 참가자 각각의 위치를 획득될 수 있다. 또한, 선수 추적 서버(2000)는 위치뿐만 아니라 측위 센서 데이터에 포함된 스포츠 참가자와 관련된 위치에 대한 정보로부터 속도나 가속도와 관련된 정보를 획득할 수 있다. The player tracking server 2000 may calculate or obtain the positioning sensor-based positions of a plurality of sports participants. (S8300) Specifically, the player tracking server 2000 may obtain a plurality of positioning sensor data from the positioning sensor device 200 worn on a plurality of sports participants through the communication module 1100 . In more detail, the player tracking server 2000 may acquire the positions of each of the plurality of sports participants from information on positions related to the sports participants included in the positioning sensor data. In addition, the player tracking server 2000 may obtain information related to speed or acceleration from information about a location related to a sports participant included in the positioning sensor data as well as a location.

또한, 선수 추적 서버(2000)는 가상 플레이필드를 생성할 수 있다. (S8400) 이때 상기 가상 플레이필드는 복수의 이미지 캡처 장치들의 위치에 대응되는 복수의 포인트 및 상기 S8300 단계에서 획득된 복수의 스포츠 참가자의 위치에 대응하는 복수의 무빙 포인트를 포함할 수 있다. Also, the player tracking server 2000 may generate a virtual playfield. (S8400) In this case, the virtual playfield may include a plurality of points corresponding to positions of a plurality of image capturing devices and a plurality of moving points corresponding to positions of a plurality of sports participants obtained in step S8300.

선수 추적 서버(2000)는, 상기 S8100 단계에서 획득된 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 위치와 관련된 배열 정보에 기초하여 복수의 이미지 캡처 장치들에 대응하는 복수의 포인트를 생성할 수 있다. The player tracking server 2000, based on the arrangement information related to the positions of the plurality of image capturing devices (301, 302, 303, 304) obtained in step S8100, a plurality of points corresponding to the plurality of image capturing devices can create

또한 선수 추적 서버(2000)는, 상기 S8300 단계에서 획득된 복수의 스포츠 참가자들의 위치에 기초하여 복수의 스포츠 참가자에 대응하는 복수의 무빙 포인트를 생성할 수 있다. Also, the player tracking server 2000 may generate a plurality of moving points corresponding to the plurality of sports participants based on the positions of the plurality of sports participants obtained in step S8300 .

또한, 선수 추적 서버(2000)는, 상기 S8100 단계에서 획득된 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 포즈와 관련된 배열 정보 및 복수의 복수의 스포츠 참가자에 대응하는 복수의 무빙 포인트에 기초하여, 복수의 가상선들을 생성할 수 있다. In addition, the player tracking server 2000 may include arrangement information related to poses of the plurality of image capturing devices 301 , 302 , 303 , and 304 obtained in step S8100 and a plurality of moving objects corresponding to the plurality of sports participants. Based on the point, a plurality of virtual lines may be generated.

상기 S8400 단계에서는, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들과 복수의 스포츠 참가자들간의 관련성을 계산하도록 제공될 수 있다. In the step S8400, the athlete tracking server 2000 may be provided to calculate the association between the plurality of image capture devices and the plurality of sports participants.

예를 들어, 선수 추적 서버(2000)는, 상기 가상 플레이필드에 생성된 복수의 이미지 캡처 장치들에 대응하는 복수의 고정포인트와 복수의 스포츠 참가자들에 대응하는 복수의 무빙포인트 간의 위치의 관련성을 계산할 수 있다.For example, the player tracking server 2000 may determine the relation between a plurality of fixed points corresponding to a plurality of image capturing devices generated in the virtual playfield and a plurality of moving points corresponding to a plurality of sports participants. can be calculated

다른 예를 들어, 선수 추적 서버(2000)는, 상기 가상 플레이필드에 생성된 복수의 스포츠 참가자들에 대응하는 복수의 무빙포인트 간의 위치의 관련성을 계산할 수 있다.As another example, the player tracking server 2000 may calculate the relevance of positions between a plurality of moving points corresponding to a plurality of sports participants generated in the virtual playfield.

또 다른 예를 들어, 선수 추적 서버(2000)는, 상기 가상 플레이필드에 생성된 복수의 가상선들간의 각도 등과 같은 관련성을 계산할 수 있다.As another example, the player tracking server 2000 may calculate a relation such as an angle between a plurality of virtual lines generated in the virtual playfield.

또한, 상기 S8400 단계에서는, 선수 추적 서버(2000)는 복수의 스포츠 참가자들간의 오클루전 이벤트의 발생 여부를 예측하도록 구현될 수 있다.In addition, in the step S8400, the player tracking server 2000 may be implemented to predict whether an occlusion event occurs between a plurality of sports participants.

일 예로, 선수 추적 서버(2000)는, 상기 가상 플레이필드에 생성된 복수의 가상선들과 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트들 간의 위치에 기초하여 복수의 스포츠 참가자들간의 오클루전 이벤트 발생 여부를 예측할 수 있다. For example, the player tracking server 2000 may provide occlusion between a plurality of sports participants based on positions between a plurality of virtual lines generated in the virtual playfield and a plurality of moving points corresponding to the plurality of sports participants. It is possible to predict whether an event will occur.

또한 선수 추적 서버(2000)는, 복수의 스포츠 참가자들간의 오클루전 이벤트가 어떠한 이미지 캡처 장치에서 발생하였는지 여부도 판단할 수 있다. Also, the player tracking server 2000 may determine in which image capture device an occlusion event between a plurality of sports participants occurred.

예를 들어, 다시 도 29를 참고하면, 제1 고정 포인트(FP1)로부터 제1 무빙 포인트(MP1)로 연장되는 제1 가상선(VL1)과 제1 고정 포인트(FP1)로부터 제2 무빙 포인트(MP2)로 연장되는 제2 가상선(VL2)이 생성될 수 있다. For example, referring back to FIG. 29 , a first imaginary line VL1 extending from the first fixed point FP1 to the first moving point MP1 and a second moving point from the first fixed point FP1 ( FP1 ) A second virtual line VL2 extending to MP2 may be generated.

이때, 추가적으로 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에 오클루전 이벤트가 제1 고정 포인트(FP1)에 대응되는 "제1 이미지 캡처 장치(301)"로부터 발생할 수 있다고 판단하거나 예측할 수 있다. In this case, additionally, the player tracking server 2000 fixes the first occlusion event between the first sports participant corresponding to the first moving point MP1 and the second sports participant corresponding to the second moving point MP2. It may be determined or predicted that it may occur from the “first image capture device 301” corresponding to the point FP1.

다른 예로, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트들 간의 위치 "차이"에 기초하여 복수의 스포츠 참가자들간의 오클루전 이벤트 발생 여부를 예측할 수 있다. As another example, the player tracking server 2000 may predict whether an occlusion event will occur between a plurality of sports participants based on a “difference” in positions between a plurality of moving points corresponding to the plurality of sports participants.

선수 추적 서버(2000)는 매칭 테이블을 생성할 수 있다. (S8500)The player tracking server 2000 may generate a matching table. (S8500)

선수 추적 서버(2000)는 상기 S8400 단계에서, 계산된 복수의 이미지 캡처 장치와 복수의 스포츠 참가자의 관련성과 복수의 스포츠 참가자들간의 오클루전 예측 결과에 기초하여 상기 복수의 이미지 캡처 장치와 복수의 스포츠 참가자 간의 매칭 테이블을 생성할 수 있다. The player tracking server 2000 is configured in the step S8400, based on the calculated association between the plurality of image capture devices and the plurality of sports participants and the occlusion prediction results between the plurality of sports participants, with the plurality of image capture devices and the plurality of sports participants. A matching table between sports participants can be created.

다른 예로, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들에 대응되는 복수의 무빙 포인트들 간의 위치 차이에 따른 오클루전 예측 여부에 기초하여 매칭 테이블을 생성할 수 있다.As another example, the player tracking server 2000 may generate a matching table based on whether occlusion is predicted according to a difference in position between a plurality of moving points corresponding to a plurality of sports participants.

또 다른 예로, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들의 속도 데이터(혹은 가속도 데이터) 및 복수의 이미지 캡처 장치들의 포즈 정보에 따른 오클루전 예측 여부에 기초하여 매칭 테이블을 생성할 수 있다.As another example, the player tracking server 2000 may generate a matching table based on whether occlusion is predicted according to speed data (or acceleration data) of a plurality of sports participants and pose information of a plurality of image capturing devices. .

다만, 상술한 내용은 예시에 불과하며, 임의의 적절한 방법에 의해 매칭 테이블이 생성될 수 있을 것이다. However, the above description is merely an example, and the matching table may be generated by any suitable method.

이상에서 서술한 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템은 단일의 이미지 캡처 장치를 이용하는 경우보다 오클루전 이벤트으로 인한 스포츠 참가자의 위치 계산의 오차 가능성을 현저히 줄일 수 있다. The athlete tracking method, athlete tracking apparatus, and athlete tracking system using a plurality of image capture devices according to an embodiment of the present application described above is a position of a sports participant due to an occlusion event rather than using a single image capture device. The possibility of error in calculation can be significantly reduced.

도 9 및 도 31를 참고한다. 도 31은 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법에 의한 스포츠 참가자의 위치의 계산 방법을 도시한 개략도이다. See FIGS. 9 and 31 . 31 is a schematic diagram illustrating a method of calculating the position of a sports participant by the athlete tracking method using a plurality of image capture devices according to an embodiment of the present application.

도 9(b)를 참고하면, 단일 이미지 캡처 장치를 사용하는 경우, 스포츠 참가자(1)의 수직적인 움직임에 따라 실제 위치(L2)와 이미지 데이터로부터 획득된 위치(L2_image)가 오차가 발생할 수 있다. Referring to FIG. 9( b ), when a single image capture device is used, an error may occur between the actual position (L2) and the position (L2_image) obtained from the image data according to the vertical movement of the sports participant 1 . .

반면, 도 31을 참고하면, 복수의 이미지 캡처 장치를 사용하는 경우, 스포츠 참가자(1)의 수직적인 움직임에 따라 실제 위치(L3)와 이미지 데이터로부터 획득된 위치(L3_image1, L3_image2) 간의 오차를 보정할 수 있다. On the other hand, referring to FIG. 31 , when a plurality of image capturing devices are used, an error between the actual position L3 and the positions L3_image1 and L3_image2 obtained from the image data is corrected according to the vertical movement of the sports participant 1 . can do.

예를 들어, 복수의 이미지 캡처 장치의 높이와 지면에 대한 각도를 고려함으로써, 이미지 데이터로부터 획득된 위치(L3_image1, L3_image2)에 대한 보정 파라미터를 계산할 수 있다. 계산된 보정 파라미터를 이미지 데이터로부터 획득된 위치(L3_image1, L3_image2)에 적용한다면 스포츠 참가자(1)의 실제 위치(L3)를 용이하게 계산할 수 있다. For example, a correction parameter for the positions L3_image1 and L3_image2 obtained from the image data may be calculated by considering the heights and angles of the plurality of image capturing devices with respect to the ground. If the calculated correction parameter is applied to the positions L3_image1 and L3_image2 obtained from the image data, the actual position L3 of the sports participant 1 can be easily calculated.

또한, 단일 이미지 캡처 장치만을 사용하는 경우에는, 해당 이미지 캡처 장치로부터 획득된 이미지 데이터에서 오클루전 이벤트가 발생한다면, 이미지 데이터만을 이용해서 정확한 위치를 획득할 대안적인 방법이 부족하다. In addition, in the case of using only a single image capturing device, if an occlusion event occurs in image data obtained from the corresponding image capturing device, an alternative method for obtaining an accurate position using only the image data is insufficient.

반면, 복수의 이미지 캡처 장치를 사용하는 경우에는, 제1 이미지 데이터에서 오클루전 이벤트가 발생하더라도, 오클루전 이벤트가 검출되지 않은 제2 이미지 데이터를 이용하여 스포츠 참가자의 위치를 정확하게 계산할 수 있다. On the other hand, when a plurality of image capture devices are used, even if an occlusion event occurs in the first image data, the position of the sports participant can be accurately calculated using the second image data in which the occlusion event is not detected. .

또한, 복수의 이미지 캡처 장치를 사용하는 경우에는, 복수의 이미지 캡처 장치로부터 획득된 복수의 이미지 데이터를 정합하여 파노라마 뷰의 영상이나 퀄리티가 증대된 영상을 생성할 수 있다. In addition, when a plurality of image capturing devices are used, an image of a panoramic view or an image with increased quality may be generated by matching a plurality of image data obtained from the plurality of image capturing devices.

이때, 복수의 이미지 데이터 간의 중첩되는 영역의 기준점, 기준선, 기준면 등의 레퍼런스를 기초로 복수의 이미지 데이터를 정합하여 파노라마 뷰의 영상이나 퀄리티가 증대된 영상을 생성할 수 있을 것이다. In this case, an image of a panoramic view or an image with increased quality may be generated by matching a plurality of image data based on a reference point, a reference line, a reference plane, etc. of an overlapping region between the plurality of image data.

본 출원에 개시된 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템은 스포츠 선수를 분석하는 데 이용될 수 있다. 구체적으로 스포츠 선수의 위치를 정확하게 계산하는 것이 요구되는 스포츠 선수의 움직임, 속도, 가속도, 스포츠 선수의 움직임, 전술 분석 등 모든 스포츠 분석 분야에 이용될 수 있다. The player tracking method, player tracking device, and player tracking system disclosed in the present application may be used to analyze a sports player. Specifically, it can be used in all sports analysis fields, such as movement, speed, acceleration, movement of a sports player, tactic analysis, etc. of a sports player that require accurate calculation of the position of the sports player.

또한, 본 출원에서는 스포츠 중 축구를 중심으로 서술하나 이는 예시에 불과하며, 스포츠 선수의 위치를 계산하는 것이 요구되는 모든 스포츠에 대하여 적용될 수 있다. Also, in the present application, soccer is mainly described among sports, but this is only an example, and it can be applied to all sports that require calculating the position of a sports player.

또한, 본 출원에 개시된 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템은 스포츠 선수를 지속적으로 추적할 수 있기 때문에, 영상과 관련된 방송 분야, 하이라이트 생성 등과 관련된 비디오 컨텐츠 분야 등 다양한 분야에도 이용될 수 있을 것이다. In addition, since the player tracking method, player tracking device, and player tracking system disclosed in the present application can continuously track a sports player, it can be used in various fields such as a broadcasting field related to an image, a video content field related to highlight generation, etc. will be.

이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the above embodiments are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects, etc. illustrated in each embodiment can be combined or modified for other embodiments by those of ordinary skill in the art to which the embodiments belong. Accordingly, the contents related to such combinations and modifications should be interpreted as being included in the scope of the present invention.

또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiment has been mainly described in the above, this is only an example and does not limit the present invention, and those of ordinary skill in the art to which the present invention pertains in the range that does not deviate from the essential characteristics of the present embodiment. It will be appreciated that various modifications and applications not illustrated are possible. That is, each component specifically shown in the embodiment can be implemented by modification. And the differences related to these modifications and applications should be construed as being included in the scope of the present invention defined in the appended claims.

Claims

delete

In the multi-mode tracking method, the method comprises:
Obtaining image-based location data representing a first location of a sports participant defined by a first coordinate system from a sports image captured from a camera positioned around the playfield and comprising a sports participant within the playfield - the image-based location data is obtained based on a pixel location associated with the sports participant in the sports image;
detecting an occlusion event associated with the sports participant from the sports image;
verifying the image-based location data based on a result of the detection;
obtaining a positioning sensor-based position indicating a second position of the sports participant defined by a second coordinate system based on a sensor signal obtained from a positioning sensor located in the sports participant;
obtaining, based on the sensor signal or the second position, a positioning sensor based velocity indicative of the velocity of the sports participant defined by the second coordinate system;
Prepare a neural network that transforms the position of the second coordinate system into the first coordinate system—The neural network includes an input layer for receiving the position and velocity according to the second coordinate system, an output layer for outputting a result representing a position value, and the including a hidden layer having a plurality of nodes connecting the input layer and the output layer;
preparing a training set, wherein the training set includes the positioning sensor-based position data and the positioning sensor-based velocity data corresponding to the image-based position data determined to be valid and the image-based position data determined to be valid; and
Using the training set, input the positioning sensor-based position data and the positioning sensor-based velocity data of the training set to the input layer, and corresponding to the input positioning sensor-based position data and the positioning sensor-based velocity data Learning the neural network by adjusting the weights of the nodes based on the difference between the image-based position data and the position value of the result;
Multi-mode tracking method.

8. The method of claim 7,
The verification is
if the occlusion event is not detected, determining that the image-based location data is valid;
determining that the image-based location data is invalid when the occlusion event is detected,
Multi-mode tracking method.

8. The method of claim 7,
wherein the occlusion event indicates that the number of at least one sensor signal of at least one sports participant in the region of interest associated with the occlusion is greater than a threshold,
The region of interest is a region predetermined with respect to an occlusion region,
Multi-mode tracking method.

In the multi-mode tracking method, the method comprises:
receive a sports image taken at a camera located around the playfield, the sports image comprising a sports participant within the playfield;
receiving a sensor signal from a positioning sensor mounted on the sports participant;
detecting, from the sports image, an occlusion event associated with the sports participant;
if the occlusion event is not detected, determine a location of the sports participant based on image-based location data representing a location defined by a first coordinate system;
When the occlusion event is detected:
acquiring a positioning sensor-based position indicating a position defined by a second coordinate system based on the sensor signal;
obtaining a positioning sensor-based velocity indicative of a velocity defined in the second coordinate system based on the sensor signal or the positioning sensor-based position; and
determining the position of the sports participant defined in the first coordinate system from the positioning sensor-based position and the positioning sensor-based velocity using a neural network for transforming a position in the second coordinate system into a position in the first coordinate system;
The neural network is
Hidden having an input layer for receiving the position and velocity according to the second coordinate system, an output layer for outputting a result indicating a position value according to the first coordinate system, and a plurality of nodes connecting the input layer and the output layer contains layers,
trained by adjusting the weights of the plurality of nodes using positions and velocities according to the second coordinate system labeled with positions according to the first coordinate system.
Multi-mode tracking method.

In the multi-mode tracking method, the method comprises:
receiving a sensor signal from a positioning sensor located at the sports participant;
acquiring a positioning sensor-based position based on the sensor signal;
verifying the location sensor based location based on a change in the location sensor based location from a previous location sensor based location;
if the location sensor based location is valid, determine the location of the sports participant based on the location sensor based location;
If the positioning sensor based location is not valid:
acquiring a sports image taken by a camera located around the playfield, the sports image including the sports participant in the playfield;
Predict the validity of an image-based position obtained by projecting a pixel of the sports participant in the sports image onto a reference plane having the same height as the playfield - the predicting includes detecting occlusion associated with the sports participant at least one of detecting vertical movement relative to the sports participant and calculating a change in the image-based position from the previous image-based position;
If the image-based location is predicted to be valid:
obtain the image-based location based on a pixel location of the sports participant in the sports image;
determine a location of the sports participant based on the image-based location;
determining the location of the sports participant based on the positioning sensor based location if the image based location is predicted to be invalid;
Multi-mode tracking method.

12. The method of claim 11,
To verify the positioning sensor-based position,
If the change in the location sensor-based location from the previous location sensor-based location exceeds a predetermined threshold, it is determined that the location sensor-based location is invalid;
determining that the localization sensor-based location is valid when the change in the location sensor-based location from a previous location sensor-based location is less than a predetermined threshold value;
Multi-mode tracking method.

12. The method of claim 11,
To verify the positioning sensor-based position,
comprising further considering information about the reliability of the sensor signal included in the sensor signal,
Multi-mode tracking method.

14. The method of claim 13,
The information on the reliability of the sensor signal included in the sensor signal includes at least one of DoP and SNR,
Multi-mode tracking method.

12. The method of claim 11,
The vertical movement associated with the sports participant is,
detected based on the movement of the sports participant in a direction perpendicular to the reference plane obtained from an inertial sensor worn by the sports participant,
Multi-mode tracking method.

In the multi-mode tracking method, the method comprises:
receiving a sensor signal from a positioning sensor located at the sports participant;
obtaining a positioning sensor-based position of the sports participant based on the sensor signal;
acquiring a sports image taken by a camera located around the playfield, the sports image including the sports participant in the playfield;
obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image;
calculating a disparity index between the location sensor based location and the image based location, the disparity index being obtained from a difference between the location sensor based location and the image based location;
if the disparity index is less than a first predetermined threshold, determining the location of the sports participant based on a first location that is any one of the positioning sensor-based location and the image-based location;
If the separation index is greater than a second predetermined threshold:
obtaining a first confidence index associated with any one of the positioning sensor-based location and the image-based location;
obtaining a second reliability index associated with the other of the positioning sensor based location and the image based location;
if the first reliability index is greater than the second reliability index, determine the location of the sports participant based on the first location;
if the first reliability index is less than the second reliability index, determining the location of the sports participant based on a second location that is the other one of the positioning sensor-based location and the image-based location,
Multi-mode tracking method.

In the multi-mode tracking method, the method comprises:
receiving a sensor signal from a positioning sensor located at the sports participant;
obtaining a positioning sensor-based position of the sports participant based on the sensor signal;
obtaining first reliability information related to the reliability of the positioning sensor-based location;
acquiring a sports image taken by a camera located around the playfield, the sports image comprising the sports participant in the playfield;
obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image;
obtain second confidence information related to the confidence level of the image-based position - the confidence level of the image-based position may include: occlusion associated with the sports participant; associated with at least one of a change in base position;
calculate a weight based on the first reliability information and the second reliability information, wherein the weight includes a sensor-based weight and an image-based weight; and
calculating the position of the sports participant, wherein the position of the sports participant is obtained from the positioning sensor-based position taking the sensor-based weighting into account and the image-based position taking the image-based weighting into account;
Multi-mode tracking method.

18. The method of claim 17,
The reliability of the positioning sensor-based position is related to at least one of calculating a change in the positioning sensor-based position from the positioning sensor-based position of a previous time and information about the reliability of the sensor signal included in the sensor signal,
Multi-mode tracking method.

18. The method of claim 17,
The vertical movement associated with the sports participant is,
detected based on the movement of the sports participant in a direction perpendicular to a reference plane having the same height as the playfield obtained from an inertial sensor worn by the sports participant,
Multi-mode tracking method.

18. The method of claim 17,
The reliability of the location sensor based location and the reliability of the image based location are related to a disparity index between the location sensor based location and the image based location,
The separation index is obtained from the difference between the positioning sensor-based position and the image-based position,
Multi-mode tracking method.

In the multi-mode tracking method, the method comprises:
receiving a sensor signal from a positioning sensor located at the sports participant;
obtaining a positioning sensor-based position of the sports participant based on the sensor signal;
preparing a confidence map corresponding to the playfield, wherein the confidence map includes a plurality of regions with reliability information including first reliability information related to the reliability of the positioning sensor-based location;
acquiring a sports image taken by a camera located around the playfield, the sports image including the sports participant in the playfield;
obtaining an image-based location of the sports participant based on a pixel location of the sports participant in the sports image;
determining a specific area occupied by the sports participant based on the positioning sensor based location;
determining a first weight and a second weight according to the first reliability information of the specific region; and
determining the position of the sports participant based on a weighted average of the positioning sensor-based position and the image-based position calculated in consideration of the first weight and the second weight;
Multi-mode tracking method.

22. The method of claim 21,
The first reliability information related to the reliability of the positioning sensor-based position may include: calculating a change in the positioning sensor-based position from the positioning sensor-based position of a previous time point; and information about the reliability of the sensor signal included in the sensor signal. related to at least one,
Multi-mode tracking method.

22. The method of claim 21,
wherein the confidence map includes a plurality of regions with confidence information including second confidence information related to the confidence level of the image-based location;
Multi-mode tracking method.

24. The method of claim 23,
The second reliability information related to the reliability of the image-based location includes detecting occlusion associated with the sports participant, detecting vertical motion associated with the sports participant, and the image from the image-based location of a previous time point. associated with at least one of calculating a change in base position;
Multi-mode tracking method.

25. The method of claim 24,
The first weight and the second weight are
determined according to the second reliability information of the specific region;
Multi-mode tracking method.