KR102453585B1

KR102453585B1 - System and method of calculating spins of billiard ball

Info

Publication number: KR102453585B1
Application number: KR1020200078225A
Authority: KR
Inventors: 권기환; 구경모; 허우형
Original assignee: 주식회사 픽셀스코프
Priority date: 2020-06-26
Filing date: 2020-06-26
Publication date: 2022-10-14
Also published as: KR20220000498A

Abstract

본 발명은 당구공 스핀 계산 방법 및 시스템에 관한 것으로, 카메라에 의해 인식되지 않는 사각 지대에 위치한 표식을 추적함으로써 당구공의 스핀을 정확하게 추출하는 것을 목적으로 한다. 이러한 목적을 달성하기 위한 본 발명은 카메라가 촬영한 영상에 포함된 적어도 하나의 프레임에서, 제1 표식이 표시된 당구공을 인식하는 a 단계, 상기 당구공의 움직임 및 각도를 판단하는 b 단계, 상기 프레임에서 상기 당구공이 인식된 영역의 2차원 이미지인 제1 이미지를 추출하는 c 단계, 상기 제1 이미지를 상기 각도를 기반으로 회전하여 제2 이미지를 생성하고, 상기 제2 이미지에 포함된 상기 당구공의 제1 표식을 식별하는 d 단계, 상기 제1 표식의 위치를 식별하고, 상기 위치를 기반으로 상기 당구공의 스핀 값을 계산하는 e 단계 및 상기 제2 이미지 및 상기 스핀 값을 디스플레이부에 전송하는 f 단계를 포함하는 것을 특징으로 한다.The present invention relates to a method and system for calculating the spin of a billiard ball, and an object of the present invention is to accurately extract the spin of a billiard ball by tracking a mark located in a blind spot that is not recognized by a camera. In the present invention for achieving this object, a step a of recognizing a billiard ball marked with a first mark in at least one frame included in an image captured by a camera, a step b of determining the motion and angle of the billiard ball, the Step c of extracting a first image that is a two-dimensional image of a region in which the billiard ball is recognized from a frame, generating a second image by rotating the first image based on the angle, and the billiards included in the second image Step d of identifying the first mark of the ball, Step e of identifying the position of the first mark, calculating the spin value of the billiard ball based on the position, and displaying the second image and the spin value on the display unit It is characterized in that it includes a step f of transmitting.

Description

SYSTEM AND METHOD OF CALCULATING SPINS OF BILLIARD BALL

본 발명은 당구공 스핀 계산 방법 및 시스템에 관한 것으로, 보다 자세하게는 당구공에 표시된 표식을 이용하여 당구공의 스핀을 계산하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for calculating the spin of a billiard ball, and more particularly, to a method and system for calculating the spin of a billiard ball using a mark displayed on the billiard ball.

당구는 경기 방식과 경기에 사용되는 용구에 따라 캐롬(Carom), 포켓볼(Pool), 스누커(Snooker)의 세 가지 세부 종목으로 나뉜다. 그 중 캐롬 당구는 구멍이 없는 당구대에서 수구로 목적구를 맞혀 득점을 하는 방식으로 경기를 하는 종목으로, 우리나라에 널리 알려진 4구 경기와 3쿠션 등이 그 예이다. 캐롬 당구에서 사용되는 공은 3개로 구성되어 있으며, 흰색, 빨간색, 노란색의 3가지 색상으로 구분된다.Billiards is divided into three sub-sports according to the game method and equipment used in the game: Carom, Pool, and Snooker. Among them, carom billiards is a game played by hitting an object ball with a water polo at a billiard table without a hole to score a goal. The balls used in Carom Billiards consist of three balls, and are divided into three colors: white, red, and yellow.

캐롬 당구에 적용되고 있는 종래의 스핀 추출 프로그램은 카메라가 2차원 평면을 촬영함에 따라 캐롬 당구에 표시된 표식의 추적이 용이하지 않아 오인식이 자주 발생하여, 스핀 추출의 정확도가 떨어진다는 문제점이 있다.The conventional spin extraction program applied to Carom Billiards has a problem in that the accuracy of spin extraction is lowered because it is not easy to track the marks displayed on the Carom Billiards as the camera shoots a two-dimensional plane, so misrecognition occurs frequently.

본 발명은 전술한 문제점을 해결하기 위한 것으로서, 당구공에 표시된 표식의 특징을 이용하여, 카메라에 의해 인식되지 않는 사각 지대에 위치한 표식을 추적함으로써 당구공의 스핀을 정확하게 추출하는 것을 일 목적으로 한다.The present invention is to solve the above problems, and it is an object of the present invention to accurately extract the spin of a billiard ball by tracking a mark located in a blind spot that is not recognized by a camera using the characteristics of the mark displayed on the billiard ball. .

이러한 목적을 달성하기 위한 본 발명은 서버가 당구공의 스핀을 계산하는 방법에 있어서, 카메라가 촬영한 영상에 포함된 적어도 하나의 프레임에서, 제1 표식이 표시된 당구공을 인식하는 a 단계, 상기 당구공의 움직임 및 각도를 판단하는 b 단계 ,상기 프레임에서 상기 당구공이 인식된 영역의 2차원 이미지를 추출하는 c 단계, 상기 2차원 이미지를 상기 각도를 기반으로 회전하고, 상기 회전된 이미지에 포함된 상기 당구공의 제1 표식을 식별하는 d 단계, 상기 제1 표식의 위치를 식별하고, 상기 위치를 기반으로 상기 당구공의 스핀 값을 계산하는 e 단계, 및 상기 2차원 이미지 및 상기 스핀 값을 디스플레이부에 전송하는 f 단계를 포함하는 것을 일 특징으로 한다.The present invention for achieving this object is a method for a server to calculate the spin of a billiard ball, in at least one frame included in an image captured by a camera, a step a of recognizing a billiard ball marked with a first mark; Step b of determining the motion and angle of the billiard ball, Step c of extracting a two-dimensional image of the recognized area of the billiard ball from the frame, rotating the two-dimensional image based on the angle, and including it in the rotated image step d of identifying the first mark of the billiard ball, the step e of identifying the position of the first mark, and calculating the spin value of the billiard ball based on the position, and the two-dimensional image and the spin value It is characterized in that it comprises an f step of transmitting to the display unit.

나아가 본 발명은 당구공의 스핀을 계산하는 시스템에 있어서, 당구대의 일 영역을 포함하는 촬영 범위를 촬영하고, 촬영한 영상을 서버에 전송하는 카메라, 상기 영상에 포함된 적어도 하나의 프레임에서 제1 표식이 표시된 당구공을 인식하고, 상기 당구공의 움직임 및 각도를 판단하며, 상기 프레임에서 상기 당구공이 인식된 영역의 2차원 이미지인 제1 이미지를 추출하고, 상기 제1 이미지를 상기 각도를 기반으로 회전하여 제2 이미지를 생성하고, 상기 제2 이미지에 포함된 상기 당구공의 제1 표식을 식별하며, 상기 제1 표식의 위치를 식별하고, 상기 위치를 기반으로 상기 당구공의 스핀 값을 계산하여 상기 제2 이미지 및 상기 스핀 값을 디스플레이부에 전송하는 서버 및 상기 제2 이미지 및 스핀 값을 수신하여 디스플레이하는 모니터를 포함하는 것을 일 특징으로 한다.Further, in a system for calculating the spin of a billiard ball, the present invention provides a camera that shoots a shooting range including one area of a billiard table and transmits the captured image to a server, and a first in at least one frame included in the image. Recognize the marked billiard ball, determine the movement and angle of the billiard ball, extract a first image that is a two-dimensional image of the recognized area of the billiard ball in the frame, and the first image based on the angle to generate a second image, identify the first mark of the billiard ball included in the second image, identify the position of the first mark, and determine the spin value of the billiard ball based on the position It is characterized in that it comprises a server that calculates and transmits the second image and the spin value to a display unit, and a monitor that receives and displays the second image and the spin value.

전술한 바와 같은 본 발명에 의하면, 당구공에 표시된 표식의 특징을 이용하여, 카메라에 의해 인식되지 않는 사각 지대에 위치한 표식을 추적함으로써 당구공의 스핀을 정확하게 추출할 수 있다.According to the present invention as described above, it is possible to accurately extract the spin of the billiard ball by tracking the mark located in the blind spot not recognized by the camera using the characteristics of the mark displayed on the billiard ball.

도 1은 본 발명의 일 실시 예에 의한 당구공 스핀 계산 방법을 설명하기 위한 순서도,
도 2는 본 발명의 일 실시 예에 의한 당구공의 움직임 및 움직임에 대응하는 각도를 인식하는 방법을 설명하기 위한 순서도,
도 3은 본 발명의 일 실시 예에 의한 제1 표식의 위치를 추정하는 방법을 설명하기 위한 순서도,
도 4는 본 발명의 일 실시 예에 의한 당구공에 표시된 제1 표식을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 의한 2차원 이미지를 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 의한 모니터에 표시되는 화면을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 의한 당구공 스핀 계산 시스템의 대략적인 사시도이다.1 is a flowchart for explaining a billiard ball spin calculation method according to an embodiment of the present invention;
2 is a flowchart for explaining a method of recognizing a motion of a billiard ball and an angle corresponding to the motion according to an embodiment of the present invention;
3 is a flowchart for explaining a method for estimating the position of the first mark according to an embodiment of the present invention;
4 is a view for explaining a first mark displayed on a billiard ball according to an embodiment of the present invention;
5 is a view for explaining a two-dimensional image according to an embodiment of the present invention;
6 is a view for explaining a screen displayed on a monitor according to an embodiment of the present invention;
7 is a schematic perspective view of a billiard ball spin calculation system according to an embodiment of the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.The above-described objects, features and advantages will be described below in detail with reference to the accompanying drawings, and accordingly, those skilled in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.

도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.In the drawings, the same reference numerals are used to refer to the same or similar elements, and all combinations described in the specification and claims may be combined in any manner. And unless otherwise specified, it is to be understood that references to the singular may include one or more, and references to the singular may also include the plural.

본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.The terminology used herein is for the purpose of describing specific exemplary embodiments only and is not intended to be limiting. As used herein, singular expressions may also be intended to include plural meanings unless the sentence clearly indicates otherwise. The term “and/or,” “and/or” includes any and all combinations of the items listed therewith. The terms "comprises", "comprising", "comprising", "comprising", "having", "having" and the like have an implicit meaning, so that these terms refer to their described features, integers, It specifies steps, operations, elements, and/or components and does not exclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and/or groups thereof. The steps, processes, and acts of the method described herein should not be construed as necessarily performing their performance in such a specific order as discussed or exemplified, unless a specific order of performance is determined. . It should also be understood that additional or alternative steps may be used.

또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.In addition, each component may be implemented as a hardware processor, respectively, the above components may be integrated into one hardware processor, or the above components may be combined with each other and implemented as a plurality of hardware processors.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 의한 당구공 스핀 계산 방법을 설명하기 위한 순서도이다. 도 1을 참조하면, 카메라는 설정된 촬영 범위 내를 지속적으로 촬영할 것이다(S100). 촬영 범위는 당구대의 일 영역을 포함하되, 당구대 전체로 설정될 수도 있다. 구체적으로 설명하면 카메라의 수에 따라 촬영 범위는 달리 설정될 수 있는데, 예를 들어 카메라를 1대 사용할 경우 당구대 전체를 촬영 범위로, 카메라를 2대 사용할 경우 당구대의 전체 영역을 반으로 나누어 각 영역을 촬영 범위로 설정할 수 있다. 카메라의 촬영 범위는 카메라의 수와 무관하게 관리자의 설정에 따라 변경될 수 있다.1 is a flowchart illustrating a method for calculating spin of a billiard ball according to an embodiment of the present invention. Referring to FIG. 1 , the camera will continuously take pictures within a set shooting range ( S100 ). The shooting range includes one area of the billiard table, but may be set to the entire billiard table. Specifically, the shooting range may be set differently depending on the number of cameras. For example, if one camera is used, the entire pool table is used as the shooting range, and if two cameras are used, the entire pool table is divided in half and each area. can be set as the shooting range. The shooting range of the cameras may be changed according to the setting of the administrator regardless of the number of cameras.

카메라는 촬영 범위를 촬영한 영상을 실시간으로 서버로 전송할 수 있다(S109).The camera may transmit the image captured in the shooting range to the server in real time (S109).

서버는 카메라로부터 수신한 영상에 포함된 적어도 하나의 프레임에 당구공이 존재하는 지를 인식할 수 있다(S200). 서버는 당구공의 존재 여부를 판단하기 위하여, 통상적으로 사용되는 객체 인식 방법에 당구공의 색상을 더 적용할 수 있다. 서버는 프레임에 흰색, 빨간색, 노란색의 색상을 갖는 원형의 객체를 인식하여 프레임에 당구공이 위치하는 지의 여부를 판단할 수 있다.The server may recognize whether a billiard ball is present in at least one frame included in the image received from the camera (S200). In order to determine the existence of the billiard ball, the server may further apply the color of the billiard ball to a commonly used object recognition method. The server may determine whether a billiard ball is positioned in the frame by recognizing a circular object having white, red, and yellow colors in the frame.

나아가 당구공에는 적어도 하나의 제1 표식이 표시되어 있으며, 제1 표식은 6개의 점을 포함하며, 흰색 및 노란색의 색상을 갖는 당구공의 경우 제1 표식은 빨간색의 색상을 가질 수 있으며, 빨간색의 색상을 갖는 당구공의 경우 제1 표식은 흰 색의 색상을 가질 수 있다. 빨간색의 색상을 갖는 당구공의 경우 제1 표식을 포함할 수도 있고 아닐 수도 있다.Furthermore, at least one first mark is marked on the billiard ball, the first mark includes six dots, and in the case of billiard balls having white and yellow colors, the first mark may have a red color, and a red color. In the case of a billiard ball having a color of , the first mark may have a white color. In the case of a billiard ball having a red color, the first mark may or may not be included.

나아가 제1 표식은 두 개의 점이 한 쌍으로 구성되어 두 개의 점이 일직선 상에 있되, 세 쌍의 점을 잇는 일직선이 각각 수직을 이루도록 구성될 수 있다. 제1 표식의 정확한 구조는 도 4를 참조할 수 있다. Furthermore, the first mark may be configured such that the two points are configured as a pair so that the two points are on a straight line, and a straight line connecting the three pairs of points is perpendicular to each other. The exact structure of the first indicia may refer to FIG. 4 .

서버는 영상에 포함된 제1 프레임에 당구공이 존재한다고 판단하면, 당구공의 움직임을 판단할 수 있다(S300). 도 2는 본 발명의 일 실시 예에 의한 당구공의 움직임 및 움직임에 대응하는 각도를 판단하는 방법을 설명하기 위한 순서도로, 도 2를 참조하여 단계 300을 구체적으로 설명하면, 서버는 제1 프레임에서의 당구공의 제1 위치를 식별할 수 있다(S301). If the server determines that the billiard ball is present in the first frame included in the image, the server may determine the movement of the billiard ball (S300). FIG. 2 is a flowchart for explaining a method of determining the motion of a billiard ball and an angle corresponding to the motion according to an embodiment of the present invention. When step 300 is specifically described with reference to FIG. 2 , the server transmits the first frame It is possible to identify the first position of the billiard ball in (S301).

서버는 제1 프레임과 연속하는 다음 프레임인 제2 프레임에 포함된 당구공의 제2 위치를 식별할 수 있다(S302).The server may identify the second position of the billiard ball included in the second frame, which is the next frame continuous with the first frame (S302).

서버는 제1 프레임 및 제2 프레임에서의 당구공의 위치를 인식함으로써, 당구공의 움직임을 파악할 수 있다(S303). 서버는 제1 프레임에서의 당구공의 제1 위치와 제2 프레임에서의 당구공의 제2 위치의 유클리드 거리를 연산하여 당구공의 움직임을 파악할 수 있다. The server may recognize the motion of the billiard ball by recognizing the positions of the billiard balls in the first frame and the second frame (S303). The server may determine the motion of the billiard ball by calculating the Euclidean distance between the first position of the billiard ball in the first frame and the second position of the billiard ball in the second frame.

나아가 서버는 단순히 당구공의 움직임을 파악할 뿐 아니라 수학식 1을 이용하여 당구공이 움직인 각도(angle)를 더 연산할 수 있다(S304).Furthermore, the server may not only simply grasp the motion of the billiard ball, but may further calculate an angle at which the billiard ball moves by using Equation 1 (S304).

서버는 영상에 포함된 적어도 하나의 프레임에서 추출한 각도 값을 정규화할 것이다(S305). 이는 당구공의 스핀 값을 연산함에 있어서, 당구공이 나아가는 각도를 항상 일정하게 설정하기 위함이다. 서버는 각도 값을 정규화하기 위하여 종래의 방식을 이용할 수 있다. The server will normalize the angle value extracted from at least one frame included in the image (S305). This is to always set the angle at which the billiard ball advances constantly when calculating the spin value of the billiard ball. The server may use conventional methods to normalize the angle values.

다시 도 1에 대한 설명으로 돌아가면, 서버는 당구공이 인식된 적어도 하나의 제1 프레임에서, 당구공이 인식된 영역의 2차원 이미지인 제1 이미지를 추출할 수 있다(S400). 본 발명의 일 실시 예에 의한 서버가 영상에서 추출한 제1 이미지는 도 5에 도시된 바와 같다.Returning to the description of FIG. 1 , the server may extract a first image that is a two-dimensional image of an area in which the billiard ball is recognized from at least one first frame in which the billiard ball is recognized ( S400 ). The first image extracted from the image by the server according to an embodiment of the present invention is shown in FIG. 5 .

서버는 제1 이미지를 단계 300에서 획득한 각도 값을 기반으로 회전시켜 제2 이미지를 생성하고, 제2 이미지에 포함된 당구공의 제1 표식을 식별할 수 있다(S500). The server may generate a second image by rotating the first image based on the angle value obtained in step 300, and identify the first mark of the billiard ball included in the second image (S500).

본 발명의 일 실시 예에 의한 서버는 제1 이미지를 회전하여 제2 이미지를 생성함에 있어서, 제2 이미지에 포함된 당구공이 6시 방향에서 12시 방향(0도)으로 움직임을 가질 수 있게 회전할 수 있다.In generating the second image by rotating the first image, the server according to an embodiment of the present invention rotates the billiard ball included in the second image to have movement from 6 o'clock to 12 o'clock (0 degrees) can do.

예를 들어 설명하면, 제1 이미지에서 당구공이 9시 방향에서 3시 방향의 움직임을 갖는다고 가정하면, 서버는 제1 이미지를 90도 회전하여 제2 이미지를 생성할 수 있고, 제1 이미지에서 당구공이 8시 방향에서 2시 방향의 움직임을 갖는다고 가정하면, 서버는 제1 이미지를 60% 회전하여 제2 이미지를 생성할 수 있다.For example, if it is assumed that the billiard ball moves from the 9 o'clock direction to the 3 o'clock direction in the first image, the server may rotate the first image by 90 degrees to generate a second image, Assuming that the billiard ball moves from the 8 o'clock direction to the 2 o'clock direction, the server may generate the second image by rotating the first image by 60%.

서버는 제2 이미지에 포함된 제1 표식을 식별하여 이를 기반으로 제3 이미지를 생성할 수 있다(S600).The server may identify the first mark included in the second image and generate a third image based on this (S600).

도 3은 본 발명의 일 실시 예에 의한 서버가 제2 이미지에서 제1 표식의 위치를 추정하여 제3 이미지를 생성하는 방법을 설명하기 위한 순서도로, 도 3을 이용하여 단계 600을 보다 자세히 설명하면, 서버는 제2 이미지에서 보이는 제1 표식인 제2 표식의 위치를 식별할 수 있다(S601). 3 is a flowchart for explaining a method in which the server according to an embodiment of the present invention generates a third image by estimating the position of the first mark in the second image. Step 600 will be described in more detail using FIG. 3 If so, the server may identify the position of the second mark that is the first mark shown in the second image (S601).

서버는 제2 이미지에서 제2 표식의 위치를 식별하면, 이를 기반으로, 제2 표식을 제외한 제1 표식 즉, 제2 이미지에서 보이지 않는(표시되지 않은) 제3 표식의 위치를 추정할 수 있다(S602). 서버는 제3 표식의 위치를 추정함에 있어서, 이전 혹은 다음 프레임에서 추출된 이미지에 표시된 제2 표식의 위치 및 제1 표식이 표시되는 규칙에 기반할 것이다.When the server identifies the position of the second mark in the second image, based on this, the position of the first mark excluding the second mark, that is, the third mark that is not visible (not displayed) in the second image can be estimated. (S602). In estimating the position of the third mark, the server will be based on a rule in which the first mark is displayed and the position of the second mark displayed in the image extracted from the previous or next frame.

구체적으로 설명하면, 서버는 제2 이미지에서 식별된 제2 표식의 수에 따라 제3 표식의 위치를 추정하는 방법을 달리할 수 있다. Specifically, the server may vary a method of estimating the position of the third mark according to the number of the second mark identified in the second image.

1) 제2 이미지에서 식별된 제2 표식이 하나일 경우1) When there is one second mark identified in the second image

서버는 제2 표식을 쌍으로 하는 다른 표식이 당구공의 중심점을 기준으로 대칭되는 곳에 위치할 것으로 추정할 수 있다. 남은 두 쌍의 제3 표식 중 하나는 제2 표식과 그 쌍을 잇는 직선과 수직하는 직선의 집합 중 하나에 위치할 것임에 따라 서버는 제2 표식과 그 쌍을 잇는 직선과 수직하는 직선의 집합에서 탐색되지 않은 제2 표식이 존재하는 지 더 확인할 수 있다.The server may estimate that another mark paired with the second mark will be located in a symmetrical place with respect to the center point of the billiard ball. As one of the remaining two pairs of third marks will be located on one of the sets of straight lines perpendicular to the second mark and the straight line connecting the pair, the server sets the set of straight lines perpendicular to the second mark and the straight line connecting the pair It can be further confirmed whether there is a second mark that has not been searched for.

서버는 제2 이미지에서 제2 표식이 더 식별되지 않으면, 이전 혹은 다음 프레임의 제2 표식을 이용하여 남은 두 쌍의 제3 표식의 위치를 추정할 수 있다. 서버는 이전 혹은 다음 프레임에서 인식된 표식 중, 제2 프레임의 제2 표식의 위치와의 거리가 가장 짧은 표식을 제2 표식이 회전한 것으로 간주할 것이다. 이에 따라 제2 프레임의 이전 혹은 다음 프레임에서 제2 프레임의 제2 표식 외 다른 표식의 위치를 파악하고, 이를 기반으로 제2 이미지에서의 제3 표식의 위치를 추정할 수 있다.If the second mark is not further identified in the second image, the server may estimate the positions of the remaining two pairs of the third mark by using the second mark of the previous or next frame. The server will consider the mark with the shortest distance from the position of the second mark of the second frame among the marks recognized in the previous or next frame as the second mark rotated. Accordingly, the position of the mark other than the second mark of the second frame in the frame preceding or following the second frame may be recognized, and the position of the third mark in the second image may be estimated based on this.

2) 제2 이미지에서 식별된 제2 표식이 둘 이상일 경우2) When there are two or more second marks identified in the second image

서버는 제2 표식 각각에 대하여, 제2 표식을 쌍으로 하는 다른 표식이 당구공의 중심점을 기준으로 대칭되는 곳에 위치할 것으로 추정할 수 있다. 서버는 제2 표식과 그 쌍을 잇는 직선 각각에 모두 직교하는 직선을 생성하고, 해당 직선의 양 끝단에 제3 표식이 위치할 것으로 추정할 수 있다.The server may estimate that, with respect to each of the second marks, other marks that pair the second marks will be located in places symmetrical with respect to the center point of the billiard ball. The server may generate a straight line orthogonal to both the second mark and each straight line connecting the pair, and estimate that the third mark will be located at both ends of the straight line.

서버는 제2 표식의 위치 및 제3 표식의 추정 위치를 제2 이미지에 더하여 제3 이미지를 생성할 수 있다(S603). The server may generate a third image by adding the position of the second mark and the estimated position of the third mark to the second image (S603).

다시 도 1에 대한 설명으로 돌아가면, 서버는 단계 600에서 추출 혹은 추정한 제1 표식의 위치를 기반으로 당구공의 스핀 값을 계산할 수 있다(S700).Returning to the description of FIG. 1 , the server may calculate the spin value of the billiard ball based on the position of the first mark extracted or estimated in step 600 ( S700 ).

서버는 제2 이미지, 제3 이미지 및 계산된 스핀 값을 디스플레이부인 모니터에 전송(S709)할 수 있다.The server may transmit the second image, the third image, and the calculated spin value to the monitor that is the display unit (S709).

모니터는 서버로부터 수신한 제2 이미지, 제3 이미지 및 스핀 값을 표시할 수 있다(S800). 도 6는 본 발명의 일 실시 예에 의한 모니터에 표시되는 화면을 설명하기 위한 도면으로, 도 6를 참조하면 사용자는 모니터를 통해 표시되는 제2 및 제3 이미지와 스핀 값을 확인할 수 있다.The monitor may display the second image, the third image, and the spin value received from the server (S800). 6 is a diagram for explaining a screen displayed on a monitor according to an embodiment of the present invention. Referring to FIG. 6 , a user can check second and third images and a spin value displayed through the monitor.

이하에서는 도 6을 이용하여, 본 발명의 일 실시 예에 의한 당구공 스핀 계산 시스템을 설명한다. 당구공 스핀 계산 시스템에 관한 설명에 있어서 전술한 당구공 스핀 계산 방법과 중복되는 세부 실시 예는 생략될 수 있다. 보다 구체적으로 설명하면 당구공 스핀 계산 시스템은 카메라(10), 서버(20), 그리고 모니터(30)를 포함할 수 있다.Hereinafter, a billiard ball spin calculation system according to an embodiment of the present invention will be described with reference to FIG. 6 . In the description of the billiard ball spin counting system, detailed embodiments overlapping with the above-described billiard ball spin counting method may be omitted. More specifically, the billiard ball spin calculation system may include a camera 10 , a server 20 , and a monitor 30 .

카메라(10)는 설정된 촬영 범위 내를 지속적으로 촬영할 수 있다. 촬영 범위는 당구대의 일 영역을 포함하되, 카메라의 수에 따라 설정될 것이다. 카메라(10)는 촬영 범위를 촬영한 영상을 실시간으로 서버로 전송할 수 있다.The camera 10 may continuously photograph within a set photographing range. The shooting range includes one area of the pool table, but will be set according to the number of cameras. The camera 10 may transmit an image of the shooting range to the server in real time.

서버(20)는 카메라로부터 수신한 영상에서 당구공의 움직임을 인식하고, 당구공의 움직임을 기반으로 당구공의 스핀 값을 연산할 수 있다. 서버(20)는 객체 인식부(21), 모션 인식부(23), 이미지 생성부(25), 연산부(27), 그리고 통신부(29)를 포함할 수 있다.The server 20 may recognize the motion of the billiard ball in the image received from the camera, and calculate the spin value of the billiard ball based on the motion of the billiard ball. The server 20 may include an object recognition unit 21 , a motion recognition unit 23 , an image generation unit 25 , a calculation unit 27 , and a communication unit 29 .

객체 인식부(21)는 카메라(10)로부터 수신한 영상에 포함된 적어도 하나의 프레임에 당구공이 존재하는 지를 인식할 수 있다. 객체 인식부(21)는 당구공의 존재 여부를 판단하기 위하여, 통상적으로 사용되는 객체 인식 방법에 당구공의 색상을 더 적용할 수 있다. 객체 인식부(21)는 프레임에 흰색, 빨간색, 노란색의 색상을 갖는 원형의 객체를 인식하여 프레임에 당구공이 위치하는 지의 여부를 판단할 수 있다.The object recognition unit 21 may recognize whether a billiard ball is present in at least one frame included in the image received from the camera 10 . The object recognition unit 21 may further apply the color of the billiard ball to a commonly used object recognition method in order to determine whether the billiard ball exists. The object recognition unit 21 may determine whether a billiard ball is positioned in the frame by recognizing a circular object having white, red, and yellow colors in the frame.

모션 인식부(23)는 영상에 포함된 제1 프레임에 당구공이 존재한다고 판단되면, 당구공의 움직임을 인식할 수 있다. 모션 인식부(23)는 제1 프레임에서의 당구공의 제1 위치를 식별하고, 제1 프레임과 연속하는 다음 프레임인 제2 프레임에 포함된 당구공의 제2 위치를 식별할 수 있다. 모션 인식부(23)는 제1 프레임에서의 당구공의 제1 위치와 제2 프레임에서의 당구공의 제2 위치의 유클리드 거리를 연산하여 당구공의 움직임을 파악할 수 있다.When it is determined that the billiard ball is present in the first frame included in the image, the motion recognition unit 23 may recognize the motion of the billiard ball. The motion recognition unit 23 may identify a first position of the billiard ball in the first frame, and identify a second position of the billiard ball included in a second frame that is a next frame continuous with the first frame. The motion recognition unit 23 may determine the motion of the billiard ball by calculating the Euclidean distance between the first position of the billiard ball in the first frame and the second position of the billiard ball in the second frame.

나아가 모션 인식부(23)는 단순히 당구공의 움직임을 파악할 뿐 아니라 상기 수학식 1을 이용하여 당구공이 움직인 각도(angle)를 연산하고, 영상에 포함된 적어도 하나의 프레임에서 추출한 각도 값을 정규화할 것이다. Furthermore, the motion recognition unit 23 not only simply recognizes the motion of the billiard ball, but also calculates the angle at which the billiard ball moves by using Equation 1, and normalizes the angle value extracted from at least one frame included in the image. something to do.

이미지 생성부(25)는 당구공이 인식된 적어도 하나의 제1 프레임에서, 당구공이 인식된 영역의 2차원 이미지인 제1 이미지를 추출할 수 있다. 이미지 생성부(25)는 제1 이미지를 추출하면, 제1 이미지를 모션 인식부(23)에서 연산한 각도 값을 기반으로 회전시켜 제2 이미지를 생성할 수 있다.The image generator 25 may extract a first image that is a two-dimensional image of an area in which the billiard ball is recognized from at least one first frame in which the billiard ball is recognized. When the first image is extracted, the image generator 25 may generate a second image by rotating the first image based on the angle value calculated by the motion recognition unit 23 .

이미지 생성부(25)는 제2 이미지에 포함된 당구공의 제1 표식을 식별할 수 있다. 보다 구체적으로, 이미지 생성부(25)는 제2 이미지에서 보이는 제1 표식인 제2 표식을 식별하고, 이를 기반으로 제2 표식을 제외한 제1 표식 즉, 제2 이미지에서 보이지 않는 제3 표식의 위치를 추정할 수 있다. 본 발명은 제3 표식의 위치를 추정함에 있어서, 이전 혹은 다음 프레임에서 추출된 이미지에 표시된 제2 표식의 위치 및 제1 표식이 표시되는 규칙에 기반할 것이다. 이미지 생성부(25)는 제2 표식의 위치 및 제3 표식의 추정 위치를 제2 이미지에 더하여 제3 이미지를 생성할 수 있다.The image generator 25 may identify the first mark of the billiard ball included in the second image. More specifically, the image generator 25 identifies a second mark that is a first mark visible in the second image, and based on this, the first mark excluding the second mark, that is, the third mark that is not visible in the second image. location can be estimated. In the present invention, in estimating the position of the third mark, the position of the second mark displayed on the image extracted from the previous or next frame and the rule for displaying the first mark will be based. The image generator 25 may generate a third image by adding the position of the second mark and the estimated position of the third mark to the second image.

연산부(27)는 이미지 생성부(25)에서 추출한 제2 표식의 위치 및 추정한 제3 표식의 위치를 기반으로 당구공의 스핀 값을 연산할 수 있다.The calculator 27 may calculate the spin value of the billiard ball based on the position of the second mark extracted by the image generator 25 and the estimated position of the third mark.

통신부(29)는 제2 이미지, 제3 이미지 및 계산된 스핀 값을 모니터(30)에 전송할 것이다.The communication unit 29 will transmit the second image, the third image, and the calculated spin value to the monitor 30 .

모니터(30)는 서버(20)로부터 수신한 제2 이미지, 제3 이미지 및 계산된 스핀 값을 표시할 수 있다.The monitor 30 may display the second image, the third image, and the calculated spin value received from the server 20 .

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.Embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples in order to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

Claims

A method for a server to calculate the spin of a billiard ball,
a step of recognizing a billiard ball marked with a first mark in at least one frame included in an image captured by the camera;
b step of determining the motion and angle of the billiard ball;
step c of extracting a first image that is a two-dimensional image of the recognized area of the billiard ball in the frame;
The first image is rotated at the angle to generate a second image that makes the angle at which the billiard ball moves constant, and the position of a mark not displayed in the second image is estimated according to a preset rule of the first mark. d of identifying a first indicia displayed and not displayed in the second image;
e step of identifying a position of the first mark and calculating a spin value of the billiard ball based on the position;
and an f step of transmitting the second image and the spin value to a display unit.

According to claim 1, wherein the step a,
receiving, from the camera, an image of a photographing range including an area of the billiard table; and
The billiard ball spin calculation method further comprising the step of determining whether a billiard ball is present in the frame.

The method of claim 1, wherein step b comprises:
identifying a first position of the billiard ball in a first frame;
identifying a second position of the billiard ball in a second frame that is a next frame continuous with the first frame; and
and determining the movement using the first and second positions.

4. The method of claim 3,
calculating the angle corresponding to the movement of the billiard ball using the first and second positions; and
The billiard ball spin calculation method further comprising the step of normalizing the angle calculated in the at least one frame.

According to claim 1, wherein step d,
identifying a position of a second mark that is the first mark displayed on the billiard ball in the second image;
estimating a position of a third mark excluding the second mark among the first marks displayed on the billiard ball in the second image; and
and displaying the second and third marks on the second image.

A system for calculating the spin of a billiard ball,
a camera for photographing a shooting range including one area of the billiard table and transmitting the captured image to a server;
Recognizes a billiard ball marked with a first mark in at least one frame included in the image, determines the movement and angle of the billiard ball, and generates a first image that is a two-dimensional image of a recognized area of the billiard ball in the frame extracting, and rotating the first image at the angle to generate a second image to keep the angle at which the billiard ball moves constant Estimating to identify marked and non-marked first indicia in the second image, identifying a position of the first indicia, and calculating a spin value of the billiard ball based on the position to determine the second image and the a server that transmits the spin value to the display unit; and
and a monitor receiving and displaying the second image and the spin value.