KR20210114155A

KR20210114155A - 딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법

Info

Publication number: KR20210114155A
Application number: KR1020200029439A
Authority: KR
Inventors: 김호동
Original assignee: 김호동
Priority date: 2020-03-10
Filing date: 2020-03-10
Publication date: 2021-09-23

Abstract

본 발명은 인공지능 딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법을 제공하는 것을 목적으로 하는 것으로, 본 발명의 구성은 선수, 팀 혹은 사용자 간의 운동 경기 영상과 소리를 수집하고, 추가로 점수를 표시할 수 있는 스마트 디지털 점수판과; 상기 스마트 디지털 점수판으로부터 전달받은 영상과 소리를 딥 러닝 서버에 전송하고, 그 분석결과를 선수, 팀 혹은 사용자와 스마트 디지털 점수판에게 제공하는 애플리케이션과; 상기 애플리케이션에서 전달받은 영상과 소리를 분석하여 그 특징을 추출하고 분석하여 판독하는 모델을 제공하고, 상기 운동 경기의 결과와 이력을 저장하는 서버를 포함하는 것을 특징으로 하는 스마트 디지털 점수판 시스템 및 동작방법에 관한 것이다.

Description

딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법{Smart scoring system and operation method based on deep learning}

본 발명은 인공지능 딥 러닝(deep learning)을 활용한 스마트 점수 표시 시스템 및 동작 방법을 제공하는 것이다. 보다 상세하게는 선수, 팀 혹은 사용자들이 운동 경기를 펼치면, 운동 경기에서 발생하는 영상과 소리를 스마트 디지털 점수판으로 수집하고, 이를 딥 러닝으로 학습된 득점과 실점에서의 기준 영상과 소리와 비교하여, 그 점수 판정 결과를 애플리케이션을 통해 스마트 디지털 점수판에 표시하는 딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법에 관한 것이다.

일반적으로 운동 경기의 점수 표시는 심판을 통해 진행하거나, 운동 경기 진행요원, 기록원, 혹은 규칙을 아는 사용간의 합의에 의해 진행된다. 점수 표시는 숫자 카드, 전자 점수판과 같은 매체를 이용해서 진행하며, 양 팀 혹은 양 선수간의 획득점수를 표시한다.

아울러 점수에 대한 판정은 대회의 규정이나 운동 경기를 주체하는 측에서 제공하는 규정을 적용하여 득점과 실점에 대해 심판 혹은 이에 해당하는 역할을 수행하는 사람의 판정으로 점수가 표시된다.

상기와 같은 점수 표시방식은 항상 점수를 판정하는 역할을 수행하는 사람이 있어야만 하고, 심판 역할을 수행하는 개인의 기준 해석과 판단에 따라 점수에 대한 판정결과가 다를 수 있다는 단점이 있다.

위와 같은 단점을 극복하기 위해, 운동 경기 중에서 선수, 팀 혹은 사용자 간에 득점과 실점의 상황에서 발생하는 영상과 소리를 이용하여 인공지능 딥 러닝 기술을 사용해서 자동적으로 점수를 표시하게 하는 시스템 및 동작 방법이 필요하다.

국내등록특허 제10-1579755호 : 다중 충격감지센서를 포함하는 탁구운동 경기 진행시스템 및 이를 이용한 탁구 운동 경기 점수 표시방법 국내등록특허 제10-2039584호 : 스마트 요가 매트를 이용한 기계학습 기반의 점수화 시스템 및 방법

최근 해외에서는 다양한 딥 러닝 응용을 시도하고 있다. 그러나 운동 경기 중에 발생한 영상과 소리만으로 딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법은 비특허 문헌도 찾을 수 가 없었다.

본 발명의 목적은 상기 종래의 문제점을 해결하기 위하여 개발된 것으로, 선수, 팀 혹은 사용자 간의 운동 경기진행 과정에서 발생하는 영상과 소리를 수집하여, 딥 러닝으로 득점과 실점이 되는 점수 상황을 분류하여 그 판단 결과를 스마트 디지털 점수판을 통해 선수, 팀 혹은 사용자에게 제공하기 위한 것이다.

상기한 과제를 해결하기 위하여, 본 발명에 따른 딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법은 선수, 팀 혹은 사용자 간의 운동 경기 영상과 소리를 수집하고, 점수를 표시할 수 있는 스마트 디지털 점수판과; 상기 스마트 디지털 점수판으로부터 전달받은 영상과 소리를 서버에 전송하고, 딥 러닝 학습 모델로 판정된 결과를 스마트 디지털 점수판에게 제공하는 애플리케이션과; 상기 애플리케이션에서 전송받은 영상과 소리의 특징을 추출하고 분석하여 점수를 판정하는 딥 러닝 학습 모델과 상기 선수, 팀 혹은 사용자들의 점수와 운동 경기 이력을 보관하는 서버를 포함하는 것을 특징으로 하는 스마트 점수 표시 시스템 및 동작 방법을 포함하는 것을 특징으로 한다.

상기 딥 러닝 학습 모델은 사전에 기준이 되는 득점과 실점에 대한 영상과 소리를 딥 러닝 CNN(convolutional neural network)으로 학습시키고, 입력 영상과 소리가 들어오면 CNN 학습 모델에 의해 학습된 기준 영상과 소리들을 비교하여, 그 유사성으로 득점 여부를 판단한다.

기타 실시 예의 구체적인 사항들은 발명을 실시하기 위한 구체적인 내용 및 도면들에 포함되어 있다.

본 발명의 해결수단에 의하면, 딥 러닝을 활용한 스마트 점수 표시 시스템은 영상과 소리에 의해서만 자동적으로 판정이 되므로, 심판이나 운동 경기 진행요원이 없더라도 스코어를 정확하게 기록할 수 있으며 운동 경기를 원활하게 진행할 수 있는 장점이 있다.

또한, 선수, 팀 혹은 사용자들의 운동 경기 이력을 확인할 수 있어, 이를 통하여 자신의 운동 경기력이 지속적으로 향상되고 있는지를 파악할 수 있는 장점이 있다.

도 1은 본 발명의 실시 예에 따른 딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법의 전체 개요도이다.
도 2는 본 발명의 실시 예에 따른 모바일 앱의 세부 구성도이다.
도 3은 본 발명의 실시 예에 따른 웹 사이트의 세부 구성도이다.
도 4는 본 발명의 실시 예에 따른 딥 러닝 서버의 세부 구성도이다.
도 5는 본 발명의 실시 예에 따른 관리 서버의 세부 구성도이다.
도 6은 본 발명의 실 시예에 따른 CNN 학습 모델의 기능 흐름을 나타낸 순서도이다.
도 7은 본 발명의 실시 예에 따른 CNN 학습 모델의 구조를 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 스마트 디지털 점수판의 세부 기능 구성도이다.
도 9는 본 발명의 실시 예에 따른 스마트 디지털 점수판의 구성품의 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다.

그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 도면에서 동일 부분에 대해서는 동일 부호를 사용한다.

또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

발명의 상세한 설명 또는 특허 청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, “운동 경기”란 용어를 사용할 수 있다.

이러한 용어는 점수를 통해 승패를 가리는 각종 운동 경기를 나타내는 것으로 탁구, 테니스, 농구, 배구, 야구, 배드민턴 등의 공식적인 대회로만 한정되지 않는다. 이는 친선운동 경기, 연습운동 경기와 같이 선수, 팀 혹은 사용자들 간의 합의에 어떠한 형태의 운동 경기에도 적용될 수 도 있다고 이해되어야 할 것이다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, “사용자”란 용어를 사용할 수 있다.

이러한 용어는 딥 러닝을 활용한 스마트 점수 표시 시스템을 사용하는 사람으로서 선수, 심판, 진행요원, 기록원, 경기에 관련된 제3자나 이해당사자로도 적용될 수 도 있다고 이해되어야 할 것이다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 모바일 앱의 구현은 네이티브 앱(NATIVE APP), 모바일 웹(MOBILE WEB), 모바일 웹앱(MOBILE WEB APP), 하이브리드 앱(HYBRID APP)의 모바일 앱의 일반적인 응용 프로그램 구현방식을 적용할 수 있다. 이는 모바일 앱을 특정방식으로만 구현하는 것을 한정하지 않는다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 모바일 앱(210)과 웹 사이트(220)는 동일한 기능을 제공하는 것으로 선수, 팀 혹은 사용자가 가지고 있는 정보기기 접속매체에 따른 접속 방법일 뿐 어느 한쪽으로만 접속하는 특정방식으로 구현하는 것을 한정하지 않는다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 딥 러닝 서버(310)와 관리 서버(320)는 논리적인 구분으로 물리적으로는 1개 이상의 서버로 구현할 수 있다.

이하에서는 본 발명에 따른 딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법이 구현된 일예를 첨부된 도면과 특정한 실시 예를 통하여 설명하기로 한다.

상기 시스템은 탁구, 농구, 배구, 테니스, 배드민턴 등 각종 운동 경기에 동일한 방식으로 변경 가능할 것이며, 이하에서는 탁구 운동 경기에서의 실시 예로써 설명하기로 한다.

탁구 운동 경기의 점수 체계는 각 게임별로 세트와 각 세트 내에서의 득점 포인트(point)로 이루어진다. 탁구 운동 경기는 1 게임의 운동 경기 점수 구성이 3, 5, 7, 9 등의 홀수 개의 세트로 구성되고, 일반적으로 5 또는 7세트로 진행된다. 각 세트는 11점을 먼저 득점하거나 10대 10으로 동률을 이뤄 듀스가 된 경우, 먼저 연속으로 2점을 획득한 선수가 세트를 이기게 된다.

도 1은 본 발명의 실시 예에 따른 딥 러닝을 활용한 스마트 점수 표시 시스템의 전체 개요도이다.

상기 전체 개요도에서 나타낸 것처럼 딥 러닝을 활용한 스마트 점수 표시 시스템은 사용자 디바이스(100), 애플리케이션(200), 서버(300), 스마트 디지털 점수판(400)을 포함한다.

상기 딥 러닝을 활용한 스마트 점수 표시 시스템은 선수, 팀 혹은 사용자 간의 운동 경기에서 발생하는 영상과 소리를 이용하여, 딥 러닝으로 점수를 판단하여 그 결과를 선수, 팀 혹은 사용자에게 알려주는 시스템이다.

상기 사용자 디바이스(100)는 모바일 단말기(110) 혹은 개인용 컴퓨터(120)와 같이 응용 프로그램을 동작시킬 수 있는 컴퓨터 매체가 될 수 있으며, 상기 애플리케이션(200)은 모바일 앱(210)이나 웹 사이트(220)와 같은 응용 프로그램이 될 수 있다.

아울러 서버(300)는 딥 러닝 학습 모델을 관리하는 딥 러닝 서버(310)와 선수, 팀 혹은 사용자별로 점수 이력을 관리하는 관리 서버(320)로 구성된다.

상기 스마트 디지털 점수판(400)은 본체 케이스와 그 케이스 내에서 구성품을 포함한 것으로, 직육면체, 타원, 삼각형과 같은 다양한 형상으로 만들어질 수 있다.

상기 애플리케이션(200)과 스마트 디지털 점수판(400)과의 통신은 유선통신 또는 무선통신 을 통해서 연결되어 통신 할 수 있다. 또한, 상기 애플리케이션(200)과 서버(300)와의 통신은 유선통신, 무선통신 또는 이동통신을 통해서 연결되어 통신 할 수 있다.

도 1을 참조하면, 선수, 팀 혹은 사용자 간의 운동 경기는 스마트 디지털 점수판(400)을 통해서 그 운동 경기에서 발생하는 영상과 소리를 수집하여, 애플리케이션(200)으로 전달될 수 있다. 애플리케이션(200)에서는 사전에 학습된 딥 러닝 학습 모델을 이용하여 운동 경기 중에 발생하는 영상과 소리에서, 득점 혹은 실점이 되는 영상과 소리를 매칭하여 점수 판정이 가능하다. 딥 러닝 학습 모델은 기준이 되는 득점과 실점에 관한 각종 영상과 소리를 모아서 사전에 딥 러닝 서버(310)에서 학습시킨다. 도 6에서 도시된 바와 같이, 이에 대한 결과 판정은 영상으로만 판독이 가능한 경우, 소리로만 판독이 가능한 경우, 영상과 소리를 함께 이용해서 판독해야하는 경우로 구분하여 진행할 수 있다.

상기 학습 모델에서의 점수 판정을 위한 입력이 되는 운동 경기 영상과 소리는 실시간으로 스마트 디지털 점수판(400)에서 수집되어 애플리케이션(200)으로 전달되어 입력되거나, 사전에 녹화된 운동 경기 영상과 소리를 애플리케이션(200)에서 선택하여 입력되게 할 수 있다.

상기 사용자 디바이스(100)는 애플리케이션(200)이 설치되어 스마트 디지털 점수판(400)과 서버(300)와 통신을 수행한다.

도 9에서 도시된 바와 같이, 상기 스마트 디지털 점수판(400)은 본체를 구성하는 케이스와 케이스 내부에 마련되어 있는 스위치, 카메라, 마이크로폰, 유선통신 모듈, 무선통신 모듈, 디지털 표시모듈, 전원 공급 장치, 충전지 혹은 건전지, 그리고 이들 부품간의 제어를 담당하는 제어용 회로 기판으로 구성된다. 상기 구성 부품들의 배열은 1열 이상으로 자유롭게 배치될 수 있으며, 다양한 순서로 배치될 수 있다.

상기 카메라와 마이크로폰은 운동 경기 영상과 소리를 수집하고, 유선통신 모듈, 혹은 무선통신 모듈을 통해 사용자 디바이스(100)와의 통신을 수행하여 수집된 운동 경기 영상과 소리를 전달한다. 전달된 영상과 소리는 사용자 디바이스(100)의 애플리케이션(200)을 통해 점수에 대한 판정으로 수행하고, 그 수행결과는 스마트 디지털 점수판(400)의 디지털 표시모듈을 통해 선수, 팀 혹은 사용자들에게 표시된다.

무선통신 모듈은 블루투스, 와이파이, 지그비, NFC 등의 다양한 무선 통신 포맷을 이용하여 구성될 수 있으며, 바람직하게는 블루투스 통신을 이용한다.

디지털 표시모듈은 세그먼트 소자 또는 LED소자로 이루어질 수 있으며, LCD나 LED 패널과 같은 형태로 만들어져 운동 경기 점수와 세트 현황이 표시된다.

또한, 스마트 디지털 점수판(400)에 전원부의 구성은 본체 내에 있는 각종 구성품들에게 전력을 제공하는 직접적인 전원공급이 가능한 전원 공급 장치, 혹은 전원 공급이 어려운 경우나 이동시에 사용될 수 있는 충전지, 혹은 소형의 건전지가 사용될 수 있다. 이에 따라 전원을 직접 연결하기 힘든 장소에서는 충전지 혹은 건전지로부터 전원이 공급되어, 장소에 상관없이 안정적으로 전력을 공급받을 수 있는 장점이 있다.

스마트 디지털 점수판(400)의 제어용 회로 기판은 유선, 혹은 무선통신 모듈부로부터 수신된 점수 판정에 따른 조작신호를 디지털 표시모듈을 통해 점수로 표시하게 된다. 디지털 표시모듈은 점수 상황뿐 만아니라 세트에 대한 표시도 필요하므로, 점수와 세트를 각각 표시할 수 있게 구성된다.

선수, 팀 혹은 사용자들 간에 탁구 운동 경기를 진행하는 경우, 상기 스마트 디지털 점수판(400)의 점수 표시부(412)에는 세트, 포인트를 포함하는 점수 표시 정보가 유선, 무선통신 모듈을 통해 수신된다. 득점과 실점에 대한 판정은 딥 러닝 서버에서 제공되는 CNN 학습 모델에 의해 판정되며, 그 판정 결과에 따른 점수는 애플리케이션(200)을 통해 스마트 디지털 점수판(400)으로 전달되어 표시된다. 추가적으로 상기 애플리케이션(200)에서도 스마트 디지털 점수판(400)에 표시되는 점수를 점수 표시부(214, 224)를 통해 선수, 팀 혹은 사용자들에게 모바일 앱(210)이나 웹 사이트(220)와 같은 응용 프로그램 형태로 제공된다.

상기 모바일 앱(210)이나 웹 사이트(220)는 서버(300)에서 관리하고 있는 딥 러닝 학습 모델로, 탁구 운동 경기에서 발생하는 영상과 소리에서 득점이 되는 상황과 실점이 되는 상황에서의 특징을 추출하고 분석하여, 입력 영상과 소리에 대해 기준 영상과 소리와의 오차를 검출해서 이를 선수, 팀 혹은 사용자에게 해석된 결과로 제공해준다.

상기 딥 러닝 학습 모델은 영상과 소리에 대해 각각 별도의 CNN 학습 모델(312)을 사용하며, 득점과 실점의 기준 영상과 소리는 각각 독립된 형태로 학습시킬 수 있다.

아울러 사전에 해당 영상과 소리별로 어떤 부분이 득점이고 실점인지에 대한 안내사항도 별도 정보로 연결해놓고, 이를 애플리케이션(200)을 통해 제공할 수 있다.

이와 같이 딥 러닝에 의해 판단되는 기준 영상과 소리들은 운동 경기에서 발생하는 영상과 소리에 대한 여러 유형별로 득점과 실점을 모두를 식별할 수 있는 영상과 소리들이고, 입력 영상이 들어오면 딥 러닝 CNN 학습 모델(312)에서 자동으로 매핑 하여 그 입력 영상을 분류해준다.

상기 CNN 학습 모델(312)의 분류를 위한 계산 작업은 애플리케이션(200)이 탑재된 사용자 디바이스(100)내의 모바일 앱(210)이나 웹 사이트(220)에서 수행할 수 도 있고, 서버(300)에서 계산하여 그 결과만 사용자 디바이스(100)의 애플리케이션(200)으로 전달할 수도 있다.

또한, 상기 모바일 앱(210)은 관리 서버(320)에서 직접 다운로드 경로를 제공하거나, 응용 소프트웨어 다운로드 서비스(예를 들어, 앱 스토어 혹은 플레이 스토어 등)를 통하여 제공하는 것으로, 선수, 팀 혹은 사용자는 유선통신, 무선통신 또는 이동통신을 통하여 각자의 모바일 단말기(110)에 다운받을 수 있다.

그러면, 선수, 팀 혹은 사용자는 자신의 모바일 단말기(110)에서 모바일 앱(210)을 다운로드 받을 지의 여부를 결정하여 다운로드를 받으면 된다.

도 2와 도 3에서 각각 도시된 바와 같이, 상기 모바일 앱(210)과 웹 사이트(220)에서는 선수, 팀 혹은 사용자별로 자신의 운동 경기 점수 내용과 이력을 관리하기위한 사용자 로그인(211, 221) 기능을 구성한다.

도 5에서 도시된 바와 같이, 사용자 로그인(211, 221)의 요청이 일어나면 요청받은 사용자가 정당한 사용자인지는 관리 서버(320)에서 사용자 인증부(321)를 통해 제공된다.

영상 수신부(212, 222)에서는 스마트 디지털 점수판(400)에서 실시간으로 촬영되는 영상이나 선수, 팀 혹은 사용자가 선택한 녹화 영상을 보여주고, 마찬가지로 소리 수신부(213, 223)에서는 스마트 디지털 점수판(400)에서 실시간으로 수집된 소리나 선수, 팀 혹은 사용자가 선택한 녹화 동영상에서 나오는 소리를 들려준다.

상기 모바일 앱(210)과 웹 사이트(220)의 점수 표시부(214, 224)에서는 딥 러닝에 의해 판단된 기준 영상과 소리로 점수를 표시할 수 있다. 아울러 상기 선수, 팀 혹은 사용자에게 표시되는 점수 정보는 개별 이력을 관리하기 위해서 점수 정보 저장(215, 225) 기능을 통하여 관리 서버(320)에 저장된다.

따라서, 상기 선수, 팀 혹은 사용자는 데이터베이스에 저장된 자신의 사용자 경기이력(322)을 언제든지 애플리케이션(200)을 통해 볼 수 있다.

상기 관리 서버(320)의 모바일 앱 제공부(323)와 웹 사이트 제공부(324)에서는 모바일 앱(210)이나 웹 사이트(220)를 통해 운동 경기 점수 분석 및 축적된 데이터 이력을 활용한 다양한 통계 분석을 제공 할 수 있고, 선수, 팀 혹은 사용자가 활용할 수 있는 원시 이력 자료로도 제공할 수 있다.

예를 들면, 선수, 팀 혹은 사용자들 간에 진행된 운동 경기 내역에 대해서는 데이터베이스에 저장되어있으므로, 해당 데이터를 활용하여 운동 경기 변화 추이를 제공과 같은 정보제공이 가능하다. 또한, 자주 발생하는 실점 영상이라든지, 선수, 팀 혹은 사용자별 주요 득점 포인트에 대한 영상과 소리를 매칭 시켜서 표시하게 하는 것이다.

입력 영상과 득점 혹은 실점이 되는 기준 영상과 의 유사성 판정은 오차 범위로 식별된다. 해당 오차범위는 선수, 팀 혹은 사용자 혹은 관리자가 임의로 기준을 세워 설정할 수 있다. 예를 들어 5%로 기준 오차를 설정하면, 95%의 유사성을 가져야 동일한 영상으로 판별하는 것이다. 이와 같은 오차는 지속적인 학습과 보정작업을 통해 그 정확도를 향상시킬 수 있다.

또한, 도 4에서 도시된 바와 같이, 딥 러닝 서버(310)에서는 딥 러닝으로 사용되는 CNN 학습 모델(312)과 학습 데이터에 대한 관리부(311)가 구성된다. 학습 데이터 관리부(311)는 영상의 판단 기준이 되는 득점과 실점에 있어서의 영상과 소리를 유형별로 이미지 데이터로 보관한다.

또한, CNN 학습 모델(312)은 가장 최근까지 수집된 기준 영상과 소리로 학습된 CNN 모델에 대한 가중치, 노드수, Layer 수, 임계치, 목적 함수, 활성화 함수에 관한 정보들을 저장하고 있다.

CNN 학습 모델(312)들은 학습 모델 관리부(313)를 통하여 버전별로 그 생성된 이력을 관리하여, 선수, 팀 혹은 사용자 혹은 관리자에게 가장 적합한 형태의 학습 모델을 학습 모델 제공부(314)를 통해 선택할 수 있게 제공해준다.

또한, 도 6에서 도시된 바와 같이 CNN 학습 모델(312)은 영상과 소리에 대해 각각 데이터를 Matrix형태의 수치로 변환되는 입력부, 그 변환된 수치를 통해서 득점과 실점의 특징을 축출하는 부분, 분류하는 부분, 그리고 최종적으로 운동 자세에 대한 분류를 제공해주는 결과부로 구성되어있다. 그리고 영상 학습모델 혹은 소리 학습모델에서 독자적인 판단이 어려운 경우에는 양쪽의 결과를 합쳐서 AND 조건 혹은 OR 조건으로 혼합판단을 수행한다.

예를 들면, 탁구공이 라켓핸드가 아닌 몸에 맞은 경우, 혹은 탁구공이 네트에 닿아 못 넘긴 경우의 영상은 실점 영상으로 분류할 수 있고, 탁구공이 탁구대가 아닌 운동 경기장 바닥에 부딪히는 경우에는 실점 소리로 분류할 수 있다. 또한, 러버를 붙이지 않은 라켓 면으로 탁구공을 처 넘긴 경우는 탁구공을 라켓으로 칠 때의 영상과 소리를 혼합하여 실점여부를 판정할 수 도 있다.

그 외에도 상대가 서브나 리턴에 실패한 경우. 상대가 서브나 리턴을 한 공이 자신의 코트에 바운드 되기 전에 네트 이외의 곳에 맞을 경우. 상대가 친 공이 바운드 되지 않고 코트를 넘어간 경우. 상대가 공을 가린 경우. 상대가 공을 연속해서 두 번 친 경우. 상대가 탁구대를 움직이게 만들거나 네트를 건드린 경우. 상대가 라켓을 들지 않은 쪽 손으로 탁구대를 건드린 경우와 같은 상황에서의 영상과 소리를 사전에 학습시켜놓을 수 있다.

도 7은 본 발명의 실시 예에 따른 딥 러닝 CNN 학습 모델(312) 구조의 노드에서부터의 계산 과정을 도시한 모식도이다.

도 7에 도시된 바와 같이, 본 발명의 실시 예에 따른 CNN 학습 모델(312)은 다층 신경망 구조로 합성곱층과 풀링층이 여러 겹 쌓여있는 구조로 되어있다.

또한, 최종적으로 추출된 특징을 잘 학습해서 이미지를 알맞은 카테고리로 분류하는 영역은 완전 연결 계층(Fully Connected)으로 모두 연결되어있다. 이는 영상과 소리의 분류에 적합 하게 사용될 수 있다.

이상, 본 발명의 특정 실시를 통하여 본 발명의 기술적 사상을 살펴보았다.

또한, 비록 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.

첨부하는 도면을 참조하여 설명된 상기의 실시 예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시 예에 국한되지 아니한다.

100 : 사용자 디바이스
110 : 모바일 단말기
120 : 개인용 컴퓨터
200 : 애플리케이션
210 : 모바일 앱
211 : 사용자 로그인
212 : 영상 수신부
213 : 소리 수신부
214 : 점수 표시부
215 : 점수 정보 저장
220 : 웹 사이트
221 : 사용자 로그인
222 : 영상 수신부
213 : 소리 수신부
214 : 점수 표시부
215 : 점수 정보 저장
300 : 서버
310 : 딥 러닝 서버
311 : 학습 데이터 관리부
312 : CNN 학습 모델
313 : 학습 모델 관리부
314 : 학습 모델 제공부
320 : 관리 서버
321 : 사용자 인증부
322 : 사용자 운동 경기이력
323 : 모바일 앱 제공부
324 : 웹 사이트 제공부
410 : 스마트 디지털 점수판 기능 구성도
411 : 통신 모듈부
412 : 점수 표시부
413 : 제어부
414 : 전원부
421 : 케이스

Claims

카메라와 마이크로폰을 통하여 선수, 팀 혹은 사용자 간의 운동 경기 영상과 소리를 수집하고, 추가로 점수, 세트, 게임의 현황을 표시하는 점수 표시부를 갖는 점수판 본체와;
상기 점수판 본체로부터 전달받은 영상과 소리를 서버에 전송하고, 그 판정 결과를 선수, 팀 혹은 사용자와 점수판 본체에게 제공하는 애플리케이션과;
상기 애플리케이션에서 전달받은 영상과 소리를 분석하여 그 특징을 추출하고 분석하여 득점과 실점을 판정하는 딥 러닝 학습 모델을 제공하고, 상기 운동 경기의 결과와 이력을 저장하는 서버를; 포함하는 것을 특징으로 하는 딥 러닝을 활용한 스마트 점수 표시 시스템 및 동작 방법
제1항에 있어서,
상기 점수판 본체는
애플리케이션과의 유무선 통신을 통해 딥 러닝으로 판정된 득점과 실점의 결과를 디지털로 표시가 가능하도록 구성한 점수 표시 시스템.
제1항에 있어서, 상기 애플리케이션은
점수판 본체로부터 전달받은 영상과 소리를 서버에 전송하고, 득점과 실점의 판정 결과를 선수, 팀 혹은 사용자와 점수판 본체로 제공하는 것을 특징으로 하는 모바일 앱 혹은 웹 사이트 형태의 응용 프로그램.
제1항에 있어서, 상기 서버는
상기 애플리케이션에서 전달받은 영상과 소리의 특징을 딥 러닝 학습모델로 분석하여 득점과 실점을 판정하는 모델을 제공하고, 상기 운동 경기의 결과와 이력을 제공하는 것을 특징을 가진 시스템.
점수판 본체를 통하여 운동 경기 영상과 소리를 전송하는 제 1 단계;
상기 점수판 본체로부터 전달받은 영상과 소리를 서버에 전송하고, 딥 러닝에 의한 득점과 실점의 판정 결과를 애플리케이션을 통하여 선수, 팀 혹은 사용자와 점수판 본체에게 제공하는 제 2 단계;
상기 애플리케이션을 통해 전달받은 영상과 소리를 분석하여 그 특징을 추출하고 분석하여 득점과 실점을 판정하는 딥 러닝 학습 모델을 제공하고, 상기 운동 경기의 결과와 이력을 보관하는 제 3 단계를; 더 포함하는 것을 특징으로 하는 딥 러닝을 활용한 스마트 점수 표시 동작 방법.
제 5 항에 있어서,
상기 딥 러닝을 활용한 스마트 점수 표시 동작 방법은,
상기 제 1 단계 이후에,
상기 점수판 본체로부터 전달받은 영상과 소리를 서버에 전송하고, 딥 러닝에 의한 득점과 실점의 판정 결과를 애플리케이션을 통하여 선수, 팀 혹은 사용자와 점수판 본체에게 제공하는 단계를; 더 포함하는 것을 특징으로 하는 동작 방법.
제 5 항에 있어서,
상기 딥 러닝을 활용한 스마트 점수 표시 동작 방법은,
상기 애플리케이션을 통해 전달받은 영상과 소리를 분석하여 그 특징을 추출하고 분석하여 득점과 실점을 판정하는 딥 러닝 학습 모델을 제공하고, 상기 운동 경기의 결과와 이력을 보관하는 단계를; 더 포함하는 것을 특징으로 하는 동작 방법.