KR102285329B1 - A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress - Google Patents

A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress Download PDF

Info

Publication number
KR102285329B1
KR102285329B1 KR1020210005812A KR20210005812A KR102285329B1 KR 102285329 B1 KR102285329 B1 KR 102285329B1 KR 1020210005812 A KR1020210005812 A KR 1020210005812A KR 20210005812 A KR20210005812 A KR 20210005812A KR 102285329 B1 KR102285329 B1 KR 102285329B1
Authority
KR
South Korea
Prior art keywords
game
unit
sports
voice
real
Prior art date
Application number
KR1020210005812A
Other languages
Korean (ko)
Inventor
하종규
Original Assignee
(주)알앤디비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)알앤디비 filed Critical (주)알앤디비
Priority to KR1020210005812A priority Critical patent/KR102285329B1/en
Application granted granted Critical
Publication of KR102285329B1 publication Critical patent/KR102285329B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The present invention relates to a system and method for real-time game strategy prediction based on the recognition of commentary of a sports game commentator and the speech of a broadcast announcer. More specifically, the system comprises: a voice input unit into which a recorded voice of a sports event commentator's commentary and a broadcast announcer's game progress is input; a feature extraction unit which extracts features for the recorded voice; a game strategy prediction model generation unit that generates a game strategy prediction model after learning the recorded voice on the basis of the characteristics on the basis of a machine learning technology; and a game strategy prediction unit outputs a game strategy prediction result for the game when the commentary of the sports game commentator and the broadcast announcer's real-time voice about the game progress being relayed in real time to the game strategy prediction model are input.

Description

스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템 및 방법 {A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress}{A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress}

본 발명은 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템 및 방법에 관한 것으로, 보다 구체적으로 인공지능 및 빅데이터 기술기반으로 경기전략 예측모델을 생성한 후 상기 경기전략 예측모델에 스포츠 경기 해설자와 방송 아나운서가 실시간으로 중계하는 실시간 음성이 입력되면 해당 경기에 대한 경기전략 예측결과를 출력하는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템 및 방법에 관한 것이다.The present invention relates to a real-time game strategy prediction system and method based on the commentary of a sports game commentator and the speech recognition of a broadcast announcer, and more specifically, after generating a game strategy prediction model based on artificial intelligence and big data technology, the game When the real-time voice relayed by the sports game commentator and broadcast announcer is input to the strategy prediction model, the sports game commentator's commentary and the broadcast announcer's voice recognition-based real-time game strategy prediction that outputs the game strategy prediction result for the game It relates to systems and methods.

스포츠 경기는 박진감과 흥미진진함 그리고 승부에 대한 열정 등으로 인해 사용자들을 즐길 수 있게 하지만 단순한 흥미와 재미라는 감성적인 영역뿐만 아니라 스포츠 게임에 대한 분석과 예측이라는 지적 영역으로 확장되어 가는 추세이다. Sports games allow users to enjoy them due to their excitement, excitement, and passion for winning games.

스포츠 경기는 선수들이나 경기 여건, 선수들의 구성과 감독 등의 다양한 변수에 따라 게임의 분석과 예측이 충분히 가능하다. 예컨대, 스포츠 전문 해설가는 게임 해설 중에도 감독의 의중을 읽어 매 순간 다음의 전략을 예측하기도 하고, 선수교체시기, 교체선수, 감독의 전술 및 선수들의 컨디션 등 경기 외적 요소를 바탕으로 경기의 영향과 흐름을 종합적으로 분석한다.In sports games, analysis and prediction of games are sufficiently possible according to various variables such as players, game conditions, composition and coaching of players. For example, sports commentators read the coach's intentions even during game commentary to predict the next strategy at every moment, and the influence and flow of the game based on extra-game factors such as the time of substitution, substitute players, the coach's tactics, and the players' condition. comprehensively analyzed.

종래에는 정보통신기기가 발달함에 따라 경기하는 팀, 선수, 경기기록 등 스포츠 데이터를 입력한 후 예측결과를 도출할 수 있는데, 이는 한정된 데이터로 예측결과를 도출하게 됨으로 보다 정확하고 신뢰성 있는 예측결과가 도출되기 어려운 단점이 있다.Conventionally, with the development of information and communication devices, prediction results can be derived after inputting sports data such as teams, players, and game records to be played. There are disadvantages that are difficult to derive.

관련문헌 1은 스포츠데이터 정보를 이용한 경기결과 예측방법에 관한 것으로, 스포츠 경기에 대한 자료를 분석하여 향후 예상되는 승패 확률을 연산하도록 함으로써 홈팀 및 원정팀의 경기결과 확률을 도출할 수 있으나, 프로세서에 정해진 항목에 대한 입력데이터를 입력해야하고, 이에 따라 한정된 결과만을 도출할 수 있으므로 경기 승패를 좌우할 수 있는 다양한 데이터를 확보하기 어려운 단점이 있다. Related Document 1 relates to a method for predicting match results using sports data information, and by analyzing data on sports events to calculate expected win/loss probabilities in the future, it is possible to derive the game result probabilities of the home team and the away team, but There is a disadvantage in that it is difficult to secure various data that can determine the victory or defeat of the game because it is necessary to input input data for the item, and only limited results can be derived accordingly.

관련문헌 2는 빅데이터 기반의 스포츠 경기 실시간 예측 방법 및 시스템에 관한 것으로 관리자가 경기 전적 정보를 서버에 입력하면 전문가가 평가 정보를 서버에 입력하고 사용자가 원하는 정보를 선택하면 단말기로 전송할 수 있으나, 이는 관리자, 전문가가 직접 서버에 작성하여 사용자에게 제공함으로 경기 시점에서 실시간으로 경기를 예측하기 어렵고, 관리자 및 전문가의 견해에 따라 예측결과에 큰 차이가 발생할 수 있는 단점이 있다. Related Document 2 relates to a big data-based real-time sports game prediction method and system. When an administrator inputs game record information to the server, the expert inputs evaluation information to the server, and when the user selects the desired information, it can be transmitted to the terminal. This has the disadvantage that it is difficult to predict the game in real time at the time of the game as managers and experts directly write it on the server and provide it to the user, and a big difference may occur in the prediction result depending on the opinions of managers and experts.

KR 10-1585399KR 10-1585399 KR 10-2017-0065131KR 10-2017-0065131

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로 실시간으로 경기를 치르고 있는 팀의 코칭단에게 상대팀의 감독이 취할 경기전략을 비대면으로 보다 정확히 예측한 후 제공할 수 있고, 실시간 경기를 시청하고 있는 시청자에게 경기전략 예측결과를 기반으로 한 질문지와 질문지에 대한 선택지를 제공하고 베팅(Betting)할 수 있는 엔터테인먼트 요소를 함께 제공하여 해당 경기를 보다 흥미진진하고 집중력 있게 시청할 수 있도록 인공지능 및 빅데이터 기술기반으로 경기전략 예측모델을 생성한 후 상기 경기전략 예측모델에 스포츠 경기 해설자와 방송 아나운서의 실시간 음성이 입력되면 해당 경기에 대한 경기전략 예측결과를 출력하고, 상기 경기전략 예측결과를 기반으로 질문지와 질문지에 대한 선택지를 생성하는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템 및 방법을 얻고자 하는 것을 목적으로 한다.The present invention is to solve the above problems, and it is possible to provide the coaching team of the team playing the game in real time after more accurately predicting the game strategy that the coach of the opposing team will take non-face-to-face, and watching the real-time game, Artificial intelligence and big data to make the game more exciting and focused by providing viewers with a questionnaire based on the prediction result of the game strategy and a choice of questionnaire and entertainment elements for betting together After generating a game strategy prediction model based on technology, when the real-time voice of a sports game commentator and broadcast announcer is input to the game strategy prediction model, the game strategy prediction result for the game is output, and a questionnaire based on the game strategy prediction result The purpose of this study is to obtain a real-time game strategy prediction system and method based on the commentary of sports game commentators and voice recognition of broadcast announcers who generate options for the questionnaire and the game.

상기 목적을 달성하기 위하여, 본 발명의 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템은 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행이 녹음된 녹음 음성이 입력되는 음성 입력부; 상기 녹음 음성에 대한 특징을 추출하는 특징 추출부; 머신러닝 기술기반으로 상기 특징을 기준으로 상기 녹음 음성을 학습한 후 경기전략 예측모델을 생성하는 경기전략 예측모델 생성부; 및 상기 경기전략 예측모델에 실시간으로 중계되고 있는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행에 대한 실시간 음성이 입력되면 해당 경기에 대한 경기전략 예측결과를 출력하는 경기전략 예측부;를 제공한다.In order to achieve the above object, the real-time game strategy prediction system based on the speech recognition of the sports game commentator's commentary and the broadcast announcer's game progress of the present invention is a recorded voice of the sports game commentator's commentary and the broadcast announcer's game progress is input. voice input unit; a feature extracting unit for extracting features of the recorded voice; a game strategy prediction model generator for generating a game strategy prediction model after learning the recorded voice based on the characteristics based on machine learning technology; and a game strategy prediction unit for outputting a game strategy prediction result for the game when a real-time voice of a sports game commentator's commentary and a broadcast announcer's game progress being relayed in real time to the game strategy prediction model is input.

상기 목적을 달성하기 위하여, 본 발명의 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 방법은 음성 입력부에 의하여, 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행이 녹음된 녹음 음성이 입력되는 음성 입력단계; 특징 추출부에 의하여, 상기 녹음 음성에 대한 특징이 추출되는 특징 추출단계; 경기전략 예측모델 생성부에 의하여, 머신러닝 기술기반으로 상기 특징이 기준이 되어 상기 녹음 음성이 학습된 후 경기전략 예측모델이 생성되는 경기전략 예측모델 생성단계; 및 경기전략 예측부에 의하여, 상기 경기전략 예측모델에 실시간으로 중계되고 있는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행에 대한 실시간 음성이 입력되면 해당 경기에 대한 경기전략 예측결과가 출력되는 경기전략 예측단계;를 제공한다. In order to achieve the above object, the real-time game strategy prediction method based on the voice recognition of the sports game commentator's commentary and the broadcast announcer's game progress of the present invention is recorded by the voice input unit, the sports game commentator's commentary and the broadcast announcer's game progress are recorded. a voice input step in which a recorded voice is input; a feature extraction step of extracting, by a feature extraction unit, a feature for the recorded voice; A game strategy prediction model generation step in which, by the game strategy prediction model generation unit, a game strategy prediction model is generated after the recorded voice is learned based on the characteristics based on machine learning technology; And by the game strategy prediction unit, when the commentary of a sports game commentator relayed in real time to the game strategy prediction model and real-time voice for the progress of the game by the broadcast announcer is inputted, the game strategy prediction result for the game is output. Prediction step; is provided.

이상과 같이 본 발명에 의하면 인공지능 및 빅데이터 기술기반으로 경기전략 예측모델을 생성한 후 상기 경기전략 예측모델에 스포츠 경기 해설자와 방송 아나운서의 실시간 음성이 입력되면 경기전략 예측결과를 출력하고, 상기 경기전략 예측결과를 기반으로 질문지와 질문지에 대한 선택지를 생성하도록 구비함으로써, 실시간으로 경기를 치르고 있는 팀의 코칭단에게 상대팀의 감독이 취할 경기전략을 비대면으로 보다 정확히 예측한 후 제공할 수 있고, 실시간 경기를 시청하고 있는 시청자에게 해당 경기에 대해 베팅(Betting)할 수 있는 엔터테인먼트 요소를 함께 제공하여 해당 경기를 보다 흥미진진하고 집중력 있게 시청할 수 있는 효과가 있다.As described above, according to the present invention, after generating a game strategy prediction model based on artificial intelligence and big data technology, when the real-time voice of a sports game commentator and broadcast announcer is input to the game strategy prediction model, the game strategy prediction result is output, and the By providing the questionnaire and questionnaire options based on the prediction result of the game strategy, it is possible to provide the coaching team of the team playing the game in real time after more accurately predicting the game strategy that the coach of the opposing team will take non-face-to-face. There is an effect that viewers who are watching a real-time match can watch the match more exciting and focused by providing an entertainment element that allows them to bet on the match.

도 1은 본 발명에 따른 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템 구성도이다.
도 2는 본 발명의 일실시예에 따른 상기 녹음 음성이 주파수 도메인으로 변환된 것을 표시한 그래프이다.
도 3은 본 발명의 일실시예에 따른 예비예측모델의 최적화가 가능하도록 하는 경사 하강법(Gradient Descent)을 표시한 도면이다.
도 4는 본 발명의 일실시예에 따른 오차 행렬(Confusion Matrix)을 표시한 도면이다.
도 5는 본 발명의 일실시예에 따른 스포츠 경기 해설자와 방송 아나운서 중 적어도 하나의 발화자의 시간에 따른 심전도와 시간에 따른 상기 실시간 음성의 높낮이를 표시한 도면이다.
도 6은 본 발명에 따른 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 방법 흐름도이다.
도 7은 본 발명에 일실시예에 따른 뉴스 데이터와 심전도가 반영된 경기전략 예측결과가 출력된 후 질문지가 생성되는 것을 표시한 흐름도이다.1 is a configuration diagram of a real-time game strategy prediction system based on a commentary by a sports game commentator and voice recognition of a broadcast announcer's game progress according to the present invention.
2 is a graph showing that the recorded voice is converted into a frequency domain according to an embodiment of the present invention.
3 is a diagram illustrating a gradient descent method that enables optimization of a preliminary prediction model according to an embodiment of the present invention.
4 is a diagram illustrating a confusion matrix according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an electrocardiogram according to time of at least one speaker of a sports game commentator and a broadcast announcer and the height of the real-time voice according to time according to an embodiment of the present invention.
6 is a flowchart of a real-time game strategy prediction method based on a commentary by a sports game commentator and voice recognition of a broadcast announcer's game progress according to the present invention.
7 is a flowchart illustrating that a questionnaire is generated after a game strategy prediction result reflecting news data and an electrocardiogram according to an embodiment of the present invention is output.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in this specification have been selected as currently widely used general terms as possible while considering the functions in the present invention, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템Real-time game strategy prediction system based on sports game commentator's commentary and broadcast announcer's voice recognition

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명에 따른 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템 구성도이다. Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings. 1 is a configuration diagram of a real-time game strategy prediction system based on a commentary by a sports game commentator and voice recognition of a broadcast announcer's game progress according to the present invention.

도 1을 보면, 본 발명의 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템은 음성 입력부(100), 특징 추출부(200), 경기전략 예측모델 생성부(300) 및 경기전략 예측부(400)를 포함한다. 1, the real-time game strategy prediction system based on the commentary of the sports game commentator and the broadcast announcer's speech recognition of the present invention is a voice input unit 100, a feature extraction unit 200, and a game strategy prediction model generation unit 300 ) and a game strategy prediction unit 400 .

보다 구체적으로, 상기 음성 입력부(100)는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행이 녹음된 녹음 음성이 입력된다.More specifically, the voice input unit 100 is inputted with a recorded voice in which the commentary of the sports game commentator and the game progress of the broadcast announcer are recorded.

한편, 상기 음성 입력부(100)는 유무선 네트워크를 통하여 외부서버(900)와 연결될 수 있고, 상기 외부서버(900)에 접근하여 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행이 녹음된 녹음파일을 획득한 후 종목별, 경기일자별로 분류하여 저장할 수 있다. On the other hand, the voice input unit 100 may be connected to the external server 900 through a wired/wireless network, and accesses the external server 900 to obtain a recording file in which a commentary of a sports game commentator and a broadcast announcer's game progress are recorded. After that, you can classify them by event and game date and save them.

일반적으로, 방송 아나운서의 경기 진행은 초반에 경기에 출전하는 선수, 각 선수의 포지션 등을 파악할 수 있고, 경기 중에 전반적인 경기 흐름을 파악할 수 있다. 그리고 상기 스포츠 경기 해설자의 해설은 감독의 전술, 전략 등을 파악할 수 있는 기술적인 내용을 파악할 수 있으므로, 가장 바람직하게 상기 녹음 음성은 다른 역할을 하는 두 발화자의 음성이 모두 녹음된 녹음 파일일 수 있다. 그리고 상기 스포츠 경기에는 야구, 축구, 농구 등이 포함될 수 있고, 특정한 종목에 한정되지 않는다. In general, in the game progress of the broadcast announcer, players participating in the game at the beginning, the position of each player, etc. can be grasped, and the overall game flow can be grasped during the game. And since the commentary of the sports game commentator can grasp the technical contents that can grasp the coach's tactics, strategies, etc., most preferably, the recorded voice may be a recording file in which the voices of both speakers playing different roles are recorded. . And the sports game may include baseball, soccer, basketball, and the like, and is not limited to a specific event.

다음으로, 상기 특징 추출부(200)는 상기 녹음 음성에 대한 특징을 추출한다. 일반적으로 음성 데이터로부터 특징을 추출하는 방법은 다양하다. 예컨대, 음성의 스펙트럼을 분석하거나, 음정의 최고점과 최저점의 차이를 분석하거나, 화음 간 관계를 분석한 후 이를 수치화하여 특징 파라미터를 생성할 수 있다.Next, the feature extraction unit 200 extracts a feature of the recorded voice. In general, there are various methods for extracting features from voice data. For example, a characteristic parameter may be generated by analyzing the spectrum of a voice, analyzing the difference between the highest point and the lowest point of a pitch, or analyzing a relationship between chords and then quantifying it.

상기 특징 추출부(200)는 가장 바람직하게, 상기 녹음 음성에 대한 특징을 추출하기 위해서 소리특징 추출부(210) 및 문맥특징 추출부(220)를 포함할 수 있다. 상기 소리특징 추출부(210)는 상기 녹음 음성을 주파수 도메인으로 변환한 후 특정 주파수에서 신호가 검출되면 이를 소리특징으로 추출할 수 있다. The feature extractor 200 may include a sound feature extractor 210 and a context feature extractor 220 to extract features for the recorded voice most preferably. The sound feature extraction unit 210 may convert the recorded voice into a frequency domain and, when a signal is detected at a specific frequency, extract it as a sound feature.

다시 말하면, 상기 소리특징 추출부(210)는 시간변화에 대한 주파수 높낮이로 표시된 상기 녹음 음성을 주파수에 대한 피치여부로 표시되도록 상기 녹음 음성을 변환할 수 있다.In other words, the sound feature extraction unit 210 may convert the recorded voice so that the recorded voice displayed as a frequency pitch with respect to time change is displayed as a pitch with respect to a frequency.

상기 녹음 음성을 변환함에 있어서, 상기 소리특징 추출부(210)는 모폴로지 클로징을 수행하는 모폴로지 필터의 최적의 SSS(Optimum Structuring Set Size)를 결정한 후 모폴로지 연산(Morphological Operation)을 수행할 수 있다. 그리고 상기 모폴로지 연산결과를 이용하여 상기 피치를 추출할 수 있다.In converting the recorded voice, the sound feature extracting unit 210 may perform a morphological operation after determining an optimal SSS (Optimum Structuring Set Size) of a morphological filter that performs morphological closing. In addition, the pitch may be extracted using the morphology calculation result.

도 2는 본 발명의 일실시예에 따른 상기 녹음 음성이 주파수 도메인으로 변환된 것을 표시한 그래프이다. 도 2를 보면, 2 채널에 있어서, 특정 주파수인 22,050 헤르츠(Hz)에서 신호가 검출된 것을 확인할 수 있고, 이를 상기 소리특징으로 추출할 수 있다. 2 is a graph showing that the recorded voice is converted into a frequency domain according to an embodiment of the present invention. Referring to FIG. 2 , it can be confirmed that a signal is detected at a specific frequency of 22,050 hertz (Hz) in two channels, and this can be extracted as the sound feature.

다음으로, 상기 문맥특징 추출부(220)는 음성인식 기술기반으로 상기 녹음 음성을 음성-텍스트-변환(Speech-To-Text; STT)한 후 상기 텍스트로부터 문맥특징을 추출할 수 있다. 상기 문맥특징은 스포츠 경기 해설자가 자주 언급하는 스포츠 경기관련 핵심어일 수 있다.Next, the context feature extractor 220 may extract the context feature from the text after performing Speech-To-Text (STT) on the recorded voice based on voice recognition technology. The context feature may be a key word related to a sports event frequently mentioned by a sports event commentator.

다음으로, 상기 경기전략 예측모델 생성부(300)는 머신러닝 기술기반으로 상기 특징을 기준으로 상기 녹음 음성을 학습한 후 경기전략 예측모델을 생성한다. 가장 바람직하게, 상기 특징에는 소리특징과 문맥특징이 포함될 수 있다. Next, the game strategy prediction model generation unit 300 generates a game strategy prediction model after learning the recorded voice based on the characteristics based on machine learning technology. Most preferably, the characteristic may include a sound characteristic and a context characteristic.

보다 신뢰성 높은 상기 경기전략 예측모델을 생성하기 위해서, 상기 경기전략 예측모델 생성부(300)는 분류부(310), 성능 평가부(320) 및 모델 결정부(330)를 포함할 수 있다.In order to generate the more reliable game strategy prediction model, the game strategy prediction model generation unit 300 may include a classification unit 310 , a performance evaluation unit 320 , and a model determination unit 330 .

보다 구체적으로, 상기 분류부(310)는 상기 음성 입력부(100)로부터 입력된 다수 개의 상기 녹음 음성을 학습용 데이터 셋과 테스트용 데이터 셋으로 분류할 수 있다. More specifically, the classification unit 310 may classify the plurality of recorded voices input from the voice input unit 100 into a training data set and a test data set.

상기 성능 평가부(320)는 상기 학습용 데이터 셋을 이용하여 학습된 예비예측모델에 상기 테스트용 데이터 셋을 입력한 후 오차행렬(Confusion Matrix)을 적용하여 상기 예비예측모델의 성능을 평가할 수 있다. The performance evaluation unit 320 may evaluate the performance of the preliminary prediction model by inputting the test data set to the preliminary prediction model learned using the training data set and then applying a confusion matrix.

가장 바람직하게, 상기 성능 평가부(320)는 우선적으로 상기 학습용 데이터 셋을 이용하여 상기 예비예측모델을 학습시킬 시 경사 하강법(Gradient Descent)을 이용하여 학습을 최적화할 수 있다. Most preferably, the performance evaluation unit 320 may optimize learning by using gradient descent when the preliminary prediction model is firstly trained using the training data set.

도 3은 본 발명의 일실시예에 따른 예비예측모델의 최적화가 가능하도록 하는 경사 하강법(Gradient Descent)을 표시한 도면이다.3 is a diagram illustrating a gradient descent method that enables optimization of a preliminary prediction model according to an embodiment of the present invention.

최적화(Optimization)는 일반적으로 신경망 모델의 학습과 그 결과에 따른 손실함수의 값을 최소화하는 방향으로 파라미터를 찾는 것을 일컫는다. 그리고 상기 파라미터 매개변수의 수만큼 가능한 매개점수의 조합이 수배로 증가하게 됨으로, 이 중에서 최적의 조합을 찾는 것은 상당히 어려운 일이다.Optimization generally refers to learning of a neural network model and finding parameters in the direction of minimizing the value of the loss function according to the result. And since the number of possible combinations of parameter points increases by several times as much as the number of parameters, it is quite difficult to find an optimal combination among them.

경사 하강법(Gradient Descent)은 손실함수의 최솟값을 찾기 위해 손실함수의 기울기를 구한 후 상기 기울기의 절댓값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복시키는 것이다. Gradient descent is to obtain the slope of the loss function in order to find the minimum value of the loss function, and then continue to move toward the lower absolute value of the slope and repeat until the extreme value is reached.

또한, 상기 성능 평가부(320)는 오차 행렬(Confusion Matrix)을 적용하여 상기 예비예측모델의 성능을 평가할 수 있다.Also, the performance evaluation unit 320 may evaluate the performance of the preliminary prediction model by applying a confusion matrix.

오차 행렬(Confusion Matrix)은 일반적으로 참이라고 간주되는 관측값과 평가를 위해 추출된 샘플 간의 비교를 위한 행렬로, 정확도만으로 평가하기 곤란한 불균형 데이터 셋의 경우 해당 행렬을 사용할 수 있다. 즉, 상기 성능 평가부(320)는 상기 예비예측모델로부터 출력된 예측값과 실제값의 오차를 확인하기 위해 상기 오차 행렬을 적용할 수 있다. The confusion matrix is a matrix for comparison between an observation value that is generally considered true and a sample extracted for evaluation. In the case of an imbalanced data set that is difficult to evaluate only with accuracy, the matrix can be used. That is, the performance evaluation unit 320 may apply the error matrix to check the error between the predicted value and the actual value output from the preliminary prediction model.

도 4는 본 발명의 일실시예에 따른 오차 행렬(Confusion Matrix)을 표시한 도면이다. 보다 구체적으로, True인데 상기 예비예측모델이 True로 맞춘 경우 TP(True Positive), False인데 상기 예비예측모델이 True로 틀린 경우 FP(False Positive), False인데 상기 예비예측모델이 False로 맞춘 경우 TN(True Negative), True인데 상기 예비예측모델이 False로 틀린 경우 FN(False Negative)으로 표시할 수 있다. 4 is a diagram illustrating a confusion matrix according to an embodiment of the present invention. More specifically, TP (True Positive) when the preliminary predictive model is set to True when True, FP (False Positive) when False and the preliminary predictive model is set to True when the preliminary predictive model is set to True, and TN when False and the preliminary predictive model is set to False (True Negative), when True, but the preliminary prediction model is false as False, it can be displayed as FN (False Negative).

이때, 상기 성능 평가부(320)는 상기 예비예측모델이 얼마나 정확하게 예측하였는지를 나타내는 정확도(Accuracy), 상기 정확도와 반대인 오류율(Error Rate), 전체 True인 경우(TP+TN)에 대한 True로 맞춘 경우(TP)의 비율을 나타내는 민감도(Recall), Positive로 예측한 경우(TP+FP)에 대한 실제 Positive(TP)로 예측한 경우의 비율을 나타내는 정밀도(Precision), 전체 Negative인 경우(TN+FP)에 대한 Negative로 맞춘 경우(TN)의 비율을 나타내는 특이도(Specificity), 상기 민감도와 정밀도를 이용하여 조합 평균을 산출한 F1-Score 중 적어도 하나를 포함하는 성능지표를 산출할 수 있다. At this time, the performance evaluation unit 320 is adjusted to True for the accuracy (Accuracy) indicating how accurately the preliminary prediction model predicted, the error rate (Error Rate) opposite to the accuracy, and true for all cases (TP + TN) Sensitivity (Recall) representing the ratio of cases (TP), precision (Precision) representing the ratio of predicted positive (TP) to positive (TP+FP), and overall negative (TN+) It is possible to calculate a performance index including at least one of specificity indicating a ratio of a negative fit (TN) to FP) and an F1-Score obtained by calculating a combined average using the sensitivity and precision.

다음으로, 상기 모델 결정부(330)는 상기 성능 평가부(320)로부터 정확도, 오류율, 민감도, 정밀도, 특이도, F1-Score 중 적어도 하나를 포함하는 성능지표가 기 설정된 성능지표보다 크거나 같은 경우 상기 예비예측모델을 상기 경기전략 예측모델로 결정할 수 있다. Next, the model determiner 330 determines that a performance index including at least one of accuracy, error rate, sensitivity, precision, specificity, and F1-Score from the performance evaluation unit 320 is greater than or equal to a preset performance index. In this case, the preliminary prediction model may be determined as the game strategy prediction model.

반면에, 상기 모델 결정부(330)는 상기 성능지표가 기 설정된 성능지표보다 작은 경우 상기 음성 입력부(100)로 회귀하여 스포츠 경기 해설자의 해설 과 방송 아나운서의 경기 진행이 녹음된 녹음파일을 재입력 받도록 할 수 있다. On the other hand, the model determining unit 330 returns to the voice input unit 100 when the performance index is smaller than a preset performance index and re-enters the recording file in which the commentary of the sports game commentator and the game progress of the broadcast announcer are recorded. you can get it

따라서 상기 경기전략 예측모델 생성부(300)는 상기 예비예측모델을 최적화하고 성능을 평가함으로써, 단순히 데이터 셋을 이용하여 학습된 예측모델과 달리 보다 신뢰성 높은 상기 경기전략 예측모델을 생성할 수 있는 효과가 있다.Therefore, the game strategy prediction model generation unit 300 optimizes the preliminary prediction model and evaluates the performance, so that the game strategy prediction model with higher reliability can be generated, unlike the prediction model learned using a simple data set. there is

다음으로, 상기 경기전략 예측부(400)는 상기 경기전략 예측모델에 실시간으로 중계되고 있는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행에 대한 실시간 음성이 입력되면 해당 경기에 대한 경기전략 예측결과를 출력한다. 여기서, 상기 경기전략 예측결과는 해당 경기의 경기승패정보 뿐만 아니라 감독이 취할 경기전략을 포함할 수 있다.Next, the game strategy prediction unit 400 is a game strategy prediction result for the game when the real-time voice of the broadcast announcer's commentary and the broadcast announcer's commentary on the sports game being relayed in real time to the game strategy prediction model is input. print out Here, the game strategy prediction result may include game strategy to be taken by the manager as well as game win/loss information of the corresponding game.

여기서, 상기 음성 입력부(100)는 상기 경기전략 예측모델을 생성할 경우에는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행이 녹음된 녹음파일이 입력되고, 상기 경기전략 예측모델을 이용하여 상기 경기전략 예측결과를 출력할 경우에는 상기 외부서버(900)로부터 실시간으로 중계되고 있는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행에 대한 실시간 음성을 전송받은 후 상기 경기전략 예측부(400)에 전송할 수 있다. Here, when the voice input unit 100 generates the game strategy prediction model, a recording file of a sports game commentator's commentary and a broadcast announcer's game progress is input, and the game strategy prediction model is used to generate the game strategy In the case of outputting the prediction result, after receiving the commentary of the sports game commentator and the broadcast announcer's real-time voice about the game progress being relayed in real time from the external server 900, it can be transmitted to the game strategy prediction unit 400. .

한편, 본원발명은 상기 외부서버(900)와 통신 가능하도록 연결되고, 실시간으로 중계되고 있는 스포츠 경기에 대한 뉴스 데이터를 수집하는 뉴스 데이터 수집부(500), 상기 외부서버(900)와 통신 가능하도록 연결되고, 스포츠 경기 해설자와 방송 아나운서 중 적어도 하나의 발화자로부터 착용된 심전도 측정 장치(700)로부터 심전도를 입력받는 심전도 입력부(600)를 더 포함할 수 있다.On the other hand, the present invention is connected to be able to communicate with the external server 900, a news data collection unit 500 that collects news data about a sports game being relayed in real time, so that communication with the external server 900 is possible. It may further include an electrocardiogram input unit 600 that is connected and receives an electrocardiogram from the electrocardiogram measuring device 700 worn by at least one speaker of a sports game commentator and a broadcast announcer.

여기서, 상기 뉴스 데이터는 해당 경기의 출전 선수별 포지션, 경기이력, 컨디션 및 인터뷰 내용, 출전 팀별 이력, 출전 팀별 감독의 선호전술 및 인터뷰 내용, 경기일자 및 시간에 따른 날씨 등을 포함할 수 있다.Here, the news data may include a position for each player participating in the game, a match history, condition and interview details, a history for each participating team, a preferred tactic and interview details of a coach for each participating team, and weather according to a game date and time.

그리고 상기 경기전략 예측부(400)는 상기 뉴스 데이터 수집부(500)로부터 전송받은 상기 뉴스 데이터를 전처리한 후 해당 경기에 출전한 선수정보, 해당 경기가 개최되고 있는 경기장 정보에 관한 텍스트를 인식하고, 상기 텍스트를 상기 경기전략 예측결과에 반영할 수 있다. And the game strategy prediction unit 400 pre-processes the news data transmitted from the news data collection unit 500, and then recognizes the text about information about players who participated in the game, and information about the stadium where the game is being held. , the text may be reflected in the prediction result of the game strategy.

도 5는 본 발명의 일실시예에 따른 스포츠 경기 해설자와 방송 아나운서 중 적어도 하나의 발화자의 시간에 따른 심전도와 시간에 따른 상기 실시간 음성의 높낮이를 표시한 도면이다. FIG. 5 is a diagram illustrating an electrocardiogram according to time of at least one speaker of a sports game commentator and a broadcast announcer and the height of the real-time voice according to time according to an embodiment of the present invention.

일반적으로 심전도는 심장의 박동에 따라 신근에서 발생하는 활동 전류를 기록하여 얻어진 정보이다. 도 5를 보면, 본원발명의 상기 경기전략 예측부(400)는 상기 심전도 입력부(600)로부터 입력받은 발화자의 심전도가 정상상태에서 이상상태로 변경되고, 이와 더불어 상기 음성 입력부(100)로부터 입력된 상기 실시간 음성의 높낮이가 급격하게 높아지면 긍정적인 이벤트인 점수획득상황이 발생하였다고 판단할 수 있다. 그리고 상기 경기전략 예측부(400)는 상기 점수획득상황을 어플리케이션 서버(1000)에 전송할 수 있고, 상기 어플리케이션 서버(1000)는 상기 점수획득상황을 컨텐츠 형식으로 변환하여 사용자의 단말기(1100)에 기 설치된 어플리케이션에 표시되도록 할 수 있다. In general, the electrocardiogram is information obtained by recording the activity current generated by the extensor according to the beating of the heart. Referring to FIG. 5 , the game strategy prediction unit 400 of the present invention changes the speaker's electrocardiogram input from the electrocardiogram input unit 600 from a normal state to an abnormal state. When the pitch of the real-time voice suddenly increases, it can be determined that a score acquisition situation, which is a positive event, has occurred. In addition, the game strategy prediction unit 400 may transmit the score acquisition situation to the application server 1000, and the application server 1000 converts the score acquisition situation into a content format and writes it to the user's terminal 1100. It can be displayed in installed applications.

반면에, 상기 경기전략 예측부(400)는 상기 심전도 입력부(600)로부터 입력받은 발화자의 심전도가 정상상태이고, 이와 더불어 상기 음성 입력부(100)로부터 입력된 상기 실시간 음성의 높낮이가 급격하게 높아지면 부정적인 이벤트인 실점 및 실수상황이 발생하였다고 판단할 수 있다. 그리고 상기 경기전략 예측부(400)는 상기 실점 및 실수상황을 어플리케이션 서버(1000)에 전송할 수 있고, 상기 어플리케이션 서버(1000)는 실점 및 실수상황을 컨텐츠 형식으로 변환하여 사용자의 단말기(1100)에 기 설치된 어플리케이션에 표시되도록 할 수 있다. On the other hand, in the game strategy prediction unit 400, the electrocardiogram of the speaker inputted from the electrocardiogram input unit 600 is in a normal state, and in addition, when the height of the real-time voice input from the voice input unit 100 increases rapidly, It can be judged that a negative event, such as a loss or a mistake situation, has occurred. And the game strategy prediction unit 400 may transmit the loss and mistake situation to the application server 1000, the application server 1000 converts the loss and mistake situation into a content format to the user's terminal 1100 It can be displayed in pre-installed applications.

한편, 본원발명은 실시간으로 중계되고 있는 스포츠 경기의 시청자가 베팅(Betting)할 수 있도록 상기 경기전략 예측결과를 기반으로 감독이 취할 경기전략에 대한 질문지를 생성하는 질문지 생성부(800)를 더 포함할 수 있다. On the other hand, the present invention further includes a questionnaire generating unit 800 that generates a questionnaire about the game strategy to be taken by the coach based on the match strategy prediction result so that viewers of the sports game being relayed in real time can bet. can do.

여기서, 베팅(Betting)은 결과가 불확실한 일에 돈을 거는 행위로써, 주로 도박, 경마, 주식 매매, 외환 겨래 등에 쓰이는 말이다. 즉, 본원발명은 실시간 중계되고 있는 스포츠 경기에 출전한 팀의 코칭에게 단순히 경기전략 예측결과를 출력하여 제공할 뿐만 아니라, 실시간 중계되고 있는 스포츠 경기의 시청자의 흥미를 증진시키고자 상기 경기전략 예측결과를 기반으로 감독이 취할 경기전략에 대한 질문지를 생성하고, 상기 질문지에 대한 선택지 예컨대 YES OR NO를 생성할 수 있다. Here, betting is an act of betting money on an event with an uncertain outcome, and is mainly used for gambling, horse racing, stock trading, and foreign exchange trading. That is, the present invention not only outputs and provides the game strategy prediction result to the coach of the team participating in the sports game being relayed in real time, but also enhances the interest of the viewers of the sports game being relayed in real time. It is possible to generate a questionnaire about the game strategy to be taken by the manager based on

예컨대, ‘상기 질문지는 우승한 코치에게 어떤 색의 게토레이를 부을 것인가?’, ‘선수 A는 현재 게임에서 몇 분 출전할 것인가?’, ‘누가 MVP로 지명될 것인가?’, ‘선수 A가 선수 B로 교체될 것인가?’ 등의 질문지를 생성할 수 있다. For example, 'what color gatorade will be poured on the winning coach in the questionnaire?', 'How many minutes will Player A play in the current game?', 'Who will be named MVP?', 'Player A is a player Will it be replaced by B?' and so on.

그리고 상기 질문지 생성부(800)는 사용자의 단말기(1100)에 기 설치된 어플리케이션을 통해서 사용자가 상기 질문지를 확인할 수 있도록 상기 질문지를 어플리케이션 서버(1000)에 전송하고, 상기 어플리케이션 서버(1000)는 텍스트 형식으로 된 상기 질문지와 상기 질문지에 대한 선택지를 이미지 형식의 컨텐츠로 변환할 수 있다.And the questionnaire generating unit 800 transmits the questionnaire to the application server 1000 so that the user can check the questionnaire through an application pre-installed on the user's terminal 1100, and the application server 1000 is in a text format. It is possible to convert the questionnaire and the options for the questionnaire into image format contents.

따라서 본원발명은 스포츠 경기 해설자와 방송 아나운서의 실시간 음성과 심전도, 뉴스 데이터를 이용하여 해당 경기에 대한 경기승패정보, 감독이 취할 경기전략을 보다 정확히 예측하여 코칭단에게 제공함으로써, 비대면으로 상대팀의 경기전략을 제공할 수 있는 효과가 있다. Therefore, the present invention uses real-time voice, electrocardiogram, and news data of sports game commentators and broadcast announcers to more accurately predict match win/loss information for the match and match strategy to be taken by the coach and provide the coaching team with non-face-to-face contact with the opposing team. It has the effect of providing a game strategy of

또한, 본원발명은 상기 경기전략 예측결과를 기반으로 감독이 취할 경기전략에 대한 질문지와 질문지에 대한 선택지를 생성함으로써, 실시간으로 중계되고 있는 스포츠 경기의 시청자가 베팅(Betting)할 수 있는 엔터테인먼트 요소를 함께 제공하고 시청자는 해당 경기를 보다 흥미진진하고 집중력 있게 시청할 수 있는 효과가 있다.In addition, the present invention generates a questionnaire for the game strategy to be taken by the coach and an option for the questionnaire based on the prediction result of the game strategy, thereby providing entertainment elements that viewers of the sports game being relayed in real time can bet on. It has the effect of allowing viewers to watch the game more excitingly and with concentration.

스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 방법Real-time game strategy prediction method based on sports game commentator's commentary and broadcast announcer's speech recognition

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 6은 본 발명에 따른 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 방법 흐름도이다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings. 6 is a flowchart of a real-time game strategy prediction method based on a commentary by a sports game commentator and voice recognition of a broadcast announcer's game progress according to the present invention.

도 6을 보면, 본 발명의 스포츠 경기 방송 음성 인식 기반의 실시간 경기 전략 분석 방법은 음성 입력단계(S100), 특징 추출단계(S200), 경기전략 예측모델 생성단계(S300) 및 경기전략 예측단계(S400)를 포함한다. Referring to FIG. 6, the real-time game strategy analysis method based on voice recognition for sports game broadcasting of the present invention includes a voice input step (S100), a feature extraction step (S200), a game strategy prediction model generation step (S300) and a game strategy prediction step ( S400).

보다 구체적으로, 상기 음성 입력단계(S100)는 음성 입력부(100)에 의하여, 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행이 녹음된 녹음 음성이 입력된다.More specifically, in the voice input step ( S100 ), the voice input unit 100 inputs a recorded voice of a sports game commentator's commentary and a broadcast announcer's game progress.

한편, 상기 음성 입력단계(S100)는 상기 외부서버(900)에 접근되어 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행이 녹음된 녹음파일이 획득된 후 종목별, 경기일자별로 분류되어 저장될 수 있다. On the other hand, the voice input step (S100) is accessed by the external server 900 to obtain a recording file in which the commentary of the sports game commentator and the broadcast announcer's game progress is obtained, and then it can be classified and stored by event and game date. .

일반적으로, 방송 아나운서의 경기 진행은 초반에 경기에 출전하는 선수, 각 선수의 포지션 등을 파악할 수 있고, 경기 중에 전반적인 경기 흐름을 파악할 수 있다. 그리고 상기 스포츠 경기 해설자의 해설은 감독의 전술, 전략 등을 파악할 수 있는 기술적인 내용을 파악할 수 있으므로, 가장 바람직하게 상기 녹음 음성은 다른 역할을 하는 두 발화자의 음성이 모두 녹음된 녹음 파일일 수 있다. 그리고 상기 스포츠 경기에는 야구, 축구, 농구 등이 포함될 수 있고, 특정한 종목에 한정되지 않는다. In general, in the game progress of the broadcast announcer, players participating in the game at the beginning, the position of each player, etc. can be grasped, and the overall game flow can be grasped during the game. And since the commentary of the sports game commentator can grasp the technical contents that can grasp the coach's tactics, strategies, etc., most preferably, the recorded voice may be a recording file in which the voices of both speakers playing different roles are recorded. . And the sports game may include baseball, soccer, basketball, and the like, and is not limited to a specific event.

다음으로, 상기 특징 추출단계(S200)는 상기 특징 추출부(200)에 의하여, 상기 녹음 음성에 대한 특징이 추출된다. 일반적으로 음성 데이터로부터 특징이 추출되는 방법은 다양하다. 예컨대, 음성의 스펙트럼이 분석되거나, 음정의 최고점과 최저점의 차이가 분석되거나, 화음 간 관계가 분석된 후 이를 수치화하여 특징 파라미터가 생성될 수 있다.Next, in the feature extraction step ( S200 ), the feature extracting unit 200 extracts features for the recorded voice. In general, there are various methods for extracting features from voice data. For example, a spectrum of a voice may be analyzed, a difference between the highest point and a lowest point of a pitch is analyzed, or a relationship between chords may be analyzed and then digitized to generate a characteristic parameter.

상기 특징 추출단계(S200)는 가장 바람직하게, 상기 녹음 음성에 대한 특징이 추출되기 위해서 소리특징 추출단계(S210) 및 문맥특징 추출단계(S220)를 포함할 수 있다. 상기 소리특징 추출단계(S210)는 상기 소리특징 추출부(210)에 의하여, 상기 녹음 음성이 주파수 도메인으로 변환된 후 특정 주파수에서 신호가 검출되면 이를 소리특징으로 추출될 수 있다. The feature extraction step (S200) most preferably may include a sound feature extraction step (S210) and a context feature extraction step (S220) in order to extract the features for the recorded voice. In the sound feature extraction step (S210), when a signal is detected at a specific frequency after the recorded voice is converted into a frequency domain by the sound feature extraction unit 210, it may be extracted as a sound feature.

다시 말하면, 상기 소리특징 추출단계(S210)는 시간변화에 대한 주파수 높낮이로 표시된 상기 녹음 음성이 주파수에 대한 피치여부가 표시되도록 상기 녹음 음성이 변환될 수 있다.In other words, in the sound feature extraction step (S210), the recorded voice may be converted to indicate whether the recorded voice is pitched with respect to the frequency, which is displayed in terms of the frequency with respect to time change.

상기 녹음 음성이 변환됨에 있어서, 상기 소리특징 추출단계(S210)는 모폴로지 클로징이 수행되는 모폴로지 필터의 최적의 SSS(Optimum Structuring Set Size)가 결정된 후 모폴로지 연산(Morphological Operation)이 수행될 수 있다. 그리고 상기 모폴로지 연산결과가 이용되어 상기 피치가 추출될 수 있다. 도 2를 보면, 2 채널에 있어서, 특정 주파수인 22,050 헤르츠(Hz)에서 신호가 검출된 것을 확인할 수 있고, 이는 상기 소리특징으로 추출될 수 있다. When the recorded voice is converted, in the sound feature extraction step ( S210 ), an optimal SSS (Optimum Structuring Set Size) of the morphology filter in which morphological closing is performed is determined, and then a morphological operation may be performed. And the morphology calculation result may be used to extract the pitch. Referring to FIG. 2 , it can be confirmed that a signal is detected at a specific frequency of 22,050 hertz (Hz) in 2 channels, which can be extracted as the sound feature.

다음으로, 상기 문맥특징 추출단계(S220)는 상기 문맥특징 추출부(220)에 의하여, 음성인식 기술기반으로 상기 녹음 음성이 음성-텍스트-변환(Speech-To-Text; STT)된 후 상기 텍스트로부터 문맥특징이 추출될 수 있다. 상기 문맥특징은 스포츠 경기 해설자가 자주 언급하는 스포츠 경기관련 핵심어일 수 있다.Next, the context feature extraction step (S220) is performed by the context feature extraction unit 220 after the recorded voice is Speech-To-Text (STT) based on voice recognition technology, and then the text Context features can be extracted from The context feature may be a key word related to a sports event frequently mentioned by a sports event commentator.

다음으로, 상기 경기전략 예측모델 생성단계(S300)는 경기전략 예측모델 생성부(300)에 의하여, 머신러닝 기술기반으로 상기 특징이 기준이 되어 상기 녹음 음성이 학습된 후 경기전략 예측모델이 생성된다. Next, in the game strategy prediction model generation step (S300), the game strategy prediction model is generated by the game strategy prediction model generation unit 300, after the recorded voice is learned based on the characteristics based on machine learning technology. do.

보다 신뢰성 높은 상기 경기전략 예측모델이 생성되기 위해서, 상기 경기전략 예측모델 생성단계(S300)는 분류단계(S310), 성능 평가단계(S320) 및 모델 결정단계(S330)를 포함할 수 있다.In order to generate the more reliable game strategy prediction model, the game strategy prediction model generation step (S300) may include a classification step (S310), a performance evaluation step (S320) and a model determination step (S330).

보다 구체적으로, 상기 분류단계(S310)는 상기 분류부(310)에 의하여, 상기 음성 입력부(100)로부터 입력된 다수 개의 상기 녹음 음성이 학습용 데이터 셋과 테스트용 데이터 셋으로 분류될 수 있다. More specifically, in the classification step ( S310 ), the plurality of recorded voices input from the voice input unit 100 may be classified into a training data set and a test data set by the classification unit 310 .

상기 성능 평가단계(S320)는 상기 성능 평가부(320)에 의하여, 상기 학습용 데이터 셋이 이용되어 학습된 예비예측모델에 상기 테스트용 데이터 셋이 입력된 후 오차행렬(Confusion Matrix)이 적용되어 상기 예비예측모델의 성능이 평가될 수 있다. In the performance evaluation step (S320), after the test data set is input to the preliminary prediction model learned by using the training data set by the performance evaluation unit 320, a confusion matrix is applied. The performance of the preliminary prediction model can be evaluated.

가장 바람직하게, 상기 성능 평가단계(S320)는 우선적으로 상기 학습용 데이터 셋이 이용되어 상기 예비예측모델을 학습시킬 시 경사 하강법(Gradient Descent)을 이용하여 학습이 최적화될 수 있다. Most preferably, in the performance evaluation step ( S320 ), when the training data set is first used to train the preliminary prediction model, learning may be optimized using gradient descent.

최적화(Optimization)는 일반적으로 신경망 모델의 학습과 그 결과에 따른 손실함수의 값을 최소화하는 방향으로 파라미터를 찾는 것을 일컫는다. 그리고 상기 파라미터 매개변수의 수만큼 가능한 매개점수의 조합이 수배로 증가하게 됨으로, 이 중에서 최적의 조합을 찾는 것은 상당히 어려운 일이다.Optimization generally refers to learning of a neural network model and finding parameters in the direction of minimizing the value of the loss function according to the result. And since the number of possible combinations of parameter points increases by several times as much as the number of parameters, it is quite difficult to find an optimal combination among them.

경사 하강법(Gradient Descent)은 손실함수의 최솟값을 찾기 위해 손실함수의 기울기를 구한 후 상기 기울기의 절댓값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복시키는 것이다. Gradient descent is to obtain the slope of the loss function in order to find the minimum value of the loss function, and then continue to move toward the lower absolute value of the slope and repeat until the extreme value is reached.

또한, 상기 성능 평가단계(S320)는 오차 행렬(Confusion Matrix)이 적용되어 상기 예비예측모델의 성능이 평가될 수 있다.In addition, in the performance evaluation step ( S320 ), a confusion matrix may be applied to evaluate the performance of the preliminary prediction model.

오차 행렬(Confusion Matrix)은 일반적으로 참이라고 간주되는 관측값과 평가를 위해 추출된 샘플 간의 비교를 위한 행렬로, 정확도만으로 평가하기 곤란한 불균형 데이터 셋의 경우 해당 행렬이 사용될 수 있다. 즉, 상기 성능 평가단계(S320)는 상기 예비예측모델로부터 출력된 예측값과 실제값의 오차가 확인되기 위해 상기 오차 행렬이 적용될 수 있다. The confusion matrix is a matrix for comparison between an observation value that is generally considered to be true and a sample extracted for evaluation. In the case of an imbalanced data set that is difficult to evaluate only with accuracy, the matrix can be used. That is, in the performance evaluation step ( S320 ), the error matrix may be applied to check the error between the predicted value output from the preliminary prediction model and the actual value.

보다 구체적으로, True인데 상기 예비예측모델이 True로 맞춘 경우 TP(True Positive), False인데 상기 예비예측모델이 True로 틀린 경우 FP(False Positive), False인데 상기 예비예측모델이 False로 맞춘 경우 TN(True Negative), True인데 상기 예비예측모델이 False로 틀린 경우 FN(False Negative)으로 표시할 수 있다. More specifically, TP (True Positive) when the preliminary predictive model is set to True when True, FP (False Positive) when False and the preliminary predictive model is set to True when the preliminary predictive model is set to True, and TN when False and the preliminary predictive model is set to False (True Negative), when True, but the preliminary prediction model is false as False, it can be displayed as FN (False Negative).

이때, 상기 성능 평가단계(S320)는 상기 예비예측모델이 얼마나 정확하게 예측되었는지를 나타내는 정확도(Accuracy), 상기 정확도와 반대인 오류율(Error Rate), 전체 True인 경우(TP+TN)에 대한 True로 맞춘 경우(TP)의 비율을 나타내는 민감도(Recall), Positive로 예측한 경우(TP+FP)에 대한 실제 Positive(TP)로 예측한 경우의 비율을 나타내는 정밀도(Precision), 전체 Negative인 경우(TN+FP)에 대한 Negative로 맞춘 경우(TN)의 비율을 나타내는 특이도(Specificity), 상기 민감도와 정밀도를 이용하여 조합 평균을 산출한 F1-Score 중 적어도 하나가 포함된 성능지표가 산출될 수 있다. At this time, the performance evaluation step (S320) is an accuracy (Accuracy) indicating how accurately the preliminary prediction model was predicted, an error rate opposite to the accuracy (Error Rate), and True for all cases (TP + TN). Sensitivity (Recall) representing the ratio of the correct case (TP), precision (Precision) representing the ratio of predicted positive (TP) to the positive prediction (TP+FP), and overall negative (TN A performance index including at least one of a specificity indicating the ratio of a negative fit (TN) to +FP) and an F1-Score obtained by calculating a combined average using the sensitivity and precision may be calculated. .

다음으로, 상기 모델 결정단계(S330)는 상기 성능 평가단계(S320)로부터 정확도, 오류율, 민감도, 정밀도, 특이도, F1-Score 중 적어도 하나가 포함된 성능지표가 기 설정된 성능지표보다 크거나 같은 경우 상기 예비예측모델이 상기 경기전략 예측모델로 결정될 수 있다. Next, in the model determining step (S330), the performance index including at least one of accuracy, error rate, sensitivity, precision, specificity, and F1-Score from the performance evaluation step (S320) is greater than or equal to the preset performance index In this case, the preliminary prediction model may be determined as the game strategy prediction model.

반면에, 상기 모델 결정단계(S330)는 상기 성능지표가 기 설정된 성능지표보다 작은 경우 상기 음성 입력단계(S100)로 회귀하여 스포츠 경기 해설자의 해설 과 방송 아나운서의 경기 진행이 녹음된 녹음파일이 재입력 될 수 있다. On the other hand, in the model determining step (S330), if the performance index is smaller than a preset performance index, the voice input step (S100) returns to the recording file in which the commentary of the sports game commentator and the game progress of the broadcast announcer are recorded. can be entered.

따라서 상기 경기전략 예측모델 생성단계(S300)는 상기 예비예측모델이 최적화되고 성능이 평가됨으로써, 단순히 데이터 셋이 이용되어 학습된 예측모델과 달리 보다 신뢰성 높은 상기 경기전략 예측모델이 생성될 수 있는 효과가 있다.Therefore, in the game strategy prediction model generation step (S300), the preliminary prediction model is optimized and performance is evaluated, so that the game strategy prediction model with higher reliability can be generated, unlike the prediction model learned by simply using a data set. there is

다음으로, 상기 경기전략 예측단계(S600)는 경기전략 예측부(400)에 의하여, 상기 경기전략 예측모델에 실시간으로 중계되고 있는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행에 대한 실시간 음성이 입력되면 해당 경기에 대한 경기전략 예측결과가 출력된다. 여기서, 상기 경기전략 예측결과는 해당 경기의 경기승패정보 뿐만 아니라 실시간으로 중계되고 있는 해당 경기에서 감독이 가까운 미래에 시행할 경기전략이 포함될 수 있다.Next, in the game strategy prediction step (S600), by the game strategy prediction unit 400, the commentary of the sports game commentator that is being relayed to the game strategy prediction model in real time and the real-time voice for the game progress of the broadcast announcer are input Then, the game strategy prediction result for the game is output. Here, the match strategy prediction result may include not only match win/loss information of the match, but also a match strategy to be implemented by the manager in the near future in the match being relayed in real time.

도 7은 본 발명에 일실시예에 따른 뉴스 데이터와 심전도가 반영된 경기전략 예측결과 출력된 후 질문지가 생성되는 것을 표시한 흐름도이다.7 is a flowchart illustrating that a questionnaire is generated after a game strategy prediction result reflecting news data and an electrocardiogram according to an embodiment of the present invention is output.

도 7을 보면, 한편, 본원발명은 상기 외부서버(900)와 통신 가능하도록 연결된 뉴스 데이터 수집부(500)에 의하여, 실시간으로 중계되고 있는 스포츠 경기에 대한 뉴스 데이터가 수집되는 뉴스 데이터 수집단계(S400)를 더 포함할 수 있다. 7, on the other hand, in the present invention, the news data collection step ( S400) may be further included.

여기서, 상기 뉴스 데이터는 해당 경기의 출전 선수별 포지션, 경기이력, 컨디션 및 인터뷰 내용, 출전 팀별 이력, 출전 팀별 감독의 선호전술 및 인터뷰 내용, 경기일자 및 시간에 따른 날씨 등이 포함될 수 있다.Here, the news data may include a position for each player participating in the game, a match history, condition and interview details, a history for each participating team, a preferred tactic and interview details of a coach for each participating team, and weather according to a game date and time.

그리고 상기 경기전략 예측단계(S600)는 상기 뉴스 데이터 수집단계(S400)로부터 전송받은 상기 뉴스 데이터가 전처리된 후 해당 경기에 출전한 선수정보, 해당 경기가 개최되고 있는 경기장 정보에 관한 텍스트가 인식되고, 상기 텍스트가 상기 경기전략 예측결과에 반영될 수 있다. And in the game strategy prediction step (S600), after the news data transmitted from the news data collection step (S400) is pre-processed, the text about the information of the players participating in the game and the stadium information in which the game is being held is recognized and , the text may be reflected in the prediction result of the game strategy.

한편, 본원발명은 상기 외부서버(900)와 통신 가능하도록 연결된 심전도 입력부(600)에 의하여, 스포츠 경기 해설자와 방송 아나운서 중 적어도 하나의 발화자로부터 착용된 심전도 측정 장치(700)로부터 스포츠 경기 해설자의 심전도가 입력되는 심전도 입력단계(S500)를 더 포함할 수 있다. On the other hand, in the present invention, the electrocardiogram of the sports commentator from the electrocardiogram measuring device 700 worn by at least one speaker of the sports game commentator and the broadcast announcer by the electrocardiogram input unit 600 connected to communicate with the external server 900 It may further include an electrocardiogram input step (S500) in which is input.

일반적으로 심전도는 심장의 박동에 따라 신근에서 발생하는 활동 전류를 기록하여 얻어진 정보이다. 도 5를 보면, 본원발명의 상기 경기전략 예측단계(S600)는 상기 심전도 입력단계(S500)로부터 입력받은 발화자의 심전도가 정상상태에서 이상상태로 변경되고, 이와 더불어 상기 음성 입력부(100)로부터 입력된 상기 실시간 음성의 높낮이가 급격하게 높아지면 긍정적인 이벤트인 점수획득상황이 발생하였다고 판단될 수 있다. In general, the electrocardiogram is information obtained by recording the activity current generated by the extensor according to the beating of the heart. 5, in the game strategy prediction step (S600) of the present invention, the electrocardiogram of the speaker inputted from the electrocardiogram input step (S500) is changed from a normal state to an abnormal state, and with the input from the voice input unit 100 When the pitch of the real-time voice is sharply increased, it can be determined that a score acquisition situation, which is a positive event, has occurred.

반면에, 상기 경기전략 예측단계(S600)는 상기 심전도 입력단계(S500)로부터 입력받은 발화자의 심전도가 정상상태이고, 이와 더불어 상기 음성 입력부(100)로부터 입력된 상기 실시간 음성의 높낮이가 급격하게 높아지면 부정적인 이벤트인 실점 및 실수상황이 발생하였다고 판단될 수 있다. On the other hand, in the game strategy prediction step (S600), the electrocardiogram of the speaker inputted from the electrocardiogram input step (S500) is in a normal state, and in addition, the height of the real-time voice input from the voice input unit 100 is sharply high. It can be determined that a loss or mistake situation, which is a negative event of the ground, has occurred.

이에 따라, 상기 경기전략 예측단계(S600)는 상기 뉴스 데이터 수집단계(S400)로부터 수집된 상기 뉴스 데이터와 상기 심전도 입력단계(S600)로부터 입력받은 발화자의 상기 심전도가 상기 경기전략 예측결과에 반영되는 반영단계(S610)를 포함할 수 있다.Accordingly, in the game strategy prediction step (S600), the news data collected from the news data collection step (S400) and the electrocardiogram of the speaker inputted from the electrocardiogram input step (S600) are reflected in the game strategy prediction result It may include a reflection step (S610).

한편, 본원발명은 질문지 생성부(800)에 의하여, 실시간으로 중계되고 있는 스포츠 경기의 시청자가 베팅(Betting)할 수 있도록 상기 경기전략 예측결과가 기반이 되어 감독의 경기전략에 대한 질문지가 생성되는 질문지 생성단계(S700)를 더 포함할 수 있다. 가장 바람직하게, 상기 질문지 생성단계(S700)는 상기 뉴스데이터와 심전도가 반영된 상기 경기전략 예측결과가 기반이 되어 상기 질문지가 생성될 수 있다.On the other hand, in the present invention, a questionnaire about the coach's game strategy is generated based on the match strategy prediction result so that viewers of the sports game being relayed in real time can bet by the questionnaire generating unit 800 . A questionnaire generation step (S700) may be further included. Most preferably, in the questionnaire generating step (S700), the questionnaire may be generated based on the prediction result of the game strategy in which the news data and the electrocardiogram are reflected.

여기서, 베팅(Betting)은 결과가 불확실한 일에 돈을 거는 행위로써, 주로 도박, 경마, 주식 매매, 외환 겨래 등에 쓰이는 말이다. 즉, 본원발명은 실시간 중계되고 있는 스포츠 경기에 출전한 팀의 코칭에게 단순히 경기전략 예측결과를 출력하여 제공할 뿐만 아니라, 실시간 중계되고 있는 스포츠 경기의 시청자의 흥미를 증진시키고자 상기 경기전략 예측결과가 기반이 되어 감독이 취할 경기전략에 대한 질문지가 생성되고, 상기 질문지에 대한 선택지 예컨대 YES OR NO가 생성될 수 있다. Here, betting is an act of betting money on an event with an uncertain outcome, and is mainly used for gambling, horse racing, stock trading, and foreign exchange trading. That is, the present invention not only outputs and provides the game strategy prediction result to the coach of the team participating in the sports game being relayed in real time, but also enhances the interest of the viewers of the sports game being relayed in real time. is based, a questionnaire about the game strategy to be taken by the coach is generated, and options for the questionnaire, for example, YES OR NO, may be generated.

예컨대, 상기 질문지 생성단계(S700)는 ‘상기 질문지는 우승한 코치에게 어떤 색의 게토레이를 부을 것인가?’, ‘선수 A는 현재 게임에서 몇 분 출전할 것인가?’, ‘누가 MVP로 지명될 것인가?’, ‘현 상황에서 선수 A가 선수 B로 교체될 것인가?’ 등의 질문지가 생성될 수 있다. For example, the questionnaire generation step (S700) includes 'what color gatorade will the winning coach be poured with on the questionnaire?', 'How many minutes will player A play in the current game?', 'who will be named MVP? Questions such as ?', 'Will player A be replaced by player B in the current situation?' may be generated.

그리고 상기 질문지 생성단계(S800)는 사용자의 단말기(1100)에 기 설치된 어플리케이션을 통해서 사용자가 상기 질문지를 확인할 수 있도록 상기 질문지가 어플리케이션 서버(1000)에 전송될 수 있다. In addition, in the questionnaire generating step ( S800 ), the questionnaire may be transmitted to the application server 1000 so that the user can check the questionnaire through an application pre-installed on the user's terminal 1100 .

따라서 본원발명에 따르면 스포츠 경기 해설자와 방송 아나운서의 실시간 음성과 심전도, 뉴스 데이터가 이용되어 해당 경기에 대한 경기승패정보, 감독이 취할 경기전략이 보다 정확히 예측되어 코칭단에게 제공됨으로써, 비대면으로 상대팀의 경기전략이 제공될 수 있는 효과가 있다. Therefore, according to the present invention, real-time voice, electrocardiogram, and news data of sports game commentators and broadcast announcers are used to more accurately predict match win/loss information for the match, and match strategy to be taken by the coach, and provide the coaching team to face-to-face opponents. There is an effect that the team's game strategy can be provided.

또한, 본원발명은 상기 경기전략 예측결과가 기반이 되어 감독이 취할 경기전략에 대한 질문지와 질문지에 대한 선택지가 생성됨으로써, 실시간으로 중계되고 있는 스포츠 경기의 시청자가 베팅(Betting)할 수 있는 엔터테인먼트 요소가 함께 제공될 수 있고 시청자는 해당 경기를 보다 흥미진진하고 집중력 있게 시청할 수 있는 효과가 있다.In addition, the present invention is an entertainment element that viewers of a sports game being relayed in real time can bet by creating a questionnaire for the game strategy to be taken by the coach and the options for the questionnaire based on the game strategy prediction result. can be provided together, and viewers can watch the game more excitingly and with concentration.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 으로 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in an order different from the described method, and/or the components of a system, structure, apparatus, circuit, etc. described as are combined or combined in a different manner than the described method, or other configuration. Substituted or substituted for elements or equivalents may achieve appropriate results.

100.. 음성 입력부
200.. 특징 추출부
210.. 소리특징 추출부
220.. 문맥특징 추출부
300.. 경기전략 예측모델 생성부
310.. 분류부
320.. 성능 평가부
330.. 모델 결정부
400.. 경기전략 예측부
500.. 뉴스 데이터 수집부
600.. 심전도 입력부
700.. 심전도 측정 장치
800.. 질문지 생성부
900.. 외부서버
1000.. 어플리케이션 서버
1100.. 단말기100.. Voice input
200.. feature extraction unit
210. Sound feature extraction unit
220.. Context feature extraction unit
300.. Game strategy prediction model generation unit
310. Classification
320. Performance evaluation unit
330. Model Determination
400.. Game Strategy Prediction Department
500.. News Data Collection Department
600.. ECG input
700.. ECG device
800.. Questionnaire generator
900.. External Server
1000.. application server
1100.. Terminal

Claims (7)

스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행이 녹음된 녹음 음성이 입력되는 음성 입력부;
상기 녹음 음성에 대한 특징을 추출하는 특징 추출부;
머신러닝 기술기반으로 상기 특징을 기준으로 상기 녹음 음성을 학습한 후 경기전략 예측모델을 생성하는 경기전략 예측모델 생성부;
상기 경기전략 예측모델에 실시간으로 중계되고 있는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행에 대한 실시간 음성이 입력되면 해당 경기에 대한 경기전략 예측결과를 출력하는 경기전략 예측부;
외부서버와 통신 가능하도록 연결되고, 실시간으로 중계되고 있는 스포츠 경기에 대한 뉴스 데이터를 수집하는 뉴스데이터 수집부; 및
상기 외부서버와 통신 가능하도록 연결되고, 스포츠 경기 해설자와 방송 아나운서 중 적어도 하나의 발화자로부터 착용된 심전도 측정 장치로부터 심전도를 입력받는 심전도 입력부;를 포함하고,
상기 특징 추출부는,
상기 녹음 음성을 주파수 도메인으로 변환한 후 특정 주파수에서 신호가 검출되면 소리특징으로 추출하는 소리특징 추출부; 및
음성인식 기술기반으로 상기 녹음 음성을 음성-텍스트-변환(Speech-To-Text; STT)한 후 상기 텍스트로부터 스포츠 경기 해설자 또는 방송 아나운서가 자주 언급하는 스포츠 경기관련 핵심어를 포함하는 문맥특징을 추출하는 문맥특징 추출부;를 포함하고,
상기 경기전략 예측부는,
상기 뉴스 데이터 수집부로부터 전송받은 상기 뉴스 데이터를 전처리한 후 해당 경기에 출전한 선수정보와 해당 경기가 개최되고 있는 경기장 정보에 관한 텍스트를 인식하고, 상기 텍스트를 상기 경기전략 예측결과에 반영하고,
상기 심전도 입력부로부터 입력받은 심전도의 변화와 상기 실시간 음성의 높낮이의 변화를 상기 경기전략 예측결과에 반영하는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템.a voice input unit for inputting a recorded voice of a sports game commentator's commentary and a broadcast announcer's game progress;
a feature extracting unit for extracting features of the recorded voice;
a game strategy prediction model generator for generating a game strategy prediction model after learning the recorded voice based on the characteristics based on machine learning technology;
a game strategy prediction unit for outputting a game strategy prediction result for the game when a real-time voice of a sports game commentator's commentary and a broadcast announcer's game progress being relayed in real time to the game strategy prediction model;
a news data collection unit that is connected to be able to communicate with an external server and collects news data on sports events being relayed in real time; and
An electrocardiogram input unit connected to be communicable with the external server and receiving an electrocardiogram from an electrocardiogram measuring device worn by at least one speaker of a sports game commentator and a broadcast announcer;
The feature extraction unit,
a sound feature extraction unit that converts the recorded voice into a frequency domain and extracts it as a sound feature when a signal is detected at a specific frequency; and
After performing Speech-To-Text (STT) of the recorded voice based on speech recognition technology, extracting context features including key words related to sports events frequently mentioned by sports game commentators or broadcast announcers from the text Including a context feature extraction unit;
The game strategy prediction unit,
After pre-processing the news data transmitted from the news data collection unit, the text regarding the information of players participating in the game and the stadium information in which the game is being held is recognized, and the text is reflected in the prediction result of the game strategy,
A real-time game strategy prediction system based on a sports game commentator's commentary and a broadcast announcer's speech recognition that reflects the change in the electrocardiogram received from the electrocardiogram input unit and the change in pitch of the real-time voice in the game strategy prediction result. 삭제delete 제 1항에 있어서,
상기 경기전략 예측모델 생성부는,
상기 녹음 음성을 학습용 데이터 셋과 테스트용 데이터 셋으로 분류하는 분류부;
상기 학습용 데이터셋을 이용하여 학습된 예비예측모델에 상기 테스트용 데이터 셋을 입력한 후 오차 행렬(Confusion Matrix)을 적용하여 상기 예비예측모델의 성능을 평가하는 성능 평가부; 및
상기 성능 평가부로부터 정확도, 오류율, 민감도, 정밀도, 특이도, F1-Score 중 적어도 하나를 포함하는 성능지표가 기 설정된 성능지표보다 크거나 같은 경우 상기 예비예측모델을 상기 경기전략 예측모델로 결정하는 모델 결정부;를 포함하는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템.The method of claim 1,
The game strategy prediction model generation unit,
a classification unit for classifying the recorded voice into a training data set and a test data set;
a performance evaluation unit for inputting the test data set to the preliminary prediction model learned using the training dataset, and then applying a confusion matrix to evaluate the performance of the preliminary prediction model; and
When a performance index including at least one of accuracy, error rate, sensitivity, precision, specificity, and F1-Score from the performance evaluation unit is greater than or equal to a preset performance index, the preliminary prediction model is determined as the game strategy prediction model A real-time game strategy prediction system based on speech recognition of a sports game commentator and a broadcast announcer's commentary, including a model decision unit. 삭제delete 제 1항에 있어서,
실시간으로 중계되고 있는 스포츠 경기의 시청자가 베팅(Betting)할 수 있도록 상기 경기전략 예측결과를 기반으로 질문지를 생성하는 질문지 생성부;를 더 포함하는 것을 특징으로 하는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템.The method of claim 1,
A questionnaire generator for generating a questionnaire based on the prediction result of the game strategy so that viewers of the sports game being broadcast in real time can bet; Real-time game strategy prediction system based on game progress voice recognition. 제 5항에 있어서,
상기 질문지 생성부는,
사용자의 단말기에 기 설치된 어플리케이션을 통해서 사용자가 상기 질문지를 확인할 수 있도록 상기 질문지와 상기 질문지에 대한 선택지를 어플리케이션 서버에 전송하고,
상기 어플리케이션 서버는,
텍스트 형식으로 된 상기 질문지와 상기 질문지에 대한 선택지를 이미지 형식의 컨텐츠로 변환하는 것을 특징으로 하는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 시스템.6. The method of claim 5,
The questionnaire generating unit,
Transmitting the questionnaire and options for the questionnaire to the application server so that the user can check the questionnaire through an application pre-installed on the user's terminal;
The application server,
A real-time game strategy prediction system based on the voice recognition of a sports game commentator and a broadcast announcer's commentary, characterized in that the text format of the questionnaire and the options for the questionnaire are converted into image format content. 음성 입력부에 의하여, 스포츠 경기 해설자의 해설과 방송 아나운서의 경기진행이 녹음된 녹음 음성이 입력되는 음성 입력단계;
특징 추출부에 의하여, 상기 녹음 음성에 대한 특징이 추출되는 특징 추출단계;
경기전략 예측모델 생성부에 의하여, 머신러닝 기술기반으로 상기 특징이 기준이 되어 상기 녹음 음성이 학습된 후 경기전략 예측모델이 생성되는 경기전략 예측모델 생성단계;
외부서버와 통신 가능하도록 연결된 뉴스 데이터 수집부에 의하여, 실시간으로 중계되고 있는 스포츠 경기에 대한 뉴스 데이터가 수집되는 뉴스 데이터 수집단계;
상기 외부서버와 통신 가능하도록 연결된 심전도 입력부에 의하여, 스포츠 경기 해설자와 방송 아나운서 중 적어도 하나의 발화자로부터 착용된 심전도 측정 장치로부터 심전도가 입력되는 심전도 입력단계; 및
경기전략 예측부에 의하여, 상기 경기전략 예측모델에 실시간으로 중계되고 있는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행에 대한 실시간 음성이 입력되면 해당 경기에 대한 경기전략 예측결과가 출력되는 경기전략 예측단계;를 포함하고,
상기 특징 추출단계는,
소리특징 추출부에 의하여, 상기 녹음 음성이 주파수 도메인으로 변환된 후 특정 주파수에서 신호가 검출되면 이를 소리특징으로 추출되는 소리특징 추출단계; 및
문맥특징 추출부에 의하여, 음성인식 기술기반으로 상기 녹음 음성을 음성-텍스트-변환(Speech-To-Text; STT)한 후 상기 텍스트로부터 스포츠 경기 해설자 또는 방송 아나운서가 자주 언급하는 스포츠 경기관련 핵심어를 포함하는 문맥특징이 추출되는 문맥특징 추출단계;를 포함하고,
상기 경기전략 예측단계는,
상기 뉴스 데이터 수집단계로부터 전송받은 상기 뉴스 데이터가 전처리된 후 해당 경기에 출전한 선수정보, 해당 경기가 개최되고 있는 경기장 정보에 관한 텍스트가 인식되고, 상기 텍스트가 상기 경기전략 예측결과에 반영되고,
상기 심전도 입력단계로부터 입력받은 심전도의 변화와 상기 실시간 음성의 높낮이의 변화가 상기 경기전략 예측결과에 반영되는 스포츠 경기 해설자의 해설과 방송 아나운서의 경기 진행 음성 인식 기반의 실시간 경기전략 예측 방법.a voice input step of inputting, by the voice input unit, a recorded voice of a sports game commentator's commentary and a broadcast announcer's game progress;
a feature extraction step of extracting, by a feature extraction unit, a feature for the recorded voice;
A game strategy prediction model generation step in which, by the game strategy prediction model generation unit, a game strategy prediction model is generated after the recorded voice is learned based on the characteristics based on machine learning technology;
a news data collection step of collecting news data about a sports game being relayed in real time by a news data collection unit connected so as to be able to communicate with an external server;
an electrocardiogram input step of inputting an electrocardiogram from an electrocardiogram measuring device worn by at least one speaker of a sports game commentator and a broadcast announcer by an electrocardiogram input unit connected to communicate with the external server; and
By the game strategy prediction unit, when a commentary of a sports game commentator relayed in real time to the game strategy prediction model and a real-time voice about the game progress of a broadcast announcer are input, a game strategy prediction result is output for the game step; including,
The feature extraction step is
a sound feature extraction step of extracting, by the sound feature extracting unit, as a sound feature when a signal is detected at a specific frequency after the recorded voice is converted into a frequency domain; and
By the context feature extraction unit, the recorded voice based on speech recognition technology is Speech-To-Text-converted (STT), and from the text, the sports game-related key words frequently mentioned by sports game commentators or broadcast announcers are extracted. Including; a context feature extraction step in which the containing context feature is extracted;
The game strategy prediction step is,
After the news data transmitted from the news data collection step is pre-processed, the text about the information on the players participating in the game and the stadium information where the game is being held is recognized, and the text is reflected in the prediction result of the game strategy,
A method of predicting a real-time game strategy based on a sports game commentator's commentary and a broadcast announcer's game progress voice recognition in which the change in the electrocardiogram received from the electrocardiogram input step and the change in pitch of the real-time voice are reflected in the game strategy prediction result.
KR1020210005812A 2021-01-15 2021-01-15 A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress KR102285329B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210005812A KR102285329B1 (en) 2021-01-15 2021-01-15 A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210005812A KR102285329B1 (en) 2021-01-15 2021-01-15 A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress

Publications (1)

Publication Number Publication Date
KR102285329B1 true KR102285329B1 (en) 2021-08-03

Family

ID=77314304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210005812A KR102285329B1 (en) 2021-01-15 2021-01-15 A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress

Country Status (1)

Country Link
KR (1) KR102285329B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101585399B1 (en) 2015-06-18 2016-01-14 주식회사 스포츠애드온 Game result predicting method using sports data information
KR20170065131A (en) 2015-12-03 2017-06-13 주식회사 탑시드 Big Data-based real-time predictive method and system
JP2019148919A (en) * 2018-02-26 2019-09-05 エヌ・ティ・ティ・コミュニケーションズ株式会社 Information service system and information service method
KR20190127513A (en) * 2018-05-04 2019-11-13 삼성전자주식회사 Method and device for authentication in voice input
KR20200027868A (en) * 2018-09-05 2020-03-13 (주)에스비씨엔 Method, platform and computer program for estimating outcome of predictive proposition
KR102198273B1 (en) * 2019-02-26 2021-01-04 한미란 Machine learning based voice data analysis method, device and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101585399B1 (en) 2015-06-18 2016-01-14 주식회사 스포츠애드온 Game result predicting method using sports data information
KR20170065131A (en) 2015-12-03 2017-06-13 주식회사 탑시드 Big Data-based real-time predictive method and system
JP2019148919A (en) * 2018-02-26 2019-09-05 エヌ・ティ・ティ・コミュニケーションズ株式会社 Information service system and information service method
KR20190127513A (en) * 2018-05-04 2019-11-13 삼성전자주식회사 Method and device for authentication in voice input
KR20200027868A (en) * 2018-09-05 2020-03-13 (주)에스비씨엔 Method, platform and computer program for estimating outcome of predictive proposition
KR102198273B1 (en) * 2019-02-26 2021-01-04 한미란 Machine learning based voice data analysis method, device and program

Similar Documents

Publication Publication Date Title
JP4876207B2 (en) Cognitive impairment risk calculation device, cognitive impairment risk calculation system, and program
JP2021510851A (en) Intelligent interaction methods, devices, computer devices and computer readable storage media
CN103730130A (en) Detection method and system for pathological voice
US8078455B2 (en) Apparatus, method, and medium for distinguishing vocal sound from other sounds
CN111935555B (en) Live broadcast interaction method, device, system, equipment and storage medium
CN109584904A (en) The sightsinging audio roll call for singing education applied to root LeEco identifies modeling method
CN115171731A (en) Emotion category determination method, device and equipment and readable storage medium
CN108525285A (en) A kind of mahjong calculates board device and method automatically
KR102285329B1 (en) A System and Method for Real-Time Game Strategy Prediction based on Voice Recognition of Sports Game Commentator's Commentary and Broadcasting Announcer's Game Progress
CN108735192A (en) A kind of piano performance assessment of acoustics system and method for combination style of song
CN113243918B (en) Risk detection method and device based on multi-mode hidden information test
KR102321520B1 (en) Depression identification and care system through voice analysis
Deshpande et al. CSTS: Conditional Semantic Textual Similarity
EP3376461A1 (en) Method and apparatus for hosting online competition
Truong et al. Automatic recognition of spontaneous emotions in speech using acoustic and lexical features
CN115374305A (en) Sound effect adjusting method and device of intelligent sound box
CN112423000B (en) Data processing method, device, equipment and medium
US20110143838A1 (en) Apparatus and method for game design evaluation
Caves Game theory, industrial organization, and business strategy
CN112308379A (en) Service order evaluation method, device, equipment and storage medium for home care
CN113889257A (en) Method and device for predicting mild cognitive impairment waiting population in online game
WO2019142231A1 (en) Voice analysis device, voice analysis method, voice analysis program, and voice analysis system
CN110033786A (en) Sexual discriminating method, apparatus, equipment and readable storage medium storing program for executing
JP6783454B2 (en) Interesting quantitative evaluation device, interesting quantitative evaluation method, interesting adjustment method, and program
CN116741193B (en) Training method and device for voice enhancement network, storage medium and computer equipment

Legal Events

Date Code Title Description
GRNT Written decision to grant