KR102541570B1 - 자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템 - Google Patents

자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR102541570B1
KR102541570B1 KR1020230026523A KR20230026523A KR102541570B1 KR 102541570 B1 KR102541570 B1 KR 102541570B1 KR 1020230026523 A KR1020230026523 A KR 1020230026523A KR 20230026523 A KR20230026523 A KR 20230026523A KR 102541570 B1 KR102541570 B1 KR 102541570B1
Authority
KR
South Korea
Prior art keywords
streaming
image
player
user terminal
thumbnail
Prior art date
Application number
KR1020230026523A
Other languages
English (en)
Inventor
허정수
Original Assignee
주식회사 유소년서포터즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유소년서포터즈 filed Critical 주식회사 유소년서포터즈
Priority to KR1020230026523A priority Critical patent/KR102541570B1/ko
Application granted granted Critical
Publication of KR102541570B1 publication Critical patent/KR102541570B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 일실시예는 스포츠 구단에 관심이 있는 사용자들이, 자신이 관심을 가지고 있는 구단이나 선수의 경기 영상이 스트리밍 될 때 이를 즉각적으로 확인할 수 있도록, 관심 구단이나 관심 선수의 경기 영상이 스트리밍 될 때 이를 사용자에게 자동으로 알리는 기능이 포함되는 스포츠 스트리밍 방법, 장치 및 시스템에 관한 것이다.

Description

자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템{SPORTS STREAMING METHOD, APPARATUS AND SYSTEM WITH AUTOMATIC NOTIFICATION FUNCTION APPLIED}
아래 실시예들은 스포츠 구단에 관심이 있는 사용자들이, 자신이 관심을 가지고 있는 구단이나 선수의 경기 영상이 스트리밍 될 때 이를 즉각적으로 확인할 수 있도록, 관심 구단이나 관심 선수의 경기 영상이 스트리밍 될 때 이를 사용자에게 자동으로 알리는 기능이 포함된 스포츠 스트리밍 방법, 장치 및 시스템에 관한 것이다.
현대에는 스마트폰의 보급과 유튜브 등 동영상 스트리밍 플랫폼의 대중화에 따라 전문적인 장비나 전문적인 지식이 없는 일반인들도 자신이 관심을 가지는 분야에 대한 동영상을 업로드하거나 스트리밍할 수 있는 여건이 마련되어 있다.
일반적인 영상 분야에서는, 자신이 관심있는 분야의 스트리밍 영상을 시청하기 위해서 해당 영상을 주로 업로드하는 스트리머를 팔로우 하거나 관련 키워드/태그를 팔로우함으로써 소정의 알림을 수신하고, 알림을 수신하는 즉시 스트리밍 영상을 시청한다.
그러나, 유소년 축구팀 등 소정의 구단에 소속된 자신의 자녀가 출연하는 스포츠 스트리밍 영상의 경우, 이를 전문적으로 스트리밍하거나 녹화하여 업로드하는 스트리머나 영상 업로더가 없기 때문에 이를 실시간으로 시청하거나 알림을 받기에 어려움이 많다.
따라서, 소정의 스포츠 구단이나 소정의 스포츠 선수가 출연(출전)하는 스포츠 경기가 스트리밍 될 때, 상기 구단이나 선수에게 관심이 있는 사용자들에게 즉시 알릴 수 있는 형태의 스트리밍 플랫폼이 필요한 실정이다.
KR 10-2184379 B KR 10-2171356 B KR 10-2378738 B
본 발명의 일실시예가 해결하고자 하는 과제는, 전술한 바와 같은 종래 스포츠/동영상 스트리밍 플랫폼/서비스의 한계점을 극복하기 위하여, 특정한 스트리머를 팔로우 하는 형태가 아니라, 스포츠 경기에 참여하는 구단이나 출연/출전하는 선수를 팔로우(관심 등록)하는 형태의 스트리밍 서비스를 기반으로, 사용자가 관심을 갖고 있는 구단이나 선수의 스포츠 경기가 스트리밍될 때 이를 자동으로 알림받을 수 있는 자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템을 제공하는 것이다.
일실시예에 따르면, 장치에 의해 수행되는 자동 알림 기능이 적용된 스포츠 스트리밍 방법에 있어서, 제1 사용자 단말로부터 관심 구단을 등록받는 단계; 제2 사용자 단말로부터 스포츠 경기에 대한 경기 정보를 수신하는 단계; 상기 제2 사용자 단말로부터 송출되는 스트리밍 영상 정보를 수신하는 단계; 상기 경기 정보 및 스트리밍 영상 정보를 기반으로, 상기 스포츠 경기에 참여하는 스포츠 구단을 관심 구단으로 등록한 상기 제1 사용자 단말에 스트리밍 시작 알림을 송신하는 단계; 상기 제1 사용자 단말에 스트리밍 영상 정보를 송신하는 단계; 및 상기 제1 사용자 단말로부터 스트리밍 재생 요청이 입력된 경우, 상기 제1 사용자 단말에 상기 스트리밍 영상 정보를 기반으로 스트리밍 재생 메세지를 송신하는 단계;를 포함하는, 자동 알림 기능이 적용된 스포츠 스트리밍 방법을 제공한다.
또한, 상기 스트리밍 영상 정보를 수신하는 단계는: 다수개의 제2 사용자 단말로부터 수신된 다수개의 경기 정보를 기반으로, 다수개의 제2 사용자 단말로부터 송출되는 다수개의 스트리밍 영상들을 상기 스포츠 경기에 참여하는 스포츠 구단별로 군집화하는 단계; 상기 스트리밍 영상들의 제1 썸네일 이미지들을 추출하는 단계; 및 상기 제1 썸네일 이미지들을 군집별로 구분하여, 상기 제1 썸네일 이미지들을 상기 스포츠 구단별로 태깅(Tagging)하는 단계;를 포함하고, 상기 스트리밍 영상 정보를 송신하는 단계는: 상기 스포츠 구단별로 태깅된 제1 썸네일 이미지들 중, 상기 제1 사용자 단말에서 등록한 관심 구단이 태깅된 제2 썸네일 이미지들을 추출하는 단계; 상기 제1 사용자 단말의 기기정보를 기반으로, 상기 제2 썸네일 이미지들을 병합하여 상기 제1 사용자 단말의 디스플레이 크기에 대응하는 단일한 제3 썸네일 이미지를 생성하는 단계; 상기 제3 썸네일 이미지 위에 소정의 그리드 레이어를 생성하는 단계; 상기 그리드 레이어의 각 칸마다, 각 칸의 아래에 위치한 제2 썸네일 이미지를 인식하는 단계; 상기 제2 썸네일 이미지들에 대응하는 스트리밍 영상 정보를 추출하는 단계; 상기 각 칸마다 상기 제2 썸네일 이미지에 대응하는 스트리밍 영상 정보를 대응시켜, 상기 각 칸의 x 좌표, 각 칸의 y 좌표 및 스트리밍 영상 주소를 소정의 1차원 배열로 기록하는 단계; 상기 각 칸마다 대응되도록 기록된 1차원 배열들을 2차원 배열로 기록하는 단계; 및 상기 제3 썸네일 이미지 및 상기 2차원 배열을 상기 제1 사용자 단말에 송신하는 단계;를 포함하여, 상기 제1 사용자 단말에 디스플레이된 상기 제3 썸네일 이미지 중 임의의 지점이 터치 되었을 때: 상기 2차원 배열을 기반으로 터치된 지점에 대응하는 스트리밍 영상 주소를 기반으로 스트리밍 영상을 재생하도록 구성될 수 있다.
그리고, 상기 관심 구단을 등록받는 단계는: 상기 관심 구단에 등록된 선수 중 적어도 하나를 관심 선수로 등록하는 단계;를 더 포함하고, 상기 제1 썸네일 이미지들을 추출하는 단계는: 상기 스트리밍 영상으로부터 상기 스포츠 구단에 등록된 선수를 인식하는 단계; 및 인식된 선수가 있는 시점에서의 스트리밍 영상을 캡쳐하여, 상기 제1 썸네일 이미지를 생성하는 단계;를 포함하고, 상기 제2 썸네일 이미지들을 추출하는 단계는: 상기 제1 썸네일 이미지들 중, 상기 제1 사용자 단말에서 등록한 관심 선수가 인식된 제4 썸네일 이미지를 제2 썸네일 이미지로 지정하는 단계;를 포함하고, 상기 제3 썸네일 이미지를 생성하는 단계는: 상기 제2 썸네일 이미지들 중 제4 썸네일 이미지를 2 면적부(part by area; 面積部)의 크기로 지정하는 단계; 및 상기 제2 썸네일 이미지들 중 제4 썸네일 이미지가 아닌 제1 썸네일 이미지를 1 면적부의 크기로 지정하는 단계;를 포함하고, 상기 스포츠 구단에 등록된 선수를 인식하는 단계는: 상기 스트리밍 영상으로부터 사람 객체를 인식하는 단계; 상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 이미지를 생성하는 단계; 상기 제1 인식용 이미지로부터 등번호를 인식하는 제1 판별 단계; 상기 제1 인식용 이미지로부터 등번호가 인식되지 않은 경우: 상기 제1 인식용 이미지로부터 얼굴을 인식하는 제2 판별 단계; 상기 제1 인식용 이미지로부터 얼굴이 인식되지 않은 경우: 상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 동영상을 생성하고, 제1 인식용 동영상을 기반으로 사람 객체가 어느 선수인지 판별하는 제3 판별 단계; 상기 제3 판별 단계에 따라 판별된 선수가, 상기 제1 판별 단계 또는 제2 판별 단계에 따라 재인식 된 경우: 재인식된 제1 판별 단계 또는 제2 판결 단계의 결과로 인식 값을 치환하는 제1 갱신 단계; 및 상기 제2 판별 단계에 따라 판별된 선수가, 상기 제1 판별 단계에 따라 재인식 된 경우: 재인식된 제1 판별 단계의 결과로 인식 값을 치환하는 제2 갱신 단계;를 포함하고, 상기 제3 판별 단계는: 상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 동영상을 생성하는 단계; 상기 제1 인식용 동영상으로부터 상기 사람 객체의 키 벡터, 속도 벡터 및 가속도 벡터를 소정의 시간 간격으로 추출하는 단계; 상기 속도 벡터 및 가속도 벡터를 키 벡터의 크기로 나누어 비율 속도 벡터 및 비율 가속도 벡터를 산출하는 단계; 및 상기 비율 속도 벡터 및 비율 가속도 벡터를, 선수별 비율 속도 벡터 및 비율 가속도 벡터를 기 학습한 인공지능 모델에 입력하여, 상기 제1 인식용 동영상의 사람 객체가 어느 선수인지 판별하는 단계;를 포함할 수 있다.
아울러, 상기 스포츠 구단에 등록된 선수를 인식하는 단계는: ① 상기 스트리밍 영상에서 판별된 선수의 고유번호, ② 상기 판별된 선수의 출연 시간 및 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적을 기록하는 단계; 및 제2 사용자마다, ① 상기 스트리밍 영상에서 판별된 선수의 고유번호, ② 상기 판별된 선수의 출연 시간 및 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적을 기반으로, 상기 제2 사용자에 대응하는 주요 촬영 선수를 산출하는 단계;를 더 포함하고, 상기 스트리밍 시작 알림을 송신하는 단계는: 상기 스트리밍 영상 정보를 기반으로, 상기 제2 사용자 단말에 대응하는 주요 촬영 선수가 상기 제1 사용자 단말에서 등록한 관심 선수인지 여부를 판단하는 제1 판단 단계; 및 상기 제1 판단 단계의 결과를 기반으로, 상기 스트리밍 시작 알림에 포함되는 푸시 알림 아이콘 이미지를 지정하는 단계;를 포함하고, 상기 제2 사용자에 대응하는 주요 촬영 선수를 산출하는 단계는: '① 상기 스트리밍 영상에서 판별된 선수의 고유번호'마다, '② 상기 판별된 선수의 출연 시간' X '③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적'의 값을 산출하는 제1 산출 단계; 및 상기 제1 산출 단계에서 산출된 값 중 상위 n개의 값에 대응하는 '① 상기 스트리밍 영상에서 판별된 선수의 고유번호'를 기반으로, 상기 주요 촬영 선수를 지정하는 단계;를 포함할 수 있다(상기 상위 n개의 n은 2 내지 5의 자연수 중 어느 하나).
또한, 상기 스트리밍 재생 메세지를 송신하는 단계는: 상기 제1 사용자 단말로부터 스트리밍 영상에 대한 채팅 메세지를 수신하는 단계; 상기 스트리밍 영상의 동영상 레이어 위에 소정의 채팅 레이어를 생성하는 단계; 상기 채팅 레이어의 일측에 상기 채팅 메세지를 표기하는 단계; 상기 스트리밍 영상의 채팅 레이어 위에 소정의 안내 레이어를 생성하는 단계; 상기 안내 레이어의 일측에 상기 채팅 메세지가 수신된 기준 시간을 기준으로 제1 시간 전, 제2 시간 전 및 제3 시간 전에 상기 스트리밍 영상을 캡쳐한 제1 과거 이미지, 제2 과거 이미지 및 제3 과거 이미지를 상기 제1 사용자 단말에 송신하는 단계; 상기 제1 과거 이미지, 제2 과거 이미지 및 제3 과거 이미지 중, 상기 제1 사용자 단말에서 선택된 어느 하나를 기반으로, 상기 제1 시간 전, 제2 시간 전 및 제3 시간 전 중 어느 하나의 시간으로부터 상기 기준 시간의 제4 시간 후까지의 스트리밍 영상을 캡쳐하여 저장용 동영상을 생성하는 단계; 상기 저장용 동영상을 스토리지 서버에 저장하는 단계; 및 상기 저장용 동영상의 다운로드 링크를 상기 제1 사용자 단말에 송신하는 단계;를 포함할 수 있다.
일실시예에 따른 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.
일실시예에 따르면, 특정한 스트리머를 팔로우 하는 형태가 아니라, 스포츠 경기에 참여하는 구단이나 출연/출전하는 선수를 팔로우(관심 등록)하는 형태의 스트리밍 플랫폼/서비스를 구성할 수 있다.
또한, 사용자들은 특정한 스트리머나 동영상 업로더(유튜버 등)를 팔로우하지 않더라도, 사용자가 관심을 갖고 있는 구단이나 선수의 스포츠 경기가 스트리밍될 때 이를 자동으로 알림받을 수 있다.
그리고, 사용자가 관심있는 구단의 스트리밍 영상들의 썸네일을 한 화면 내에서 비교해보고, 사용자가 그 중 원하는 구도에서 촬영되는 스트리밍 영상을 선택하여 시청하도록 도울 수 있다.
아울러, 사용자가 관심있는 구단의 스트리밍 영상 중, 사용자가 관심있는 선수가 출연하는 스트리밍 영상을 선택하여 시청할 수 있도록 썸네일을 생성할 수 있다.
또한, 소정의 단계들에 걸쳐서 스트리밍 영상에 출연하는 선수를 판별/구분함으로써, 선수 판별의 신속성 및 정확도를 높일 수 있다.
그리고, 스트리밍 영상을 송출하는 스트리머(제2 사용자)마다 자주 출연하는 선수를 기록함으로써, 시청자(제1 사용자)들은 자신이 관심을 가지는 선수를 자주 촬영하는 스트리머의 스트리밍 영상을 선택하여 시청할 수 있다.
아울러, 자신이 응원하는 선수에게 소정의 채팅 메세지를 입력했을 때 이를 스트리밍 영상에 표기하여 영상 시청의 재미를 증가시키고, 자신이 입력한 채팅이 출력되는 시점을 중심으로 소정의 시간 전 및 소정의 시간 후 사이의 영상을 다운로드할 수 있도록 제공함으로써, 시청자들은 자신이 참여한 영상을 소장할 수 있다.
도 1은 본 발명의 일실시예에 따른 자동 알림 기능이 적용된 스포츠 스트리밍 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 자동 알림 기능이 적용된 스포츠 스트리밍 방법을 나타낸 순서도이다.
도 3은 본 발명의 일실시예에 따른 자동 알림 기능이 적용된 스포츠 스트리밍 방법의 스트리밍 영상 정보를 송신하는 단계를 나타낸 순서도이다.
도 4는 본 발명의 일실시예에 따른 자동 알림 기능이 적용된 스포츠 스트리밍 방법의 스트리밍 재생 메세지를 송신하는 단계를 나타낸 순서도이다.
도 5는 본 발명의 일실시예에 따른 자동 알림 기능이 적용된 스포츠 스트리밍 방법의 제3 썸네일 이미지를 나타낸 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 점차 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.
일실시예에 따르면, 장치(1)에 의해 수행되는 자동 알림 기능이 적용된 스포츠 스트리밍 방법에 있어서, 제1 사용자 단말(2)로부터 관심 구단(C)을 등록받는 단계(S100); 제2 사용자 단말(3)로부터 스포츠 경기에 대한 경기 정보를 수신하는 단계(S200); 상기 제2 사용자 단말(3)로부터 송출되는 스트리밍 영상 정보를 수신하는 단계(S300); 상기 경기 정보 및 스트리밍 영상 정보를 기반으로, 상기 스포츠 경기에 참여하는 스포츠 구단을 관심 구단(C)으로 등록한 상기 제1 사용자 단말(2)에 스트리밍 시작 알림을 송신하는 단계(S400); 상기 제1 사용자 단말(2)에 스트리밍 영상 정보를 송신하는 단계(S500); 및 상기 제1 사용자 단말(2)로부터 스트리밍 재생 요청이 입력된 경우, 상기 제1 사용자 단말(2)에 상기 스트리밍 영상 정보를 기반으로 스트리밍 재생 메세지를 송신하는 단계(S600);를 포함하는, 자동 알림 기능이 적용된 스포츠 스트리밍 방법을 제공한다.
여기서 상기 장치(1)는: 소정의 서버 컴퓨터(메인서버)일 수 있다. 상기 장치(1)는 다수개의 상기 제1 사용자 단말(2)(시청자 단말)과 다수개의 상기 제2 사용자 단말(3)(스트리머 단말)과 인터넷을 기반으로 유/무선 통신할 수 있다.
상기 제1 사용자 단말(2)은 제1 사용자(시청자)의 계정과 연동된 스마트 기기 등의 단말기를 의미한다. 이와 동일하게, 제2 사용자 단말(3)은 제2 사용자(스트리머)의 계정과 연동된 스마트 기기 등의 단말기를 의미한다. 여기서, 어느 한 사용자의 단말기는 다른 사람의 스트리밍 영상을 시청할 때에는 제1 사용자 단말(2)로 지칭될 수 있고, 자신이 촬영하는 영상을 스트리밍 할 때에는 제2 사용자 단말(3)로 지칭될 수 있다.
제1 사용자 단말(2)로부터 관심 구단(C)을 등록받는 단계(S100)는, 소정의 SNS 팔로우 기능처럼 기능한다.
제2 사용자 단말(3)로부터 스포츠 경기에 대한 경기 정보를 수신하는 단계(S200)에서는, 제2 사용자 단말(3)에서 스트리밍할 경기에 대한 간략한 정보를 입력받는다. 내용을 직접 타이핑하여 입력받거나, 소정의 체크박스/라디오 버튼/콤보박스 등의 형태를 기반으로 선택받을 수도 있다.
경기 정보에는, 예를 들어 스포츠 경기에 참여하는 구단이 어느 구단인지, 경기 시간은 몇 시부터 몇 시까지인지, 경기 명칭(~배 ~리그, ~ 친선경기 등)은 무엇인지, 각 구단별로 출전하는 선수들은 누구인지 등의 정보가 포함될 수 있다.
상기 제2 사용자 단말(3)로부터 송출되는 스트리밍 영상 정보를 수신하는 단계(S300)에서는, 제2 사용자 단말(3)에서 송출하는 스트리밍 영상의 URL이나 API 값 등을 장치(1)로 수신할 수 있다.
본 발명의 일실시예는 스트리밍 영상 처리를 장치(1)에서 직접 수행하지 않고, 스트리밍 자체는 유튜브 등의 외부 스트리밍 서비스/플랫폼을 기반으로 작동할 수 있다.
예를 들어, 제2 사용자 단말(3)에서 스트리밍 버튼을 선택하면, 제2 사용자 단말(3)과 연동된 유튜브 계정 등을 기반으로 유튜브를 통해 스트리밍을 시작하고, 유튜브 스트리밍 정보를 장치(1)로 송신하도록 처리될 수 있다. 이 때, 제1 사용자들은 상기 유튜브 스트리밍 정보를 전달받아 스트리밍 영상을 시청할 수 있다.
상기 경기 정보 및 스트리밍 영상 정보를 기반으로, 상기 스포츠 경기에 참여하는 스포츠 구단을 관심 구단(C)으로 등록한 상기 제1 사용자 단말(2)에 스트리밍 시작 알림을 송신하는 단계(S400)에서는, 현재 여러 제2 사용자 단말(3)에 의해 스트리밍되고 있는 다수의 스트리밍 영상들 중에서, 제1 사용자 단말(2)이 관심 구단(C)으로 등록한 스포츠 구단의 경기가 있는 경우에는 이를 제1 사용자에게 알림을 송신한다.
상기 제1 사용자 단말(2)에 스트리밍 영상 정보를 송신하는 단계(S500)에서는, 전술한 바와 같이 스트리밍 정보(URL, API 데이터 등)를 제1 사용자 단말(2)에 송신함으로써 제1 사용자 단말(2)이 스트리밍 영상을 재생/시청할 수 있도록 처리하고, 필요에 따라 후술하는 채팅 관련 기능도 처리할 수 있다.
상기 제1 사용자 단말(2)로부터 스트리밍 재생 요청이 입력된 경우, 상기 제1 사용자 단말(2)에 상기 스트리밍 영상 정보를 기반으로 스트리밍 재생 메세지를 송신하는 단계(S600)에서는, 상기 스트리밍 정보를 기반으로 제1 사용자 단말(2)의 운영체제(OS)에서 소정의 영상 재생 기능을 실행하도록 메세지를 발생시킨다.
여기서 메세지란, SMS 등의 단문 메세지를 의미하는 것이 아니라, 운영체제에 전달되어 소정의 이벤트를 발생시키는 인수 또는 매개변수 등을 의미한다.
또한, 상기 스트리밍 영상 정보를 수신하는 단계(S300)는: 다수개의 제2 사용자 단말(3)로부터 수신된 다수개의 경기 정보를 기반으로, 다수개의 제2 사용자 단말(3)로부터 송출되는 다수개의 스트리밍 영상들을 상기 스포츠 경기에 참여하는 스포츠 구단별로 군집화하는 단계; 상기 스트리밍 영상들의 제1 썸네일 이미지들을 추출하는 단계; 및 상기 제1 썸네일 이미지들을 군집별로 구분하여, 상기 제1 썸네일 이미지들을 상기 스포츠 구단별로 태깅(Tagging)하는 단계;를 포함할 수 있다.
다수개의 제2 사용자 단말(3)로부터 수신된 다수개의 경기 정보를 기반으로, 다수개의 제2 사용자 단말(3)로부터 송출되는 다수개의 스트리밍 영상들을 상기 스포츠 경기에 참여하는 스포츠 구단별로 군집화하는 단계에서는, 서로 다른 제2 사용자(스트리머)들로부터 송출되고 있는 다수개의 스트리밍 영상들을, 해당 경기에 참여(참가)하고 있는 스포츠 구단별로 군집화한다.
예를 들어, '가' 스트리머가 A 구단과 B구단의 경기를 송출하고, '나' 스트리머가 C 구단과 D구단의 경기를 송출하고, '다' 스트리머가 A 구단과 B구단의 경기를 송출한다면, '가' 스트리머(제2 사용자)가 송출중인 스트리밍 영상과 '다' 스트리머가 송출중인 스트리밍 영상을 하나의 군집으로 군집화(그루핑)할 수 있다.
상기 스트리밍 영상들의 제1 썸네일 이미지들을 추출하는 단계에서는, 상기 스트리밍 영상들 각각에 대해 소정의 썸네일(대표) 이미지를 적어도 하나씩 추출한다.
상기 제1 썸네일 이미지들을 군집별로 구분하여, 상기 제1 썸네일 이미지들을 상기 스포츠 구단별로 태깅(Tagging)하는 단계에서는, 추출된 제1 썸네일 이미지들을 상술한 군집을 기반으로 구분한 뒤, 동일한 스포츠 구단에 연관되는 제1 썸네일 이미지들을 스포츠 구단별 태그를 태깅한다.
따라서, 어느 특정한 스포츠 구단에 대한 제1 썸네일 이미지들을 일괄적으로 추출/필터링하여 확인할 수 있게 된다.
상기 스트리밍 영상 정보를 송신하는 단계(S500)는: 상기 스포츠 구단별로 태깅된 제1 썸네일 이미지들 중, 상기 제1 사용자 단말(2)에서 등록한 관심 구단(C)이 태깅된 제2 썸네일 이미지(T2)들을 추출하는 단계(S510); 상기 제1 사용자 단말(2)의 기기정보를 기반으로, 상기 제2 썸네일 이미지(T2)들을 병합하여 상기 제1 사용자 단말(2)의 디스플레이 크기에 대응하는 단일한 제3 썸네일 이미지(T3)를 생성하는 단계(S520); 상기 제3 썸네일 이미지(T3) 위에 소정의 그리드(G) 레이어를 생성하는 단계(S530); 상기 그리드(G) 레이어의 각 칸마다, 각 칸의 아래에 위치한 제2 썸네일 이미지(T2)를 인식하는 단계(S540); 상기 제2 썸네일 이미지(T2)들에 대응하는 스트리밍 영상 정보를 추출하는 단계(S550); 상기 각 칸마다 상기 제2 썸네일 이미지(T2)에 대응하는 스트리밍 영상 정보를 대응시켜, 상기 각 칸의 x 좌표, 각 칸의 y 좌표 및 스트리밍 영상 주소를 소정의 1차원 배열로 기록하는 단계(S560); 상기 각 칸마다 대응되도록 기록된 1차원 배열들을 2차원 배열로 기록하는 단계(S570); 및 상기 제3 썸네일 이미지(T3) 및 상기 2차원 배열을 상기 제1 사용자 단말(2)에 송신하는 단계(S580);를 포함할 수 있다.
상기 스포츠 구단별로 태깅된 제1 썸네일 이미지들 중, 상기 제1 사용자 단말(2)에서 등록한 관심 구단(C)이 태깅된 제2 썸네일 이미지(T2)들을 추출하는 단계(S510)에서는, 상기 태그들을 기반으로 제1 사용자마다의 관심 구단(C)이 태깅된 제1 썸네일 이미지들을 추출하여 이를 제2 썸네일 이미지(T2)로 지정한다.
어느 제1 사용자의 관심 구단(C)에 대한 실시간 스트리밍 영상이 없는 경우(실시간 스트리밍 영상이 없는 시간대)에는 제2 썸네일 이미지(T2)가 추출되지 않는다.
상기 제1 사용자 단말(2)의 기기정보를 기반으로, 상기 제2 썸네일 이미지(T2)들을 병합하여 상기 제1 사용자 단말(2)의 디스플레이 크기에 대응하는 단일한 제3 썸네일 이미지(T3)를 생성하는 단계(S520)에서는, 추출된 상기 제2 썸네일 이미지(T2)들을 도 5에 도시된 바와 같이 하나의 이미지로 병합(이어 붙임)하여 단일한 하나의 제3 썸네일 이미지(T3)(단일한 파일)로 변환한다.
상기 제3 썸네일 이미지(T3) 위에 소정의 그리드(G) 레이어를 생성하는 단계(S530)에서는, 도 5에 도시된 바와 같이 제3 썸네일 이미지(T3)의 이미지 레이어 위에 소정의 그리드(G) 레이어를 생성한다. 여기서, 그리드(G) 레이어는 사용자의 단말기에서 시각적으로는 표기되지 않는 투명 레이어이며, 도 5에서는 설명의 편의를 위해 그리드(G)가 보이도록 표기하였다.
상기 그리드(G) 레이어의 각 칸마다, 각 칸의 아래에 위치한 제2 썸네일 이미지(T2)를 인식하는 단계(S540)에서는, 그리드(G) 레이어의 각 칸들이 어떤 제2 썸네일 이미지(T2)의 위에 위치하고 있는지를 인식한다.
예를 들어, 도 5의 (2, 7)위치의 칸은 중앙 위쪽에 위치한 제2 썸네일 이미지(T2)에 위치하고 있는 것으로 인식된다.
상기 제2 썸네일 이미지(T2)들에 대응하는 스트리밍 영상 정보를 추출하는 단계(S550)에서는, 해당 스트리밍 영상을 재생할 수 있도록 제2 썸네일 이미지(T2)들이 추출/캡쳐되었던 원본 스트리밍 영상 정보(URL, API 값 등)를 추출한다.
상기 각 칸마다 상기 제2 썸네일 이미지(T2)에 대응하는 스트리밍 영상 정보를 대응시켜, 상기 각 칸의 x 좌표, 각 칸의 y 좌표 및 스트리밍 영상 주소를 소정의 1차원 배열로 기록하는 단계(S560)에서는, (2, 7, 영상 주소)와 같은 형태의 1차원 배열에 데이터를 기록한다.
상기 각 칸마다 대응되도록 기록된 1차원 배열들을 2차원 배열로 기록하는 단계(S570)에서는, {(2, 7, 영상 주소), (2, 8, 영상 주소), (2, 9, 영상 주소), ...}와 같이 1차원 배열을 원소(Elements)로 하는 2차원 배열을 생성한다.
상기 제3 썸네일 이미지(T3) 및 상기 2차원 배열을 상기 제1 사용자 단말(2)에 송신하는 단계(S580)에서는, 단일한 이미지 파일로 생성된 상기 제3 썸네일 이미지(T3)와 상기 2차원 배열을 제1 사용자 단말(2)에 송신하여, 제1 사용자 단말(2)에서 상기 제3 썸네일 이미지(T3)를 디스플레이하도록 처리한다.
상기 제1 사용자 단말(2)에 디스플레이된 상기 제3 썸네일 이미지(T3) 중 임의의 지점이 터치 되었을 때: 상기 2차원 배열을 기반으로 터치된 지점에 대응하는 스트리밍 영상 주소를 기반으로 스트리밍 영상을 재생하도록 구성될 수 있다.
예를 들어, 제1 사용자 단말(2)에 디스플레이된 제3 썸네일 이미지(T3)를 보고 있는 제1 사용자가, (7, 3) 좌표의 칸을 터치(클릭, 탭)한 경우에는 좌측에 있는 제4 썸네일 이미지(T4)에 대응하는 스트리밍 영상이 재생된다.
그리고, 상기 관심 구단(C)을 등록받는 단계(S100)는: 상기 관심 구단(C)에 등록된 선수 중 적어도 하나를 관심 선수(P)로 등록하는 단계;를 더 포함할 수 있다.
일반적인 스포츠 구단의 경우에는 시청자들이 스포츠 구단 자체를 응원하고 스포츠 구단 자체의 팬인 경우도 있을 수 있으나, 유소년 구단 등의 경우에는 자신의 자녀가 소속된 스포츠 구단에 관심을 가지면서도 특히 자신의 자녀가 출연/출전하는 경기에 관심이 높을 것이다.
이러한 시청자들의 니즈를 위하여, 관심 구단(C) 뿐만이 아니라 그 관심 구단(C)에 소속된 선수 중 적어도 어느 하나의 선수를 관심 선수(P)로 등록(팔로우)받을 수 있다.
상기 제1 썸네일 이미지들을 추출하는 단계는: 상기 스트리밍 영상으로부터 상기 스포츠 구단에 등록된 선수를 인식하는 단계; 및 인식된 선수가 있는 시점에서의 스트리밍 영상을 캡쳐하여, 상기 제1 썸네일 이미지를 생성하는 단계;를 포함할 수 있다.
상기 스트리밍 영상으로부터 상기 스포츠 구단에 등록된 선수를 인식하는 단계에서는, 상기 스트리밍 영상에 대한 소정의 객체 인식 알고리즘을 기반으로 스트리밍 영상에 실시간으로 출연하는 사람 객체가 어느 선수인지를 판별한다.
상기와 같은 선수 인식을 위하여, 미리 입력된 각 선수들의 사진, 동영상 등을 학습함으로써 인식의 정확도를 향상시킬 수 있다.
인식된 선수가 있는 시점에서의 스트리밍 영상을 캡쳐하여, 상기 제1 썸네일 이미지를 생성하는 단계에서는, 인식된 선수가 나타난 시점에서 상기 스트리밍 영상을 캡쳐하여, 상기 인식된 선수의 경기 영상을 시청하려는 제1 사용자를 위한 제1 썸네일 이미지를 생성할 수 있다.
상기 제2 썸네일 이미지(T2)들을 추출하는 단계(S510)는: 상기 제1 썸네일 이미지들 중, 상기 제1 사용자 단말(2)에서 등록한 관심 선수(P)가 인식된 제4 썸네일 이미지(T4)를 제2 썸네일 이미지(T2)로 지정하는 단계;를 포함할 수 있다.
이 때, 상기 제2 썸네일 이미지(T2)는 가장 최근에 인식된 선수가 나타난 제1 썸네일 이미지로 실시간으로 갱신되지만, 제1 사용자 단말(2)에서 등록한 관심 선수(P)가 인식된 제4 썸네일 이미지(T4)가 있는 경우에는 가장 최근에 인식된 선수가 나타난 제1 썸네일 이미지가 아니라, 관심 선수(P)가 인식된 제4 썸네일 이미지(T4)로 고정될 수 있다.
예를 들어, 스트리밍 영상의 5분 3초에 A 관심 선수(P)가 출연하여 5분 3초가 제4 썸네일 이미지(T4)(제2 썸네일 이미지(T2))로 지정되었다면, 5분 30초, 5분 45초 등 그 뒤의 시간에 A 관심 선수(P)가 아닌 다른 선수가 출연하였더라도 제2 썸네일 이미지(T2)를 갱신하지 않고 상기 제4 썸네일 이미지(T4)를 제2 썸네일 이미지(T2)로 고정할 수 있다.
상기 제3 썸네일 이미지(T3)를 생성하는 단계(S520)는: 상기 제2 썸네일 이미지(T2)들 중 제4 썸네일 이미지(T4)를 2 면적부(part by area; 面積部)의 크기로 지정하는 단계; 및 상기 제2 썸네일 이미지(T2)들 중 제4 썸네일 이미지(T4)가 아닌 제1 썸네일 이미지를 1 면적부의 크기로 지정하는 단계;를 포함할 수 있다.
일반적으로 비전문가(유소년 구단의 학부모)가 촬영하는 영상에서 나타나는 사람 객체는, 고급형 카메라가 아니라 일반적인 스마트폰 등을 기반으로 촬영되기 때문에 크기가 작거나 흐릿하게 나타날 수 있다.
특정한 관심 선수(P)가 나타나는 스트리밍 영상을 시청하고 싶은 시청자(제1 사용자)가 자신의 관심 선수(P)를 보다 잘 식별할 수 있도록 자신의 관심 선수(P)가 캡쳐된 제4 썸네일 이미지(T4)는 도 5에 도시된 바와 같이 2 면적부 만큼의 크기를 가지도록 표기하고, 관심 선수(P)가 캡쳐되지 않은 나머지 제2 썸네일 이미지(T2)들은 그에 비해 절반의 크기인 1 면적부 만큼의 크기를 가지도록 표기한다.
상기 스포츠 구단에 등록된 선수를 인식하는 단계는: 상기 스트리밍 영상으로부터 사람 객체를 인식하는 단계; 상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 이미지를 생성하는 단계; 상기 제1 인식용 이미지로부터 등번호를 인식하는 제1 판별 단계; 상기 제1 인식용 이미지로부터 등번호가 인식되지 않은 경우: 상기 제1 인식용 이미지로부터 얼굴을 인식하는 제2 판별 단계; 상기 제1 인식용 이미지로부터 얼굴이 인식되지 않은 경우: 상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 동영상을 생성하고, 제1 인식용 동영상을 기반으로 사람 객체가 어느 선수인지 판별하는 제3 판별 단계; 상기 제3 판별 단계에 따라 판별된 선수가, 상기 제1 판별 단계 또는 제2 판별 단계에 따라 재인식 된 경우: 재인식된 제1 판별 단계 또는 제2 판결 단계의 결과로 인식 값을 치환하는 제1 갱신 단계; 및 상기 제2 판별 단계에 따라 판별된 선수가, 상기 제1 판별 단계에 따라 재인식 된 경우: 재인식된 제1 판별 단계의 결과로 인식 값을 치환하는 제2 갱신 단계;를 포함할 수 있다.
상기 스트리밍 영상으로부터 사람 객체를 인식하는 단계에서는, 일반적인 객체 인식 알고리즘을 기반으로, 상기 스트리밍 영상 내에서 사람 객체가 인식되는지 여부를 판단한다. 이 단계에서 사람 객체 자체가 인식되지 않는다면, 후술하는 후속 단계들을 생략하여 처리 부하를 절감시킬 수 있다.
상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 이미지를 생성하는 단계에서는, 인식률을 높이고 인식의 처리 부하를 절감시키기 위해 어느 시점에서 스트리밍 영상을 캡쳐하여 제1 인식용 이미지를 생성하고, 이를 기반으로 선수 인식/판별을 수행한다.
상기 제1 인식용 이미지로부터 등번호를 인식하는 제1 판별 단계에서는, 가장 정확하게 선수를 식별할 수 있는 방법인 등번호를 기반으로 선수를 판별한다. 여기서, 상기 경기 정보를 기반으로, 홈/어웨이 구단의 유니폼 색상을 반영하여, 각 구단별 등번호를 구분/분리하여 선수를 인식할 수 있다.
상기 제1 인식용 이미지로부터 등번호가 인식되지 않은 경우: 상기 제1 인식용 이미지로부터 얼굴을 인식하는 제2 판별 단계를 수행한다. 등번호가 인식되지 않고 얼굴만이 촬영된 경우에는 얼굴 인식(비교)을 기반으로 선수를 판별할 수 있다.
상기 제1 인식용 이미지로부터 얼굴이 인식되지 않은 경우: 상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 동영상을 생성하고, 제1 인식용 동영상을 기반으로 사람 객체가 어느 선수인지 판별하는 제3 판별 단계에서는, 후술하는 속도 벡터 및 가속도 벡터를 기반으로 선수를 판별한다.
상기 제3 판별 단계에 따라 판별된 선수가, 상기 제1 판별 단계 또는 제2 판별 단계에 따라 재인식 된 경우: 재인식된 제1 판별 단계 또는 제2 판결 단계의 결과로 인식 값을 치환하는 제1 갱신 단계; 및 상기 제2 판별 단계에 따라 판별된 선수가, 상기 제1 판별 단계에 따라 재인식 된 경우: 재인식된 제1 판별 단계의 결과로 인식 값을 치환하는 제2 갱신 단계;를 수행한다.
다시말해, 등번호 > 얼굴 > 러닝 패턴의 우선순위를 토대로 선수를 인식하되, 우선순위가 낮은 판별 단계가 수행되었던 경우에는 나중에 우선순위가 더 높은 판별 단계가 수행되었을 때 이를 갱신함으로써 선수 인식의 정확도를 향상시킬 수 있다.
상기 제3 판별 단계는: 상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 동영상을 생성하는 단계; 상기 제1 인식용 동영상으로부터 상기 사람 객체의 키 벡터, 속도 벡터 및 가속도 벡터를 소정의 시간 간격으로 추출하는 단계; 상기 속도 벡터 및 가속도 벡터를 키 벡터의 크기로 나누어 비율 속도 벡터 및 비율 가속도 벡터를 산출하는 단계; 및 상기 비율 속도 벡터 및 비율 가속도 벡터를, 선수별 비율 속도 벡터 및 비율 가속도 벡터를 기 학습한 인공지능 모델에 입력하여, 상기 제1 인식용 동영상의 사람 객체가 어느 선수인지 판별하는 단계;를 포함할 수 있다.
상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 동영상을 생성하는 단계에서는 상기 사람 객체(선수)의 러닝 패턴을 추출하기 위한 단위 동영상을 캡쳐한다.
상기 제1 인식용 동영상으로부터 상기 사람 객체의 키 벡터, 속도 벡터 및 가속도 벡터를 소정의 시간 간격으로 추출하는 단계에서는, 상기 사람 객체의 속도 벡터 및 가속도 벡터를 산출할 수 있도록 상기 사람 객체의 키 벡터를 산출한다.
촬영된 동영상 내에서 상기 사람 객체의 속도 및 가속도를 정확하게 측정하기는 어려우므로, 상기 사람 객체의 키와 속도 및 가속도를 비교함으로써, 이를 러닝 패턴에 근사시킬 수 있다.
상기 속도 벡터 및 가속도 벡터를 키 벡터의 크기로 나누어 비율 속도 벡터 및 비율 가속도 벡터를 산출하는 단계에서는, 영상 내에서 산출된 속도 벡터 및 가속도 벡터를 키 벡터의 크기(길이)로 나눈 값인 비율 속도 벡터 및 비율 가속도 벡터를 산출한다.
상기 비율 속도 벡터 및 비율 가속도 벡터는 상기 키 벡터의 크기로 나누어진 무차원 값이어서, 상기 제2 사용자 단말(3)이 어느 각도나 어느 거리에서 상기 선수(사람 객체)를 촬영하더라도 각 사람에 대해 고유한 데이터가 산출될 수 있다.
상기 비율 속도 벡터 및 비율 가속도 벡터를, 선수별 비율 속도 벡터 및 비율 가속도 벡터를 기 학습한 인공지능 모델에 입력하여, 상기 제1 인식용 동영상의 사람 객체가 어느 선수인지 판별하는 단계에서는, 상기 선수별로 미리 상기 비율 속도 벡터 및 비율 가속도 벡터를 측정하여 학습한 인공지능 모델을 기반으로, 상기 사람 객체가 어느 선수인지를 판별하도록 처리할 수 있다.
예를 들어, A 선수가 달리는 비율 속도 벡터(크기)의 변화가 7, 5, 8, 3의 패턴이고, 비율 가속도 벡터(크기)의 변화가 2, 3, 5의 패턴임을 기반으로, 상기 A 선수의 달리기 경향인 러닝 패턴을 판별할 수 있다.
다만, 상기 러닝 패턴은 경기 상황이나 카메라 대비 선수의 각도 등에 따라 상이할 수 있으므로, 최저순위인 제3 판별 단계로 지정하여 전술한 제2 판별 단계 또는 제1 판별 단계가 수행되었을 때에는 이를 갱신할 수 있도록 처리한다.
아울러, 상기 스포츠 구단에 등록된 선수를 인식하는 단계는: ① 상기 스트리밍 영상에서 판별된 선수의 고유번호, ② 상기 판별된 선수의 출연 시간 및 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적을 기록하는 단계; 및 제2 사용자마다, ① 상기 스트리밍 영상에서 판별된 선수의 고유번호, ② 상기 판별된 선수의 출연 시간 및 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적을 기반으로, 상기 제2 사용자에 대응하는 주요 촬영 선수를 산출하는 단계;를 더 포함하고, 상기 스트리밍 시작 알림을 송신하는 단계(S400)는: 상기 스트리밍 영상 정보를 기반으로, 상기 제2 사용자 단말(3)에 대응하는 주요 촬영 선수가 상기 제1 사용자 단말(2)에서 등록한 관심 선수(P)인지 여부를 판단하는 제1 판단 단계; 및 상기 제1 판단 단계의 결과를 기반으로, 상기 스트리밍 시작 알림에 포함되는 푸시 알림 아이콘 이미지를 지정하는 단계;를 포함하고, 상기 제2 사용자에 대응하는 주요 촬영 선수를 산출하는 단계는: '① 상기 스트리밍 영상에서 판별된 선수의 고유번호'마다, '② 상기 판별된 선수의 출연 시간' X '③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적'의 값을 산출하는 제1 산출 단계; 및 상기 제1 산출 단계에서 산출된 값 중 상위 n개의 값에 대응하는 '① 상기 스트리밍 영상에서 판별된 선수의 고유번호'를 기반으로, 상기 주요 촬영 선수를 지정하는 단계;를 포함할 수 있다(상기 상위 n개의 n은 2 내지 5의 자연수 중 어느 하나).
① 상기 스트리밍 영상에서 판별된 선수의 고유번호, ② 상기 판별된 선수의 출연 시간 및 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적을 기록하는 단계에서는, 상기 선수 인식 알고리즘에 따라 선수가 판별된 부분들의 영상들에 대해서만, 해당 선수(판별된 선수)가 ② 출연하는 시간 값과 해당 선수가 출연하는 영상에서의 ③ 전체 영상 크기 대비 선수의 크기(면적)를 기록하여, 스트리밍 영상 내에서 해당 선수의 출연 비중을 산출할 수 있다.
제2 사용자마다, ① 상기 스트리밍 영상에서 판별된 선수의 고유번호, ② 상기 판별된 선수의 출연 시간 및 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적을 기반으로, 상기 제2 사용자에 대응하는 주요 촬영 선수를 산출하는 단계에 따라, 어느 스트리머(제2 사용자)가 촬영하는 스트리밍 영상에 주로 출연하는 선수들이 누구인지를 산출할 수 있다.
일반적인 팀 구기 스포츠에는 선수마다 포지션이 지정되어 있어서, A 선수의 근처 포지션에 위치한 B 선수가 있다면 A 선수를 집중적으로 촬영하는 C 학부모(스트리머, 제2 사용자)의 스트리밍 영상에서는 상대적으로 B 선수의 출연 비중이 높을 확률이 높다.
상기 스트리밍 영상을 보는 시청자(제1 사용자)는 자신의 자녀가 출전하는 경기를 직관하지 못하는 상황이므로 자신의 자녀를 직접적으로 촬영하는 스트리밍 영상이 없을 확률이 높으므로, 상기와 같이 자신의 자녀의 포지션에 인접한 타 선수를 촬영하는 스트리밍 영상을 통해 자신의 자녀(주요 촬영 선수)가 간접적으로 자주 출연하는 영상을 시청할 수 있다.
상기 스트리밍 시작 알림을 송신하는 단계(S400)는: 상기 스트리밍 영상 정보를 기반으로, 상기 제2 사용자 단말(3)에 대응하는 주요 촬영 선수가 상기 제1 사용자 단말(2)에서 등록한 관심 선수(P)인지 여부를 판단하는 제1 판단 단계; 및 상기 제1 판단 단계의 결과를 기반으로, 상기 스트리밍 시작 알림에 포함되는 푸시 알림 아이콘 이미지를 지정하는 단계;를 포함할 수 있다.
상기와 같은 단계들에 따르면, 스트리밍 시작 알림을 제공받는 제1 사용자는 스트리밍을 시작한 제2 사용자가 자신의 관심 선수(P)를 주로 촬영하는 스트리머인지를 알림을 통해 미리 확인할 수 있다.
제1 사용자들은 상기와 같은 단계들에 따라, 자신의 관심 선수(P)가 주로 출연하는 스트리머의 스트리밍 영상을 우선적으로 시청할 수 있게 된다.
상기 제2 사용자에 대응하는 주요 촬영 선수를 산출하는 단계는: '① 상기 스트리밍 영상에서 판별된 선수의 고유번호'마다, '② 상기 판별된 선수의 출연 시간' X '③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적'의 값을 산출하는 제1 산출 단계; 및 상기 제1 산출 단계에서 산출된 값 중 상위 n개의 값에 대응하는 '① 상기 스트리밍 영상에서 판별된 선수의 고유번호'를 기반으로, 상기 주요 촬영 선수를 지정하는 단계;를 포함할 수 있다(상기 상위 n개의 n은 2 내지 5의 자연수 중 어느 하나).
상기 주요 촬영 선수란, 스트리밍 영상 내에서 '크게' 촬영되면서 '오랫동안' 촬영되는 선수이므로, 상기와 같이 출연 시간과 선수 객체의 면적을 곱한 값을 기반으로 주요 촬영 선수를 산출할 수 있다.
여기서 상기 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적은 소정의 샘플링 타임마다 산출될 수 있다. 상기 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적을 산출하고, 각 샘플링 타임마다 산출된 상기 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적의 합계와 상기 ② 상기 판별된 선수의 출연 시간을 곱함으로써 주요 촬영 선수를 선정할 수 있다.
예를 들어, 어떤 선수가 1분 3초 내지 1분 15초까지 총 12초 동안 스트리밍 영상에 출연하고, 1초로 지정된 샘플링 타임을 기반으로 1분 3초부터 1분 15초 까지 1초마다 캡쳐된 이미지들로부터 산출된 ③ 스트리밍 영상의 면적 대비 판별된 선수 객체의 면적 값인 '5, 4, 7, 3, 3, 9, 4, 6, 3, 6, 5, 4'의 합계인 59와 12초를 곱한 값을 기반으로 주요 촬영 선수를 선정할 수 있다.
또한, 상기 스트리밍 재생 메세지를 송신하는 단계(S600)는: 상기 제1 사용자 단말(2)로부터 스트리밍 영상에 대한 채팅 메세지를 수신하는 단계(S610); 상기 스트리밍 영상의 동영상 레이어 위에 소정의 채팅 레이어를 생성하는 단계(S620); 상기 채팅 레이어의 일측에 상기 채팅 메세지를 표기하는 단계(S630); 상기 스트리밍 영상의 채팅 레이어 위에 소정의 안내 레이어를 생성하는 단계(S640); 상기 안내 레이어의 일측에 상기 채팅 메세지가 수신된 기준 시간을 기준으로 제1 시간 전, 제2 시간 전 및 제3 시간 전에 상기 스트리밍 영상을 캡쳐한 제1 과거 이미지, 제2 과거 이미지 및 제3 과거 이미지를 상기 제1 사용자 단말(2)에 송신하는 단계(S650); 상기 제1 과거 이미지, 제2 과거 이미지 및 제3 과거 이미지 중, 상기 제1 사용자 단말(2)에서 선택된 어느 하나를 기반으로, 상기 제1 시간 전, 제2 시간 전 및 제3 시간 전 중 어느 하나의 시간으로부터 상기 기준 시간의 제4 시간 후까지의 스트리밍 영상을 캡쳐하여 저장용 동영상을 생성하는 단계(S660); 상기 저장용 동영상을 스토리지 서버에 저장하는 단계(S670); 및 상기 저장용 동영상의 다운로드 링크를 상기 제1 사용자 단말(2)에 송신하는 단계(S680);를 포함할 수 있다.
상기 제1 사용자 단말(2)로부터 스트리밍 영상에 대한 채팅 메세지를 수신하는 단계에서는, 상기 제1 사용자 단말(2)에서 입력한 채팅 메세지(텍스트)를 유무선 통신을 기반으로 수신한다.
상기 스트리밍 영상의 동영상 레이어 위에 소정의 채팅 레이어를 생성하는 단계에서는, 상기 동영상 레이어의 위에 채팅 메세지를 출력하기 위하여 소정의 투명 채팅 레이어를 생성한다.
상기 채팅 레이어의 일측에 상기 채팅 메세지를 표기하는 단계에서는, 상기 스트리밍 영상의 위에 채팅 메세지를 덧입힐 수 있다.
여기서, 상기 채팅 메세지는 제1 사용자가 원하는 위치를 지정하여 표기할 수 있다.
예를 들어 축구 경기 중 골을 넣은 자신의 관심 선수(P)의 머리 위쪽에 소정의 응원 채팅 메세지를 출력시킬 수 있다.
상기 스트리밍 영상의 채팅 레이어 위에 소정의 안내 레이어를 생성하는 단계에서는, 상기 스트리밍 영상 위에 채팅 메세지가 출력된 것을 소정의 영상 클립으로 저장할 수 있도록 돕는 투명 안내 레이어를 생성한다.
상기 안내 레이어의 일측에 상기 채팅 메세지가 수신된 기준 시간을 기준으로 제1 시간 전, 제2 시간 전 및 제3 시간 전에 상기 스트리밍 영상을 캡쳐한 제1 과거 이미지, 제2 과거 이미지 및 제3 과거 이미지를 상기 제1 사용자 단말(2)에 송신하는 단계에서는, 상기 영상 클립의 시작점을 지정할 수 있도록 각 시작점을 캡쳐한 제1 과거 이미지 내지 제3 과거 이미지를 각각 제1 사용자 단말(2)의 안내 레이어에 표기하여, 제1 사용자가 그 중 어느 하나를 선택하도록 안내한다.
상기 제1 과거 이미지, 제2 과거 이미지 및 제3 과거 이미지 중, 상기 제1 사용자 단말(2)에서 선택된 어느 하나를 기반으로, 상기 제1 시간 전, 제2 시간 전 및 제3 시간 전 중 어느 하나의 시간으로부터 상기 기준 시간의 제4 시간 후까지의 스트리밍 영상을 캡쳐하여 저장용 동영상을 생성하는 단계에서는, 상기 제1 사용자가 선택한 제1 과거 이미지 내지 제3 과거 이미지에 대응하는 시작점을 기반으로 소정의 영상 클립(저장용 동영상)을 생성한다.
상기 저장용 동영상을 스토리지 서버에 저장하는 단계; 및 상기 저장용 동영상의 다운로드 링크를 상기 제1 사용자 단말(2)에 송신하는 단계에서는, 상기 저장용 동영상을 소정의 스토리지 서버 또는 클라우드 서버에 저장하고, 다운로드 링크를 제1 사용자 단말(2)에 송신하여 다운로드받을 수 있도록 안내한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
S100 : 관심 구단을 등록받는 단계
S200 : 경기 정보를 수신하는 단계
S300 : 스트리밍 영상 정보를 수신하는 단계
S400 : 스트리밍 시작 알림을 송신하는 단계
S500 : 스트리밍 영상 정보를 송신하는 단계
S510 : 제2 썸네일 이미지들을 추출하는 단계
S520 : 제3 썸네일 이미지를 생성하는 단계
S530 : 그리드 레이어를 생성하는 단계
S540 : 각 칸의 아래에 위치한 제2 썸네일 이미지를 인식하는 단계
S550 : 제2 썸네일 이미지들에 대응하는 스트리밍 영상 정보를 추출하는 단계
S560 : 각 칸의 x 좌표, 각 칸의 y 좌표 및 스트리밍 영상 주소를 소정의 1차원 배열로 기록하는 단계
S570 : 각 칸마다 대응되도록 기록된 1차원 배열들을 2차원 배열로 기록하는 단계
S580 : 제3 썸네일 이미지 및 상기 2차원 배열을 상기 제1 사용자 단말에 송신하는 단계
S600 : 스트리밍 재생 메세지를 송신하는 단계
S610 : 채팅 메세지를 수신하는 단계
S620 : 채팅 레이어를 생성하는 단계
S630 : 채팅 메세지를 표기하는 단계
S640 : 안내 레이어를 생성하는 단계
S650 : 제1 과거 이미지, 제2 과거 이미지 및 제3 과거 이미지를 상기 제1 사용자 단말에 송신하는 단계
S660 : 스트리밍 영상을 캡쳐하여 저장용 동영상을 생성하는 단계
S670 : 저장용 동영상을 스토리지 서버에 저장하는 단계
S680 : 저장용 동영상의 다운로드 링크를 상기 제1 사용자 단말에 송신하는 단계
1 : 장치(메인서버)
2 : 제1 사용자 단말
3 : 제2 사용자 단말
4 : 스토리지 서버
P : 관심 선수
C : 관심 구단
G : 그리드
T2 : 제2 썸네일 이미지
T3 : 제3 썸네일 이미지
T4 : 제4 썸네일 이미지

Claims (3)

  1. 장치에 의해 수행되는 자동 알림 기능이 적용된 스포츠 스트리밍 방법에 있어서,
    제1 사용자 단말로부터 관심 구단을 등록받는 단계;
    제2 사용자 단말로부터 스포츠 경기에 대한 경기 정보를 수신하는 단계;
    상기 제2 사용자 단말로부터 송출되는 스트리밍 영상 정보를 수신하는 단계;
    상기 경기 정보 및 스트리밍 영상 정보를 기반으로, 상기 스포츠 경기에 참여하는 스포츠 구단을 관심 구단으로 등록한 상기 제1 사용자 단말에 스트리밍 시작 알림을 송신하는 단계;
    상기 제1 사용자 단말에 스트리밍 영상 정보를 송신하는 단계; 및
    상기 제1 사용자 단말로부터 스트리밍 재생 요청이 입력된 경우, 상기 제1 사용자 단말에 상기 스트리밍 영상 정보를 기반으로 스트리밍 재생 메세지를 송신하는 단계;를 포함하고,
    상기 스트리밍 영상 정보를 수신하는 단계는:
    다수개의 제2 사용자 단말로부터 수신된 다수개의 경기 정보를 기반으로, 다수개의 제2 사용자 단말로부터 송출되는 다수개의 스트리밍 영상들을 상기 스포츠 경기에 참여하는 스포츠 구단별로 군집화하는 단계;
    상기 스트리밍 영상들의 제1 썸네일 이미지들을 추출하는 단계; 및
    상기 제1 썸네일 이미지들을 군집별로 구분하여, 상기 제1 썸네일 이미지들을 상기 스포츠 구단별로 태깅(Tagging)하는 단계;를 포함하고,
    상기 스트리밍 영상 정보를 송신하는 단계는:
    상기 스포츠 구단별로 태깅된 제1 썸네일 이미지들 중, 상기 제1 사용자 단말에서 등록한 관심 구단이 태깅된 제2 썸네일 이미지들을 추출하는 단계;
    상기 제1 사용자 단말의 기기정보를 기반으로, 상기 제2 썸네일 이미지들을 병합하여 상기 제1 사용자 단말의 디스플레이 크기에 대응하는 단일한 제3 썸네일 이미지를 생성하는 단계;
    상기 제3 썸네일 이미지 위에 소정의 그리드 레이어를 생성하는 단계;
    상기 그리드 레이어의 각 칸마다, 각 칸의 아래에 위치한 제2 썸네일 이미지를 인식하는 단계;
    상기 제2 썸네일 이미지들에 대응하는 스트리밍 영상 정보를 추출하는 단계;
    상기 각 칸마다 상기 제2 썸네일 이미지에 대응하는 스트리밍 영상 정보를 대응시켜, 상기 각 칸의 x 좌표, 각 칸의 y 좌표 및 스트리밍 영상 주소를 소정의 1차원 배열로 기록하는 단계;
    상기 각 칸마다 대응되도록 기록된 1차원 배열들을 2차원 배열로 기록하는 단계; 및
    상기 제3 썸네일 이미지 및 상기 2차원 배열을 상기 제1 사용자 단말에 송신하는 단계;를 포함하여,
    상기 제1 사용자 단말에 디스플레이된 상기 제3 썸네일 이미지 중 임의의 지점이 터치 되었을 때: 상기 2차원 배열을 기반으로 터치된 지점에 대응하는 스트리밍 영상 주소를 기반으로 스트리밍 영상을 재생하는,
    자동 알림 기능이 적용된 스포츠 스트리밍 방법
  2. 삭제
  3. 청구항 1항에 있어서,
    상기 관심 구단을 등록받는 단계는:
    상기 관심 구단에 등록된 선수 중 적어도 하나를 관심 선수로 등록하는 단계;를 더 포함하고,
    상기 제1 썸네일 이미지들을 추출하는 단계는:
    상기 스트리밍 영상으로부터 상기 스포츠 구단에 등록된 선수를 인식하는 단계; 및
    인식된 선수가 있는 시점에서의 스트리밍 영상을 캡쳐하여, 상기 제1 썸네일 이미지를 생성하는 단계;를 포함하고,
    상기 제2 썸네일 이미지들을 추출하는 단계는:
    상기 제1 썸네일 이미지들 중, 상기 제1 사용자 단말에서 등록한 관심 선수가 인식된 제4 썸네일 이미지를 제2 썸네일 이미지로 지정하는 단계;를 포함하고,
    상기 제3 썸네일 이미지를 생성하는 단계는:
    상기 제2 썸네일 이미지들 중 제4 썸네일 이미지를 2 면적부(part by area; 面積部)의 크기로 지정하는 단계; 및
    상기 제2 썸네일 이미지들 중 제4 썸네일 이미지가 아닌 제1 썸네일 이미지를 1 면적부의 크기로 지정하는 단계;를 포함하고,
    상기 스포츠 구단에 등록된 선수를 인식하는 단계는:
    상기 스트리밍 영상으로부터 사람 객체를 인식하는 단계;
    상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 이미지를 생성하는 단계;
    상기 제1 인식용 이미지로부터 등번호를 인식하는 제1 판별 단계;
    상기 제1 인식용 이미지로부터 등번호가 인식되지 않은 경우: 상기 제1 인식용 이미지로부터 얼굴을 인식하는 제2 판별 단계;
    상기 제1 인식용 이미지로부터 얼굴이 인식되지 않은 경우: 상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 동영상을 생성하고, 제1 인식용 동영상을 기반으로 사람 객체가 어느 선수인지 판별하는 제3 판별 단계;
    상기 제3 판별 단계에 따라 판별된 선수가, 상기 제1 판별 단계 또는 제2 판별 단계에 따라 재인식 된 경우: 재인식된 제1 판별 단계 또는 제2 판결 단계의 결과로 인식 값을 치환하는 제1 갱신 단계; 및
    상기 제2 판별 단계에 따라 판별된 선수가, 상기 제1 판별 단계에 따라 재인식 된 경우: 재인식된 제1 판별 단계의 결과로 인식 값을 치환하는 제2 갱신 단계;를 포함하고,
    상기 제3 판별 단계는:
    상기 사람 객체가 인식된 스트리밍 영상을 캡쳐하여 제1 인식용 동영상을 생성하는 단계;
    상기 제1 인식용 동영상으로부터 상기 사람 객체의 키 벡터, 속도 벡터 및 가속도 벡터를 소정의 시간 간격으로 추출하는 단계;
    상기 속도 벡터 및 가속도 벡터를 키 벡터의 크기로 나누어 비율 속도 벡터 및 비율 가속도 벡터를 산출하는 단계; 및
    상기 비율 속도 벡터 및 비율 가속도 벡터를, 선수별 비율 속도 벡터 및 비율 가속도 벡터를 기 학습한 인공지능 모델에 입력하여, 상기 제1 인식용 동영상의 사람 객체가 어느 선수인지 판별하는 단계;를 포함하는,
    자동 알림 기능이 적용된 스포츠 스트리밍 방법
KR1020230026523A 2023-02-28 2023-02-28 자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템 KR102541570B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230026523A KR102541570B1 (ko) 2023-02-28 2023-02-28 자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230026523A KR102541570B1 (ko) 2023-02-28 2023-02-28 자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR102541570B1 true KR102541570B1 (ko) 2023-06-13

Family

ID=86762563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230026523A KR102541570B1 (ko) 2023-02-28 2023-02-28 자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102541570B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102171356B1 (ko) 2019-05-21 2020-10-28 주식회사 오마이플레이 대회 일정과 연동되는 경기영상 스트리밍 방법 및 장치
KR102184379B1 (ko) 2019-10-08 2020-11-30 주식회사 스포카도 머신러닝 기술을 이용한 스포츠 중계 스트리밍 시스템 및 이를 이용한 스포츠 중계 스트리밍 자동 제작 방법
KR20210152790A (ko) * 2020-06-09 2021-12-16 (주)엘씨씨 스포츠 개인방송 서비스 시스템 및 방법
KR102378738B1 (ko) 2021-10-07 2022-03-28 주식회사 씨스토리 돔형 야구경기장의 스포테인먼트 야구리그 실시간 스트리밍 중계 시스템
KR20220087843A (ko) * 2020-12-18 2022-06-27 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102171356B1 (ko) 2019-05-21 2020-10-28 주식회사 오마이플레이 대회 일정과 연동되는 경기영상 스트리밍 방법 및 장치
KR102184379B1 (ko) 2019-10-08 2020-11-30 주식회사 스포카도 머신러닝 기술을 이용한 스포츠 중계 스트리밍 시스템 및 이를 이용한 스포츠 중계 스트리밍 자동 제작 방법
KR20210152790A (ko) * 2020-06-09 2021-12-16 (주)엘씨씨 스포츠 개인방송 서비스 시스템 및 방법
KR20220087843A (ko) * 2020-12-18 2022-06-27 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
KR102378738B1 (ko) 2021-10-07 2022-03-28 주식회사 씨스토리 돔형 야구경기장의 스포테인먼트 야구리그 실시간 스트리밍 중계 시스템

Similar Documents

Publication Publication Date Title
US11023736B2 (en) Methods and systems of spatiotemporal pattern recognition for video content development
JP6684883B2 (ja) カメラエフェクトを提供する方法およびシステム
JP7254772B2 (ja) ロボットインタラクションのための方法及びデバイス
US11883730B2 (en) Systems, devices, and methods employing the same for enhancing audience engagement in a competition or performance
WO2018053257A1 (en) Methods and systems of spatiotemporal pattern recognition for video content development
US10524005B2 (en) Facilitating television based interaction with social networking tools
JP2024500650A (ja) 拡張現実オブジェクトを生成するシステム及び方法
US20140372892A1 (en) On-demand interface registration with a voice control system
CN116474378A (zh) 人工智能(ai)控制的相机视角生成器和ai广播员
KR20180092778A (ko) 실감정보 제공 장치, 영상분석 서버 및 실감정보 제공 방법
US20240020975A1 (en) Automatic content recognition and information in live streaming suitable for video games
JP2018081630A (ja) 検索装置、検索方法およびプログラム
CN111797850A (zh) 视频分类方法、装置、存储介质及电子设备
CN112312142B (zh) 视频播放控制方法、装置和计算机可读存储介质
KR20180043866A (ko) 웨어러블 디바이스와의 연동을 통한 컨텐츠 소비 방법 및 시스템
KR102541570B1 (ko) 자동 알림 기능이 적용된 스포츠 스트리밍 방법, 장치 및 시스템
KR20220053021A (ko) 비디오 게임 오버레이
WO2023120263A1 (ja) 情報処理装置及び情報処理方法
WO2023233998A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR20230169692A (ko) 인공지능을 이용하여 동영상을 시청하면서 동영상에 대해 대화하는 방법 및 장치
CN117499746A (zh) 视频处理方法、设备及存储介质
CN116939312A (zh) 一种基于目标地物的ar弹幕生成方法和系统
CN116980689A (zh) 视频提醒方法以及相关设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant