KR20200095437A - 스포츠 경기의 하이라이트 추출 방법 및 장치 - Google Patents

스포츠 경기의 하이라이트 추출 방법 및 장치 Download PDF

Info

Publication number
KR20200095437A
KR20200095437A KR1020200093406A KR20200093406A KR20200095437A KR 20200095437 A KR20200095437 A KR 20200095437A KR 1020200093406 A KR1020200093406 A KR 1020200093406A KR 20200093406 A KR20200093406 A KR 20200093406A KR 20200095437 A KR20200095437 A KR 20200095437A
Authority
KR
South Korea
Prior art keywords
video
highlight
frame
relay board
keyword
Prior art date
Application number
KR1020200093406A
Other languages
English (en)
Other versions
KR102248456B1 (ko
Inventor
이영현
정현조
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020200093406A priority Critical patent/KR102248456B1/ko
Publication of KR20200095437A publication Critical patent/KR20200095437A/ko
Application granted granted Critical
Publication of KR102248456B1 publication Critical patent/KR102248456B1/ko

Links

Images

Classifications

    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06K9/00718—
    • G06K9/4642—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

스포츠 경기를 포함하는 동영상에서 하이라이트를 자동으로 추출하는 하이라이트 추출 방법일 수 있다. 이때, 하이라이트 추출 방법은, 스포츠 경기를 포함하는 동영상, 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보 및 상기 동영상에 관련된 키워드를 식별하는 동작; 상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하는 동작; 상기 키워드에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅된 동영상으로부터 상기 추출된 로그 정보에 대응하는 적어도 하나의 프레임을 결정하는 동작; 및 상기 결정된 적어도 하나의 프레임을 조합하여, 하이라이트 동영상을 생성하는 동작을 포함할 수 있다.

Description

스포츠 경기의 하이라이트 추출 방법 및 장치{METHOD AND APPARATUS FOR HIGHLIGHT EXTRACTION OF SPORTS GAME}
아래 설명은 스포츠 경기의 하이라이트 추출 방법 및 장치에 관한 것이다.
사용자 또는 전문가가 직접 동영상을 보면서 프레임의 분할 시작점과 종료점을 지정하여, 스포츠 경기의 하이라이트 동영상을 생성할 수 있다. 이와 같은, 수작업에 의할 경우, 다량의 동영상에서 하이라이트 동영상을 생성하는데 시간적, 비용적 소모가 발생한다. 따라서, 수작업이 아닌 자동으로 스포츠 경기의 하이라이트 동영상을 생성하는 하이라이트 추출 방법이 필요하다.
일 측면에 따르면, 하이라이트 추출 방법은 스포츠 경기를 포함하는 동영상, 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보 및 상기 동영상에 관련된 키워드를 식별하는 동작; 상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하는 동작; 상기 키워드에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅된 동영상으로부터 상기 추출된 로그 정보에 대응하는 적어도 하나의 프레임을 결정하는 동작; 및 상기 결정된 적어도 하나의 프레임을 조합하여, 하이라이트 동영상을 생성하는 동작를 포함할 수 있다.
상기 하이라이트 추출 방법에서 상기 하이라이트 동영상을 생성하는 동작은, 상기 키워드가 하나인 경우, 단일 키워드에 대응하는 하나의 하이라이트 동영상을 생성하거나, 또는 상기 키워드가 복수인 경우, 복수 키워드에 대응하는 적어도 하나의 하이라이트 동영상을 조합하여 하이라이트 동영상을 생성할 수 있다.
상기 하이라이트 추출 방법에서 상기 동영상에 태깅하는 동작은, 중계판이 상기 동영상에 표시된 경우, 상기 중계판에 나타난 경기 정보를 인식하여, 상기 경기 정보를 상기 동영상의 대응하는 프레임에 태깅하거나, 또는 중계판이 상기 동영상에 표시되지 않은 경우, 상기 중계판에 대응하는 상기 경기 정보가 존재하지 않음을, 상기 동영상의 대응하는 프레임에 태깅하는 것을 포함할 수 있다.
상기 하이라이트 추출 방법은 상기 동영상에서 미리 설정된 영역에 표시된 상기 중계판으로부터 특징을 추출하고, 사전에 학습된 데이터를 이용하여 상기 추출된 특징을 분류하는 동작을 더 포함할 수 있다.
상기 하이라이트 추출 방법에서 상기 중계판에 나타난 경기 정보는, 점수, 볼 카운트, 이닝을 포함할 수 있다.
상기 하이라이트 추출 방법에서 상기 중계판에 나타난 경기 정보가 주자 상황을 더 포함하는 경우, 상기 주자 상황이 상기 동영상의 대응하는 프레임에 태깅되며, 상기 중계판에 나타난 경기 정보가 투구수를 더 포함하는 경우, 상기 투구수가 상기 동영상의 대응하는 프레임에 태깅될 수 있다.
상기 하이라이트 추출 방법에서 상기 동영상에 태깅하는 동작은, 장면 전환을 검출하여 상기 동영상의 대응하는 프레임에 태깅하거나, 또는 일정한 기준에 따라 장면 인식하여 상기 동영상의 대응하는 프레임에 태깅하는 것을 포함할 수 있다.
상기 하이라이트 추출 방법에서 상기 장면 전환은, RGB를 HSV로 변환하고, 상기 HSV의 히스토그램 차이를 이용하여 검출될 수 있다.
상기 하이라이트 추출 방법에서 상기 장면 전환은, 상기 HSV 각각의 채널 별로 이전 프레임과 현재 프레임의 히스토그램 차이를 결정하고, 상기 결정된 히스토그램 차이와 미리 설정된 기준을 비교하여 판단될 수 있다.
상기 하이라이트 추출 방법에서 상기 장면 인식은, 하이라이트 추출 장치에 의해 설정된 일정한 기준 중에서, 해당 프레임이 매칭되는 기준으로 설정될 수 있다.
상기 하이라이트 추출 방법에서 상기 적어도 하나의 프레임은, 상기 키워드에 포함된 상황에 대응하는 타겟 투구수-1의 시작 프레임부터 상기 타겟 투구수의 마지막 프레임까지 포함할 수 있다.
상기 하이라이트 추출 방법은 상기 타겟 투구수-1의 시작 프레임부터 상기 타겟 투구수의 마지막 프레임 중에서, 상기 키워드에 대응하지 않는 프레임은 제외되는 동작을 더 포함할 수 있다.
일 측면에 따르면, 프로세서 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 스포츠 경기를 포함하는 동영상, 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보 및 상기 동영상에 관련된 키워드를 식별하고, 상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하고, 상기 키워드에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅된 동영상으로부터 상기 추출된 로그 정보에 대응하는 적어도 하나의 프레임을 결정하며, 상기 결정된 적어도 하나의 프레임을 조합하여, 하이라이트 동영상을 생성하는, 하이라이트 추출 장치일 수 있다.
상기 하이라이트 추출 장치의 상기 프로세서는, 상기 하이라이트 동영상을 생성할 때, 상기 키워드가 하나인 경우 단일 키워드에 대응하는 하나의 하이라이트 동영상을 생성하거나, 또는 상기 키워드가 복수인 경우 복수 키워드에 대응하는 적어도 하나의 하이라이트 동영상을 조합하여 하이라이트 동영상을 생성할 수 있다.
상기 하이라이트 추출 장치의 상기 프로세서는, 상기 동영상에 태깅할 때, 중계판이 상기 동영상에 표시된 경우 상기 중계판에 나타난 경기 정보를 인식하여 상기 경기 정보를 상기 동영상의 대응하는 프레임에 태깅하거나, 또는 중계판이 상기 동영상에 표시되지 않은 경우 상기 중계판에 대응하는 상기 경기 정보가 존재하지 않음을 상기 동영상의 대응하는 프레임에 태깅할 수 있다.
상기 하이라이트 추출 장치의 상기 프로세서는, 상기 동영상에서 미리 설정된 영역에 표시된 상기 중계판으로부터 특징을 추출하고, 사전에 학습된 데이터를 이용하여 상기 추출된 특징을 분류할 수 있다.
상기 하이라이트 추출 장치에서 상기 중계판에 나타난 경기 정보는, 점수, 볼 카운트, 이닝을 포함할 수 있다.
상기 하이라이트 추출 장치의 상기 프로세서는, 상기 중계판에 나타난 경기 정보가 주자 상황을 더 포함하는 경우 상기 주자 상황을 상기 동영상의 대응하는 프레임에 태깅하거나, 또는 상기 중계판에 나타난 경기 정보가 투구수를 더 포함하는 경우 상기 투구수를 상기 동영상의 대응하는 프레임에 태깅할 수 있다.
상기 하이라이트 추출 장치의 상기 프로세서는, 상기 동영상에 태깅할 때, 장면 전환을 검출하여 상기 동영상의 대응하는 프레임에 태깅하거나, 또는 일정한 기준에 따라 장면 인식하여 상기 동영상의 대응하는 프레임에 태깅할 수 있다.
상기 하이라이트 추출 장치의 상기 프로세서는, RGB를 HSV로 변환하고, 상기 HSV의 히스토그램 차이를 이용하여 상기 장면 전환을 검출할 수 있다.
상기 하이라이트 추출 장치의 상기 프로세서는, 상기 HSV 각각의 채널 별로 이전 프레임과 현재 프레임의 히스토그램 차이를 결정하고, 상기 결정된 히스토그램 차이와 미리 설정된 기준을 비교하여 상기 장면 전환 여부를 판단할 수 있다.
상기 하이라이트 추출 장치에서 상기 장면 인식은, 하이라이트 추출 장치에 의해 설정된 일정한 기준 중에서, 해당 프레임이 매칭되는 기준으로 설정될 수 있다.
상기 하이라이트 추출 장치에서 상기 적어도 하나의 프레임은, 상기 키워드에 포함된 상황에 대응하는 타겟 투구수-1의 시작 프레임부터 상기 타겟 투구수의 마지막 프레임까지 포함할 수 있다.
상기 하이라이트 추출 장치의 상기 프로세서는, 상기 타겟 투구수-1의 시작 프레임부터 상기 타겟 투구수의 마지막 프레임 중에서, 상기 키워드에 대응하지 않는 프레임을 제외할 수 있다.
도 1은 일 실시예에 따른, 하이라이트 추출 장치를 나타낸 도면이다.
도 2는 일 실시예에 따른, 동영상에 경기 정보를 태깅하는 것을 나타낸 도면이다.
도 3은 일 실시예로서, 중계판이 동영상에 표시된 것과 중계판이 동영상에 표시되지 않은 것을 나타낸 도면이다.
도 4는 일 실시예에 따른, 하이라이트 추출 장치가 SVM을 적용하여 중계판을 학습하는 과정을 나타낸 도면이다.
도 5는 일 실시예에 따른, 하이라이트 추출 장치가 중계판 인식하여 경기 정보를 태깅하는 과정을 나타낸 도면이다.
도 6은 일 실시예에 따른, 하이라이트 추출 장치가 프레임으로부터 장면 전환을 검출하고, 해당 프레임의 장면 인식한 것을 나타낸 도면이다.
도 7은 일 실시예에 따른, 장면 전환 검출의 그래프를 나타낸다.
도 8은 일 실시예에 따른, 딥러닝에 기반한 장면 인식을 나타낸다.
도 9는 일 실시예에 따른, 키워드에 대응하는 로그 정보를 추출하는 과정을 나타낸다.
도 10은 일 실시예에 따른, 생성된 하이라이트 동영상을 처리하는 것을 나타낸다.
도 11은 일 실시예에 따른, 하이라이트 추출 장치가 수행하는 하이라이트 추출 방법을 나타낸다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제 1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소는 제 1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른, 하이라이트 추출 장치를 나타낸 도면이다.
하이라이트 추출 장치(100)는 스포츠 경기를 포함하는 동영상을 수신할 수 있다. 하이라이트 추출 장치(100)는 스포츠 경기를 포함하는 동영상을 방송국으로부터 수신하거나, 또는 별도의 저장 장치를 통해 식별할 수 있다. 하이라이트 추출 장치(100)는 스포츠 경기를 포함하는 동영상으로부터 특정한 조건에 부합하는 하이라이트 동영상을 생성할 수 있다. 따라서, 스포츠 경기를 포함하는 동영상에 대한 하이라이트 동영상은 수동적으로 생성되지 않고, 하이라이트 추출 장치(1000를 통해 자동적으로 생성될 수 있다.
구체적으로, 하이라이트 추출 장치(100)는 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보를 식별할 수 있다. 예를 들면, 로그 정보는 문자 중계와 같이 야구 경기에서 발생한 이벤트를 순차적으로 기록한 정보로서, 이벤트가 발생한 순서에 따라 기록된 정보일 수 있다.
또한, 하이라이트 추출 장치(100)는 동영상과 관련된 키워드를 식별할 수 있다. 이때, 키워드는 사용자로부터 직접 입력되거나 또는 별도의 키워드 생성 모듈에 의해 생성될 수 있다. 예를 들면, 사용자가 키워드로서 나성범 30호 홈런을 입력하거나, 또는 별도의 키워드 생성 모듈이 야구 경기후 생성된 각종 포털의 기사들을 분석하여 해당 야구 경기의 키워드로서 나성범 30호 홈런을 생성할 수 있다.
여기서, 스포츠 경기를 포함하는 동영상 및 로그 정보는 키워드에 의해 검색된 것일 수 있다. 예를 들면, 나성범 30호 홈런이 키워드로서 입력된 경우, 하이라이트 추출 장치(100)는 나성범 30호 홈런을 포함하는 동영상 및 동영상과 관련된 로그 정보를 검색하여, 하이라이트 동영상을 생성할 수 있다.
하이라이트 추출 장치(100)는 동영상과 관련된 경기 정보를 동영상에 태깅할 수 있다. 동영상에 경기 정보를 태깅하는 것은 이하 도 2에서 보다 자세히 설명한다.
하이라이트 추출 장치(100)는 키워드에 대응하는 적어도 하나의 로그 정보를 추출할 수 있고, 태깅된 동영상으로부터 추출된 로그 정보에 대응하는 적어도 하나의 프레임을 결정할 수 있다. 이때, 하이라이트 추출 장치(100)는 적어도 하나의 프레임을 조합하여, 하이라이트 동영상을 생성할 수 있다.
만약, 스포츠 경기를 포함하는 동영상으로부터 키워드에 대응하는 적어도 하나의 로그 정보를 추출할 수 없는 경우, 키워드에 대응하는 하이라이트 동영상은 해당 스포츠 경기를 포함하는 동영상으로부터 생성될 수 없다. 예를 들면, 키워드로 홈런이 입력된 경우, 야구경기에서 홈런이 발생하지 않았다면 해당 야구경기에서 홈런에 대응하는 하이라이트 동영상은 생성될 수 없다.
일 실시예에 따르면, 하이라이트 추출 장치(100)는 스포츠 경기로부터 주요 장면에 해당하는 하이라이트 동영상을 생성할 수 있다. 또는, 하이라이트 추출 장치(100)는 복수의 하이라이트 동영상을 조합하여, 해당 스포츠 경기를 요약한 요약 영상을 생성할 수 있다. 스포츠 경기의 일례로서, 이하 야구 경기에 대한 하이라이트 추출 방법을 설명한다. 다만, 야구 경기는 스포츠 경기에 일실시예에 불과한 것으로서, 야구 경기에 한정되는 것은 아니다.
도 2는 일 실시예에 따른, 동영상에 경기 정보를 태깅하는 것을 나타낸 도면이다.
하이라이트 추출 장치는 복수의 프레임으로 구성된 야구 경기를 포함하는 동영상을 식별할 수 있다. 하이라이트 추출 장치는 동영상을 실시간으로 방송국으로부터 수신하거나, 또는 별도의 저장 장치를 통해 식별할 수 있다.
하이라이트 추출 장치는 해당 프레임에 대응하는 경기 정보 및 장면 정보를 태깅할 수 있다. 예를 들면, 프레임 1에는 1회말 0:0인 점수, 2 out, 투구수 18개, 투구(pitch)를 포함하는 경기 정보 및 장면 정보가 태깅될 수 있다. 다른 예를 들면, 프레임 2에는 2회초 1:0인 점수, 1ball-2strike, 투구수 4개, 투구(pitch)를 포함하는 경기 정보 및 장면 정보가 태깅될 수 있다.
여기서, 경기 정보는 일례로서, 중계판을 통해 식별될 수 있다. 야구 경기 동영상은 중계판을 포함하거나 포함하지 않을 수 있다. 도 3은 일 실시예로서, 중계판이 동영상에 표시된 그림과 중계판이 동영상에 표시되지 않은 그림을 나타낸 도면이다. 중계판은 동영상의 미리 설정된 영역에 표시될 수 있다. 중계판은 해당 야구 경기에 대한 정보를 포함할 수 있다. 예를 들면, 중계판은 이닝, 점수, 볼카운트, 주자상황, 투구수와 같은 해당 프레임에 대한 경기 정보를 포함할 수 있다.
일 실시예에 따르면, 하이라이트 추출 장치는 중계판이 표시된 프레임의 경우, 중계판을 통해 식별된 경기 정보(예를 들면, 이닝, 점수, 볼카운트, 주자상황, 투구수등)를 해당 프레임에 태깅할 수 있다. 다른 일실시예에 따르면, 하이라이트 추출 장치는 중계판이 표시되지 않은 프레임의 경우, 중계판이 없음을 해당 프레임에 태깅할 수 있다.
도 4는 일 실시예에 따른, 하이라이트 추출 장치가 SVM을 적용하여 중계판을 학습하는 과정을 나타낸 도면이다.
동영상에 표시된 중계판은 고정된 위치에 표시되어, 경기 도중 위치가 변하지 않을 수 있다. 따라서, 하이라이트 추출 장치는 동영상의 특정한 영역에 표시된 중계판의 특징을 추출할 수 있다.
일 실시예에 따르면, 하이라이트 추출 장치는 SVM(Support Vector Machine)을 이용하여 추출된 특징의 패턴을 인식할 수 있다. 구체적으로, 각각의 방송국에서 방송하는 동영상에 표시되는 중계판은 모두 상이할 수 있다. 예를 들면, 방송국 1에서 방송하는 동영상에 표시되는 중계판 1과 방송국 2에서 방송하는 동영상에 표시되는 중계판 2는 동일한 정보(예를 들면, 이닝, 점수, 볼카운트, 주자상황, 투구수등)를 포함하고 있더라도, 중계판 내에서 각각의 정보의 위치는 서로 다를 수 있다.
일 실시예에 따르면, 하이라이트 추출 장치는 사전에 각 방송국의 중계판을 학습하여, 현재 프레임에 대응하는 중계판으로부터 특징을 추출할 수 있다. 따라서, 하이라이트 추출 장치는 SVM을 적용하여 추출된 특징을 인식하여, 이닝, 점수, 볼카운트, 주자상황, 투구수 등의 정보를 추출할 수 있다. 만약, 방송국의 중계판이 변경되더라도, 하이라이트 추출 장치는 변경된 중계판을 학습하여 정보를 추출할 수 있다.
도 5는 일 실시예에 따른, 하이라이트 추출 장치가 중계판 인식하여 경기 정보를 태깅하는 과정을 나타낸 도면이다.
하이라이트 추출 장치는 동영상의 현재 프레임에 중계판의 표시 유무를 판단할 수 있다. 하이라이트 추출 장치는 도 4의 과정을 통해 각각의 방송국의 중계판에 대해 사전에 학습할 수 있다.
이때, 현재 프레임에 중계판이 표시되지 않은 경우, 하이라이트 추출 장치는 중계판으로부터 정보를 추출할 수 없으므로 해당 프레임에 경기 정보 없음을 태깅할 수 있다. 현재 프레임에 중계판이 표시된 경우, 하이라이트 추출 장치는 중계판으로부터 정보를 추출하여 해당 프레임에 경기 정보를 태깅할 수 있다. 이때, 입력되는 경기 정보는 이닝, 점수, 볼 카운트를 포함할 수 있다.
중계판이 주자 상황에 대한 경기 정보를 더 포함한 경우, 하이라이트 추출 장치는 주자 상황을 추출하여 해당 프레임에 태깅할 수 있다. 만약, 중계판이 주자 상황에 대한 경기 정보를 포함하지 않은 경우, 하이라이트 추출 장치는 주자 상황 없음을 태깅할 수 있다.
중계판이 투구수에 대한 경기 정보를 더 포함한 경우, 하이라이트 추출 장치는 투구수를 추출하여 해당 프레임에 태깅할 수 있다. 만약, 중계판이 투구수에 대한 경기 정보를 포함하지 않은 경우, 하이라이트 추출 장치는 투구수 없음을 태깅할 수 있다.
도 6은 일 실시예에 따른, 하이라이트 추출 장치가 프레임으로부터 장면 전환을 검출하고, 해당 프레임의 장면 인식한 것을 나타낸 도면이다.
일 실시예에 따르면, 하이라이트 추출 장치는 경기 정보뿐만 아니라 장면 정보를 인식하여, 해당 프레임에 태깅할 수 있다. 이때, 장면 정보는 장면 전환 여부 및 장면 인식을 포함할 수 있다.
장면 전환 검출은 표시되는 야구 경기의 화면이 전환된 것을 나타낸다. 예를 들면, 표시(610) 이전의 프레임은 투수와 관련된 장면을 나타내며, 표시(610)과 표시(620) 사이의 프레임은 주자의 도루와 관련된 장면을 나타내며, 표시(620) 이후의 프레임은 주자를 보여주는 장면을 나타낸다. 따라서, 하이라이트 추출 장치는 표시(610, 620)에서 프레임 간의 장면이 전환되었음을 검출할 수 있다. 즉, 하이라이트 추출 장치는 연속된 프레임으로부터 장면이 전환되는지 여부를 검출할 수 있고, 검출된 장면 전환 여부에 대한 정보를 해당 프레임에 태깅할 수 있다. 장면 전환 검출에 대해 자세한 설명은 이하 도 7을 참조한다.
하이라이트 추출 장치는 미리 설정된 기준에 따라 야구 경기 동영상의 장면을 구분할 수 있다. 이때, 장면 인식은 현재 프레임과 매칭되는 기준을 인식하는 것을 나타낸다. 구체적으로, 하이라이트 추출 장치는 투구/투구 확대/클로즈업/필드(타구추적)/광고/해설/관중석/덕아웃/경기스케치/구장전경/이중화면(PIP)와 같이 미리 설정된 기준을 설정할 수 있고, 해당 프레임이 어떠한 기준에 해당하는지 인식할 수 있다. 예를 들면, 하이라이트 추출 장치는 그림(630)은 투구에 해당하는 장면으로 인식할 수 있고, 그림(640)은 클로즈업에 해당하는 장면으로 인식할 수 있고, 그림(650)은 필드에 해당하는 장면으로 인식할 수 있고, 그림(660)은 해설에 해당하는 장면으로 인식할 수 있고, 그림(670)은 광고에 해당하는 장면으로 인식할 수 있다. 따라서, 하이라이트 추출 장치는 해당 프레임의 장면을 인식하여, 인식된 정보를 프레임에 태깅할 수 있다. 장면 인식에 대해 자세한 설명은 이하 도 8을 참조한다.
도 7은 일 실시예에 따른, 장면 전환 검출의 그래프를 나타낸다.
하이라이트 추출 장치는 RGB를 HSV(Hue, Saturation, Value)로 컬러 변환할 수 있다. 하이라이트 추출 장치는 변환된 HSV에 대해 HSV Pixel Quantization을 수행할 수 있다. 예를 들면, 하이라이트 추출 장치는 24 bit를 10 bit로 HSV Pixel Quantization을 수행할 수 있다. 여기서, 10 bit는 일례로서, 장면 전환을 검출할 정도에 대응하는 해당 프레임의 bit를 나타낸다.
하이라이트 추출 장치는 HSV 각각의 채널 별로 이전 프레임과 현재 프레임의 히스토그램 차이를 결정할 수 있다. 이때, 하이라이트 추출 장치는 모든 bin(히스토그램의 한 구간)과 관련하여, 히스토그램 차이의 평균을 결정할 수 있다. 여기서, 하이라이트 추출 장치는 히스토그램 차이의 평균을 미리 설정된 기준과 비교하여, 장면 전환 여부를 검출할 수 있다. 구체적으로, 히스토그램 차이의 평균이 미리 설정된 기준인 임계치(예를 들면, 7000)보다 높은 경우, 현재 프레임은 이전 프레임에서 장면이 전환되었음을 나타낸다. 또는, 히스토그램 차이의 평균이 임계치보다 낮은 경우, 현재 프레임과 이전 프레임은 장면이 전환되지 않았음을 나타낸다. 예를 들면, 도 6에서 표시(610) 이전의 프레임은 히스토그램 차이의 평균이 임계치보다 낮은 경우이다. 다른 예를 들면, 도 6에서 표시(610) 이전과 이후의 프레임은 히스토그램 차이의 평균이 임계치보다 높은 경우이다.
도 8은 일 실시예에 따른, 딥러닝에 기반한 장면 인식을 나타낸다.
하이라이트 추출 장치는 딥러닝의 일례로서 ResNet v2 구조를 갖는 딥러닝을 적용하여, 스포츠 경기를 포함하는 동영상이 출력하는 화면의 유형을 인식할 수 있다. 구체적으로, 하이라이트 추출 장치는 동영상이 출력하는 화면의 유형을 일정한 기준으로 분류하여, 표시되는 화면이 어떠한 기준에 해당하는지 인식할 수 있다. 이때, 일정한 기준은 각각의 스포츠 경기마다 상이할 수 있다. 예를 들면, 야구 경기의 경우, 하이라이트 추출 장치는 투구/투구 확대/클로즈업/필드(타구추적)/광고/해설/관중석/덕아웃/경기스케치/구장전경/이중화면(PIP)와 같이 일정한 기준을 미리 설정할 수 있다.
하이라이트 추출 장치는 프레임에 대해 ResNet v2 구조를 갖는 딥러닝을 적용하여, 일정한 기준 중에서 가장 매칭되는 기준으로 해당 프레임의 장면을 인식할 수 있다. 이때, 하이라이트 추출 장치는 프레임에 대해 장면 인식기 스코어를 이용하여, 가장 높은 스코어를 갖는 기준으로 해당 프레임을 인식할 수 있다.
도 9는 일 실시예에 따른, 키워드에 대응하는 로그 정보를 추출하는 과정을 나타낸다.
하이라이트 추출 장치는 키워드를 식별할 수 있다. 이때, 키워드는 스포츠 경기의 일례로서, 야구 경기인 경우 이닝, 아웃, 주자상황, 타자, 투수, 이벤트(홈런등)등을 포함할 수 있다. 키워드는 사용자로부터 입력받거나, 또는 별도의 키워드 생성 모듈에 의해 자동적으로 생성될 수 있다.
하이라이트 추출 장치는 키워드에 대응하는 로그 정보를 검색할 수 있다. 그림(910)은 키워드를 나타내고, 그림(920)은 키워드에 대응하는 검색된 로그 정보를 나타낸다. 이때, 하이라이트 추출 장치는 키워드에 포함된 정보에 대응하는 로그 정보를 추출하며, 키워드에 포함되지 않은 정보는 고려하지 않을 수 있다.
예를 들면, eID 3002에 대한 키워드(911)에 대한 로그 정보는 복수의 로그 정보(예를 들면, 630개) 중에서 7개(921-a, 921-b, 921-c, ~, 921-g)가 검색될 수 있다. 검색된 7개의 로그 정보(921)는 한 경기 동안 생성된 총 630개의 로그 정보 중에서 eID 3002를 포함하는 로그 정보를 나타낸다. 이때, eID 3002는 일례로서, 홈런/득점 상황과 같은 스포츠 경기중 발생한 이벤트를 나타낼 수 있다.
구체적으로, 로그 정보(921-a)는 3회말 2아웃 2루에 주자가 있는 상황에서, 투수 박세웅이 타자 강백호를 상대로 던진 50번째 투구에서 eID 3002가 발생하였음에 대응하며, 로그 정보(921-b)는 5회말 2아웃 2루에 주자가 있는 상황에서, 투수 박세웅이 타자 황재균을 상대로 던진 94번째 투구에서 eID 3002가 발생하였음에 대응하며, 로그 정보(921-g)는 10회말 2아웃 2루에 주자가 있는 상황에서, 투수 윤길현이 타자 오태곤을 상태로 던진 21번째 투구에서 eID 3002가 발생하였음에 대응할 수 있다.
다른 예를 들면, 8회초/eID 1005에 대한 키워드(912)에 대한 로그 정보는 복수의 로그 정보(예를 들면, 630개) 중에서 2개(922-a, 922-b)가 검색될 수 있다. 검색된 2개의 로그 정보(922)는 한 경기 동안 생성된 총 630개의 로그 정보 중에서 8회초/eID 1005를 포함하는 로그 정보를 나타낸다. 이때, eID 1005는 일례로서, 삼진과 같은 스포츠 경기중 발생한 이벤트를 나타낼 수 있다.
구체적으로, 로그 정보(922-a)는 8회초에 6개의 투구수를 던진 투수가 2명 있으며, 그 중에서 1번째 투수 윤근영, 타자 이병규, 노아웃 주자가 없는 상황에서 eID 1005에 대응하며, 로그 정보(922-b)는 8회초에 2개의 투구수를 던진 투수가 2명 있으며, 그 중에서 2번째 투수 주권, 타자 이대호, 1아웃 주자가 없는 상황에서 eID 1005에 대응할 수 있다.
일 실시예에 따르면, 하이라이트 추출 장치는 검색된 로그 정보에 대응하는 적어도 하나의 프레임을 결정할 수 있다. 여기서, 하이라이트 추출 장치는 프레임에 태깅된 경기 정보를 이용하여, 로그 정보에 대응하는지 여부를 판단할 수 있다. 구체적으로, 하이라이트 추출 장치는 중계판을 이용하여 식별된 경기 정보를 이용하여, 검색된 로그 정보와 매칭을 통해 대응하는지 여부를 판단할 수 있다.
이때, 하이라이트 추출 장치는 검색된 로그 정보가 발생한 타겟 투구수를 기준으로, 하이라이트 동영상을 생성하기 위한 적어도 하나의 프레임을 결정할 수 있다. 이때, 하이라이트 동영상을 생성하기 위한 적어도 하나의 프레임은 타겟 투구수-1의 시작 프레임부터 타겟 투구수의 마지막 프레임을 포함할 수 있다.
구체적으로, 키워드 나성범 30호 홈런으로서 로그 정보가 검색된 경우, 로그 정보는 나성범 30호 홈런에 대응하는 타겟 투구수 및 투수를 포함할 수 있다. 하이라이트 추출 장치는 타겟 투구수-1의 시작 프레임부터 타겟 투구수의 마지막 프레임까지 프레임을 추출할 수 있고, 추출된 프레임을 조합하여 나성범 30호 홈런에 대응하는 하이라이트 동영상을 생성할 수 있다. 만약, 동일한 이닝(inning)에 동일한 타겟 투구수를 던진 투수가 중복될 경우, 투수의 이름 또는 몇 번째 투수인지를 이용하여 타겟 투구수를 결정할 수 있다.
예를 들면, 8회초 50구를 던진 투수 중에서 1번째 투수에게 나성범 30호 홈런이 발생한 경우, 하이라이트 추출 장치는 키워드 나성범 30호 홈런에 대응하는 로그 정보를 식별할 수 있다. 하이라이트 추출 장치는 로그 정보에 포함된 타겟 투구수 50구 및 1번째 투수 정보를 이용하여, 나성범 30호 홈런에 대응하는 프레임을 결정할 수 있고, 해당 프레임을 조합하여 나성범 30호 홈런에 대응하는 하이라이트 영상을 생성할 수 있다.
도 10은 일 실시예에 따른, 생성된 하이라이트 동영상을 처리하는 것을 나타낸다.
전술한 바와 같이, 타겟 투구수-1의 시작 프레임부터 타겟 투구수의 마지막 프레임에 기반하여 생성된 하이라이트 동영상은 노이즈를 포함할 수 있다. 여기서, 노이즈는 키워드에 대응하지 않는 프레임으로서, 하이라이트 추출 장치는 로그 정보를 이용하여 추출된 프레임에서 노이즈에 해당하는 프레임을 제거할 수 있다.
예를 들면, 키워드 나성범 30호 홈런에 대응하는 타겟 투구수가 50구인 경우, 49구의 시작 프레임부터 50구의 마지막 프레임 사이에는 투수/타자뿐만 아니라 관중석/해설/덕아웃/리플레이 장면구간과 같은 프레임을 포함할 수 있다. 여기서, 노이즈는 키워드(예를 들면, 나성범 30호 홈런)에 대응하지 않는 장면으로서, 관중석/리플레이 장면구간이 노이즈로 포함될 수 있다. 따라서, 하이라이트 추출 장치는 타겟 투구수-1의 시작 프레임부터 타겟 투구수의 마지막 프레임 중에서, 노이즈에 대응하는 프레임을 제거하여 하이라이트 동영상을 생성할 수 있다.
예를 들면, 키워드 나성범 30호 홈런에 대응하는 타겟 투구수-1의 시작 프레임 1부터 타겟 투구수의 마지막 프레임 30중에서, 프레임 3~5는 리플레이 프레임에 해당하며, 프레임 13~17은 관중석 프레임에 해당하며, 프레임 21~22는 해설 프레임에 해당할 경우, 하이라이트 추출 장치는 30개의 프레임 중에서 3~5/13~17/21~22 프레임을 제외한 프레임을 조합하여 나성범 30호 홈런에 대응하는 영상을 생성할 수 있다.
도 11은 일 실시예에 따른, 하이라이트 추출 장치가 수행하는 하이라이트 추출 방법을 나타낸다.
동작(1110)에서, 하이라이트 추출 장치는 스포츠 경기를 포함하는 동영상, 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보 및 동영상에 관련된 키워드를 식별할 수 있다.
동작(1120)에서, 하이라이트 추출 장치는 동영상과 관련된 경기 정보를 동영상에 태깅할 수 있다. 이때, 하이라이트 추출 장치는 중계판을 이용하여 식별된 경기 정보를 동영상에 태깅할 수 있다. 중계판은 동영상의 미리 설정된 영역에 위치할 수 있으며, 중계판은 이닝/점수/볼카운트/주자상황/투구수를 포함할 수 있다.
이때, 중계판이 동영상에 표시된 경우, 하이라이트 추출 장치는 중계판에 나타난 경기 정보를 인식하여 경기 정보를 동영상의 대응하는 프레임에 태깅할 수 있다. 또는, 중계판이 동영상에 표시되지 않은 경우, 하이라이트 추출 장치는 중계판에 대응하는 경기 정보가 존재하지 않음을 동영상의 대응하는 프레임에 태깅할 수 있다.
하이라이트 추출 장치는 경기 정보뿐만 아니라 장면 정보를 동영상의 대응하는 프레임에 태깅할 수 있다. 구체적으로, 하이라이트 추출 장치는 장면 전환을 검출하여 프레임에 태깅하거나, 또는 일정한 기준에 따라 장면 인식하여 프레임에 태깅할 수 있다.
이때, 장면 전환은 RGB를 HSV로 변환하고, HSV의 히스토그램 차이를 이용하여 검출될 수 있다. 또한, HSV 각각의 채널 별로 이전 프레임과 현재 프레임의 히스토그램 차이를 결정하고, 결정된 히스토그램 차이와 미리 설정된 기준을 비교하여 장면 전환 여부가 결정될 수 있다. 또한, 장면 인식은 하이라이트 추출 장치에 의해 설정된 일정한 기준 중에서, 해당 프레임에 매칭되는 기준으로 설정될 수 있다.
동작(1130)에서, 하이라이트 추출 장치는 키워드에 대응하는 적어도 하나의 로그 정보를 추출하고, 태깅된 동영상으로부터 추출된 로그 정보에 대응하는 적어도 하나의 프레임을 결정할 수 있다.
만약, 스포츠 경기를 포함하는 동영상으로부터 키워드에 대응하는 적어도 하나의 로그 정보를 추출할 수 없는 경우, 키워드에 대응하는 하이라이트 동영상은 해당 스포츠 경기를 포함하는 동영상으로부터 생성될 수 없다. 예를 들면, 키워드로 홈런이 입력된 경우, 야구경기에서 홈런이 발생하지 않았다면 해당 야구경기에서 홈런에 대응하는 하이라이트 동영상은 생성될 수 없다.
여기서, 적어도 하나의 프레임은 키워드에 포함된 상황에 대응하는 타겟 투구수-1의 시작 프레임부터 타겟 투구수의 마지막 프레임까지 포함할 수 있다. 이때, 하이라이트 추출 장치는 타겟 투구수-1의 시작 프레임부터 타겟 투구수의 마지막 프레임 중에서 키워드에 대응하지 않는 프레임을 제외할 수 있다.
동작(1140)에서, 하이라이트 추출 장치는 결정된 적어도 하나의 프레임을 조합하여, 하이라이트 동영상을 생성할 수 있다.
일 실시예에 따르면, 하이라이트 추출 장치는 키워드가 하나인 경우, 단일 키워드에 대응하는 하나의 하이라이트 동영상을 생성할 수 있다. 예를 들면, 나성범 30호 홈런인 경우, 하이라이트 추출 장치는 나성범 30호 홈런에 대응하는 하나의 하이라이트 동영상을 생성할 수 있다.
일 실시예에 따르면, 하이라이트 추출 장치는 키워드가 복수인 경우, 복수 키워드에 대응하는 적어도 하나의 하이라이트 동영상을 조합하여 하이라이트 동영상을 생성할 수 있다. 예를 들면, 키워드가 나성범 1호 홈런부터 30호 홈런인 경우, 하이라이트 추출 장치는 나성범 1호 홈런에 대응하는 야구 경기에서 추출된 하이라이트 동영상 1 부터 나성범 30호 홈런에 대응하는 야구 경기에서 추출된 하이라이트 동영상 30을 조합하여, 하이라이트 동영상을 생성할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (21)

  1. 스포츠 경기를 포함하는 동영상, 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보 및 상기 동영상에 관련된 키워드를 식별하는 동작;
    상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하는 동작;
    상기 키워드에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅된 동영상으로부터 상기 추출된 로그 정보에 대응하는 적어도 하나의 프레임을 결정하는 동작;
    상기 결정된 적어도 하나의 프레임을 조합하여, 하이라이트 동영상을 생성하는 동작; 및
    장면 전환을 검출하고 딥러닝을 적용하여 일정한 기준에 따라 장면 인식함으로써 상기 하이라이트 동영상에 포함된 노이즈에 해당하는 프레임을 제거하는 동작을 포함하는, 하이라이트 추출 방법.
  2. 제1항에 있어서,
    상기 하이라이트 동영상을 생성하는 동작은,
    상기 키워드가 하나인 경우, 단일 키워드에 대응하는 하나의 하이라이트 동영상을 생성하거나, 또는
    상기 키워드가 복수인 경우, 복수 키워드에 대응하는 적어도 하나의 하이라이트 동영상을 조합하여 하이라이트 동영상을 생성하는, 하이라이트 추출 방법.
  3. 제1항에 있어서,
    상기 동영상에 태깅하는 동작은,
    중계판이 상기 동영상에 표시된 경우, 상기 중계판에 나타난 경기 정보를 인식하여, 상기 경기 정보를 상기 동영상의 대응하는 프레임에 태깅하거나, 또는
    중계판이 상기 동영상에 표시되지 않은 경우, 상기 중계판에 대응하는 상기 경기 정보가 존재하지 않음을, 상기 동영상의 대응하는 프레임에 태깅하는 것을 포함하는, 하이라이트 추출 방법.
  4. 제3항에 있어서,
    상기 동영상에서 미리 설정된 영역에 표시된 상기 중계판으로부터 특징을 추출하고, 사전에 학습된 데이터를 이용하여 상기 추출된 특징을 분류하는 동작
    을 더 포함하는, 하이라이트 추출 방법.
  5. 제3항에 있어서,
    상기 중계판에 나타난 경기 정보는, 점수, 볼 카운트, 이닝을 포함하는, 하이라이트 추출 방법.
  6. 제5항에 있어서,
    상기 중계판에 나타난 경기 정보가 주자 상황을 더 포함하는 경우, 상기 주자 상황이 상기 동영상의 대응하는 프레임에 태깅되며,
    상기 중계판에 나타난 경기 정보가 투구수를 더 포함하는 경우, 상기 투구수가 상기 동영상의 대응하는 프레임에 태깅되는, 하이라이트 추출 방법.
  7. 제1항에 있어서,
    상기 장면 전환은,
    RGB를 HSV로 변환하고, 상기 HSV의 히스토그램 차이를 이용하여 검출되는, 하이라이트 추출 방법.
  8. 제7항에 있어서,
    상기 장면 전환은,
    상기 HSV 각각의 채널 별로 이전 프레임과 현재 프레임의 히스토그램 차이를 결정하고, 상기 결정된 히스토그램 차이와 미리 설정된 기준을 비교하여 판단되는, 하이라이트 추출 방법.
  9. 제1항에 있어서,
    상기 장면 인식은,
    하이라이트 추출 장치에 의해 설정된 일정한 기준 중에서, 해당 프레임이 매칭되는 기준으로 설정되는, 하이라이트 추출 방법.
  10. 제1항에 있어서,
    상기 적어도 하나의 프레임은,
    상기 키워드에 포함된 상황에 대응하는 타겟 투구수-1의 시작 프레임부터 상기 타겟 투구수의 마지막 프레임까지 포함하는, 하이라이트 추출 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체.
  12. 프로세서 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 스포츠 경기를 포함하는 동영상, 상기 스포츠 경기에서 발생한 이벤트를 순차적으로 기록한 로그 정보 및 상기 동영상에 관련된 키워드를 식별하고,
    상기 동영상과 관련된 경기 정보를 상기 동영상에 태깅하고,
    상기 키워드에 대응하는 적어도 하나의 로그 정보를 추출하고, 상기 태깅된 동영상으로부터 상기 추출된 로그 정보에 대응하는 적어도 하나의 프레임을 결정하고,
    상기 결정된 적어도 하나의 프레임을 조합하여, 하이라이트 동영상을 생성하며,
    장면 전환을 검출하고 딥러닝을 적용하여 일정한 기준에 따라 장면 인식함으로써 상기 하이라이트 동영상에 포함된 노이즈에 해당하는 프레임을 제거하는, 하이라이트 추출 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 하이라이트 동영상을 생성할 때, 상기 키워드가 하나인 경우 단일 키워드에 대응하는 하나의 하이라이트 동영상을 생성하거나, 또는 상기 키워드가 복수인 경우 복수 키워드에 대응하는 적어도 하나의 하이라이트 동영상을 조합하여 하이라이트 동영상을 생성하는, 하이라이트 추출 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 동영상에 태깅할 때, 중계판이 상기 동영상에 표시된 경우 상기 중계판에 나타난 경기 정보를 인식하여 상기 경기 정보를 상기 동영상의 대응하는 프레임에 태깅하거나, 또는 중계판이 상기 동영상에 표시되지 않은 경우 상기 중계판에 대응하는 상기 경기 정보가 존재하지 않음을 상기 동영상의 대응하는 프레임에 태깅하는, 하이라이트 추출 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 동영상에서 미리 설정된 영역에 표시된 상기 중계판으로부터 특징을 추출하고, 사전에 학습된 데이터를 이용하여 상기 추출된 특징을 분류하는, 하이라이트 추출 장치.
  16. 제14항에 있어서,
    상기 중계판에 나타난 경기 정보는, 점수, 볼 카운트, 이닝을 포함하는, 하이라이트 추출 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 중계판에 나타난 경기 정보가 주자 상황을 더 포함하는 경우 상기 주자 상황을 상기 동영상의 대응하는 프레임에 태깅하거나, 또는 상기 중계판에 나타난 경기 정보가 투구수를 더 포함하는 경우 상기 투구수를 상기 동영상의 대응하는 프레임에 태깅하는, 하이라이트 추출 장치.
  18. 제12항에 있어서,
    상기 프로세서는,
    RGB를 HSV로 변환하고, 상기 HSV의 히스토그램 차이를 이용하여 상기 장면 전환을 검출하는, 하이라이트 추출 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 HSV 각각의 채널 별로 이전 프레임과 현재 프레임의 히스토그램 차이를 결정하고, 상기 결정된 히스토그램 차이와 미리 설정된 기준을 비교하여 상기 장면 전환 여부를 판단하는, 하이라이트 추출 장치.
  20. 제12항에 있어서,
    상기 장면 인식은,
    하이라이트 추출 장치에 의해 설정된 일정한 기준 중에서, 해당 프레임이 매칭되는 기준으로 설정되는, 하이라이트 추출 장치.
  21. 제12항에 있어서,
    상기 적어도 하나의 프레임은,
    상기 키워드에 포함된 상황에 대응하는 타겟 투구수-1의 시작 프레임부터 상기 타겟 투구수의 마지막 프레임까지 포함하는, 하이라이트 추출 장치.
KR1020200093406A 2020-07-27 2020-07-27 스포츠 경기의 하이라이트 추출 방법 및 장치 KR102248456B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200093406A KR102248456B1 (ko) 2020-07-27 2020-07-27 스포츠 경기의 하이라이트 추출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200093406A KR102248456B1 (ko) 2020-07-27 2020-07-27 스포츠 경기의 하이라이트 추출 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180118147A Division KR102187208B1 (ko) 2018-10-04 2018-10-04 스포츠 경기의 하이라이트 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200095437A true KR20200095437A (ko) 2020-08-10
KR102248456B1 KR102248456B1 (ko) 2021-05-06

Family

ID=72049171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200093406A KR102248456B1 (ko) 2020-07-27 2020-07-27 스포츠 경기의 하이라이트 추출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102248456B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025605A1 (ko) 2020-07-30 2022-02-03 삼성전자주식회사 Iot 기반의 의류 처리 장치 및 그 제어 방법
KR20220138558A (ko) * 2021-04-06 2022-10-13 주식회사 에스엠시스템즈 머신 러닝 기반의 영상 자동 편집 방법 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230126829A (ko) 2022-02-24 2023-08-31 서강대학교산학협력단 채팅창 스크롤 속도를 이용한 하이라이트 영상 생성 장치 및 그 방법
KR20230126907A (ko) 2022-02-24 2023-08-31 명지대학교 산학협력단 연합학습을 이용한 비디오 영상의 특정 구간 추출 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176538A (ja) * 2007-01-18 2008-07-31 Toshiba Corp 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
KR20090019582A (ko) * 2007-08-21 2009-02-25 삼성전자주식회사 하이라이트 추출 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176538A (ja) * 2007-01-18 2008-07-31 Toshiba Corp 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
KR20090019582A (ko) * 2007-08-21 2009-02-25 삼성전자주식회사 하이라이트 추출 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025605A1 (ko) 2020-07-30 2022-02-03 삼성전자주식회사 Iot 기반의 의류 처리 장치 및 그 제어 방법
KR20220138558A (ko) * 2021-04-06 2022-10-13 주식회사 에스엠시스템즈 머신 러닝 기반의 영상 자동 편집 방법 및 시스템

Also Published As

Publication number Publication date
KR102248456B1 (ko) 2021-05-06

Similar Documents

Publication Publication Date Title
KR102187208B1 (ko) 스포츠 경기의 하이라이트 추출 방법 및 장치
KR102248456B1 (ko) 스포츠 경기의 하이라이트 추출 방법 및 장치
US10642892B2 (en) Video search method and apparatus
US20210287012A1 (en) Detection of demarcating segments in video
US11935247B2 (en) System and method for calibrating moving cameras capturing broadcast video
US9489567B2 (en) Tracking and recognition of faces using selected region classification
US20140169663A1 (en) System and Method for Video Detection and Tracking
US11189035B2 (en) Retrieval device, retrieval method, and computer program product
US11769327B2 (en) Automatically and precisely generating highlight videos with artificial intelligence
KR20180066474A (ko) 모션 기반 축구 이벤트 검출 장치 및 방법
Prabhakar et al. Categorizing turn-taking interactions
Ghosh et al. SmartTennisTV: Automatic indexing of tennis videos
CN116226453B (zh) 识别跳舞教学视频片段的方法、装置及终端设备
Xue et al. Automatic video annotation system for archival sports video
KR20200013145A (ko) 하이라이트 추출 방법 및 하이라이트 추출 장치
US20070124678A1 (en) Method and apparatus for identifying the high level structure of a program
Agarwal et al. Automatic Annotation of Events and Highlights Generation of Cricket Match Videos
KR20220141185A (ko) 동영상 태깅 장치 및 동영상 태깅 방법
CN115438223B (en) Video processing method, device, electronic equipment and storage medium
KR20220030133A (ko) 스포츠 경기 요약 영상 생성 장치 및 생성 방법
KR102045860B1 (ko) 스마트 이러닝 시스템의 사용자 핸드 제스처 감응 방법
Jaser et al. Temporal post-processing of decision tree outputs for sports video categorisation
KR20210061641A (ko) 스포츠 경기 정보 검출 장치 및 스포츠 경기 정보 검출 방법
Muhling et al. Improving semantic video retrieval via object-based features
KR20210136564A (ko) 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant