KR102652647B1 - 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램 - Google Patents

주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102652647B1
KR102652647B1 KR1020190133755A KR20190133755A KR102652647B1 KR 102652647 B1 KR102652647 B1 KR 102652647B1 KR 1020190133755 A KR1020190133755 A KR 1020190133755A KR 20190133755 A KR20190133755 A KR 20190133755A KR 102652647 B1 KR102652647 B1 KR 102652647B1
Authority
KR
South Korea
Prior art keywords
frame
time slice
slice image
generating
images
Prior art date
Application number
KR1020190133755A
Other languages
English (en)
Other versions
KR20210049446A (ko
Inventor
이돈수
천왕성
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190133755A priority Critical patent/KR102652647B1/ko
Publication of KR20210049446A publication Critical patent/KR20210049446A/ko
Application granted granted Critical
Publication of KR102652647B1 publication Critical patent/KR102652647B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버는 상기 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받는 등록부, 복수의 카메라로부터 각각 촬영된 복수의 영상을 수신하는 영상 수신부, 상기 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상기 상황 정보와 관련된 주요 장면 이벤트를 검출하는 검출부, 상기 복수의 영상으로부터 상기 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출하는 프레임 추출부 및 상기 추출된 적어도 하나의 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하는 타임 슬라이스 영상 생성부를 포함한다.

Description

주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램{SERVER, METHOD AND COMPUTER PROGRAM FOR GENERATING TIME SLICE VIDEO BY DETECTING HIGHLIGHT SCENE EVENT}
본 발명은 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램에 관한 것이다.
타임 슬라이스(time slice) 기법이란, 복수의 카메라가 다양한 각도로 피사체를 향하도록 설치하여 순간적으로 동시에 촬영한 후, 컴퓨터를 이용해 사진을 연결함으로써, 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말한다. 타임 슬라이스는 피사체를 입체적으로 묘사할 수 있을 뿐만 아니라, 시간과 공간을 초월한 느낌을 제공한다.
이러한 타임 슬라이스 기법과 관련하여, 선행기술인 한국공개특허 제 2007-0000994호는 화상을 기록 및 재생하는 시스템 및 방법을 개시하고 있다.
종래에는 타임 슬라이스 영상으로 편집하기 위해, 관리자가 시나리오에 따라 주요 장면과 관련된 프레임을 수작업으로 선정하였다. 이는, 관리자가 주요 장면과 관련된 프레임을 선정하기 위해 방대한 영상 데이터의 구간을 프레임 단위로 탐색해야 한다는 점에서 많은 시간이 소요된다는 단점을 가지고 있었다.
타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받고, 등록받은 상황 정보에 기초하여 타임 슬라이스 영상이 자동적으로 생성되도록 하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
복수의 영상 중 어느 하나의 영상을 분석하여 상황 정보와 관련된 주요 장면 이벤트를 검출하고, 검출된 주요 장면 이벤트에 대응하는 프레임을 추출하여 타임 슬라이스 영상을 생성할 수 있도록 하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받는 등록부, 복수의 카메라로부터 각각 촬영된 복수의 영상을 수신하는 영상 수신부. 상기 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상기 상황 정보와 관련된 주요 장면 이벤트를 검출하는 검출부, 상기 복수의 영상으로부터 상기 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출하는 프레임 추출부 및 상기 추출된 적어도 하나의 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하는 타임 슬라이스 영상 생성부를 포함하는 타임 슬라이스 영상 생성 서버를 제공할 수 있다.
본 발명의 다른 실시예는, 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받는 단계, 복수의 카메라로부터 각각 촬영된 복수의 영상을 수신하는 단계, 상기 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상기 상황 정보와 관련된 주요 장면 이벤트를 검출하는 단계, 상기 복수의 영상으로부터 상기 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출하는 단계 및 상기 추출된 적어도 하나의 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하는 단계를 포함하는 타임 슬라이스 영상 생성 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받고, 복수의 카메라로부터 각각 촬영된 복수의 영상을 수신하고, 상기 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상기 상황 정보와 관련된 주요 장면 이벤트를 검출하고, 상기 복수의 영상으로부터 상기 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출하고, 상기 추출된 적어도 하나의 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 실시간으로 진행되는 스포츠 경기의 중계 중에 빠르게 타임 슬라이스 영상을 생성하여 제공함으로써, 실감 방송 효과를 제공할 수 있도록 하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
영상을 분석하여 상황 정보와 관련된 주요 장면 이벤트를 검출하고, 검출된 주요 장면 이벤트가 발생된 시점에 해당하는 시점 프레임을 빠르게 탐색하여 시점 프레임 및 시점 프레임의 인접 프레임에 기초한 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
상황 정보와 관련된 템플릿을 등록받고, 등록된 템플릿을 주요 장면 이벤트에 기초하여 추출된 적어도 하나의 프레임에 적용하여 타임 슬라이스 영상이 자동으로 생성되도록 하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 서버의 구성도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 복수의 영상 중 어느 하나의 영상을 분석하여 상황 정보와 관련된 주요 장면 이벤트를 검출하는 과정을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 슬라이딩 프레임 윈도우를 도시한 예시적인 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 시간 처리 그룹, 카메라 그룹 및 줌인아웃 그룹을 이용하여 템플릿에 포함된 편집 요소의 처리가 병렬적으로 수행되는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 타임 슬라이스 영상을 도시한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 서버에서 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 서버의 구성도이다. 도 1을 참조하면, 타임 슬라이스 영상 생성 서버(100)는 등록부(110), 영상 수신부(120), 검출부(130), 저장부(140), 프레임 추출부(150), 시퀀스 프레임 생성부(160) 및 타임 슬라이스 영상 생성부(170)를 포함할 수 있다.
등록부(110)는 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받을 수 있다. 예를 들어, 야구 경기에 대한 타임 슬라이스 영상을 생성한다고 가정하자. 등록부(110)는 타임 슬라이스 영상을 생성하기 위해 상황 정보로서 타자의 타격 동작을 등록받고, 투수의 투구 동작 등을 등록받을 수 있다.
등록부(110)는 상황 정보와 관련된 적어도 하나의 편집 요소를 포함하는 템플릿을 등록받을 수 있다. 예를 들어, 등록부(110)는 타격 동작에 대해 일시정지→카메라 회전→재생과 같이 구성된 편집 요소를 포함하는 템플릿을 등록받을 수 있다. 다른 예를 들어, 등록부(110)는 투구 동작에 대해 줌인→일시정지→카메라 회전→줌아웃→재생과 같이 구성된 편집 요소를 포함하는 템플릿을 등록받을 수 있다.
영상 수신부(120)는 소정의 간격으로 배치된 복수의 카메라로부터 각각 촬영된 복수의 영상을 수신할 수 있다. 예를 들어, 영상 수신부(120)는 소정의 간격으로 배치된 복수의 카메라에 의해 그라운드 및 선수가 촬영된 복수의 영상을 수신할 수 있다.
검출부(130)는 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상황 정보와 관련된 주요 장면 이벤트를 검출할 수 있다. 여기서, 어느 하나의 영상이란, 사용자로부터 복수의 영상 중에 선택받아 사용자 단말을 통해 현재 시청 중인 영상을 의미할 수 있다.
검출부(130)는 적어도 어느 하나의 영상을 분석하여 사람 객체를 포함하는 바운딩 박스를 검출하고, 검출된 바운딩 박스를 추적할 수 있다. 예를 들어, 검출부(130)는 복수의 카메라들의 광학줌 기법을 이용하여 이벤트가 발생되는 구간의 배율 정보를 계산함으로써, 바운딩 박스를 추적할 수 있다. 이를 위해, 투수의 경우, 마운드 지점에 대해 광학줌을 이용하여 다른 선수와 겹치지 않도록 함으로써, 투수의 바운딩 박스를 원활하게 검출할 수 있다. 타자의 경우, 홈베이스 근처를 중심으로 미리 확대 배율을 지정함으로써, 타자의 바운딩 박스를 원활하게 검출할 수 있다.
검출부(130)는 적어도 어느 하나의 영상을 분석하여 사물 객체를 검출하고, 검출된 사물 객체를 추적할 수 있다. 이 때, 검출부(130)는 일정 시점에 저장된 사람 객체가 없는 무배경 정보를 이용하여 사물 객체를 추적할 수 있다.
검출부(130)는 추적된 바운딩 박스와 추적된 사물 객체 간의 충돌 여부에 기초하여 주요 장면 이벤트를 검출할 수 있다. 이 때, 검출부(130)는 컴퓨터 비전 기법을 이용하여 추적된 바운딩 박스와 추적된 사물 객체 간의 충돌 여부를 판단함으로써, 주요 장면 이벤트를 검출할 수 있다. 야구 경기에서 타임 슬라이스 영상을 생성하기 위한 주요 장면 이벤트를 검출하는 과정에 대해서는 도 2a 및 도 2b를 통해 상세히 설명하도록 한다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 복수의 영상 중 어느 하나의 영상을 분석하여 상황 정보와 관련된 주요 장면 이벤트를 검출하는 과정을 설명하기 위한 예시적인 도면이다.
도 2a는 본 발명의 일 실시예에 따른 타격 장면을 주요 장면 이벤트로 검출하는 과정을 설명하기 위한 예시적인 도면이다. 도 2a를 참조하면, 검출부(130)는 타자의 경우, 타임 슬라이스 영상을 효과적으로 생성하기 위한 이상적인 장면으로 타자의 배트와 공이 가장 근접한 타격 장면을 주요 장면 이벤트로 검출할 수 있다.
검출부(130)는 그라운드 상에 위치한 타자의 스켈레톤(Skeleton)을 추출하고, 추출된 스켈레톤 정보를 이용하여 타자의 바운딩 박스(200)와 타격 동작을 검출하고, 검출된 바운딩 박스(200)와 타격 동작을 지속적으로 추적할 수 있다.
검출부(130)는 영상에서 배경을 제거하여 움직이는 객체를 검출할 수 있도록 하는 배경 분리(Background Subtraction) 기법을 이용하여 그라운드에서 사물 객체에 해당하는 야구공(210)을 검출하고, 야구공(210)의 궤적을 지속적으로 추적할 수 있다.
검출부(130)는 추적된 타자의 바운딩 박스(200)와 추적된 야구공(210) 간의 충돌 여부를 판단하고, 충돌이 발생된 경우 타자의 동작이 타격 동작에 해당하는지를 확인할 수 있다. 예를 들어, 검출부(130)는 추적된 바운딩 박스(200)와 추적된 야구공(210)의 궤적에 기초하여 바운딩 박스(200)와 야구공(210)의 궤적의 충돌 순간을 추적하고, 야구공(210)의 궤적이 순방향으로 지속되어 포수의 미트로 들어가지 않았다고 판단되면, 타자의 동작이 타격 동작에 해당하는 것으로 판단할 수 있다. 이 때, 검출부(130)는 야구공(210)이 그라운드 방향으로 진행할 경우, 야구공(210)의 궤적에 대한 벡터의 변경을 계산하여 타자의 동작을 판단할 수 있다.
검출부(130)는 타자의 타격 동작에 기초하여 주요 장면 이벤트(220)를 검출할 수 있다.
도 2b는 본 발명의 일 실시예에 따른 투구 동작을 주요 장면 이벤트로 검출하는 과정을 설명하기 위한 예시적인 도면이다. 도 2b를 참조하면, 검출부(130)는 투수의 경우, 타임 슬라이스 영상을 효과적으로 생성하기 위한 이상적인 장면으로 투수가 타자를 향해 야구공을 던지는 투구 장면을 주요 장면 이벤트로 검출할 수 있다.
검출부(130)는 그라운드 상에 위치한 투수의 스켈레톤을 추출하고, 추출된 스켈레톤 정보를 이용하여 투수의 바운딩 박스(230)와 투구 동작을 검출하고, 검출된 바운딩 박스(230)와 투구 동작을 지속적으로 추적할 수 있다.
검출부(130)는 영상에서 배경을 제거하여 움직이는 객체를 검출할 수 있도록 하는 배경 분리(Background Subtraction) 기법을 이용하여 그라운드에서 사물 객체에 해당하는 야구공(240)을 검출하고, 야구공(240)의 궤적을 지속적으로 추적할 수 있다.
검출부(130)는 추적된 투수의 바운딩 박스(230)와 추적된 야구공(240) 간의 충돌 여부를 판단하고, 충돌이 발생된 경우 투수의 동작이 투구 동작에 해당하는지를 확인할 수 있다. 이 때, 검출부(130)는 투수의 바운딩 박스(230)와 투수의 투구 동작에서 거리가 가장 적은 지점을 계산하여 투수의 바운딩 박스(230)와 야구공(240) 간의 충돌 여부를 판단하여 투수의 투구 동작을 판단할 수 있다.
검출부(130)는 투수의 투구 동작에 기초하여 주요 장면 이벤트(250)를 검출할 수 있다
다시 도 1로 돌아와서, 저장부(140)는 복수의 영상에 대해 슬라이딩 프레임 윈도우를 이용하여 현재 프레임으로부터 소정의 이전 구간에 해당하는 복수의 프레임을 저장할 수 있다. 슬라이딩 프레임 윈도우를 이용하여 복수의 프레임을 저장하는 구성에 대해서는 도 3을 통해 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 슬라이딩 프레임 윈도우를 도시한 예시적인 도면이다. 도 3을 참조하면, 슬라이딩 프레임 윈도우(Sliding Frame Window)란 현재 촬영 중인 프레임(301)과 싱크(sync)를 맞추며 일정 구간의 프레임을 메모리에 저장하며 이동하는 기법을 의미한다. 슬라이딩 구간(300)의 프레임은 타임 슬라이스 영상 서버(100)의 메모리에 저장될 수 있다.
슬라이딩 프레임 윈도우는 주요 장면 이벤트가 발생된 경우, 주요 장면 이벤트의 프레임(302)으로 이동하고, 주요 장면 이벤트의 프레임(302) 및 주요 장면 이벤트와 관련된 적어도 하나의 프레임이 바로 사용될 수 있도록 할 수 있다. 이를 통해, 슬라이딩 프레임 윈도우는 복수의 카메라가 현재 촬영 중인 프레임(301)과 일정 구간을 유지하면서, 최신의 데이터를 저장할 수 있다.
종래에 타임 슬라이스 영상으로 편집하기 위해서는 데이터베이스, 스토리지와 같은 저장소에 데이터를 읽고(read), 쓰는(write) 방식을 이용하였다. 이 경우, 복수의 카메라의 개수가 증가할수록 저장소에 접근하는 시간이 비례하여 증가하였으며, 4K 이상의 화질에서 한 채널이 초당 30Mbps가 넘는 비트레이트를 가지게 됨에 따라 타임 슬라이스 영상으로 편집하는데 많은 시간이 소요되었다.
그러나 본 발명은 슬라이딩 프레임 윈도우를 이용하여 일시적으로 최근 데이터를 메모리에 저장시킴으로써, 타임 슬라이스 영상으로 편집하는데 소요되는 IO 접근 시간을 감축시키는 효과를 제공할 수 있다.
다시 도 1로 돌아와서, 프레임 추출부(150)는 복수의 영상으로부터 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출할 수 있다.
프레임 추출부(150)는 저장된 소정의 이전 구간에 해당하는 복수의 프레임으로부터 주요 장면 이벤트가 발생된 시점에 해당하는 시점 프레임 및 시점 프레임으로부터 적어도 하나의 이전 프레임 또는 이후 프레임을 추출할 수 있다.
예를 들어, 타자의 타자 동작이 주요 장면 이벤트로 검출된 경우, 프레임 추출부(150)는 타자 동작에 해당하는 시점 프레임으로 이동하고, 야구공 궤적의 벡터 방향이 일정 수준 이상으로 변경된 이전 프레임 및 이후 프레임을 추출함으로써, 타격 동작과 관련된 적어도 하나의 프레임을 추출할 수 있다.
다른 예를 들어, 투수의 투구 동작이 주요 장면 이벤트로 검출된 경우, 프레임 추출부(150)는 투구 동작에 해당하는 시점 프레임으로 이동하고, 투수가 손에 쥔 야구공이 궤적 운동을 시작하기 이전 프레임 및 이후 프레임을 추출함으로써, 투구 동작과 관련된 적어도 하나의 프레임을 추출할 수 있다.
다시 도 1로 돌아와서, 시퀀스 프레임 생성부(160)는 추출된 적어도 하나의 프레임에 대해 상황 정보와 관련된 템플릿을 적용하여 적어도 하나의 시퀀스 프레임을 생성할 수 있다. 시퀀스 프레임을 생성하는 과정에 대해서는 도 4a 내지 도 4c를 통해 상세히 설명하도록 한다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 시간 처리 그룹, 카메라 그룹 및 줌인아웃 그룹을 이용하여 템플릿에 포함된 편집 요소의 처리가 병렬적으로 수행되는 과정을 설명하기 위한 예시적인 도면이다.
도 4a는 종래의 타임 슬라이스 영상으로 편집하기 위해 편집 요소의 설정을 통해 템플릿을 생성하는 과정을 설명하기 위한 도면이다. 도 4a를 참조하면, 종래에 타임 슬라이스 영상으로 편집하기 위한 편집 요소는 프레임 삽입하기(400), 장면 전환 효과(401), 글자, 오버레이 객체 삽입(402) 및 프레임 삭제하기(403) 등을 포함하였다.
이와 같이, 종래에는 편집 요소를 관리자가 직접 설정하고, 편집 요소를 포함하는 템플릿을 통해 타임 슬라이스 영상으로 편집되도록 함으로써, 타임 슬라이스 영상을 생성하는데 많은 시간이 소요되었다.
도 4b는 본 발명의 일 실시예에 따른 시퀀스 프레임을 도시한 예시적인 도면이다. 도 4b를 참조하면, 시퀀스 프레임 생성부(160)는 추출된 적어도 하나의 프레임에 대해 상황 정보와 관련된 템플릿을 적용하여 적어도 하나의 시퀀스 프레임을 생성할 수 있다. 템플릿은 타임 슬라이스 영상의 편집을 미리 구상하여 적용하는 방법을 의미하며, 템플릿은 시퀀스별 단위작업으로 나누어질 수 있고, 해당 단위들은 병렬로 처리될 수 있다. 여기서, 적어도 하나의 시퀀스 프레임(410)은 생성될 타임 슬라이스 영상의 전체 프레임에 해당하는 시퀀스 프레임 넘버(411), 추출된 적어도 프레임에 대한 시간 정보(412), 카메라 인덱스 정보(413), 줌인아웃 정보(414) 등을 포함할 수 있다. 시퀀스 프레임은 하나의 가상 카메라로 표현됨으로써, 편집 시퀀스 프로세스가 구성될 수 있으며, 가상 카메라를 구성하는 카메라 구성 요소인 시간, 카메라 회전, 줌인아웃을 빠르게 처리할 수 있도록 병렬 처리가 수행될 수 있다.
도 4c는 본 발명의 일 실시예에 따른 시간 처리 그룹, 카메라 그룹 및 줌인아웃 그룹을 이용하여 템플릿에 포함된 편집 요소의 처리가 병렬적으로 수행되는 과정을 설명하기 위한 예시적인 도면이다. 도 4c를 참조하면, 시퀀스 프레임 생성부(160)는 템플릿이 적용된 적어도 하나의 프레임(430)에 대해 시간 처리 그룹(420), 카메라 그룹(421) 및 줌인아웃 그룹(422) 중 적어도 하나를 이용하여 템플릿에 포함된 적어도 하나의 편집 요소의 처리가 병렬적으로 수행되도록 시퀀스 프레임을 생성할 수 있다.
시퀀스 프레임 생성부(160)는 시간 처리 그룹을 이용하여 재생 템플릿 또는 일시정지 템플릿이 적용된 프레임에 대해 시간 처리를 수행할 수 있다. 예를 들어, 시퀀스 프레임 생성부(160)는 슬라이딩 프레임 윈도우에 의해 메모리에 저장된 프레임의 타임스탬프 인덱스를 참조하고, 재생 템플릿과 일시정지 템플릿이 적용된 템플릿을 추출하여 '시간 멈춤'(431) 또는 '시간 흘리기'(435)와 같이 시간 처리를 수행할 수 있다.
시퀀스 프레임 생성부(160)는 카메라 그룹을 이용하여 카메라 인덱스 변경 템플릿이 적용된 프레임에 대해 카메라 회전 처리를 수행할 수 있다. 예를 들어, 시퀀스 프레임 생성부(160)는 슬라이딩 프레임 윈도우에 의해 메모리에 저장된 프레임을 참조하여 타임 슬라이스 영상의 애니메이션을 구성하기 위해 요청되는 카메라 인덱스 변경에 따른 프레임을 추출하여 '카메라 회전'(433)과 같이 카메라 회전 처리를 수행할 수 있다. 이 때, 특정 인덱스에 해당하는 카메라의 프레임이 깨진 경우, 인접 인덱스 카메라와 인덱스 유사도에 기초하여 인접 카메라의 프레임을 이용할 수 있다. 그러나 인접 카메라의 인덱스 간의 유사도가 임계치 이상의 차이가 발생될 경우, 타임 슬라이스 영상의 품질 개선을 위해 해당 깨진 프레임을 스킵하고, 정상 프레임을 복제하여 대체할 수도 있다.
시퀀스 프레임 생성부(160)는 줌인아웃 그룹을 이용하여 애니메이션 템플릿이 적용된 프레임에 대해 줌인아웃 처리를 수행할 수 있다. 예를 들어, 시퀀스 프레임 생성부(160)는 사람 객체에 설정된 바운딩 박스의 시작점과 끝점의 영역 정보를 입력받아 애니메이션 프레임을 계산하고, 프레임 보간 기법을 적용하여 중간 프레임 계산을 병렬로 처리할 수 있다. 이 때, 시퀀스 프레임 생성부(160)는 출력될 타임 슬라이스 영상의 기준을 만족하기 위해 스케일링이 추가로 발생된 경우, 이를 처리하기 위해 GPU 가속 자원이 이용될 수 있다.
이와 같이, 각각의 그룹별로 병렬 처리됨으로써, 각각의 그룹의 특성에 맞는 구성을 통해 보다 효율적으로 타임 슬라이스 영상이 생성될 수 있다.
타임 슬라이스 영상 생성부(170)는 추출된 적어도 하나의 프레임을 이용하여 타임 슬라이스 영상을 생성할 수 있다. 구체적으로, 타임 슬라이스 영상 생성부(170)는 복수의 영상로부터 추출된 적어도 하나의 프레임과 인덱스가 동일한 프레임을 추출하고, 추출된 동일한 인덱스의 프레임들을 병합하여 타임 슬라이스 영상을 생성할 수 있다. 예를 들어, 타임 슬라이스 영상 생성부(170)는 생성된 시퀀스 프레임을 이용하여 타임 슬라이스 영상을 생성할 수 있다.
즉, 이러한 과정을 거쳐 타임 슬라이스 영상은 10초 분량의 편집 영상이 약 2~3초 내에 생성될 수 있으며, 네트워크의 저지연 CDN 망에 등록되어, 사용자 단말(미도시)로 제공될 수 있다.
타임 슬라이스 영상은 스트리밍 준비 동작이 수행되고, 사용자 단말(미도시)에서 어플리케이션을 통해 타임 슬라이스 영상의 시청이 가능한 상태가 된 경우, 최초 이벤트 발생 후 수초 이내에 사용자 단말(미도시)로 제공될 수 있다.
사용자 단말(미도시)은 타임 슬라이스 영상 생성 서버(100)로부터 타임 슬라이스 영상을 통해 실시간 서비스 및 편집 하이라이트 영상을 제공받을 수 있다. 예를 들어, 사용자 단말(미도시)은 실시간 서비스를 통해 인터랙티브하게 화면 전환을 하며 경기를 시청할 수 있다. 이 때, 사용자가 원하는 지점을 클릭하면, 타임 슬라이스 영상 생성 서버(100)에 의해 분석된 객체 중심점 정보를 이용하여 화면이 전환된 타임 슬라이스 영상을 시청할 수 있게 된다. 다른 예를 들어, 사용자 단말(미도시)은 편집 하이라이트 영상을 통해 경기 시청 중 주요 장면 이벤트가 발생되면, 자동으로 타임 슬라이스 영상으로 생성된 클립 영상을 설명과 함께 표시할 수 있다. 사용자 단말(미도시)은 해당 팝업을 클릭함으로써, 해당 클립 영상을 시청할 수 있게 된다. 또 다른 예를 들어, 사용자 단말(미도시)은 방송국의 중계 영상과 연동되어 재생 시점의 싱크가 맞춰진 타임 슬라이스 영상을 제공받을 수도 있다.
이러한 타임 슬라이스 영상 생성 서버(100)는 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받고, 복수의 카메라로부터 각각 촬영된 복수의 영상을 수신하고, 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상황 정보와 관련된 주요 장면 이벤트를 검출하고, 복수의 영상으로부터 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출하고, 추출된 적어도 하나의 프레임을 이용하여 타임 슬라이스 영상을 생성하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 타임 슬라이스 영상을 도시한 예시적인 도면이다. 도 5를 참조하면, 타임 슬라이스 영상 서버(100)는 상황 정보가 타격 동작으로 등록된 경우, 타자의 타격 시점을 주요 장면 이벤트로 검출하고, 타격 시점에 해당하는 시점 프레임 및 시점 프레임과 인접한 이전 프레임과 이후 프레임을 추출하고, 추출된 적어도 하나의 프레임에 템플릿을 적용하여 타임 슬라이스 영상을 생성하여 사용자 단말(미도시)로 제공할 수 있다.
예를 들어, 사용자 단말(미도시)은 실시간 야구 경기의 중계 영상을 재생(500)하는 중, 타임 슬라이스 영상 생성 서버(100)로부터 주요 장면 이벤트로 검출된 타격 시점 프레임(501)에 대해 시간 흘리기 및 줌인이 적용된 타임 슬라이스 영상(502)을 제공받을 수 있다. 이후, 사용자 단말(미도시)은 다시 실시간 중계 영상(503)을 시청할 수 있다.
도 6은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 생성 서버에서 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 방법의 순서도이다. 도 6에 도시된 타임 슬라이스 영상 생성 서버(100)에서 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 방법은 도 1 내지 도 5에 도시된 실시예에 따른 타임 슬라이스 영상 생성 서버(100)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5에 도시된 실시예에 따른 타임 슬라이스 영상 생성 서버(100)에서 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 방법에도 적용된다.
단계 S610에서 타임 슬라이스 영상 생성 서버(100)는 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받을 수 있다.
단계 S620에서 타임 슬라이스 영상 생성 서버(100)는 복수의 카메라로부터 각각 촬영된 복수의 영상을 수신할 수 있다.
단계 S630에서 타임 슬라이스 영상 생성 서버(100)는 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상황 정보와 관련된 주요 장면 이벤트를 검출할 수 있다.
단계 S640에서 타임 슬라이스 영상 생성 서버(100)는 복수의 영상으로부터 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출할 수 있다.
단계 S650에서 타임 슬라이스 영상 생성 서버(100)는 추출된 적어도 하나의 프레임을 이용하여 타임 슬라이스 영상을 생성할 수 있다.
상술한 설명에서, 단계 S610 내지 S650은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 6을 통해 설명된 타임 슬라이스 영상 생성 서버에서 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 6을 통해 설명된 타임 슬라이스 영상 생성 서버에서 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 타임 슬라이스 영상 생성 서버
110: 등록부
120: 영상 수신부
130: 검출부
140: 저장부
150: 프레임 추출부
160: 시퀀스 프레임 생성부
170: 타임 슬라이스 영상 생성부

Claims (20)

  1. 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버에 있어서,
    상기 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받는 등록부;
    복수의 카메라로부터 각각 촬영된 복수의 영상을 수신하는 영상 수신부;
    상기 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상기 상황 정보와 관련된 주요 장면 이벤트를 검출하는 검출부;
    상기 복수의 영상으로부터 상기 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출하는 프레임 추출부; 및
    상기 추출된 적어도 하나의 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하는 타임 슬라이스 영상 생성부
    를 포함하고,
    상기 검출부는
    상기 적어도 어느 하나의 영상을 분석하여 사람 객체를 포함하는 바운딩 박스 및 사물 객체를 각각 검출하여 추적하고,
    상기 추적된 바운딩 박스와 상기 추적된 사물 객체 간의 충돌 여부에 기초하여 상기 추적된 바운딩 박스의 동작 종류를 검출하는 것인, 타임 슬라이스 영상 생성 서버.
  2. 제 1 항에 있어서,
    상기 등록부는 상기 상황 정보와 관련된 적어도 하나의 편집 요소를 포함하는 템플릿을 더 등록받는 것인, 타임 슬라이스 영상 생성 서버.
  3. 제 2 항에 있어서,
    상기 추출된 적어도 하나의 프레임에 대해 상기 상황 정보와 관련된 템플릿을 적용하여 적어도 하나의 시퀀스 프레임을 생성하는 시퀀스 프레임 생성부를 더 포함하고,
    상기 타임 슬라이스 영상 생성부는 상기 생성된 시퀀스 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하는 것인, 타임 슬라이스 영상 생성 서버.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 검출부는 상기 동작 종류에 기초하여 상기 주요 장면 이벤트를 검출하는 것인, 타임 슬라이스 영상 생성 서버.
  6. 제 1 항에 있어서,
    상기 복수의 영상에 대해 슬라이딩 프레임 윈도우를 이용하여 현재 프레임으로부터 소정의 이전 구간에 해당하는 복수의 프레임을 저장하는 저장부를 더 포함하는, 타임 슬라이스 영상 생성 서버.
  7. 제 6 항에 있어서,
    상기 프레임 추출부는 상기 저장된 소정의 이전 구간에 해당하는 복수의 프레임으로부터 상기 주요 장면 이벤트가 발생된 시점에 해당하는 시점 프레임 및 상기 시점 프레임으로부터 적어도 하나의 이전 프레임 또는 이후 프레임을 추출하는 것인, 타임 슬라이스 영상 생성 서버.
  8. 제 3 항에 있어서,
    상기 시퀀스 프레임 생성부는 상기 템플릿이 적용된 적어도 하나의 프레임에 대해 시간 처리 그룹, 카메라 그룹 및 줌인아웃 그룹 중 적어도 하나를 이용하여 상기 템플릿에 포함된 적어도 하나의 편집 요소의 처리가 병렬적으로 수행되도록 상기 시퀀스 프레임을 생성하는 것인, 타임 슬라이스 영상 생성 서버.
  9. 제 8 항에 있어서,
    상기 시퀀스 프레임 생성부는 상기 시간 처리 그룹을 이용하여 재생 템플릿 또는 일시정지 템플릿이 적용된 프레임에 대해 시간 처리를 수행하는 것인, 타임 슬라이스 영상 생성 서버.
  10. 제 8 항에 있어서,
    상기 시퀀스 프레임 생성부는 상기 카메라 그룹을 이용하여 카메라 인덱스 변경 템플릿이 적용된 프레임에 대해 카메라 회전 처리를 수행하는 것인, 타임 슬라이스 영상 생성 서버.
  11. 제 8 항에 있어서,
    상기 시퀀스 프레임 생성부는 상기 줌인아웃 그룹을 이용하여 애니메이션 템플릿이 적용된 프레임에 대해 줌인아웃 처리를 수행하는 것인, 타임 슬라이스 영상 생성 서버.
  12. 제 3 항에 있어서,
    상기 적어도 하나의 시퀀스 프레임은 상기 추출된 적어도 프레임에 대한 카메라 인덱스 정보, 시간 정보, 줌인아웃 정보 중 적어도 하나를 포함하는 것인, 타임 슬라이스 영상 생성 서버.
  13. 타임 슬라이스 영상 생성 서버에서 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 방법에 있어서,
    상기 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받는 단계;
    복수의 카메라로부터 각각 촬영된 복수의 영상을 수신하는 단계;
    상기 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상기 상황 정보와 관련된 주요 장면 이벤트를 검출하는 단계;
    상기 복수의 영상으로부터 상기 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출하는 단계; 및
    상기 추출된 적어도 하나의 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하는 단계
    를 포함하고,
    상기 주요 장면 이벤트를 검출하는 단계는,
    상기 적어도 어느 하나의 영상을 분석하여 사람 객체를 포함하는 바운딩 박스 및 사물 객체를 각각 검출하여 추적하는 단계; 및
    상기 추적된 바운딩 박스와 상기 추적된 사물 객체 간의 충돌 여부에 기초하여 상기 추적된 바운딩 박스의 동작 종류를 검출하는 단계
    를 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  14. 제 13 항에 있어서,
    상기 상황 정보를 등록받는 단계는,
    상기 상황 정보와 관련된 적어도 하나의 편집 요소를 포함하는 템플릿을 등록받는 단계를 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  15. 제 14 항에 있어서,
    상기 추출된 적어도 하나의 프레임에 대해 상기 상황 정보와 관련된 템플릿을 적용하여 적어도 하나의 시퀀스 프레임을 생성하는 단계; 및
    상기 생성된 시퀀스 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하는 단계를 더 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  16. 제 13 항에 있어서,
    상기 주요 장면 이벤트를 검출하는 단계는,
    상기 동작 종류에 기초하여 상기 주요 장면 이벤트를 검출하는 단계를 더 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  17. 제 13 항에 있어서,
    상기 복수의 영상에 대해 슬라이딩 프레임 윈도우를 이용하여 현재 프레임으로부터 소정의 이전 구간에 해당하는 복수의 프레임을 저장하는 단계를 더 포함하는, 타임 슬라이스 영상 생성 방법.
  18. 제 17 항에 있어서,
    상기 프레임을 추출하는 단계는,
    상기 저장된 소정의 이전 구간에 해당하는 복수의 프레임으로부터 상기 주요 장면 이벤트가 발생된 시점에 해당하는 시점 프레임 및 상기 시점 프레임으로부터 적어도 하나의 이전 프레임 또는 이후 프레임을 추출하는 단계를 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  19. 제 15 항에 있어서,
    상기 시퀀스 프레임을 생성하는 단계는,
    상기 템플릿이 적용된 적어도 하나의 프레임에 대해 시간 처리 그룹, 카메라 그룹 및 줌인아웃 그룹 중 적어도 하나를 이용하여 상기 템플릿에 포함된 적어도 하나의 편집 요소의 처리가 병렬적으로 수행되도록 상기 시퀀스 프레임을 생성하는 단계를 포함하는 것인, 타임 슬라이스 영상 생성 방법.
  20. 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    상기 타임 슬라이스 영상을 생성하기 위한 상황 정보를 등록받고,
    복수의 카메라로부터 각각 촬영된 복수의 영상을 수신하고,
    상기 수신한 복수의 영상 중 적어도 어느 하나의 영상을 분석하여 상기 상황 정보와 관련된 주요 장면 이벤트를 검출하고,
    상기 복수의 영상으로부터 상기 검출된 주요 장면 이벤트에 대응하는 적어도 하나의 프레임을 추출하고,
    상기 추출된 적어도 하나의 프레임을 이용하여 상기 타임 슬라이스 영상을 생성하도록 하는 명령어들의 시퀀스를 포함하고,
    상기 주요 장면 이벤트를 검출하도록 하는 명령어들의 시퀀스는
    상기 적어도 어느 하나의 영상을 분석하여 사람 객체를 포함하는 바운딩 박스 및 사물 객체를 각각 검출하여 추적하고,
    상기 추적된 바운딩 박스와 상기 추적된 사물 객체 간의 충돌 여부에 기초하여 상기 추적된 바운딩 박스의 동작 종류를 검출하도록 하는 명령어들의 시퀀스를 더 포함하는, 매체에 저장된 컴퓨터 프로그램.
KR1020190133755A 2019-10-25 2019-10-25 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램 KR102652647B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190133755A KR102652647B1 (ko) 2019-10-25 2019-10-25 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190133755A KR102652647B1 (ko) 2019-10-25 2019-10-25 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20210049446A KR20210049446A (ko) 2021-05-06
KR102652647B1 true KR102652647B1 (ko) 2024-04-01

Family

ID=75916268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190133755A KR102652647B1 (ko) 2019-10-25 2019-10-25 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102652647B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039877A (ja) 2008-08-07 2010-02-18 Nippon Telegr & Teleph Corp <Ntt> 要約コンテンツ生成装置および要約コンテンツ生成プログラム
KR101458620B1 (ko) * 2014-05-15 2014-11-07 (주)엠비씨플러스미디어 이벤트 장면 재구성 시스템
JP2017517995A (ja) * 2014-04-11 2017-06-29 サムスン エレクトロニクス カンパニー リミテッド 要約コンテンツサービスのための放送受信装置及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100872878B1 (ko) * 2006-09-29 2008-12-10 (주)로그시스 감시 카메라의 이벤트 검출 촬영시스템
KR102362513B1 (ko) * 2017-12-04 2022-02-14 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039877A (ja) 2008-08-07 2010-02-18 Nippon Telegr & Teleph Corp <Ntt> 要約コンテンツ生成装置および要約コンテンツ生成プログラム
JP2017517995A (ja) * 2014-04-11 2017-06-29 サムスン エレクトロニクス カンパニー リミテッド 要約コンテンツサービスのための放送受信装置及び方法
KR101458620B1 (ko) * 2014-05-15 2014-11-07 (주)엠비씨플러스미디어 이벤트 장면 재구성 시스템

Also Published As

Publication number Publication date
KR20210049446A (ko) 2021-05-06

Similar Documents

Publication Publication Date Title
Yow et al. Analysis and presentation of soccer highlights from digital video
Chen et al. An autonomous framework to produce and distribute personalized team-sport video summaries: A basketball case study
CA2761187C (en) Systems and methods for the autonomous production of videos from multi-sensored data
Ariki et al. Automatic production system of soccer sports video by digital camera work based on situation recognition
US7868914B2 (en) Video event statistic tracking system
KR101291765B1 (ko) 실시간 중계방송을 위한 공 궤적 제공 시스템
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
CN111241872A (zh) 视频图像遮挡方法及装置
RU2609071C2 (ru) Навигация по видеопоследовательности через местоположение объекта
CN111741325A (zh) 视频播放方法、装置、电子设备及计算机可读存储介质
Lai et al. Tennis Video 2.0: A new presentation of sports videos with content separation and rendering
JP2007200249A (ja) 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
Wang et al. Automatic composition of broadcast sports video
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
KR102652647B1 (ko) 주요 장면 이벤트를 검출하여 타임 슬라이스 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램
Nieto et al. An automatic system for sports analytics in multi-camera tennis videos
US20220224958A1 (en) Automatic generation of augmented reality media
KR102276636B1 (ko) Ai 기반 영상 자동 추적 및 재생장치와 방법
US20230013988A1 (en) Enhancing viewing experience by animated tracking of user specific key instruments
Wang et al. Personal multi-view viewpoint recommendation based on trajectory distribution of the viewing target
JP2007174260A (ja) ダイジェスト情報生成装置
US11985389B2 (en) Object or region of interest video processing system and method
KR100963744B1 (ko) 축구 동영상의 이벤트 학습 및 검출방법
CN113473244A (zh) 一种自由视点视频播放控制方法及设备
Su et al. Transition effect detection for extracting highlights in baseball videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant