KR20230015603A - 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램 - Google Patents

시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20230015603A
KR20230015603A KR1020210096936A KR20210096936A KR20230015603A KR 20230015603 A KR20230015603 A KR 20230015603A KR 1020210096936 A KR1020210096936 A KR 1020210096936A KR 20210096936 A KR20210096936 A KR 20210096936A KR 20230015603 A KR20230015603 A KR 20230015603A
Authority
KR
South Korea
Prior art keywords
section
ending
frame
candidate
opening
Prior art date
Application number
KR1020210096936A
Other languages
English (en)
Inventor
이명희
이강태
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020210096936A priority Critical patent/KR20230015603A/ko
Publication of KR20230015603A publication Critical patent/KR20230015603A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버는 오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시키는 학습부, 학습된 분류 모델을 통해 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출하는 제 1 추출부, 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출하는 제 2 추출부 및 각 비디오 컨텐츠에 대한 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 상기 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말로 제공하는 제공부를 포함할 수 있다.

Description

시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램{SERVER, METHOD AND COMPUTER PROGRAM FOR EXTRACTING OPENING SECTION AND ENDING SECTION FROM VIDEO CONTENT INCLUDED IN SERIES}
본 발명은 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램에 관한 것이다.
최근, 시리즈물 형식의 비디오 컨텐츠가 많이 제작되고 있다. 이러한, 시리즈물 형식의 비디오 컨텐츠에는 보통 연령 정보, 주제가, 타이틀, 미리보기 등이 다양한 형태로 조합된 오프닝 구간과, 비디오 컨텐츠의 제작자에 대한 정보, 예고편 등이 조합된 엔딩 구간이 존재한다.
한편, 사용자 단말(예컨대, 모바일 단말, PC 단말, TV 단말 등)을 통해서 미디어 스트리밍 서비스를 제공하는 미디어 플랫폼 사업자들은 비디오 컨텐츠에서의 오프닝 구간 및 엔딩 구간의 건너뛰기 서비스를 제공한다.
이러한 오프닝 구간 및 엔딩 구간의 건너뛰기 서비스를 제공하기 위해서는 오프닝 구간 및 엔딩 구간 각각의 시점에 대한 메타 정보의 추출이 필요한데, 현재 오프닝 구간 및 엔딩 구간 각각의 시점에 대한 메타 정보의 추출은 컨텐츠 관리자의 수작업에 의해 진행되고 있다.
이러한, 메타 정보 추출의 수작업은 인력 자원의 낭비와 부실한 컨텐츠 관리를 야기할 수 있고, 일일 편성량 처리의 한계 및 미디어 서비스의 품질 하락을 야기할 수 있다.
한국등록특허공보 제10-1517750호 (2015.04.29. 등록)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 분류 모델을 이용하여 복수의 비디오 컨텐츠로부터 오프닝 구간 및 엔딩 구간의 메타 정보를 추출하는 구간 추출 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버는 오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시키는 학습부; 상기 학습된 분류 모델을 통해 상기 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출하는 제 1 추출부; 상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출하는 제 2 추출부; 및 상기 각 비디오 컨텐츠에 대한 상기 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 상기 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말로 제공하는 제공부를 포함할 수 있다.
본 발명의 제 2 측면에 따른 구간 추출 서버에 의해 수행되는 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 방법은 오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시키는 단계; 상기 학습된 분류 모델을 통해 상기 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출하는 단계; 상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출하는 단계; 및 상기 각 비디오 컨텐츠에 대한 상기 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 상기 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말로 제공하는 단계를 포함할 수 있다.
본 발명의 제 3 측면에 따른 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시키고, 상기 학습된 분류 모델을 통해 상기 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출하고, 상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출하고, 상기 각 비디오 컨텐츠에 대한 상기 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 상기 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말로 제공하는 명령어들의 시퀀스를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 분류 모델을 이용하여 복수의 비디오 컨텐츠로부터 오프닝 구간 및 엔딩 구간의 메타 정보를 추출하는 구간 추출 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
이를 통해, 컨텐츠 관리자가 비디오 컨텐츠의 오프닝 구간 및 엔딩 구간을 직접 추출하지 않아도 되기 때문에 불필요한 인력이 낭비되는 것을 줄일 수 있고 업무 생산성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른, 구간 추출 서버의 블록도이다.
도 2a 내지 2b는 본 발명의 일 실시예에 따른, 분류 모델을 학습시키는 방법을 설명하기 위한 도면이다.
도 3a 내지 3g는 본 발명의 일 실시예에 따른, 시작 구간을 추출하는 방법을 설명하기 위한 도면이다.
도 4a 내지 4b는 본 발명의 일 실시예에 따른, 검수용 인터페이스를 이용하여 후보 오프닝 구간 및 후보 엔딩 구간의 추출 정확도를 검수하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른, 시리즈물에 포함된 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 구간 추출 서버(10)의 블록도이다.
도 1을 참조하면, 구간 추출 서버(10)는 학습부(100), 제 1 추출부(110), 제 2 추출부(120), 제공부(130) 및 대표 프레임 선정부(140)를 포함할 수 있다. 다만, 도 1에 도시된 구간 추출 서버(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
이하에서는 도 2a 내지 4b를 함께 참조하여 도 1을 설명하기로 한다.
학습부(100)는 오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시킬 수 있다. 여기서, 복수의 학습용 비디오 컨텐츠는 오프닝 구간에 해당하는 프레임인지, 엔딩 구간에 해당하는 프레임인지 또는 이외의 프레임인지를 구분하기 위한 라벨링이 되어 있는 컨텐츠이다.
시리즈물에 포함되는 복수의 비디오 컨텐츠에서 오프닝 구간 및 엔딩 구간을 추정하기 위해서는 시간 축 상에 있는 개별 이미지 프레임을 분류 모델에 입력했을 때, 분류 모델이 오프닝 구간에 해당하는 프레임과 오프닝 구간에 해당하지 않는 프레임을 구별하고, 엔딩 구간에 해당하는 프레임과, 엔딩 구간에 해당하지 않는 프레임을 구별하도록 분류 모델을 학습시켜야 한다.
예를 들면, 오프닝 구간에 대응하는 복수의 프레임은 블랙 프레임의 페이드아웃(FadeOut) 및 페이드인(FadeIn) 간 전환 구간을 포함한 특정 이미지, 심볼, 텍스트 등의 애니메이션 등으로 이루어진 구간에 포함된 프레임을 의미할 수 있다. 여기서, 페이드인은 장면이 시작될 때 검은색이나 흰색에서 서서히 본 영상이 나타나게 하는 기법이고, 페이드아웃은 장면이 끝날 때 검은색이나 흰색으로 서서히 바뀌는 기법을 의미한다.
엔딩 구간에 대응하는 복수의 프레임은 블랙 프레임의 페이드아웃 및 페이드인 간 전환 구간을 포함한 특정 이미지, 심볼, 텍스트 등의 애니메이션 등으로 이루어진 구간에 포함된 프레임을 의미할 수 있다.
도 2a를 참조하면, 학습부(100)는 오프닝 구간에 속하는 수집된 데이터로부터 적어도 하나의 프레임을 추출하고, 추출된 적어도 하나의 프레임에 기초하여 분류 모델(20)이 오프닝 구간에 속하는 프레임을 구분하도록 분류 모델(20)을 학습시킬 수 있다.
학습부(100)는 오프닝 구간이 아닌 구간에 속하는 수집된 데이터로부터 적어도 하나의 프레임을 추출하고, 추출된 적어도 하나의 프레임에 기초하여 분류 모델(20)이 오프닝 구간이 아닌 구간에 속하는 프레임을 구분하도록 분류 모델(20)을 학습시킬 수 있다.
도 2b를 함께 참조하면, 학습부(100)는 엔딩 구간에 속하는 수집된 데이터로부터 적어도 하나의 프레임을 추출하고, 추출된 적어도 하나의 프레임에 기초하여 분류 모델(20)이 엔딩 구간에 속하는 프레임을 구분하도록 분류 모델(20)을 학습시킬 수 있다.
학습부(100)는 엔딩 구간이 아닌 구간에 속하는 수집된 데이터로부터 적어도 하나의 프레임을 추출하고, 추출된 적어도 하나의 프레임에 기초하여 분류 모델(20)이 엔딩 구간이 아닌 구간에 속하는 프레임을 구분하도록 분류 모델(20)을 학습시킬 수 있다.
다시 도 1로 돌아오면, 제 1 추출부(110)는 학습된 분류 모델을 통해 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출할 수 있다.
도 3a를 참조하면, 제 1 추출부(110)는 학습된 분류 모델을 통해 복수의 비디오 컨텐츠의 전반부 영상에 포함된 각 프레임이 오프닝 구간에 해당하는 프레임인지 또는 오프닝 구간에 해당하는 않는 프레임인지를 분류하기 위하여 각 프레임에 대하여 비디오 컨텐츠 이름, 시리즈 번호, 프레임 번호, 프레임 경로, 시리즈물 내 프레임의 시간 위치 정보, 오프닝 추정 확률값'을 포함하는 제 1 분류 결과(301)를 추출할 수 있다.
또한, 제 1 추출부(110)는 학습된 분류 모델을 통해 복수의 비디오 컨텐츠의 후반부 영상에 포함된 프레임이 엔딩 구간에 해당하는 프레임인지 또는 엔딩 구간에 해당하지 않는 프레임인지를 분류하기 위하여 각 프레임에 대하여 비디오 컨텐츠 이름, 시리즈 번호, 프레임 번호, 프레임 경로, 시리즈물 내 프레임의 시간 위치 정보, 엔딩 추정 확률값을 포함하는 제 2 분류 결과(미도시)를 추출할 수 있다.
제 1 추출부(110)는 각 비디오 컨텐츠의 전반부 영상에 포함된 복수의 프레임을 학습된 분류 모델에 입력하고, 학습된 분류 모델로부터 출력된 오프닝 추정 확률값에 기초하여 적어도 하나의 후보 오프닝 구간을 추출할 수 있다.
도 3b를 참조하면, 제 1 추출부(110)는 제 1 편 비디오 컨텐츠의 전반부 영상에 포함된 복수의 프레임 중 기설정된 임계치(예컨대, 0.7) 이상의 오프닝 추정 확률값을 갖는 프레임을 후보 오프닝 구간(303)으로 추출할 수 있다.
제 1 추출부(110)는 각 비디오 컨텐츠의 후반부 영상에 포함된 복수의 프레임을 학습된 분류 모델에 입력하고, 학습된 분류 모델로부터 출력된 엔딩 추정 확률값에 기초하여 적어도 하나의 후보 엔딩 구간을 추출할 수 있다.
제 1 추출부(110)는 제 1 편 비디오 컨텐츠의 후반부 영상에 포함된 복수의 프레임 중 기설정된 임계치(예컨대, 0.7) 이상의 엔딩 추정 확률값을 갖는 프레임을 후보 엔딩 구간(305)으로 추출할 수 있다.
대표 프레임 선정부(140)는 적어도 하나의 후보 오프닝 구간에 포함되는 적어도 하나의 프레임 중 대표 오프닝 프레임을 선정할 수 있다.
예를 들면, 도 3b를 참조하면, 대표 프레임 선정부(140)는 제 1 편 비디오 컨텐츠(30)의 후보 오프닝 구간(303)에 포함된 적어도 하나의 프레임 중 오프닝 추정 확률값이 가장 큰값을 갖는 프레임을 대표 오프닝 프레임(307)으로 선정할 수 있다.
대표 프레임 선정부(140)는 적어도 하나의 후보 엔딩 구간에 포함되는 적어도 하나의 프레임 중 대표 엔딩 프레임을 선정할 수 있다.
예를 들면, 도 3b를 참조하면, 대표 프레임 선정부(140)는 제 1 편 비디오 컨텐츠(30)의 후보 엔딩 구간(305)에 포함된 적어도 하나의 프레임 중 엔딩 추정 확률값이 가장 큰 값을 갖는 프레임을 대표 엔딩 프레임(309)으로 선정할 수 있다.
제 2 추출부(120)는 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출할 수 있다.
제 2 추출부(120)는 각 비디오 컨텐츠 간의 대표 오프닝 프레임 및 대표 엔딩 프레임에 대한 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출할 수 있다.
예를 들면, 도 3c를 참조하면, 제 2 추출부(120)는 각 비디오 컨텐츠(30, 32, 34) 간의 대표 오프닝 프레임 간의 이미지 유사도를 이용하여 복수의 비디오 컨텐츠(30, 32, 34) 간 오프닝 프레임 유사 관계를 도출할 수 있다.
제 2 추출부(120)는 복수의 비디오 컨텐츠 간 대표 오프닝 프레임 간의 이미지 유사도에 기초하여 체인 네트워크를 생성할 수 있다. 여기서, 체인 네트워크는 제 N 편 비디오 컨텐츠의 대표 오프닝 프레임과 제 M 편 비디오의 대표 오프닝 프레임과의 유사함을 정의하는 관계를 나타내는 관계 데이터를 의미할 수 있다.
예를 들면, 도 3d를 참조하면, 제 2 추출부(120)는 제 1 편 비디오 컨텐츠(30)의 대표 오프닝 프레임과 제 2 편 비디오 컨텐츠(32)의 대표 오프닝 프레임 간의 이미지 유사도에 기초하여 대표 오프닝 이미지 간의 유사 연결 관계를 나타내는 제 1 체인 네트워크를 생성할 수 있다. 여기서, 제 1 체인 네트워크는 예를 들면, 이중 연결 리스트로 표현될 수 있다.
도 3e를 참조하면, 제 2 추출부(120)는 제 2 편 비디오 컨텐츠(32)의 대표 오프닝 프레임 및 제 3 편 비디오 컨텐츠(34)의 대표 오프닝 프레임 간의 이미지 유사도에 기초하여 대표 오프닝 프레임 간의 유사 연결 관계를 나타내는 제 2 체인 네트워크를 생성할 수 있다.
도 3d 내지 3g를 함께 참조하면, 제 2 추출부(120)는 제 1 편 비디오 컨텐츠(30) 및 제 2 편 비디오 컨텐츠(32) 간에 생성된 제 1 체인 네트워크 및 제 2 편 비디오 컨텐츠(32) 및 제 3 편 비디오 컨텐츠(34) 간에 생성된 제 2 체인 네트워크를 연결하여 오프닝 프레임에 대한 최종 체인 네트워크를 생성할 수 있다.
이와 같이, 시리즈물의 개수가 N개일 경우, {제 1편 비디오 컨텐츠, 제 2 편 비디오 컨텐츠}, {제 2 편 비디오 컨텐츠, 제 3 편 비디오 컨텐츠}, ... , {제 N-1 편 비디오 컨텐츠, 제 N 편 비디오 컨텐츠}까지의 연결 관계가 정의된 체인 네트워크가 생성될 수 있다.
한편, 제 2 추출부(120)는 각 비디오 컨텐츠 간의 대표 엔딩 프레임 간의 이미지 유사도를 이용하여 복수의 비디오 컨텐츠 간 엔딩 프레임 유사도 관계를 도출할 수 있다.
예를 들면, 제 2 추출부(120)는 제 1 편 비디오 컨텐츠(30)의 대표 엔딩 프레임과 제 2 편 비디오 컨텐츠(32)의 대표 엔딩 프레임 간의 이미지 유사도에 기초하여 대표 엔딩 이미지 간의 유사 연결 관계를 나타내는 제 3 체인 네트워크를 생성할 수 있다.
또한, 제 2 추출부(120)는 제 2 편 비디오 컨텐츠(32)의 대표 엔딩 프레임 및 제 3 편 비디오 컨텐츠(34)의 대표 엔딩 프레임 간의 이미지 유사도에 기초하여 대표 엔딩 프레임 간의 유사 연결 관계를 나타내는 제 4 체인 네트워크를 생성할 수 있다.
또한, 제 2 추출부(120)는 제 1 편 비디오 컨텐츠(30) 및 제 2 편 비디오 컨텐츠(32) 간에 생성된 제 3 체인 네트워크 및 제 2 편 비디오 컨텐츠(32) 및 제 3 편 비디오 컨텐츠(34) 간에 생성된 제 4 체인 네트워크를 연결하여 엔딩 프레임에 대한 최종 체인 네트워크를 생성할 수 있다.
제 2 추출부(120)는 복수의 비디오 컨텐츠(30, 32, 34)의 오프닝 구간에 대한 최종 체인 네트워크를 이용하여 전체 시리즈물에 포함된 복수의 비디오 컨텐츠에서 유사 관계를 갖는 관계 데이터를 추출하고, 추출된 관계 데이터를 시간 축으로 정렬한 후, 시간 축 상의 가장 말단에 위치한 관계 데이터에 대응하는 프레임을 최종 오프닝 구간의 대표 프레임으로 추출할 수 있다. 여기서, 관계 데이터는 각 비디오 컨텐츠별 각 구간(오프닝 구간 또는 엔딩 구간)을 정의하는 대표 프레임 간의 이미지 유사도값을 의미한다.
제 2 추출부(120)는 복수의 비디오 컨텐츠(30, 32, 34)의 엔딩 구간에 대한 최종 체인 네트워크를 이용하여 전체 시리즈물에 포함된 복수의 비디오 컨텐츠에서 유사 관계를 갖는 관계 데이터를 추출하고, 추출된 관계 데이터를 시간 축으로 정렬한 후, 다음 시간 축 상의 가장 말단에 위치한 관계 데이터에 대응하는 프레임을 최종 엔딩 구간의 대표 프레임으로 추출할 수 있다.
제공부(130)는 각 비디오 컨텐츠에 대한 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말에게 제공할 수 있다.
제공부(130)는 사용자가 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간의 추출 정확도를 검수하기 위한 검수용 인터페이스를 사용자 단말에게 제공할 수 있다.
여기서, 검수용 인터페이스는 각 비디오 컨텐츠마다 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간이 표시되는 타임라인 영역 및 대표 오프닝 프레임 및 대표 엔딩 프레임이 표시되는 타일형 프레임 비교 영역을 포함할 수 있다.
예를 들어, 도 4a를 참조하면, 검수용 인터페이스는 각 비디오 컨텐츠별 적어도 하나의 후보 오프닝 구간이 표시되는 타임라인 영역으로 전환하는 오프닝탭(401)과, 적어도 하나의 후보 엔딩 구간이 표시되는 타임라인 영역으로 전환하는 엔딩탭(403)을 포함할 수 있다.
검수용 인터페이스는 개별 비디오 컨텐츠의 타임 라인에 후보 오프닝 구간 또는 후보 엔딩 구간을 시각적으로 표시할 수 있다.
각 후보 오프닝 구간 또는 후보 엔딩 구간을 쉽게 인지할 수 있도록 각 구간에서의 대표 프레임이 표시될 수 있다. 예를 들어, 도 4a를 참조하면, 검수용 인터페이스을 통해 후보 오프닝 구간(409) 및 대표 오프닝 프레임(407)이 표시될 수 있다.
검수용 인터페이스는 각 비디오 컨텐츠의 현재 프레임을 표시한 현재 프레임 표시 영역(405)을 더 포함할 수 있다.
도 4c를 참조하면, 사용자 단말이 검수용 인터페이스를 통해 특정 비디오 컨텐츠에서 후보 오프닝 구간(417) 또는 후보 엔딩 구간을 클릭하게 되면, 제공부(130)는 기생성된 체인 네트워크에 따라 복수의 비디오 컨텐츠에서의 대표 오프닝 프레임 및 대표 엔딩 프레임의 유사 연결 관계에 있는 모든 구간을 추출하고, 추출된 구간에 대응하는 프레임(419)을 사용자 단말에게 제공할 수 있다.
한편, 당업자라면, 학습부(100), 제 1 추출부(110), 제 2 추출부(120), 제공부(130) 및 대표 프레임 선정부(140) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 5는 본 발명의 일 실시예에 따른, 시리즈물에 포함된 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 단계 S501에서 구간 추출 서버(10)는 오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시킬 수 있다.
단계 S503에서 구간 추출 서버(10)는 학습된 분류 모델을 통해 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출할 수 있다.
단계 S505에서 구간 추출 서버(10)는 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출할 수 있다.
단계 S507에서 구간 추출 서버(10)는 각 비디오 컨텐츠에 대한 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말에게 제공할 수 있다.
상술한 설명에서, 단계 S501 내지 S507은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 구간 추출 서버
100: 학습부
110: 제 1 추출부
120: 제 2 추출부
130: 제공부
140: 대표 프레임 선정부

Claims (13)

  1. 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버에 있어서,
    오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시키는 학습부;
    상기 학습된 분류 모델을 통해 상기 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출하는 제 1 추출부;
    상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출하는 제 2 추출부; 및
    상기 각 비디오 컨텐츠에 대한 상기 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 상기 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말로 제공하는 제공부
    를 포함하는 것인, 서버
  2. 제 1 항에 있어서,
    상기 제 1 추출부는 상기 각 비디오 컨텐츠의 전반부 영상에 포함된 복수의 프레임을 상기 학습된 분류 모델에 입력하고 상기 학습된 분류 모델로부터 출력된 오프닝 추정 확률값에 기초하여 상기 적어도 하나의 후보 오프닝 구간을 추출하고,
    상기 각 비디오 컨텐츠의 후반부 영상에 포함된 복수의 프레임을 상기 학습된 분류 모델에 입력하고 상기 학습된 분류 모델로부터 출력된 엔딩 추정 확률값에 기초하여 상기 적어도 하나의 후보 엔딩 구간을 추출하는 것인, 서버.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 후보 오프닝 구간에 포함되는 적어도 하나의 프레임 중 대표 오프닝 프레임을 선정하고,
    상기 적어도 하나의 후보 엔딩 구간에 포함되는 적어도 하나의 프레임 중 대표 엔딩 프레임을 선정하는 대표 프레임 선정부를 더 포함하는 것인, 서버.
  4. 제 3 항에 있어서,
    상기 제 2 추출부는 상기 각 비디오 컨텐츠 간의 상기 대표 오프닝 프레임 및 상기 대표 엔딩 프레임에 대한 유사도에 기초하여 상기 최종 오프닝 구간 및 상기 최종 엔딩 구간을 추출하는 것인, 서버.
  5. 제 3 항에 있어서,
    상기 제공부는 사용자가 상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 후보 엔딩 구간의 추출 정확도를 검수하기 위한 검수용 인터페이스를 상기 사용자 단말로 제공하는 것인, 서버.
  6. 제 5 항에 있어서,
    상기 검수용 인터페이스는
    상기 각 비디오 컨텐츠마다 상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 후보 엔딩 구간이 표시되는 타임라인 영역 및 상기 대표 오프닝 프레임 및 상기 대표 엔딩 프레임이 표시되는 타일형 프레임 비교 영역을 포함하는 것인, 서버.
  7. 구간 추출 서버에 의해 수행되는 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 방법에 있어서,
    오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시키는 단계;
    상기 학습된 분류 모델을 통해 상기 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출하는 단계;
    상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출하는 단계; 및
    상기 각 비디오 컨텐츠에 대한 상기 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 상기 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말로 제공하는 단계
    를 포함하는 것인, 구간 추출 방법.
  8. 제 7 항에 있어서,
    상기 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출하는 단계는
    상기 각 비디오 컨텐츠의 전반부 영상에 포함된 복수의 프레임을 상기 학습된 분류 모델에 입력하고 상기 학습된 분류 모델로부터 출력된 오프닝 추정 확률값에 기초하여 상기 적어도 하나의 후보 오프닝 구간을 추출하는 단계 및
    상기 각 비디오 컨텐츠의 후반부 영상에 포함된 복수의 프레임을 상기 학습된 분류 모델에 입력하고 상기 학습된 분류 모델로부터 출력된 엔딩 추정 확률값에 기초하여 상기 적어도 하나의 후보 엔딩 구간을 추출하는 단계를 포함하는 것인, 구간 추출 방법.
  9. 제 7 항에 있어서,
    상기 적어도 하나의 후보 오프닝 구간에 포함되는 적어도 하나의 프레임 중 대표 오프닝 프레임을 선정하고,
    상기 적어도 하나의 후보 엔딩 구간에 포함되는 적어도 하나의 프레임 중 대표 엔딩 프레임을 선정하는 단계를 더 포함하는 것인, 구간 추출 방법.
  10. 제 9 항에 있어서,
    상기 최종 오프닝 구간 및 최종 엔딩 구간을 추출하는 단계는
    상기 각 비디오 컨텐츠 간의 상기 대표 오프닝 프레임 및 상기 대표 엔딩 프레임에 대한 유사도에 기초하여 상기 최종 오프닝 구간 및 상기 최종 엔딩 구간을 추출하는 단계를 포함하는 것인, 구간 추출 방법.
  11. 제 9 항에 있어서,
    상기 사용자 단말로 제공하는 단계는
    사용자가 상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 후보 엔딩 구간의 추출 정확도를 검수하기 위한 검수용 인터페이스를 상기 사용자 단말로 제공하는 단계를 포함하는 것인, 구간 추출 방법.
  12. 제 11 항에 있어서,
    상기 검수용 인터페이스는
    상기 각 비디오 컨텐츠마다 상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 후보 엔딩 구간이 표시되는 타임라인 영역 및 상기 대표 오프닝 프레임 및 상기 대표 엔딩 프레임이 표시되는 타일형 프레임 비교 영역을 포함하는 것인, 구간 추출 방법.
  13. 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    오프닝 구간에 대응하는 적어도 하나의 프레임 및 엔딩 구간에 대응하는 적어도 하나의 프레임이 사전에 인식된 복수의 학습용 비디오 컨텐츠에 기초하여 분류 모델을 학습시키고,
    상기 학습된 분류 모델을 통해 상기 복수의 비디오 컨텐츠로부터 적어도 하나의 후보 오프닝 구간 및 적어도 하나의 후보 엔딩 구간 각각에 대응하는 적어도 하나의 프레임을 추출하고,
    상기 적어도 하나의 후보 오프닝 구간 및 상기 적어도 하나의 엔딩 구간 각각에 포함되는 적어도 하나의 프레임의 유사도에 기초하여 최종 오프닝 구간 및 최종 엔딩 구간을 추출하고,
    상기 각 비디오 컨텐츠에 대한 상기 최종 오프닝 구간에 대응하는 적어도 하나의 프레임 및 상기 최종 엔딩 구간에 대응하는 적어도 하나의 프레임을 사용자 단말로 제공하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020210096936A 2021-07-23 2021-07-23 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램 KR20230015603A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210096936A KR20230015603A (ko) 2021-07-23 2021-07-23 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210096936A KR20230015603A (ko) 2021-07-23 2021-07-23 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20230015603A true KR20230015603A (ko) 2023-01-31

Family

ID=85109283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210096936A KR20230015603A (ko) 2021-07-23 2021-07-23 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20230015603A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517750B1 (ko) 2011-08-10 2015-05-06 알까뗄 루슨트 비디오들을 비교하기 위한 방법들 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517750B1 (ko) 2011-08-10 2015-05-06 알까뗄 루슨트 비디오들을 비교하기 위한 방법들 및 장치

Similar Documents

Publication Publication Date Title
CA2924065C (en) Content based video content segmentation
CN109756751B (zh) 多媒体数据处理方法及装置、电子设备、存储介质
CN101150699B (zh) 信息处理装置和信息处理方法
US11605402B2 (en) Video-log production system
US20220172476A1 (en) Video similarity detection method, apparatus, and device
CN108924599A (zh) 视频字幕显示方法及装置
US20130077876A1 (en) Apparatus and method for identifying a still image contained in moving image contents
CN109040779A (zh) 字幕内容生成方法、装置、计算机设备及存储介质
CN111314732A (zh) 确定视频标签的方法、服务器及存储介质
US11621792B2 (en) Real-time automated classification system
CN112511818B (zh) 视频播放质量检测方法、装置
CN111541939B (zh) 一种视频拆分方法、装置、电子设备及存储介质
JP2017005442A (ja) コンテンツ生成装置およびプログラム
US10153003B2 (en) Method, system, and apparatus for generating video content
JP2000242661A (ja) 関連情報検索装置および関連情報検索処理を実行するプログラムを記録した記憶媒体
CN114845149A (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
KR102534270B1 (ko) 메타 데이터 제공 장치 및 방법
KR20230015603A (ko) 시리즈물에 포함되는 복수의 비디오 컨텐츠 각각에 대한 오프닝 구간 및 엔딩 구간을 추출하는 서버, 방법 및 컴퓨터 프로그램
US20200226208A1 (en) Electronic presentation reference marker insertion
KR102439599B1 (ko) 클라우드 영상 편집 서비스 시스템 및 방법
CN113411517B (zh) 视频模板的生成方法、装置、电子设备及存储介质
CN113012723B (zh) 多媒体文件播放方法、装置、电子设备
US9961275B2 (en) Method, system, and apparatus for operating a kinetic typography service
US20180077460A1 (en) Method, System, and Apparatus for Providing Video Content Recommendations
CN108881950B (zh) 一种视频处理的方法和装置