KR102161705B1 - 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법 - Google Patents

섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법 Download PDF

Info

Publication number
KR102161705B1
KR102161705B1 KR1020190017856A KR20190017856A KR102161705B1 KR 102161705 B1 KR102161705 B1 KR 102161705B1 KR 1020190017856 A KR1020190017856 A KR 1020190017856A KR 20190017856 A KR20190017856 A KR 20190017856A KR 102161705 B1 KR102161705 B1 KR 102161705B1
Authority
KR
South Korea
Prior art keywords
frame
section
subtitle
change amount
section information
Prior art date
Application number
KR1020190017856A
Other languages
English (en)
Other versions
KR20200099799A (ko
Inventor
윤종철
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190017856A priority Critical patent/KR102161705B1/ko
Publication of KR20200099799A publication Critical patent/KR20200099799A/ko
Application granted granted Critical
Publication of KR102161705B1 publication Critical patent/KR102161705B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

일 실시예에 따른 섹션 정보 생성 장치는 영상에 포함된 복수 개의 프레임 간의 자막 변화량을 도출하는 자막 변화량 도출부와, 상기 자막 변화량을 기초로 상기 복수 개의 프레임 중에서 섹션 구분 프레임을 선정하는 섹션 구분 프레임 선정부와, 상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓고, 상기 복수 개의 섹션 각각에 포함된 프레임으로부터 상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 섹션 정보 생성부를 포함한다.

Description

섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법{APPARATUS FOR CREATING SECTION INFORMATION AND METHOD FOR CREATING SECTION INFORMATION USING THE SAME}
본 발명은 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법에 관한 것이다.
대용량 멀티미디어 데이터베이스의 증가와 통신 및 디지털 미디어 처리 기술의 발달로 인하여 수많은 영상이 출현함에 따라, 영상으로부터 요약 정보를 추출하는 기술 및 이렇게 추출된 요약 정보를 바탕으로 검색 서비스를 제공하는 기술 등에 대한 다양한 연구들이 활발하게 진행되고 있다.
예컨대 영상으로부터 요약 정보를 추출하는 기술로서 비디오 요약 (summary) 방법이 제시되어 있다. 비디오 요약은 영상으로부터 의미 있는 내용과 구조적인 정보를 추려내는 방법을 지칭한다.
이러한 비디오 요약의 결과는 일반적으로 주요 정지영상, 즉 키 프레임의 연속된 형태(sequence of key frames)로 표현된다. 키 프레임으로 표현된 비디오 요약을 통해 시청자는 영상의 내용을 한눈에 파악할 수 있다. 또한 시청자는 이러한 키 프레임을 통해 영상이 해당 키 프레임이 가리키는 위치에서부터 재생될 수 있도록 할 수 있다.
한국등록특허공보 10-1822443호 (2018.01.22. 공개)
본 발명의 해결하고자 하는 과제는 영상을 구성하는 복수 개의 섹션(section)에 대한 정보를 생성하는 기술을 제공하는 것이다.
또한 이러한 복수 개의 섹션에 대한 정보가 시청자에게 제공되도록 하는 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제1 실시예에 따른 섹션 정보 생성 장치는 영상에 포함된 복수 개의 프레임 간의 자막 변화량을 도출하는 자막 변화량 도출부와, 상기 자막 변화량을 기초로 상기 복수 개의 프레임 중에서 섹션 구분 프레임을 선정하는 섹션 구분 프레임 선정부와, 상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓고, 상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 섹션 정보 생성부를 포함한다.
제2 실시예에 따른 섹션 정보 생성 장치는 영상에 포함된 프레임 중에서, 프레임과 프레임 사이에 적어도 하나의 프레임이 포함되도록 샘플링하는 샘플링부와, 상기 샘플링된 프레임 중 인접한 프레임 쌍(pair)에 대해서 프레임 간의 제1 자막 변화량을 도출하는 제1 자막 변화량 도출부와, 상기 제1 자막 변화량을 기초로 상기 인접한 프레임 쌍 중 임시 프레임 쌍을 선정하는 임시 프레임 선정부와, 상기 임시 프레임 쌍 및 상기 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 간의 제2 자막 변화량을 도출하는 제2 자막 변화량 도출부와, 상기 제2 자막 변화량을 기초로 상기 임시 프레임 쌍 및 상기 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 중에서 섹션 구분 프레임을 선정하는 섹션 구분 프레임 선정부와, 상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓고, 상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 섹션 정보 생성부를 포함한다.
제1 실시예에 따른 섹션 정보 생성 장치가 수행하는 섹션 정보 생성 방법은 영상에 포함된 복수 개의 프레임 간의 자막 변화량을 도출하는 단계와, 상기 자막 변화량을 기초로 상기 복수 개의 프레임 중에서 섹션 구분 프레임을 선정하는 단계와, 상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓는 단계와, 상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 단계를 포함하여서 수행된다.
제2 실시예에 따른 섹션 정보 생성 장치가 수행하는 섹션 정보 생성 방법은 영상에 포함된 프레임 중에서, 프레임과 프레임 사이에 적어도 하나의 프레임이 포함되도록 샘플링하는 단계와, 상기 샘플링된 프레임 중 인접한 프레임 쌍(pair)에 대해서 프레임 간의 제1 자막 변화량을 도출하는 단계와, 상기 제1 자막 변화량을 기초로 상기 인접한 프레임 쌍 중 임시 프레임 쌍을 선정하는 단계와, 상기 임시 프레임 쌍 및 상기 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 간의 제2 자막 변화량을 도출하는 단계와, 상기 제2 자막 변화량을 기초로 상기 임시 프레임 쌍 및 상기 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 중에서 섹션 구분 프레임을 선정하는 단계와, 상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓는 단계와, 상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 단계를 포함하여 수행된다.
일 실시예에 따르면, 시청자는 영상에 포함되는 섹션 정보를 이용해서, 재생 장치에서 재생 중인 또는 재생 예정인 영상을 구성하는 섹션에는 어떠한 것들이 있는지를 파악할 수 있고 또한 각각의 섹션이 언제 시작하고 언제 끝나는지를 파악할 수 있다. 아울러, 시청자는 이러한 섹션 정보 중 어느 하나를 선택하는 행위를 통해 선택된 섹션만을 시청할 수도 있다. 뿐만 아니라 시청자는 이러한 섹션 정보를 키워드로 하여 검색을 수행함으로써, 수많은 영상 중 키워드에 매칭되는 섹션만을 획득해서 시청할 수도 있다.
도 1은 제1 실시예에 따른 영상 제공 시스템에 대한 개략적인 구성도이다.
도 2는 제1 실시예에 따른 섹션 정보 생성 장치에 대한 개략적인 구성도이다.
도 3은 제1 실시예에 따른 섹션 정보 생성 장치에서의 동작 흐름을 설명하기 위한 순서도이다.
도 4는 영상의 프레임에 포함된 자막의 종류 및 표시되는 위치에 대해 예시적으로 도시하고 있다.
도 5는 영상의 각 프레임에 포함된 섹션 자막에 대해 예시적으로 도시하고 있다.
도 6은 제2 실시예에 따른 영상 제공 시스템에 대한 개략적인 구성도이다.
도 7은 제2 실시예에 따른 섹션 정보 생성 장치에 대한 개략적인 구성도이다.
도 8은 제2 실시예에 따른 섹션 정보 생성 장치에서의 동작 흐름을 설명하기 위한 순서도이다.
도 9는 영상의 각 프레임에 포함된 섹션 자막에 대해 예시적으로 도시하고 있다.
도 10은 일 실시예에 따라 영상과 함께 섹션 정보가 제공되고 있는 것을 예시적으로 도시하고 있다.
도 11은 도 1에 도시된 영상 제공 시스템에 의해 수행 가능한 서비스에 대해 예시적으로 도시하고 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
<제1 실시예>
도 1은 제1 실시예에 따른 영상 제공 시스템(10)에 대한 개략적인 구성도이다. 도 1을 참조하면 영상 제공 시스템(10)은 섹션 정보 생성 장치(100), 영상 제공 장치(200) 및 재생 장치(300)를 포함한다. 다만, 도 1은 예시적인 것에 불과하므로 본 발명의 사상이 도 1에 도시된 영상 제공 시스템(10)에만 적용되는 것으로 한정 해석되지는 않는다.
영상 제공 장치(200)는 재생 장치(300) 또는 섹션 정보 생성 장치(100)에게 영상을 제공하도록 구성된다. 이러한 영상 제공 장치(200)는 방송국의 서버 등을 통해 구현 가능하다.
재생 장치(300)는 영상 제공 장치(200)로부터 영상을 제공받는다. 이렇게 제공받은 영상은 재생 장치(300)에서 재생된다. 또한 재생 장치(300)는 자신이 재생 중인 또는 재생 예정인 영상에 대한 섹션 정보를 섹션 정보 생성 장치(100)로부터 제공받는다. 이렇게 제공받은 섹션 정보는 영상에 포함되어서 오버랩 형식으로 재생 장치(300)에서 표시되거나 또는 영상과는 별도로 영상의 재생 중에 또는 재생 이전/이후에 재생 장치(300)에서 표시될 수 있다. 이러한 재생 장치(300)는 스마트 TV, 컴퓨터 뿐 아니라 스마트폰이나 스마트패드와 같은 스마트기기일 수도 있다.
섹션 정보 생성 장치(100)는 영상 제공 장치(200)로부터 영상을 제공받는다. 이렇게 제공받은 영상을 기초로 섹션 정보 생성 장치(100)는 섹션 정보를 생성한다. 이렇게 생성된 섹션 정보는 섹션 정보 생성 장치(100)에 저장되었다가 재생 장치(300)에게 제공될 수 있다. 또는 이렇게 생성된 섹션 정보는 섹션 정보 생성 장치(100)로부터 영상 제공 장치(200)를 경유해서 영상과 함께 재생 장치(300)에게 제공될 수도 있다.
여기서 섹션이란 소정의 영상을 구성하는 복수 개의 에피소드나 코너 등을 지칭한다. 아울러 섹션 정보란 각 섹션의 제목(타이틀)을 나타내는 자막(예컨대 코메디 프로를 구성하는 각 코너의 제목 또는 음악 프로를 구성하는 각 가수의 이름 및 노래 제목 등), 각 섹션을 나타내는 대표 이미지, 각 섹션의 시작 시간이나 종료 시간 등을 포함할 수 있다.
즉, 제1 실시예에 따르면 시청자는 영상에 포함되는 섹션 정보를 이용해서, 재생 장치에서 재생 중인 또는 재생 예정인 영상을 구성하는 섹션에는 어떠한 것들이 있는지를 파악할 수 있고 또한 각각의 섹션이 언제 시작하고 언제 끝나는지를 파악할 수 있다.
이하에서는 전술한 섹션 정보를 생성 및 제공하는 섹션 정보 생성 장치(100)에 대해 보다 자세하게 살펴보기로 한다.
도 2는 제1 실시예에 따른 섹션 정보 생성 장치(100)에 대한 개략적인 구성도이다. 도 2를 참조하면, 섹션 정보 정보 생성 장치(100)는 저장부(120), 자막 변화량 도출부(130), 섹션 구분 프레임 선정부(140) 및 섹션 정보 생성부(150)를 포함하며, 다만 섹션 정보 생성 장치(100)의 구성이 도 2에 도시된 것으로 한정 해석되는 것은 아니다.
저장부(120)는 데이터를 저장하는 메모리 등에 의해 구성된다. 저장부(120)에는 섹션 정보 등이 저장될 수 있다.
자막 변화량 도출부(130), 섹션 구분 프레임 선정부(140) 및 섹션 정보 생성부(150) 각각은 프로세서에 의해 실행되는 소프트웨어 모듈이나 하드웨어 모듈 형태로 구현되거나 또는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로 구현될 수 있다.
이 중 자막 변화량 도출부(130)는 자막 변화량을 도출한다. 자막 변화량이란, 프레임과 프레임 사이에서 자막이 차이나는 정도를 나타낸다. 보다 구체적으로 살펴보도록 한다. 영상에는 다양한 종류의 자막이 표시될 수 있다.
예컨대, 영상의 제목을 나타내는 자막(이하 '메인 자막'이라고 지칭하기로 하며, 영상에 대한 '식별자'라고 지칭될 수도 있다)이 표시될 수 있다. 메인 자막의 경우, 동일한 영상 내에서는 재생 중에 변경되지 않고 표시되는 것이 일반적이다.
또한 한 개의 영상이 복수 개의 섹션으로 구분될 경우, 현재 재생 중인 섹션의 제목을 나타내는 자막(이하 '섹션 자막'이라고 지칭하기로 한다)이 표시될 수 있다. 섹션 자막의 경우, 동일한 영상 내에서라고 하더라도 섹션이 변경될 때마다 변경된 섹션에 해당하는 것으로 변경되어서 표시될 수 있다. 그러나 동일한 섹션 내에서는 재생 중에 변경되지 않고 표시되는 것이 일반적이다.
마지막으로, 현재 재생 중인 장면을 부가적으로 설명하는 자막(이하 '장면 자막'이라고 지칭하기로 한다)이 표시될 수 있다. 장면 자막의 경우, 주로 영상 내 하단에 위치하며 장면이 바뀔 때마다 변경되어서 표시될 수 있다.
자막 변화량 도출부(130)는 전술한 자막 중에서 섹션 자막에 대한 자막 변화량(이하에서 자막 변화량은 '섹션 자막'에 대한 자막 변화량을 지칭하는 것으로 전제한다)을 도출한다. 이하에서는 자막 변화량을 도출하는 과정에 대해 보다 자세하게 살펴보기로 한다.
먼저, 자막 변화량 도출부(130)는 영상 상에서 섹션 자막의 영역을 선정한다. 예컨대 자막 변화량 도출부(130)는 메인 자막이 복수 개의 프레임 상에서 표시되는 위치를 인식하고, 이렇게 인식된 위치를 기초로 섹션 자막의 영역을 선정한다. 이 때 섹션 자막이 직사각형 형상의 영역 내에 표시된다고 가정한다면, 이러한 직사각형 형상의 가로 길이와 세로 길이는, 섹션 자막이 표시되는 직사각형 형상에 대한 통계적 분포에 근거해서 결정될 수 있다.
이어서, 자막 변화량 도출부(130)는 이렇게 선정된 영역을 기준으로, 복수 개의 프레임에 걸쳐서 자막 변화량을 도출한다. 이 때 자막 변화량 도출부(130)는 복수 개의 프레임 중 서로 인접해있는 모든 프레임에 대해 자막 변화량을 도출할 수 있다.
복수 개의 프레임 중 서로 인접해있는 프레임에 대해 자막 변화량을 도출하는 과정에서, 자막 변화량 도출부(130)는 전술한 영역에 대해 텍스트 영역의 변화량, RGB 변화량 및 에지 변화량 중 어느 하나를 산출한 뒤, 이렇게 산출된 변화량 중 어느 하나를 자막 변화량으로서 도출할 수 있다.
이 중 텍스트 영역의 변화량을 산출하는 과정에 대해 살펴보기로 한다. 먼저 MSER(Maximally Stable Extremal Regions) 알고리즘을 이용하여서, 전술한 영역 내의 구성(Connected Component, CC)을 복수 개의 프레임 각각으로부터 추출하는 단계가 수행된다. 이 후, 이러한 구성 중 기 설정된 이격 거리 이내에 있는 구성을 선별하는 단계가 수행된다. 즉, 기 설정된 이격 거리보다 멀리 떨어져있는 구성은 제외된다. 이 때 이격 거리는 CC 간의 수평 또는 수직 이격 거리가 고려될 수 있다. 이 후, 복수 개의 프레임 중 서로 인접해있는 프레임에 걸쳐서, 앞서 선별된 구성 간의 변화량이 산출된다. 이렇게 산출된 변화량은 서로 인접해있는 프레임에 대한 자막 변화량으로서 도출된다.
섹션 구분 프레임 선정부(140)는, 자막 변화량 도출부(130)가 도출한 복수 개의 프레임 간에 대한 자막 변화량을 기초로, 이러한 복수 개의 프레임 중에서 섹션 구분 프레임을 선정한다. 예컨대 인접한 프레임 쌍에 대해 도출된 자막 변화량이 임계치를 넘으면, 섹션 구분 프레임 선정부(140)는 이러한 인접한 프레임 쌍을 구성하는 프레임 중 어느 하나를 섹션 구분 프레임으로 선정할 수 있다. 물론 섹션 구분 프레임 선정부(140)가 섹션 구분 프레임을 선정하는 방식이 이에 한정되는 것은 아니다.
섹션 정보 생성부(150)는 섹션 구분 프레임 선정부(140)가 선정한 섹션 구분 프레임을 기준으로 영상을 복수 개의 섹션으로 구분짓는다. 즉, 섹션 구분 프레임을 기준으로 보면, 섹션 구분 프레임보다 (시간상) 이전에 인접 위치한 프레임이 속한 섹션은 섹션 구분 프레임보다 (시간상) 이후에 인접 위치한 프레임이 속한 섹션과 상이하게 된다.
또한 섹션 정보 생성부(150)는 이렇게 구분지어진 섹션에 대한 섹션 정보를 복수 개의 섹션 각각에 대해 생성한다. 여기서 섹션 정보는 각 섹션의 시작 시간, 종료 시간, 각 섹션을 대표하는 대표 자막 및 대표 이미지 중 적어도 하나를 포함할 수 있다.
이 중 대표 자막은 각 섹션을 구성하는 적어도 하나의 프레임을 대상으로 최고 빈도로 등장하는 섹션 자막일 수 있으며 다만 이에 한정되는 것은 아니다. 아울러 대표 이미지는 각 섹션의 시작 시간에 해당하는 프레임에 해당하는 이미지일 수 있으며 다만 이에 한정되는 것은 아니다.
섹션 정보 생성부(150)가 생성한 복수 개의 섹션 각각에 대한 섹션 정보는 도 2에는 도시되어 있지 않지만 섹션 정보 생성 장치(100)에 별도로 구비된 통신부를 통해 영상 제공 장치(200) 또는 재생 장치(300)에게 전달될 수 있다.
이상에서 살펴본 바와 같이, 제1 실시예에 따르면 영상은 해당 영상에 포함된 섹션 자막을 기초로 복수 개의 섹션으로 구분될 수 있다. 아울러 시청자는 이렇게 구분된 각각의 섹션에 대한 섹션 정보, 예컨대 각 섹션의 내용 유추를 가능하게 해주는 대표 자막이나 대표 이미지, 각 섹션의 시작 시간이나 종료 시간 등에 대한 정보를 제공받을 수 있다.
즉, 시청자는 영상에 포함되는 섹션 정보를 이용해서, 재생 장치에서 재생 중인 또는 재생 예정인 영상을 구성하는 섹션에는 어떠한 것들이 있는지를 파악할 수 있고 또한 각각의 섹션이 언제 시작하고 언제 끝나는지를 파악할 수 있다. 아울러, 시청자는 이러한 섹션 정보 중 어느 하나를 선택하는 행위를 통해 선택된 섹션만을 시청할 수도 있다. 뿐만 아니라 시청자는 이러한 섹션 정보를 키워드로 하여 검색을 수행함으로써, 수많은 영상 중 키워드에 매칭되는 섹션만을 획득해서 시청할 수도 있다.
도 3은 제1 실시예에 따른 섹션 정보 생성 장치(100)에서의 동작 흐름을 설명하기 위한 순서도이다. 다만 도 3의 순서도는 예시적인 것에 불과하므로, 섹션 정보 생성 장치(100)가 도 3에 도시된 순서도에 따라 동작하는 것으로 한정 해석되지는 않는다.
도 3을 참조하면, 자막 변화량 도출부(130)는 영상에 포함된 복수 개의 프레임 간의 자막 변화량을 도출한다(S100). 여기서 자막 변화량은 섹션 자막에 대한 변화량임은 전술한 바와 같다. 이하에서 보다 구체적으로 살펴보기로 한다.
먼저, 자막 변화량 도출부(130)는 영상에서 섹션 자막의 영역을 선정한다. 예컨대 자막 변화량 도출부(130)는 메인 자막이 복수 개의 프레임 상에서 표시되는 위치를 인식하고, 이렇게 인식된 위치를 기초로 섹션 자막의 영역을 선정한다. 이 때 섹션 자막이 직사각형 형상의 영역 내에 표시된다고 가정한다면, 이러한 직사각형 형상의 가로 길이와 세로 길이는, 섹션 자막이 표시되는 직사각형 형상에 대한 통계적 분포에 근거해서 결정될 수 있다.
여기서 자막 변화량 도출부(130)가 메인 자막에 대해 인식된 위치를 기초로 섹션 자막의 영역을 선정하는 이유는, 도 4에 도시된 바와 같이 영상에 포함된 프레임(20)을 살펴보면, 통상적으로 메인 자막(21)의 우측에 섹션 자막(22)이 위치한다는 것에 근거한 것이다.
이어서, 자막 변화량 도출부(130)는 이렇게 선정된 영역을 기준으로, 복수 개의 프레임에 걸쳐서 자막 변화량을 도출한다. 이 때 자막 변화량이 도출되는 프레임은 복수 개의 프레임 중 서로 인접해있는 모든 프레임일 수 있다.
복수 개의 프레임 중 서로 인접해있는 프레임에 대해 자막 변화량을 도출하는 과정에서, 자막 변화량 도출부(130)는 전술한 영역에 대해 텍스트 영역의 변화량, RGB 변화량 및 에지 변화량 중 어느 하나를 산출한 뒤, 이렇게 산출된 변화량 중 어느 하나를 자막 변화량으로서 도출할 수 있다.
이 중 텍스트 영역의 변화량을 산출하는 과정에 대해 살펴보기로 한다. 먼저 MSER(Maximally Stable Extremal Regions) 알고리즘을 이용하여서, 전술한 영역 내의 구성(Connected Component, CC)을 복수 개의 프레임 각각으로부터 추출하는 단계가 수행된다. 이 후, 이러한 구성 중 기 설정된 이격 거리 이내에 있는 구성을 선별하는 단계가 수행된다. 즉, 기 설정된 이격 거리보다 멀리 떨어져있는 구성은 제외된다. 이 때 이격 거리는 CC 간의 수평 또는 수직 이격 거리가 고려될 수 있다. 이 후, 복수 개의 프레임 중 서로 인접해있는 프레임에 걸쳐서, 앞서 선별된 구성 간의 변화량이 산출된다. 이렇게 산출된 변화량은 서로 인접해있는 프레임에 대한 자막 변화량으로서 도출된다.
다음으로, 자막 변화량 도출부(130)가 도출한 복수 개의 프레임 간에 대한 자막 변화량을 기초로, 섹션 구분 프레임 선정부(140)가 이러한 복수 개의 프레임 중에서 섹션 구분 프레임을 선정하는 단계가 수행된다(S110). 예컨대 인접한 프레임 쌍에 대해 도출된 자막 변화량이 임계치를 넘으면, 섹션 구분 프레임 선정부(140)는 이러한 인접한 프레임 쌍을 구성하는 프레임 중 어느 하나를 섹션 구분 프레임으로 선정할 수 있다. 섹션 구분 프레임을 선정하는 예시는 도 5에 도시되어 있다.
도 5를 참조하면, 복수 개의 프레임(20 내지 80)이 시간 순서대로 위치해 있다. 복수 개의 프레임 중 식별번호 20과 30 사이에서 섹션 자막이 바뀌고, 식별번호 50과 60 사이에서 섹션 자막이 바뀐다. 이렇게 섹션 자막이 바뀌면 자막 변화량 또한 소정의 임계치 이상의 값을 가질 수 있다. 이 경우 섹션 구분 프레임 선정부(140)는 복수 개의 프레임 중 식별번호 20과 30 중 어느 하나 그리고 식별번호 50과 60 중 어느 하나의 프레임을 섹션 구분 프레임으로 선정할 수 있다. 물론 섹션 구분 프레임 선정부(140)가 섹션 구분 프레임을 선정하는 방식이 이에 한정되는 것은 아니다.
다음으로, 섹션 구분 프레임 선정부(140)가 선정한 섹션 구분 프레임을 기준으로, 섹션 정보 생성부(150)가 영상을 복수 개의 섹션으로 구분짓는 단계가 수행된다(S120). 즉, 섹션 구분 프레임을 기준으로 보면, 섹션 구분 프레임보다 (시간상) 이전에 인접 위치한 프레임이 속한 섹션은 섹션 구분 프레임보다 (시간상) 이후에 인접 위치한 프레임이 속한 섹션과 상이하게 된다.
다음으로, 섹션 정보 생성부(150)가 단계 S120에서 구분지어진 섹션에 대한 섹션 정보를 복수 개의 섹션 각각에 대해 생성하는 단계가 수행된다(S130). 여기서 섹션 정보는 각 섹션의 시작 시간, 종료 시간, 각 섹션을 대표하는 대표 자막 및 대표 이미지 중 적어도 하나를 포함할 수 있다. 또한, 대표 자막은 각 섹션을 구성하는 적어도 하나의 프레임을 대상으로 최고 빈도로 등장하는 섹션 자막일 수 있으며 다만 이에 한정되는 것은 아니다.
다음으로, 단계 S130에서 생성된 복수 개의 섹션 각각에 대한 섹션 정보가 영상이 제공되는 객체인 재생 장치(300)에게 전달되도록, 예컨대 재생 장치(300)에게 직접 전달되거나 영상 제공 장치(200)를 경유해서 영상과 함께 재생 장치(300)에게 전달되도록 제어되는 단계가 수행된다(S140).
이상에서 살펴본 바와 같이, 제1 실시예에 따르면 영상은 해당 영상에 포함된 섹션 자막을 기초로 복수 개의 섹션으로 구분될 수 있다. 아울러 시청자는 이렇게 구분된 각각의 섹션에 대한 섹션 정보, 예컨대 각 섹션의 내용 유추를 가능하게 해주는 대표 자막이나 대표 이미지, 각 섹션의 시작 시간이나 종료 시간 등에 대한 정보를 제공받을 수 있다.
즉, 시청자는 이러한 섹션 정보를 이용해서, 재생 장치에서 재생 중인 또는 재생 예정인 영상을 구성하는 각각의 섹션에 대한 내용을 파악할 수 있고 각각의 섹션이 언제 시작하고 언제 끝나는지를 파악할 수 있다. 아울러, 시청자는 이러한 섹션 정보 중 어느 하나를 선택하는 행위를 통해 선택된 섹션만을 시청할 수도 있다. 뿐만 아니라 시청자는 이러한 섹션 정보를 키워드로 하여 검색을 수행함으로써, 수많은 영상 중 키워드에 매칭되는 섹션만을 획득해서 시청할 수도 있다.
한편, 이하에서는 제2 실시예에 대해 살펴보기로 한다.
<제2 실시예>
도 6은 제2 실시예에 따른 영상 제공 시스템(20)에 대한 개략적인 구성도이다. 도 6을 참조하면 영상 제공 시스템(20)은 섹션 정보 생성 장치(1100), 영상 제공 장치(200) 및 재생 장치(300)를 포함한다.
여기서, 영상 제공 장치(200)와 재생 장치(300)는 도 1에 도시된 것과 동일한 구성이다. 따라서 이들에 대한 설명은 도 1에서의 설명을 원용하기로 한다.
아울러, 섹션 정보 생성 장치(1100)는 도 1에 도시된 섹션 정보 장치(100)와 마찬가지로 영상 제공 장치(200)로부터 영상을 제공받아서 섹션 정보를 추출한 뒤, 추출된 섹션 정보가 재생 장치(300)에게 제공되도록 할 수 있다.
즉, 제2 실시예에 따르는 경우에도 제1 실시예에 마찬가지로 시청자는 섹션 정보를 이용해서, 재생 장치에서 재생 중인 또는 재생 예정인 영상을 구성하는 섹션에는 어떠한 것들이 있는지를 파악할 수 있고 또한 각각의 섹션이 언제 시작하고 언제 끝나는지를 파악할 수 있다.
이하에서는 전술한 섹션 정보를 생성 및 제공하는 섹션 정보 생성 장치(1100)에 대해 보다 자세하게 살펴보기로 한다.
도 7는 제2 실시예에 따른 섹션 정보 생성 장치(1100)에 대한 개략적인 구성도이다. 도 7을 참조하면, 섹션 정보 정보 생성 장치(1100)는 저장부(1120), 샘플링부(1115), 제1 자막 변화량 도출부(1130), 임시 프레임 선정부(1131), 제2 자막 변화량 도출부(1132), 섹션 구분 프레임 선정부(1140) 및 섹션 정보 생성부(1150)를 포함하며, 다만 섹션 정보 생성 장치(1100)의 구성이 도 7에 도시된 것으로 한정 해석되는 것은 아니다.
이 중 저장부(1120)는 도 2에 도시된 것과 동일한 구성이다. 따라서 이에 대한 설명은 도 2에서의 설명을 원용하기로 한다.
아울러, 샘플링부(1115), 제1 자막 변화량 도출부(1130), 임시 프레임 선정부(1131), 제2 자막 변화량 도출부(1132), 섹션 구분 프레임 선정부(1140) 및 섹션 정보 생성부(1150) 각각은 프로세서에 의해 실행되는 소프트웨어 모듈이나 하드웨어 모듈 형태로 구현되거나 또는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로 구현될 수 있다.
이 중 샘플링부(1115)는 영상에 포함된 프레임 중 일부의 프레임을 샘플링한다. 이 때 샘플링 레이트(rate)는 섹션 정보 생성 장치(1100)에 포함된 각 구성의 프로세싱 속도 또는 영상을 복수 개의 섹션으로 구분지을 때의 정밀도 등을 기초로 결정될 수 있다. 한편, 샘플링부(1115)는 샘플링된 프레임 사이에 적어도 하나의 프레임이 포함되도록 샘플링할 수 있다.
제1 자막 변화량 도출부(1130)는 샘플링된 프레임 중 인접해있는 프레임들(이하에서는 인접해있는 프레임들을 '인접한 프레임 쌍'이라고 지칭하기로 함)에 대해서 프레임 간의 제1 자막 변화량을 도출한다. 여기서 '샘플링된 프레임 중 인접한 프레임 쌍'이란, 영상에 포함된 복수 개의 프레임들을 시간 순서대로 나열했을 때를 기준으로 보면 인접해있지 않고 이격되어 있지만, 샘플링된 프레임들을 시간 순서대로 나열했을 때를 기준으로 보면 인접해있는 프레임들을 지칭한다.
한편, 인접한 프레임 쌍에 대해 프레임 간의 제1 자막 변화량을 도출하는 과정은 도 2에 도시된 자막 변화량 도출부(130)가 복수 개의 프레임 중 서로 인접해있는 프레임 간의 자막 변화량을 도출하는 과정과 동일하므로, 해당 부분에 대한 설명을 원용하기로 한다.
임시 프레임 선정부(1131)는 상기 제1 자막 변화량을 기초로, 상기 인접한 프레임 쌍 중 임시 프레임 쌍을 적어도 한 쌍 이상 선정한다. 예컨대 임시 프레임 선정부(1131)는 제1 자막 변화량 도출부(1130)가 도출한 제1 자막 변화량이 소정의 임계치 이상인 인접한 프레임 쌍을 임시 프레임 쌍으로서 선정할 수 있으며, 다만 선정 방식이 이에 한정되는 것은 아니다.
제2 자막 변화량 도출부(1132)는 상기와 같이 선정된 임시 프레임 쌍 및 이러한 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 간의 제2 자막 변화량을 도출한다. 이러한 과정에 대해서 보다 구체적으로 살펴보기로 한다.
먼저, 임시 프레임 쌍이 복수 개 존재하고, 이들 임시 프레임 쌍 사이에는 다수의 프레임이 위치해있다고 하자.
제2 자막 변화량 도출부(1132)는 복수 개의 임시 프레임 쌍 각각에 대해 제2 자막 변화량을 도출한다. 이 때 제2 자막 변화량에 대한 도출 과정은 제1 자막 변화량 도출부(1130)가 제1 자막 변화량을 도출하는 과정과 동일하므로, 해당 부분에 대한 설명을 원용하기로 한다.
도출된 제2 자막 변화량이 소정의 임계치 미만인 임시 프레임 쌍은 섹션 구분 프레임의 후보에서 제외된다. 반면 도출된 제2 자막 변화량이 소정의 임계치 이상인 임시 프레임 쌍은 섹션 구분 프레임의 후보로서 선정되고, 이렇게 후보로서 선정된 임시 프레임 쌍은 이하의 추가 과정의 수행 대상이 되는 바, 이하에서는 추가 과정에 대해 살펴보기로 한다.
<추가 과정>
추가 과정에 따르면, 제2 자막 변화량 도출부(1132)는, 전술한 후보로서 선정된 임시 프레임 쌍 사이에 있는 중간 프레임을 한 개 선택한다. 중간 프레임의 선택 과정에서, 후보로서 선정된 임시 프레임 쌍의 중간 또는 중간과 인접한 위치에 있는 프레임이 중간 프레임으로서 선택될 수 있다.
이 후 제2 자막 변화량 도출부(1132)는 후보로서 선정된 임시 프레임 쌍 중 어느 하나인 제1 임시 프레임과 중간 프레임 간에 제2 자막 변화량을 도출하고, 또한 임시 프레임 쌍 중 다른 하나인 제2 임시 프레임과 중간 프레임 간에 제2 자막 변화량을 도출한다.
임시 프레임과 중간 프레임의 조합 중에서, 도출된 제2 자막 변화량이 소정의 임계치 미만인 임시 프레임과 중간 프레임의 조합은 섹션 구분 프레임의 후보에서 제외된다. 반면 도출된 제2 자막 변화량이 소정의 임계치 이상인 임시 프레임과 중간 프레임의 조합은 섹션 구분 프레임의 후보로서 선정되며, 다시 한번 전술한 추가 과정이 수행된다.
이 때 전술한 추가 과정은, 임시 프레임과 중간 프레임의 조합에 대해 도출된 제2 자막 변화량이 소정의 임계치 이상인데, 이러한 임시 프레임과 중간 프레임이 서로 인접해 있는 경우에 중단된다. 이 경우 섹션 구분 프레임 선정부(1140)는 임시 프레임과 중간 프레임 중 어느 하나(예컨대 시간적으로 더 빠른 프레임)를 섹션 구분 프레임으로서 선정할 수 있다.
다음으로, 섹션 정보 생성부(1150)는 섹션 구분 프레임 선정부(1140)가 선정한 섹션 구분 프레임을 기준으로 영상을 복수 개의 섹션으로 구분짓는다. 이 때 이러한 섹션 정보 생성부(1150)는 도 2에 도시된 것과 동일한 구성이다. 따라서 이들에 대한 설명은 도 2에서의 설명을 원용하기로 한다.
이상에서 살펴본 바와 같이, 제2 실시예에 따르면 영상은 해당 영상에 포함된 섹션 자막을 기초로 복수 개의 섹션으로 구분될 수 있다. 아울러 시청자는 이렇게 구분된 각각의 섹션에 대한 섹션 정보, 예컨대 각 섹션의 내용 유추를 가능하게 해주는 대표 자막이나 대표 이미지, 각 섹션의 시작 시간이나 종료 시간 등에 대한 정보를 제공받을 수 있다.
즉, 시청자는 이러한 섹션 정보를 이용해서, 재생 장치에서 재생 중인 또는 재생 예정인 영상을 구성하는 각각의 섹션에 대한 내용을 파악할 수 있고 각각의 섹션이 언제 시작하고 언제 끝나는지를 파악할 수 있다.
도 8은 제2 실시예에 따른 섹션 정보 생성 장치(1100)에서의 동작 흐름을 설명하기 위한 순서도이다. 다만 도 8의 순서도는 예시적인 것에 불과하므로, 섹션 정보 생성 장치(1100)가 도 8에 도시된 순서도에 따라 동작하는 것으로 한정 해석되지는 않는다.
도 8을 참조하면, 샘플링부(1115)가 영상에 포함된 프레임 중 일부의 프레임을 샘플링하는 단계가 수행된다(S200). 이 때 샘플링 레이트(rate)는 섹션 정보 생성 장치(1100)에 포함된 각 구성의 프로세싱 속도 또는 영상을 복수 개의 섹션으로 구분지을 때의 정밀도 등을 기초로 결정될 수 있다. 한편, 샘플링부(1115)는 샘플링된 프레임 사이에 적어도 하나의 프레임이 포함되도록 샘플링할 수 있으며, 예컨대 샘플링된 프레임 사이에는 동일한 개수의 프레임이 포함되도록 샘플링할 수 있으나 이에 한정되는 것은 아니다.
다음으로, 샘플링된 프레임 중 인접한 프레임 쌍에 대해서, 제1 자막 변화량 도출부(1130)가 프레임 간의 제1 자막 변화량을 도출하는 단계가 수행된다(S210).
다음으로, 단계 S210에서 도출된 제1 자막 변화량을 기초로, 임시 프레임 선정부(1131)가 상기 인접한 프레임 쌍 중 임시 프레임 쌍을 적어도 한 쌍 이상 선정하는 단계가 수행된다(S220).
예컨대 임시 프레임 선정부(1131)는 제1 자막 변화량 도출부(1130)가 도출한 제1 자막 변화량이 소정의 임계치 이상인 인접한 프레임 쌍을 임시 프레임 쌍으로서 선정할 수 있으며, 다만 선정 방식이 이에 한정되는 것은 아니다.
다음으로, 단계 S220에서 선정된 임시 프레임 쌍 및 이러한 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 간의 제2 자막 변화량을 제2 자막 변화량 도출부(1132)가 도출하는 단계가 수행된다(S230). 이러한 과정에 대해서 보다 구체적으로 살펴보기로 한다.
먼저, 임시 프레임 쌍이 복수 개 존재하고, 이들 임시 프레임 쌍 사이에는 다수의 프레임이 위치해있다고 하자.
제2 자막 변화량 도출부(1132)는 복수 개의 임시 프레임 쌍 각각에 대해 제2 자막 변화량을 도출한다. 이 때 제2 자막 변화량에 대한 도출 과정은 제1 자막 변화량 도출부(1130)가 제1 자막 변화량을 도출하는 과정과 동일하므로, 해당 부분에 대한 설명을 원용하기로 한다.
도출된 제2 자막 변화량이 소정의 임계치 미만인 임시 프레임 쌍은 섹션 구분 프레임의 후보에서 제외된다. 반면 도출된 제2 자막 변화량이 소정의 임계치 이상인 임시 프레임 쌍은 섹션 구분 프레임의 후보로서 선정되고, 이렇게 후보로서 선정된 임시 프레임 쌍은 이하의 추가 과정의 수행 대상이 되는 바, 이하에서는 추가 과정에 대해 살펴보기로 한다.
<추가 과정>
추가 과정에 따르면, 제2 자막 변화량 도출부(1132)는, 전술한 후보로서 선정된 임시 프레임 쌍 사이에 있는 중간 프레임을 한 개 선택한다. 중간 프레임의 선택 과정에서, 후보로서 선정된 임시 프레임 쌍의 중간 또는 중간과 인접한 위치에 있는 프레임이 중간 프레임으로서 선택될 수 있다.
이 후 제2 자막 변화량 도출부(1132)는 후보로서 선정된 임시 프레임 쌍 중 어느 하나인 제1 임시 프레임과 중간 프레임 간에 제2 자막 변화량을 도출하고, 또한 임시 프레임 쌍 중 다른 하나인 제2 임시 프레임과 중간 프레임 간에 제2 자막 변화량을 도출한다.
임시 프레임과 중간 프레임의 조합 중에서, 도출된 제2 자막 변화량이 소정의 임계치 미만인 임시 프레임과 중간 프레임의 조합은 섹션 구분 프레임의 후보에서 제외된다. 반면 도출된 제2 자막 변화량이 소정의 임계치 이상인 임시 프레임과 중간 프레임의 조합은 섹션 구분 프레임의 후보로서 선정되며, 다시 한번 전술한 추가 과정이 수행된다.
이 때 전술한 추가 과정은, 임시 프레임과 중간 프레임의 조합에 대해 도출된 제2 자막 변화량이 소정의 임계치 이상인데, 이러한 임시 프레임과 중간 프레임이 서로 인접해 있는 경우에 중단된다. 이 경우 섹션 구분 프레임 선정부(1140)이 임시 프레임과 중간 프레임 중 어느 하나(예컨대 시간적으로 더 빠른 프레임)를 섹션 구분 프레임으로서 선정하는 단계가 수행될 수 있다(S240).
다음으로, 섹션 구분 프레임 선정부(1140)가 선정한 섹션 구분 프레임을 기준으로, 섹션 정보 생성부(1150가 영상을 복수 개의 섹션으로 구분짓는 단계가 수행된다(S250).
다음으로, 섹션 정보 생성부(1150)가 단계 S250에서 구분지어진 섹션에 대한 섹션 정보를 복수 개의 섹션 각각에 대해 생성하는 단계가 수행된다(S260).
마지막으로, 단계 S260에서 생성된 복수 개의 섹션 각각에 대한 섹션 정보가 영상이 제공되는 객체인 재생 장치(300)에게 전달되도록, 예컨대 재생 장치(300)에게 직접 전달되거나 영상 제공 장치(200)를 경유해서 영상과 함께 재생 장치(300)에게 전달되도록 제어되는 단계가 수행된다(S270).
한편, 섹션 구분 프레임을 선정하기 위해서는 전술한 바와 같이 자막 변화량을 도출하는 과정이 수행되어야 한다. 이 때 자막 변화랑을 도출하는 과정에 대한 수행 횟수를, 제2 실시예에 따르는 경우와 그렇지 않은 경우를 비교해서 살펴보기로 한다.
이를 위해 먼저, 다음과 같이 전제하도록 한다. 영상에 포함된 프레임 중 일부의 프레임이 샘플링된다. 이 때 샘플링된 프레임과 프레임 사이에는 2N(단, N은 0 이상의 정수)개의 구간(구간이란, 인접한 프레임 사이에 존재하는 간격을 의미)이 포함되도록 샘플링될 수 있다. 아울러, 영상은 이렇게 샘플링된 프레임에 의해 M(단, M은 2 이상의 자연수)개의 영역으로 구분될 수 있다.
이 경우 영상에 포함된 구간의 전체 개수(즉, 영상의 전체 길이)는 M * 2N 개가 된다. 또한, 이러한 영상은 K(단, K는 2이상의 자연수)개의 섹션을 갖는다고 전제하도록 한다.
<제1 경우> 제1 경우는, 영상의 모든 프레임에 대해 자막 변화량을 도출함으로써 섹션 구분 프레임을 선정하는 경우이다. 이러한 제1 경우에서는, 아래의 수학식 1에서 계산된 횟수만큼 자막 변화량의 도출 과정이 수행될 수 있다.
[수학식 1]
P = 2N * M (여기서 P는 제1 경우에서 자막 변화량의 도출 과정에 대한 수행 횟수)
<제2 경우> 제2 경우는 제2 실시예에 따라 자막 변화량을 도출하는 경우이다. 즉, 영상에 포함된 프레임을 샘플링하고, 샘플링된 프레임 중에서 임시 프레임 쌍을 선정하며, 임시 프레임 쌍 중에서 섹션 구분 프레임 후보를 선정한 뒤, 섹션 구분 프레임 후보 중에서 섹션 구분 프레임을 선정하는 경우이다. 이러한 제2 경우에서는, 아래의 수학식 2에서 계산된 횟수만큼 자막 변화량의 도출 과정이 수행될 수 있다.
[수학식 2]
Q = (2 * N) * (K-1) + M (여기서 Q는 제2 경우에서 자막 변화량의 도출 과정에 대한 수행 횟수)
이하에서는 이러한 수학식 1과 수학식 2를 이용하여서, 제1 경우와 제2 경우 각각에서 자막 변화랑을 도출하는 과정이 수행되어야 하는 횟수를 임의의 경우를 가정해서 계산해보기로 한다.
우선 9개의 섹션(K=9)으로 구분 가능한 영상이 있고, 이러한 영상의 길이가 3,584초(약 1시간 분량 길이)이고 초당 30프레임이라고 가정하자. 이 경우 영상에는 전술한 구간이 총 107,520(=3,584*30)개가 포함된다.
아울러, 이러한 영상에 대해 샘플링을 수행하되, 샘플링된 프레임과 프레임 사이에 210(N=10)개의 구간이 포함되도록, 따라서 1개의 영역의 길이가 약 34초(≒210/30)가 되도록 샘플링한다고 가정하자. 이 경우 영상은 105개(=107,520/210)의 영역으로 구분될 수 있다. 즉, M=105이다.
먼저, 제1 경우에 따라 자막 변화량의 도출 과정이 수행되어야 하는 횟수를 해당 영상 전체에 대해 수학식 1을 기초로 계산하면, 총 107,520 (=210*105)번이다.
반면, 제2 경우에 따라 자막 변화량의 도출 과정이 수행되어야 하는 횟수를 해당 영상 전체에 대해 수학식 2를 기초로 계산하면, 총 265번(=105+(2*10)*8)번이다. 제2 경우에 따른 횟수 265번은 제1 경우에 따른 횟수 107,520번의 약 0.25%수준이다.
즉, 자막 변화량의 도출 과정이 수행되어야 하는 횟수는, 제2 실시예에 따르는 경우(제2 경우)가 그렇지 않은 경우(제1 경우)에 비해 상대적으로 적게 된다.
이하에서는 도 9에 도시된 17개의 프레임(즉, 16개의 구간)에 대해서만, 제2 실시예에 따라 섹션 구분 프레임을 선정해서 섹션을 구분짓는 과정에 대해 살펴보기로 한다.
도 9의 (1)에는 17개의 프레임 중 임시 프레임 쌍을 구성하는 프레임이 체크 표시에 의해 식별되어 있다.
(2)에는 임시 프레임 쌍 사이에 위치한 프레임이 중간 프레임으로서 선택되었으며, 이렇게 선택된 중간 프레임 역시 체크 표시에 의해 식별되어 있다. 제2 자막 변화량 도출부(1132)가 이러한 임시 프레임과 중간 프레임의 조합에 대해 추가 과정을 수행하면, 즉 제2 자막 변화량을 도출하면, (3)에서 체크 표시의 의해 식별된 임시 프레임과 중간 프레임의 조합만이 다시 추가 과정의 대상이 된다.
(3)에서 추가 과정의 대상이 되는 임시 프레임과 중간 프레임의 조합에 대해 추가 과정을 반복적으로 수행하되, 도출된 제2 자막 변화량이 소정의 임계치 이상이면서 이 때의 임시 프레임과 중간 프레임이 인접한 프레임인 경우, (7)과 같이 추가 과정은 중단된다. 이 후 섹션 구분 프레임이 선정되고 이에 따라 (8)에서와 같이 영상은 복수 개의 섹션으로 구분될 수 있다.
도 10은 제1 실시예 또는 제2 실시예에 의하여 재생 장치(300)에서 영상 및 해당 영상에 대한 섹션 정보가 표시되는 예시적으로 도시하고 있다. 도 10을 참조하면, 음악 방송에 여러 명의 가수가 시간을 두고 출현할 때, 섹션 정보로서 어떤 가수가 해당 음악 방송의 언제 나오는지가 섹션 정보로서 제공될 수 있다.
도 11은 도 1에 도시된 영상 제공 시스템(10)에서 수행 가능한 영상 생성 방법에 대한 절차를 도시하고 있다. 다만 도 11은 예시적인 것에 불과하다
도 11을 도 1과 함께 참조하여 살펴보기로 한다.
시청자는 재생 장치(300)를 통해 시청하고자 하는 영상을 선택한다(S300).
그러면 선택된 영상에 대한 정보, 예컨대 영상 ID가 영상 제공 장치(200)에게 전달된다(S310).
이 경우 영상 제공 장치(200)는 단계 S310에서 전달받은 정보에 대응되는 영상을 재생 장치(300)에게 제공한다. 이로서 시청자는 재생 장치(300)를 통해 단계 S300에서 선택한 영상을 시청할 수 있다.
이 때 시청자는 섹션 정보를 선택하기를 원할 수 있다. 예컨대 시청자는 현재 시정 중인 영상 중 특정 섹션에 대한 정보를 받아본 뒤 해당 섹션만을 시청하고 싶을 수가 있다. 이 경우 시청자는 재생 장치(300)를 통해 시청 중인 영상에 대한 섹션 정보가 필요하다고 선택한다(S330). 그러면 재생 장치(300)는 섹션 정보 생성 장치(300)에게 현재 재생 장치(300)를 통해 재생 중인 영상에 대한 섹션 정보를 요청한다(S340). 요청에 따라 섹션 정보 생성 장치(300)는 재생 장치(300)에게 섹션 정보를 제공한다(S350).
그러면 재생 장치(300)는 제공받은 섹션 정보를 표시한다(S360). 시청자는 표시된 섹션 정보를 토대로, 원하는 섹션을 재생 장치(300)를 통해 선택한다(S370).
그러면 선택된 섹션 정보가 재생 장치(300)로부터 영상 제공 장치(200)에게 전달되고(S380), 영상 제공 장치(200)는 단계 S380에서 전달받은 섹션 정보에 매칭되는 섹션을 재생 장치(300)에게 제공한다(S390). 따라서 시청자는 원하는 섹션만을 재생 장치(300)를 통해 시청할 수 있게 된다.
한편, 도 11에 도시된 것과는 달리 시청자는 재생 장치(300)를 통해 수많은 영상에 포함된 섹션 중에서 키워드를 통해 원하는 섹션을 검색할 수 있다. 예컨대 시청자가 재생 장치(300)를 통해 입력한 키워드가 섹션 정보 생성 장치(300)에게 제공되면, 섹션 정보 생성 장치(300)는 자신이 갖고 있는 섹션 정보 중에서 키워드와 매칭되는 섹션 정보를 검색한 뒤, 일치하는 섹션 정보를 영상 제공 장치(200)에게 전달할 수 있다. 그러면 영상 제공 장치(200)는 섹션 정보 생성 장치(300)로부터 전달받은 섹션 정보에 매칭되는 섹션을 선별해서 재생 장치(300)에게 제공할 수 있다. 이를 통해 시청자는 수많은 동영상에 포함된 섹션 중에서 자신이 원하는 섹션만을 획득해서 시청할 수도 있다.
한편, 전술한 방법에 관한 발명은, 이러한 방법에 포함된 각각의 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체의 형태 또는 컴퓨터 판독가능한 기록매체에 저장된, 해당 방법에 포함된 각 단계를 수행하도록 프로그램된 컴퓨터 프로그램의 형태로 실시될 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 시청자는 영상에 포함되는 섹션 정보를 이용해서, 재생 장치에서 재생 중인 또는 재생 예정인 영상을 구성하는 섹션에는 어떠한 것들이 있는지를 파악할 수 있고 또한 각각의 섹션이 언제 시작하고 언제 끝나는지를 파악할 수 있다. 아울러, 시청자는 이러한 섹션 정보 중 어느 하나를 선택하는 행위를 통해 선택된 섹션만을 시청할 수도 있다. 뿐만 아니라 시청자는 이러한 섹션 정보를 키워드로 하여 검색을 수행함으로써, 수많은 영상 중 키워드에 매칭되는 섹션만을 획득해서 시청할 수도 있다.
100: 섹션 정보 생성 장치
200: 영상 제공 장치

Claims (15)

  1. 영상에 포함된 복수 개의 프레임 간의 자막 변화량을 도출하는 자막 변화량 도출부와,
    상기 자막 변화량을 기초로 상기 복수 개의 프레임 중에서 섹션 구분 프레임을 선정하는 섹션 구분 프레임 선정부와,
    상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓고, 상기 복수 개의 섹션 각각으로부터 상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 섹션 정보 생성부를 포함하며,
    상기 자막 변화량 도출부는,
    상기 영상의 재생 중에는 자막이 변경되지 않는 메인 자막의 표시 영역을 식별하고, 상기 메인 자막의 표시 영역을 기준으로 소정 방향에 위치한 섹션 자막의 표시 영역을 선정한 뒤, 상기 섹션 자막의 표시 영역에서 표시되는 섹션 자막의 변화량을 상기 복수 개의 프레임 간의 상기 자막 변화량으로서 도출하는
    섹션 정보 생성 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 자막 변화량 도출부는,
    상기 복수 개의 프레임 각각에서 상기 소정의 영역에 있는 구성 중,
    기 설정된 거리 이내에 있는 구성을 대상으로 상기 자막 변화량을 도출하는
    섹션 정보 생성 장치.
  4. 제 1 항에 있어서,
    상기 자막 변화량 도출부는,
    상기 복수 개의 프레임 간의 텍스트 영역의 변화량, RGB 변화량 및 에지 변화량 중 적어도 하나를 기초로 상기 자막 변화량을 도출하는
    섹션 정보 생성 장치.
  5. 제 1 항에 있어서,
    상기 섹션 정보는,
    상기 복수 개의 섹션 각각에 대한 시작 시간, 종료 시간, 상기 복수 개의 섹션 각각에 포함된 프레임으로부터 추출된, 상기 복수 개의 섹션 각각을 대표하는 대표 자막 및 대표 이미지 중 적어도 하나를 포함하는
    섹션 정보 생성 장치.
  6. 제 5 항에 있어서,
    상기 섹션 정보 생성부는,
    해당 섹션을 구성하는 적어도 하나의 프레임을 대상으로 최고 빈도로 등장하는 자막을 상기 해당 섹션에 대한 대표 자막으로서 생성추출하는
    섹션 정보 생성 장치.
  7. 영상에 포함된 프레임 중에서, 프레임과 프레임 사이에 적어도 하나의 프레임이 포함되도록 샘플링하는 샘플링부와,
    상기 샘플링된 프레임 중 인접한 프레임 쌍(pair)에 대해서 프레임 간의 제1 자막 변화량을 도출하는 제1 자막 변화량 도출부와,
    상기 제1 자막 변화량을 기초로 상기 인접한 프레임 쌍 중 임시 프레임 쌍을 선정하는 임시 프레임 선정부와,
    상기 임시 프레임 쌍 및 상기 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 간의 제2 자막 변화량을 도출하는 제2 자막 변화량 도출부와,
    상기 제2 자막 변화량을 기초로 상기 임시 프레임 쌍 및 상기 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 중에서 섹션 구분 프레임을 선정하는 섹션 구분 프레임 선정부와,
    상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓고, 상기 복수 개의 섹션 각각으로부터 상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 섹션 정보 생성부를 포함하는
    섹션 정보 생성 장치.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제 7 항에 있어서,
    상기 임시 프레임 선정부는,
    상기 인접한 프레임 쌍 중에서 상기 제1 자막 변화량이 소정의 임계치 이상인 인접한 프레임 쌍을 상기 임시 프레임 쌍으로서 선정하는
    섹션 정보 생성 장치.
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제 7 항에 있어서,
    상기 섹션 구분 프레임 선정부는,
    상기 영상에 포함된 프레임 중에서 인접한 프레임에 대해 도출된 상기 제2 자막 변화량이 소정의 임계치 이상이면, 상기 인접한 프레임 중 어느 하나를 상기 섹션 구분 프레임으로서 선정하는
    섹션 정보 생성 장치.
  10. 섹션 정보 생성 장치가 수행하는 섹션 정보 생성 방법으로서,
    영상에 포함된 복수 개의 프레임 간의 자막 변화량을 도출하는 단계와,
    상기 자막 변화량을 기초로 상기 복수 개의 프레임 중에서 섹션 구분 프레임을 선정하는 단계와,
    상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓는 단계와,
    상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 단계를 포함하며,
    상기 자막 변화량을 도출하는 단계는,
    상기 영상의 재생 중에는 자막이 변경되지 않는 메인 자막의 표시 영역을 식별하고, 상기 메인 자막의 표시 영역을 기준으로 소정 방향에 위치한 섹션 자막의 표시 영역을 선정한 뒤, 상기 섹션 자막의 표시 영역에서 표시되는 섹션 자막의 변화량을 상기 복수 개의 프레임 간의 상기 자막 변화량으로서 도출하는
    섹션 정보 생성 방법.
  11. 섹션 정보 생성 장치가 수행하는 섹션 정보 생성 방법으로서,
    영상에 포함된 프레임 중에서, 프레임과 프레임 사이에 적어도 하나의 프레임이 포함되도록 샘플링하는 단계와,
    상기 샘플링된 프레임 중 인접한 프레임 쌍(pair)에 대해서 프레임 간의 제1 자막 변화량을 도출하는 단계와,
    상기 제1 자막 변화량을 기초로 상기 인접한 프레임 쌍 중 임시 프레임 쌍을 선정하는 단계와,
    상기 임시 프레임 쌍 및 상기 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 간의 제2 자막 변화량을 도출하는 단계와,
    상기 제2 자막 변화량을 기초로 상기 임시 프레임 쌍 및 상기 임시 프레임 쌍 사이에 위치한 적어도 하나의 프레임 중에서 섹션 구분 프레임을 선정하는 단계와,
    상기 섹션 구분 프레임을 기준으로 상기 영상을 복수 개의 섹션으로 구분짓는 단계와,
    상기 복수 개의 섹션 각각에 대한 섹션 정보를 생성하는 단계를 포함하는
    섹션 정보 생성 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제 10 항에 따른 섹션 정보 생성 방법의 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.
  13. 제 10 항에 따른 섹션 정보 생성 방법의 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11 항에 따른 섹션 정보 생성 방법의 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.
  15. 제 11 항에 따른 섹션 정보 생성 방법의 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190017856A 2019-02-15 2019-02-15 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법 KR102161705B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190017856A KR102161705B1 (ko) 2019-02-15 2019-02-15 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190017856A KR102161705B1 (ko) 2019-02-15 2019-02-15 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법

Publications (2)

Publication Number Publication Date
KR20200099799A KR20200099799A (ko) 2020-08-25
KR102161705B1 true KR102161705B1 (ko) 2020-10-06

Family

ID=72292750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190017856A KR102161705B1 (ko) 2019-02-15 2019-02-15 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법

Country Status (1)

Country Link
KR (1) KR102161705B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274216A (ja) * 2003-03-06 2004-09-30 Sharp Corp 動画像データ分割装置
JP2010109852A (ja) * 2008-10-31 2010-05-13 Hitachi Ltd 映像インデクシング方法、映像録画再生装置、及び映像再生装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732359B1 (ko) * 2015-06-12 2017-05-10 주식회사 셀바스에이아이 이미지 내의 텍스트를 검출하는 방법 및 장치
KR101822443B1 (ko) 2016-09-19 2018-01-30 서강대학교산학협력단 샷 경계 및 자막을 이용한 동영상 축약 방법 및 처리 장치
KR102018295B1 (ko) * 2017-06-14 2019-09-05 주식회사 핀인사이트 구간 영상 검색 및 제공 장치, 방법 및 컴퓨터-판독가능 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274216A (ja) * 2003-03-06 2004-09-30 Sharp Corp 動画像データ分割装置
JP2010109852A (ja) * 2008-10-31 2010-05-13 Hitachi Ltd 映像インデクシング方法、映像録画再生装置、及び映像再生装置

Also Published As

Publication number Publication date
KR20200099799A (ko) 2020-08-25

Similar Documents

Publication Publication Date Title
CN108024145B (zh) 视频推荐方法、装置、计算机设备和存储介质
KR101757878B1 (ko) 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
US9996612B2 (en) System and method for audio identification and metadata retrieval
CA2924065C (en) Content based video content segmentation
US11172272B2 (en) Determining video highlights and chaptering
EP3323245B1 (en) Detection of common media segments
KR20150083355A (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
KR101293301B1 (ko) 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법
US20110138418A1 (en) Apparatus and method for generating program summary information regarding broadcasting content, method of providing program summary information regarding broadcasting content, and broadcasting receiver
JP2005175523A (ja) 互換番組抽出方法，上位互換番組抽出方法及び上位互換番組抽出装置
JP2012015990A (ja) 映像処理装置及びその制御方法
US11989225B2 (en) Systems and methods for automatically generating supplemental content for a media asset based on a user&#39;s personal media collection
JP6601944B2 (ja) コンテンツ生成装置およびプログラム
CN107147824A (zh) 多视角视频的输出方法和装置
JP2004312208A (ja) 映像提示装置、映像提示方法及び映像提示プログラム
KR101536930B1 (ko) 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법
KR102161705B1 (ko) 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법
US10003854B2 (en) Method and system for content recording and indexing
US20130174207A1 (en) Apparatus for providing supplementary information of multimedia contents, recorded medium thereof, and personal storage device
US20120002944A1 (en) Replay control method and replay apparatus
JP6091552B2 (ja) 動画処理装置及び動画処理システム
US20170061215A1 (en) Clustering method using broadcast contents and broadcast related data and user terminal to perform the method
US20130302017A1 (en) Inter-video corresponding relationship display system and inter-video corresponding relationship display method
US20130314601A1 (en) Inter-video corresponding relationship display system and inter-video corresponding relationship display method
KR20150023492A (ko) 동기화된 영화 요약

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant