KR101536930B1 - 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법 - Google Patents

동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법 Download PDF

Info

Publication number
KR101536930B1
KR101536930B1 KR1020140001955A KR20140001955A KR101536930B1 KR 101536930 B1 KR101536930 B1 KR 101536930B1 KR 1020140001955 A KR1020140001955 A KR 1020140001955A KR 20140001955 A KR20140001955 A KR 20140001955A KR 101536930 B1 KR101536930 B1 KR 101536930B1
Authority
KR
South Korea
Prior art keywords
video
frames
moving picture
shot
image
Prior art date
Application number
KR1020140001955A
Other languages
English (en)
Inventor
차광호
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020140001955A priority Critical patent/KR101536930B1/ko
Application granted granted Critical
Publication of KR101536930B1 publication Critical patent/KR101536930B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

동영상 만화 서비스를 위해 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 요약 정보 서비스 방법이 개시된다. 동영상을 요약하는 방법에 있어서, 상기 동영상을 이루는 복수의 영상 프레임을 미리 설정된 기준에 따라 유사한 영상 프레임들의 집합인 동영상 샷(video shot) 단위로 분류하는 단계; 상기 분류된 각 동영상 샷의 대표 프레임을 추출하는 단계; 상기 추출된 각 대표 프레임의 크기를 결정하는 단계; 및 상기 결정된 크기에 따라 상기 대표 프레임들이 배치될 동영상 요약 화면을 생성하는 단계를 포함하는 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 정보 서비스 방법이 제공된다. 이로써, 사용자는 동영상을 시청하지 않고도 동영상의 전체 내용을 용이하게 파악할 수 있으며 요약된 전체 동영상에서 특정 부분만 선택적으로 제공받을 수 있다.

Description

동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법 {Method and Apparatus for Video Summarization and Video Comic Book Service using it or the method}
본 발명은 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 정보 서비스에 관한 것으로, 특히 동영상을 분할하고, 분할된 각 동영상 샷의 대표 장면을 중요도에 따라 크기를 조정하여 동영상의 내용을 한 번에 파악하고 원하는 부분만 선택적으로 시청할 수 있도록 하는 동영상 요약 방법 및 동영상 요약기, 그리고 이를 이용한 정보 서비스 방법에 관한 것이다.
최근 동영상 서비스 및 단말기의 기능이 나날이 발전함에 따라, 서비스의 편의성을 추구하는 사용자의 욕구 또한 커지고 있다. 즉, 사용자는 이제 더 이상 단순한 동영상의 재생만을 단말기에 요구하지 않고, 보다 다양한 부가 기능을 지원하는 동영상 서비스를 제공 받기를 원한다.
예로써, 동영상 요약 서비스가 있다. 상기 동영상 요약 서비스라 함은 바쁜 일상 속에 사용자가 수 시간에 이르는 동영상을 모두 시청할 시간이 없을 경우, 상기 동영상을 내용별로 구분하고, 구분된 각 동영상 조각(즉, 동영상 샷)의 요약 영상을 생성하여 사용자에게 제공하는 서비스를 의미한다. 이러한 동영상 요약 서비스는 출퇴근 시 등의 이동 중이나, 짧은 휴식 시간을 이용하여 자신의 휴대 단말기를 통해 동영상을 시청하는 바쁜 현대인의 일상에 적합하므로, 동영상 요약 서비스가 점차 확대될 것으로 예상한다.
동영상을 요약하는 종래의 방법은 다음과 같다. 동영상의 전체 시간을 균등하게 분할하여 각 시간 지점의 이미지를 샘플링하고 그 이미지를 차례로 썸네일(thumbnail) 이미지로 보여줌으로써 전체 동영상 내용을 간단히 보여주고 있다. 이는 사용자로 하여금 동영상 내부 특정 시점의 위치로 바로 가게 할 수 있는 효과는 있으나 동영상의 내용 요약 및 내부 정보를 한눈에 파악하기에는 비효과적이다.
따라서, 동영상을 그 내용을 바탕으로 분할하고, 분할된 각 동영상 샷을 대표하는 대표 프레임들을 통해 전체 동영상 내용을 요약해서 보여주고, 또한 그 중에서 원하는 내용의 부분만을 선별적으로 시청할 수 있는 동영상 요약 서비스가 필요하다.
- 공개특허공보 제10-2009-0006424호(2009.01.15) 동영상 요약 서비스 시스템 및 그 방법
본 발명은 상술한 필요에 의해서 안출된 것으로 동영상을 요약하는 방법 및 동영상 요약기를 제공한다.
또한, 본 발명은 동영상을 분할하고, 분할된 각 동영상 샷의 대표 프레임을 해당 동영상 샷의 중요도 또는 재생 시간에 비례하도록 대표 프레임의 크기를 조절하여, 동영상의 내용을 보다 용이하게 파악할 수 있도록 하는 동영상 요약 방법 및 동영상 요약기, 그리고 이를 이용한 정보 서비스를 제공한다.
또한, 본 발명은 동영상을 요약한 화면에 주석(caption)을 삽입하여 보다 효율적으로 동영상에 관한 요약 정보를 제공하고, 각 동영상 샷을 선택적으로 재생할 수 있도록 하는 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 정보 서비스를 제공한다.
본 발명이 제시하는 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 동영상을 요약하는 방법이 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 동영상을 요약하는 방법에 있어서, 상기 동영상을 이루는 복수의 영상 프레임을 미리 설정된 기준에 따라 동영상 샷 단위로 분류하는 단계; 상기 각 동영상 샷의 대표 프레임을 추출하는 단계; 상기 추출된 대표 프레임의 크기를 결정하는 단계; 및 상기 결정된 크기에 따라 상기 대표 프레임이 배치된 동영상 요약 화면을 생성하는 단계를 포함하는 동영상 요약 방법이 제공된다.
또한, 상기 동영상 샷 단위로 분류하는 단계는, 상기 동영상을 이루는 복수의 영상 프레임들로부터 각 샷을 형성하는 경계 부분을 검출하여 상기 동영상 샷 단위로 분류하는 단계인 동영상 요약 방법이 제공된다.
또한, 상기 동영상 샷 단위로 분류하는 단계는, 상기 동영상을 이루는 복수의 영상 프레임을 상기 동영상 샷 들을 형성하는 경계 부분을 검출하여 1차 분류한 후, 상기 분류된 동영상 샷들의 내용에 기반하여 상기 동영상 샷들의 집합을 2차 분류하는 단계인 동영상 요약 방법이 제공된다.
또한, 상기 동영상 샷의 경계 부분을 검출하는 방법은, 색상 히스토그램의 차이(color histogram difference), 움직임 벡터(motion vector)의 차이, 경계 변화율(edge change ratio) 등의 수치적 값에 따라 상기 동영상 샷의 경계 부분을 검출하는 것인 동영상 요약 방법이 제공된다.
또한, 상기 동영상 요약 화면에 표시된 각각의 상기 대표 프레임에 관한 정보를 입력하는 정보 입력 단계를 더 포함하는 동영상 요약 방법이 제공된다.
또한, 상기 동영상 요약 화면에 표시된 각각의 상기 대표 프레임을 선택받아, 상응하는 동영상 샷을 재생하는 단계를 더 포함하는 동영상 요약 방법이 제공된다.
또한, 상기 추출된 대표 프레임의 크기를 결정하는 단계에서, 상기 대표 프레임의 크기는 각 동영상 샷의 재생 시간 및 중요도 중 적어도 하나에 의해 결정되는 것인 동영상 요약 방법이 제공된다.
본 발명의 일 측면에 따르면, 동영상 요약기가 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 동영상을 이루는 복수의 영상 프레임으로부터 동영상 샷들의 경계 부분을 검출하여 동영상 샷들의 집합으로 분류하는 영상 분할부; 상기 각 동영상 샷의 대표 프레임을 추출하는 영상 추출부; 상기 추출된 대표 프레임의 크기를 결정하는 영상 편집부; 및 상기 결정된 크기에 따라 상기 대표 프레임을 배치하여 동영상 요약 화면을 표시하는 영상 표시부를 포함하는 동영상 요약기가 제공된다.
또한, 상기 동영상 요약 화면에 표시된 각각의 대표 프레임에 관한 정보를 입력하는 정보 입력부를 더 포함하는 동영상 요약기가 제공된다.
또한, 상기 동영상 요약 화면에 표시된 각각의 대표 프레임을 선택받아, 상응하는 동영상 샷을 재생하는 영상 재생부를 더 포함하는 동영상 요약기가 제공된다.
또한, 상기 영상 분할부는, 상기 동영상을 이루는 복수의 영상 프레임들로부터 각 샷의 경계 부분을 검출하여 상기 동영상 샷들의 집합으로 분류하는 것을 특징으로 하는 동영상 요약기가 제공된다.
또한, 상기 영상 분할부는, 상기 동영상을 이루는 복수의 영상 프레임을 상기 동영상 샷 들을 형성하는 경계 부분을 검출하여 1차 분류한 후, 상기 분류된 동영상 샷들의 내용에 기반하여 상기 분류한 동영상 샷들의 집합을 2차 분류하는 것을 특징으로 하는 동영상 요약기가 제공된다.
또한, 상기 영상 분할부는, 색상 히스토그램의 차이(color histogram difference), 움직임 벡터(motion vector)의 차이, 경계 변화율(edge change ratio) 등의 수치적 값에 따라 상기 동영상 샷의 경계부분을 검출하는 것을 특징으로 하는 동영상 요약기가 제공된다.
또한, 상기 영상 편집부는, 상기 대표 프레임의 크기를 각 동영상 샷의 재생 시간 및 중요도 중 적어도 하나에 의해 결정하는 것을 특징으로 하는 동영상 요약기가 제공된다.
본 발명의 일 측면에 따르면, 동영상 요약 서비스 방법이 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 동영상 요약 서비스를 제공하는 방법에 있어서, 상기 동영상을 이루는 복수의 영상 프레임들로부터 미리 설정된 기준에 따라 동영상 샷 단위로 분류하는 단계; 상기 각 동영상 샷의 대표 프레임을 추출하는 단계; 상기 추출된 대표 프레임의 크기를 결정하는 단계; 상기 결정된 크기에 따라 상기 대표 프레임이 배치된 동영상 요약 화면을 생성하는 단계; 및 상기 생성된 동영상 요약 화면을 제공하는 단계를 포함하는 동영상 요약 서비스 방법이 제공된다.
상술한 바와 같이 본 발명에 따른 동영상을 요약하는 방법 및 동영상 요약기를 통하여, 사용자는 동영상을 시청하지 않고도 동영상의 전체 내용을 용이하게 파악할 수 있으며, 요약된 동영상에서 관심있는 특정 부분에 대한 정보만 선택적으로 제공받을 수 있다.
또한, 각 요약 동영상에 관련된 주석을 삽입함으로써 동영상에 대한 이해를 높일 수 있다.
또한, 사용자는 만화를 보듯이 재구성된 동영상 요약을 통하여 관련 정보를 한눈에 파악하고, 만화를 보듯이 재구성된 동영상 요약화면을 통하여 페이지를 넘기면서 동영상을 시청할 수 있는 효과가 있다.
또한, 사용자는 상영 시간이 긴 동영상의 내용을 한눈에 파악하고, 관심있는 부분만 선택적으로 시청할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 동영상 요약 방법을 도시한 순서도.
도 2는 본 발명의 일 실시 예에 따른 동영상을 분할하는 방법을 도시한 도면.
도 3는 본 발명의 일 실시예에 따른 동영상 요약 화면을 구성하는 방법을 설명하는 도면.
도 4는 본 발명의 일 실시예에 따른 동영상 요약기의 블록 구성도.
도 5는 본 발명의 일 실시예에 따른 동영상 요약 화면.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 동영상 요약 서비스 제공 화면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 동영상 요약 방법을 도시한 순서도이다.
본 발명의 일 실시예에 따른 동영상 요약기는 동영상을 이루는 복수의 영상 프레임들을 미리 설정된 기준에 따라 동영상 샷들의 집합으로 분류한다 (S110). 동영상 샷(video shot)이란, 시간 상으로 연속적인 유사한 영상 프레임의 집합을 의미한다.
여기서 동영상 샷들의 집합으로 분류하는 방법은 동영상을 이루는 복수의 영상 프레임들로부터 동영상 샷의 경계 부분을 검출하여 동영상 샷들의 집합으로 분류하는 방법과 동영상을 이루는 복수의 영상 프레임들로부터 동영상 샷의 경계 부분을 검출하여 동영상 샷들의 집합으로 1차 분류한 후, 분류된 동영상 샷들의 내용에 기반하여 동영상 샷들의 집합을 2차 분류하는 방법으로 구성된다.
동영상 샷의 경계 부분을 검출하는 방법은 색상 히스토그램의 차이(color histogram difference), 움직임 벡터(motion vector)의 차이, 경계 변화율(edge change ratio)등을 이용하는 방법이 될 수 있다. 또한, 상기 언급한 방법 이외에도 동영상을 구성하는 동영상 샷 단위로 구분할 수 있는 방법에 관한 기술이면 본 발명에 적용 가능하다.
한편, 다른 실시 예에 의하면, 복수 개의 영상 프레임들로부터 동영상 샷의 경계 경계 부분을 검출하여 동영상 샷들의 집합으로 1차 분류한 후, 분류된 동영상 샷들의 내용에 기반하여 동영상 샷들의 집합을 2차 분류할 수도 있다.
여기서 1차 분류된 동영상 샷들의 집합을 내용에 기반하여 2차 분류하는 이유는, 1차 분류된 동영상 샷들은 장면 전환의 관점에 의미를 두고 동영상 샷의 경계 부분을 검출하는 수치적 계산에 의해 구분된 것이므로, 사람이 판단하는 의미있는 단위로 구분되는 것과 차이가 있을 수 있기 때문이다. 따라서, 동영상의 내용을 파악하기 위한 중요한 내용을 중심으로 동영상 샷의 내용에 기반하여, 2차 분류를 하여 동영상 샷들의 집합을 재구성하게 된다.
예를 들면, 주인공이 두 명 등장하고 엑스트라가 다수 등장하는 경우에는 엑스트라의 행동은 동영상의 전체 줄거리에 큰 영향이 없으나, 동영상 샷 경계 검출을 위한 수치적인 계산을 통해서만 분류할 경우에는 동영상을 사용자 입장에서 분류하는데 적합하지 않을 수 있다. 이 경우, 내용에 기반하여 주인공을 중심으로 엑스트라의 행동을 무시하고 동영상을 분할하는 것이 보다 내용 전달에 효과적일 수 있다.
따라서, 동영상 샷의 경계 부분을 검출하여 1차 분류한 후, 1차 분류된 동영상 샷의 내용에 기반하여 1차 분류된 동영상 샷의 집합을 2차 분류할 수도 있다.
본 발명은 최종적으로 분류된 각각의 동영상 샷의 집합으로부터 대표 프레임을 추출한다 (S120). 대표 프레임은 각각의 동영상 샷의 첫 번째 프레임 또는 중앙에 있는 프레임이 될 수 있고, 사용자의 지정에 의해 특정 프레임으로 결정될 수도 있다.
본 발명은 추출된 복수 개의 대표 프레임만을 모은 동영상 요약 화면을 표시하기 위해서, 추출한 각 대표 프레임의 크기를 결정한다 (S130). 각 프레임의 크기는 그가 대표하는 해당 동영상 샷의 중요도 또는 재생 시간에 따라 결정되거나, 중요도와 재생시간을 모두 적용하여 결정될 수 있다. 즉, 중요도가 높거나 재생 시간이 길면 대표 프레임의 크기를 크게 할당할 수 있다.
각 대표 프레임 별로 상응하는 동영상 샷의 중요도나 재생시간에 따른 크기가 결정되면, 복수 개의 대표 프레임을 모아서 크기에 따라 재정렬하여 동영상 요약 화면을 표시한다 (S140). 구체적인 크기 배열에 대해서는 도 4에서 상술한다.
도 2는 본 발명의 일 실시 예에 따른 동영상을 분할하는 방법을 도시한 도면이다.
도 2를 참고하면, 하나의 동영상(200)은 복수개의 GOP(group of pictures)(210)로 구성된다. 각각의 GOP(210)는 복수개의 I-프레임(intra-coded frame), P-프레임(predictive frame), B-프레임(bidirectionally predictive frame)으로 구성된다. I-프레임은 압축에서 기준이 되는 프레임으로 그 자체로 완전한 한장의 이미지이다. P-프레임과 B-프레임은 I-프레임을 기준으로 변환된 부분의 정보만 가지고 있는 프레임이다.
따라서 하나의 GOP 내의 프레임들은 표시 영상의 구성이 유사하다. 즉, GOP의 기준 프레임인 I-프레임만을 추출하여, 동영상 분할의 기준이 되는 비교 프레임으로 사용할 수 있다.
동영상을 분할하는 단계에서는 동영상을 구성하는 각각의 GOP(210)의 I-프레임이 추출된다.
각각의 GOP(210)에서 추출된 I-프레임들(220)간의 유사도에 따라서 동영상을 형성하는 영상 프레임들간의 유사도를 비교하여, 동영상 샷 단위로 영상 프레임들을 분류하여 1차 동영상 샷들의 집합(230)을 형성한다. 이 때 같은 동영상 샷으로 분류되는 영상 프레임들은 모두 비슷한 형상을 가진다.
동영상 샷들의 집합(230)으로 분류하는 유사도에 관한 기준은 I-프레임(I1, I2, I3, I4, I5,… In-1, In)간의 색상 히스토그램의 차이(color histogram difference), 움직임 벡터(motion vector)의 차이, 경계 변화율(edge change ratio)등을 측정한 값 등이 될 수 있다. 또한, 상기 언급한 방법 이외에도 동영상을 구성하는 동영상 샷 단위로 구분할 수 있는 방법에 관한 기술이면 본 발명에 적용이 가능할 수 있다.
동영상 샷의 집합(230)으로 1차 분류된 후, 1차 분류된 동영상 샷들의 내용에 기반하여 동영상 샷들의 집합을 재분류할 수도 있다. 즉, 의미상으로 관련있는 장면이 동일한 동영상 샷에 포함되도록 동영상 샷의 경계를 재조정하여 최종 동영상 샷들의 집합(240)을 형성할 수 있다.
즉, 동영상을 이루는 복수의 영상 프레임들은, 동영상 샷의 경계 부분 검출을 통해 장면 전환 시점에 따라 자동적으로 동영상 샷들의 집합으로 1차 분류되고, 분류된 동영상 샷들의 집합은 2차적으로 동영상 샷의 내용에 기반하여 재구성될 수도 있다.
동영상 요약기에서 최종적으로 각 동영상 샷을 한 장의 이미지로 요약할 최종 대표 프레임들(I1, I3, I4, … In)(250)을 결정한다.
도 3는 본 발명의 일 실시예에 따른 동영상 요약 화면을 구성하는 방법을 설명하는 도면이다.
도 3을 살펴보면, 동영상 요약 화면에 들어갈 대표 프레임 그룹(300)이 도시되어 있다. 도 3은 한 예로써 현재 5 개의 대표 프레임만을 가지고 있다고 가정한다. 각각의 대표 프레임(301 내지 305)들은 해당 대표 프레임이 추출된 동영상 샷의 중요성 또는 재생 시간에 비례하여 크기가 다르게 결정된다. 즉, 대표 프레임에 상응하는 동영상 샷의 중요도가 높거나 재생 시간이 길면 해당 프레임의 크기는 동영상 요약 화면에서 넓은 면적을 차지하도록 결정된다.
각 대표 프레임의 정렬을 효과적으로 하기 위해 화면에 나타날 때 가장 크기가 작은 프레임의 크기를 미리 설정해 놓을 수 있다. 여기서, 가장 크기가 작은 프레임은 기본 프레임으로 정의되고, 기본 프레임의 크기는 미리 설정된 크기로 결정된다.
도 3에서는 동영상 요약 화면에 들어갈 대표 프레임 그룹(300)중 1번째 대표 프레임(301)의 크기를 가장 크게 결정하고, 2번째 대표 프레임(302)과 4번째 대표 프레임(304)의 크기를 제일 작게 결정하였다.
즉, 2번째 대표 프레임(302)과 4번째 대표 프레임(304)이 가장 작은 크기로 결정되므로, 2번째 대표 프레임(302)과 4번째 대표 프레임(304)은 미리 설정된 기본 크기로 변경되고, 다른 대표 프레임의 크기를 조정하기 위한 기본 프레임으로 설정된다.
화면에 나타날 대표 프레임들은 모두 이 기본 프레임의 크기의 정수 배로 정해질 수 있다. 이하 2번째 대표 프레임(302)과 4번째 대표 프레임(304)을 기본 프레임으로 설정하고, 설명한다.
도 3에 도시된 대표 프레임 그룹(300)을 살펴보면, 2번째 대표 프레임(302)과 4번째 대표 프레임(304)은 미리 설정된 기본 프레임의 크기로 결정되고, 3번째 대표 프레임(303)과 5번째 대표 프레임(305)은 기본 프레임(302, 304) 크기의 4 배의 크기로 결정되었다. 그리고 1번째 대표 프레임(301)은 기본 프레임(302, 304) 크기의 9 배로 결정되었다.
대표 프레임 그룹(300)을 이루는 각각의 대표 프레임들은, 대표 프레임에 상응하는 동영상 샷의 중요도와 재생 시간에 비례하여 기본 프레임(302, 304)의 정수배로 크기가 결정된다. 크기가 결정된 각각의 대표 프레임들(301 내지 305)은 동영상의 내용순으로 순차적으로 위치를 채워나가면서 대표 프레임의 크기가 재조정된다.
예를 들면, 크기를 재조정 하는 방법은 3번째 대표 프레임(303)이 2번째 대표 프레임과 4번째 대표 프레임 사이에 나오게 되므로, 그 크기가 2번째 대표 프레임(302)과 4번째 대표 프레임(304)의 가로방향 크기의 합보다 작거나 크면 2번째 대표 프레임(302)과 4번째 대표 프레임(304)의 크기의 합에 맞도록 가로 방향의 길이를 조정한다. 아울러, 2번째 대표 프레임(302)과 3번째 대표 프레임(303)의 세로 길이의 합이 1번째 대표 프레임(301)의 세로 길이와 같도록 맞춘다.
또한, 5번째 대표 프레임(305)의 경우는 본래 5번째 대표 프레임(305)의 크기(320)으로 동영상 요약 화면을 채우면 빈 공간이 생기므로 크기를 늘려서 화면에 빈 공간이 생기지 않도록 크기를 조절하여 배열한다.
따라서, 상기 재배열 과정을 통해 생성된 동영상 요약 화면(310)은 가장 중요도가 높아 가장 큰면적으로 재배열된 1번째 대표 프레임(311), 가장 중요도가 낮아 기본 프레임(302, 304)으로 사용되어 재배열된 2번째 대표 프레임(312)및 4번째 대표 프레임(314), 기본 프레임(302, 304) 크기의 4 배의 크기로 결정되어 재배열된 3번째 대표 프레임(313)과 기본 프레임(302, 304) 크기의 4 배의 크기로 결정되었으나, 화면의 빈공간을 조정하기 위해 크기를 변경하여 재배열된 5번째 대표 프레임(315)으로 구성된다.
이러한 대표 프레임의 크기 조정과 재배열 과정을 통하여, 동영상 요약 화면은 만화(comic book)와 같은 형태로 구성될 수 있다.또한 추출한 복수 개의 대표 프레임들의 집합이 한 화면에 다 들어가지 않으면 차례로 다음 화면에 요약하고, 각 요약 화면은 만화를 보듯이 책장을 넘기면서 시청할 수 있다.
도 4는 본 발명의 일 실시예에 따른 동영상 요약기의 블록 구성도이다.
본 발명의 일 실시예에 따르면, 동영상 요약기(400)는 영상 분할부(402), 영상 추출부(404), 영상 편집부(406), 영상 표시부(408)를 포함한다. 정보 입력부(410) 또는 영상 재생부(412)가 추가적으로 더 포함될 수 있다.
영상 분할부(402)는 동영상을 이루는 복수의 영상 프레임으로부터 동영상 샷들의 경계 부분을 검출하여 동영상 샷들의 집합으로 분류한다. 동영상 샷들의 집합으로 분류하는 방법에 관해서는 도 1 및 도 2에서 상술하였다.
영상 추출부(404)는 영상 분할부(402)에서 분류된 동영상 샷의 대표 프레임을 추출한다. 각 동영상 샷을 대표하는 대표 프레임의 추출은 각 동영상 샷을 구성하는 복수의 프레임 중 첫 번째 프레임이나 중앙에 있는 영상 프레임이 될 수도 있고, 사용자가 동영상 샷을 구성하는 내부 프레임 중에서 가장 의미있는 것이라고 판단한 프레임을 추출하도록 설정될 수도 있다.
영상 편집부(406)는 영상 추출부(404)에서 추출된 대표 프레임의 크기를 결정한다.
영상 표시부(408)는 추출된 복수 개의 대표 프레임을 모아서 만화 형태로 구성한 동영상 요약 화면을 표시한다. 대표 프레임의 크기를 결정하는 방법 및 동영상 요약 화면을 구성하는 방법에 대해서는 도 3에서 상술하였다.
정보 입력부(410)는 동영상 요약 화면에 포함되는 각각의 동영상 샷 단위로 각 동영상 샷의 대표 프레임에 해당하는 동영상 샷의 내용에 대한 정보를 입력한다. 영상 재생부(412)는 동영상 요약 화면에 표시된 각각의 대표 프레임을 사용자로부터 선택받으면, 상응하는 동영상 샷을 재생한다.
도 5는 본 발명의 일 실시예에 따른 동영상 요약 화면이다.
도 5을 살펴보면, 동영상 요약 화면(500)은 복수 개의 대표 프레임(510)을 포함한다. 각각의 대표 프레임(510)은 도 3에서 상술한 바와 같이 각각의 대표 프레임(510)의 크기가 결정되어 동영상 요약 화면에 재배열된 것임을 알 수 있다.
또한, 복수의 대표 프레임중 하나를 선택한 경우는 해당 부분의 동영상 샷(520)을 시청할 수 있다. 이로써 사용자는 관심있는 부분만 선택적으로 시청할 수 있다.
여기서 동영상 요약 화면을 구성하는 복수 개의 대표 프레임이 한 페이지의 화면에 들어갈 수 없을 정도로 많은 경우에는, 페이지 넘김 기능을 통해 만화처럼 페이지를 넘기도록 동영상 요약 서비스를 제공할 수도 있다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 동영상 요약 서비스 제공 화면이다.
도 6 및 도 7을 살펴보면, 요약 대상이 되는 동영상 파일(600, 700)이 도시되어 있다.
본 발명에 따른 동영상 요약 서비스는 상술한 동영상 요약기(400)를 이용하여, 요약 대상이 되는 동영상 파일(600, 700)을 동영상 샷 단위로 분류하고, 분류된 각각의 동영상 샷의 대표 프레임을 추출하여, 해당 동영상 샷의 재생 시간 또는 중요도에 비례하는 크기로 결정하고, 각 대표 프레임을 결정된 크기에 맞게 재배열한 동영상 요약 화면(610, 710)을 제공한다. 또한, 동영상 요약 화면(610, 710)에 나타나는 각각의 대표 프레임을 선택하여, 해당 부분의 동영상 샷(620, 720)을 시청할 수 있다. 이하 각각의 실제 동영상 요약 서비스에 대해 상술한다.
도 6에서는 요약 대상이 되는 동영상(600)으로 뉴스 전체 기사가 제공되고 있다. 현재 각 방송국의 뉴스 전체 기사는 각각의 개별 VOD(video on demand) 서비스로 제공되며 각 기사별로 간단한 설명이 첨부되어 있다. 이런 형태의 뉴스 요약은 텍스트만으로 구성되어 있어 지루하고 한 눈에 어떤 기사들이 포함되어 있는지 파악이 어렵다. 또한 뒤 쪽에 위치한 기사일수록 당연히 사용자의 관심권에서 멀어진다. 만약 기사 건수가 수백 건이라면 요약의 기능은 매우 미약하다.
본 발명에 따른 동영상 요약 서비스는 이러한 각각의 개별 기사 동영상에서 대표 프레임을 추출하여, 뉴스 전체 기사를 한눈에 볼 수 있도록 재구성한 동영상 요약 화면(610)을 제공한다. 여기서 각각의 대표 프레임의 크기는 대표 프레임이 추출된 개별 동영상의 해당 재생 시간에 비례하여 결정된다. 이로써, 사용자는 제공된 뉴스 요약 화면 및 그 화면에 첨부된 간단한 텍스트 정보를 보고, 관심있는 부분의 뉴스만 선택적으로 시청할 수 있다.
도 7에서는 요약 대상이 되는 동영상 파일(700)로 방송국의 가요 프로그램 동영상이 제공되고 있다. 여기서 가요 프로그램 동영상은 개별 가수의 노래가 재생되는 부분의 동영상 샷 단위로 분할할 수 있다. 본 발명에 따른 동영상 요약 서비스는 이러한 전체 가요 프로그램 동영상을 개별 가수의 무대별로 분할하고, 각각의 분할된 동영상의 대표 프레임을 추출하여, 가요 프로그램 전체를 한눈에 볼 수 있도록 재구성한 동영상 요약 화면(710)을 제공한다. 여기서 각각의 대표 프레임의 크기는 각각의 동영상의 해당 재생 시간에 비례하여 결정된다. 이로써, 사용자는 제공된 가요 요약 화면을 보고, 관심있는 가수의 노래만 선택적으로 시청할 수 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
210: GOP(group of pictures) 220: 동영상 샷들의 집합
230: 1차 분할된 동영상 샷들의 집합
240: 2차 분할된 동영상 샷들의 집합 250: 최종 대표 프레임들
400: 동영상 요약기 402: 영상 분할부
404: 영상 추출부 406: 영상 편집부
408: 영상 표시부 410: 정보 입력부

Claims (13)

  1. 동영상을 요약하는 방법에 있어서,
    상기 동영상을 이루는 복수의 영상 프레임을 미리 설정된 기준에 따라 동영상 샷 단위로 분류하는 단계;
    분류된 상기 각 동영상 샷의 대표 프레임을 추출하는 단계;
    상기 추출된 대표 프레임의 크기를 결정하는 단계;
    상기 결정된 크기에 따라 상기 대표 프레임이 배치된 동영상 요약 화면을 생성하는 단계; 및
    상기 동영상 요약 화면에 표시된 각각의 상기 대표 프레임을 선택받아, 상응하는 상기 동영상 샷을 재생하는 단계를 포함하고,
    상기 동영상은 복수개의 GOP(group of pictures)로 구성되고, 각각의 GOP는 복수개의 I-프레임(intra-coded frame), P-프레임(predictive frame), B-프레임(bidirectionally predictive frame)으로 구성되고,
    상기 동영상 샷 단위로 분류하는 단계는, 상기 복수의 영상 프레임의 유사도를 비교하여 상기 동영상 샷 단위로 분류하고,
    상기 동영상 샷 단위로 분류하는 단계는, 상기 동영상의 GOP에서 I-프레임이 추출하고, 각각의 GOP에서 추출된 I-프레임들간의 유사도에 따라서 동영상을 형성하는 영상 프레임들간의 유사도를 비교하여, 동영상 샷 단위로 영상 프레임들을 분류하는 것을 특징으로 하는 동영상 요약 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 동영상 샷 단위로 분류하는 단계는,
    상기 복수의 영상 프레임을 상기 동영상 샷의 경계 부분에 따라 1차 분류한 후, 상기 분류된 동영상 샷의 내용에 기반하여 2차 분류하는 것을 특징으로 하는 동영상 요약 방법.
  4. 제 3항에 있어서,
    상기 동영상 샷의 경계 부분은 색상 히스토그램의 차이(color histogram difference), 움직임 벡터(motion vector)의 차이, 경계 변화율(edge change ratio) 중 적어도 하나 이상의 수치에 의한 값을 이용하여 검출하는 것인 동영상 요약 방법.
  5. 삭제
  6. 제 1항에 있어서,
    상기 추출된 대표 프레임의 크기를 결정하는 단계에서, 상기 대표 프레임의 크기는 각 동영상 샷의 재생 시간 및 중요도 중 적어도 하나에 의해 결정되는 것인 동영상 요약 방법.
  7. 제1항, 제3항, 제4항, 제6항 중 어느 한 항에 기재된 동영상 요약 방법이 구현되도록 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며,
    상기 디지털 처리 장치에 의해 판독될 수 있는 동영상 요약 프로그램이 기록된 기록매체.
  8. 동영상을 이루는 복수의 영상 프레임으로부터 동영상 샷들의 경계 부분을 검출하여 동영상 샷들의 집합으로 분류하는 영상 분할부;
    상기 각 동영상 샷의 대표 프레임을 추출하는 영상 추출부;
    상기 추출된 대표 프레임의 크기를 결정하는 영상 편집부;
    상기 결정된 크기에 따라 상기 대표 프레임을 배치하여 동영상 요약 화면을 표시하는 영상 표시부; 및
    상기 동영상 요약 화면에 표시된 각각의 대표 프레임을 선택받아, 상응하는 동영상 샷을 재생하는 영상 재생부를 포함하고,
    상기 동영상은 복수개의 GOP(group of pictures)로 구성되고, 각각의 GOP는 복수개의 I-프레임(intra-coded frame), P-프레임(predictive frame), B-프레임(bidirectionally predictive frame)으로 구성되고,
    상기 영상 추출부는, 상기 동영상을 이루는 복수의 영상 프레임들로부터 상기 복수의 영상 프레임의 유사도를 비교하여 상기 동영상 샷 단위로 분류하고,
    상기 영상 추출부는, 상기 동영상의 GOP에서 I-프레임이 추출하고, 각각의 GOP에서 추출된 I-프레임들간의 유사도에 따라서 동영상을 형성하는 영상 프레임들간의 유사도를 비교하여, 동영상 샷 단위로 영상 프레임들을 분류하는 것을 특징으로 하는 동영상 요약기.
  9. 삭제
  10. 삭제
  11. 제 8항에 있어서,
    상기 영상 분할부는,
    상기 동영상을 이루는 복수의 영상 프레임을 상기 동영상 샷들을 형성하는 경계 부분을 검출하여 1차 분류한 후, 상기 분류된 동영상 샷들의 내용에 기반하여 2차 분류하는 것을 특징으로 하는 동영상 요약기.
  12. 제 8항에 있어서,
    상기 영상 편집부는 상기 대표 프레임의 크기를 각 동영상 샷의 재생 시간 및 중요도 중 적어도 하나에 의해 결정하는 것을 특징으로 하는 동영상 요약기.
  13. 동영상 요약 서비스를 제공하는 방법에 있어서,
    상기 동영상을 이루는 복수의 영상 프레임들로부터 미리 설정된 기준에 따라 동영상 샷 단위로 분류하는 단계;
    상기 각 동영상 샷의 대표 프레임을 추출하는 단계;
    상기 추출된 대표 프레임의 크기를 결정하는 단계;
    상기 결정된 크기에 따라 상기 대표 프레임이 배치된 동영상 요약 화면을 생성하는 단계; 및
    상기 생성된 동영상 요약 화면을 제공하는 단계를 포함하고,
    상기 동영상은 복수개의 GOP(group of pictures)로 구성되고, 각각의 GOP는 복수개의 I-프레임(intra-coded frame), P-프레임(predictive frame), B-프레임(bidirectionally predictive frame)으로 구성되고,
    상기 동영상 샷 단위로 분류하는 단계는, 상기 복수의 영상 프레임의 유사도를 비교하여 상기 동영상 샷 단위로 분류하고,
    상기 동영상 샷 단위로 분류하는 단계는, 상기 동영상의 GOP에서 I-프레임이 추출하고, 각각의 GOP에서 추출된 I-프레임들간의 유사도에 따라서 동영상을 형성하는 영상 프레임들간의 유사도를 비교하여, 동영상 샷 단위로 영상 프레임들을 분류하는 것을 특징으로 하는 동영상 요약 서비스 방법.
KR1020140001955A 2014-01-07 2014-01-07 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법 KR101536930B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140001955A KR101536930B1 (ko) 2014-01-07 2014-01-07 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140001955A KR101536930B1 (ko) 2014-01-07 2014-01-07 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법

Publications (1)

Publication Number Publication Date
KR101536930B1 true KR101536930B1 (ko) 2015-07-15

Family

ID=53793839

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140001955A KR101536930B1 (ko) 2014-01-07 2014-01-07 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법

Country Status (1)

Country Link
KR (1) KR101536930B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623321B1 (ko) * 2015-11-30 2016-05-20 (주)클로닉스 디지털 포렌식에서 대용량 동영상 증거물에 대한 고속 검색 장치 및 방법
KR20190054721A (ko) * 2017-11-14 2019-05-22 한성호 동영상을 이용한 카툰 생성장치 및 방법
US10504560B2 (en) 2016-08-01 2019-12-10 Samsung Electronics Co., Ltd. Electronic device and operation method thereof
CN111008666A (zh) * 2019-12-05 2020-04-14 秒针信息技术有限公司 一种视频相似确定方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308008A (ja) * 1999-03-12 2000-11-02 Fuji Xerox Co Ltd ビデオのセグメント重要度を決定する方法及びフレーム・セットを限定領域にパックする方法
KR20020017216A (ko) * 2000-08-29 2002-03-07 박호군 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308008A (ja) * 1999-03-12 2000-11-02 Fuji Xerox Co Ltd ビデオのセグメント重要度を決定する方法及びフレーム・セットを限定領域にパックする方法
KR20020017216A (ko) * 2000-08-29 2002-03-07 박호군 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623321B1 (ko) * 2015-11-30 2016-05-20 (주)클로닉스 디지털 포렌식에서 대용량 동영상 증거물에 대한 고속 검색 장치 및 방법
US10504560B2 (en) 2016-08-01 2019-12-10 Samsung Electronics Co., Ltd. Electronic device and operation method thereof
KR20190054721A (ko) * 2017-11-14 2019-05-22 한성호 동영상을 이용한 카툰 생성장치 및 방법
KR101985669B1 (ko) * 2017-11-14 2019-06-04 한성호 동영상을 이용한 카툰 생성장치 및 방법
CN111008666A (zh) * 2019-12-05 2020-04-14 秒针信息技术有限公司 一种视频相似确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP3951556B2 (ja) 選択されたクラスタからキーフレームを選択する方法
US6222532B1 (en) Method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
Boreczky et al. An interactive comic book presentation for exploring video
US6964021B2 (en) Method and apparatus for skimming video data
KR100512138B1 (ko) 합성 키프레임을 이용한 비디오 브라우징 시스템
KR100411437B1 (ko) 지능형 뉴스 비디오 브라우징 시스템
US8090200B2 (en) Redundancy elimination in a content-adaptive video preview system
KR101318459B1 (ko) 수신기 상에서 오디오비주얼 문서를 시청하는 방법 및이러한 문서를 시청하기 위한 수신기
US20070101266A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
CN107430780B (zh) 用于基于视频内容特性的输出创建的方法
US20070136755A1 (en) Video content viewing support system and method
Takahashi et al. Video summarization for large sports video archives
JP2000516434A (ja) 可視索引付けシステム
JP2011044140A (ja) 画像セットからの動画コンテンツの生成
KR20030026529A (ko) 키프레임 기반 비디오 요약 시스템
KR100374040B1 (ko) 비디오 텍스트 합성 키 프레임 추출방법
US8634708B2 (en) Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method
KR101536930B1 (ko) 동영상을 요약하는 방법 및 동영상 요약기, 그리고 이를 이용한 동영상 만화 정보 서비스 방법
JP2011504702A (ja) ビデオ要約を生成する方法
CA2387404A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
WO1998034182A2 (en) A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
JP2011504034A (ja) オーディオビジュアル信号における意味的なまとまりの開始点を決定する方法
JP2016035607A (ja) ダイジェストを生成するための装置、方法、及びプログラム
KR20100116412A (ko) 동영상 장면 기반 광고정보 제공장치 및 방법
KR101927965B1 (ko) 광고 동영상 제작 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant