KR102173858B1 - 사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법 - Google Patents

사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법 Download PDF

Info

Publication number
KR102173858B1
KR102173858B1 KR1020190103961A KR20190103961A KR102173858B1 KR 102173858 B1 KR102173858 B1 KR 102173858B1 KR 1020190103961 A KR1020190103961 A KR 1020190103961A KR 20190103961 A KR20190103961 A KR 20190103961A KR 102173858 B1 KR102173858 B1 KR 102173858B1
Authority
KR
South Korea
Prior art keywords
person
scene
video
input
appearing
Prior art date
Application number
KR1020190103961A
Other languages
English (en)
Inventor
이명진
서규
손종웅
Original Assignee
한국항공대학교산학협력단
타가텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단, 타가텍 주식회사 filed Critical 한국항공대학교산학협력단
Priority to KR1020190103961A priority Critical patent/KR102173858B1/ko
Application granted granted Critical
Publication of KR102173858B1 publication Critical patent/KR102173858B1/ko

Links

Images

Classifications

    • G06K9/00751—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치 및 방법에 관한 것이며, 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법은, (a) 입력 비디오 내 선호 인물 및 선호 관계와 관련하여 수신한 사용자 입력에 기초하여, 하나 이상의 요약 후보 인물을 결정하는 단계, (b) 상기 하나 이상의 요약 후보 인물을 포함하는 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습을 수행하여 상기 입력 비디오 내 출현 인물을 인식하는 단계, (c) 출현 인물 인식 결과에 기초하여, 상기 입력 비디오 내에서 같은 출현 인물이 등장하는 프레임들에 관한 1차 장면을 생성하는 단계, (d) 생성된 1차 장면을 기초로 상기 하나 이상의 요약 후보 인물과 관련되는 2차 장면을 생성하고, 상기 하나 이상의 요약 후보 인물별로 산출되는 출현 횟수를 고려하여 가중치를 생성하는 단계 및 (e) 상기 가중치를 기초로 상기 2차 장면 중 요약 대상 장면을 선별하여 요약 비디오를 생성하는 단계를 포함할 수 있다.

Description

사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법{APPARATUS AND METHOD FOR GENERATING SCENE AND SUMMARIZING VIDEO USING PREFERENCE BASED USER INPUT}
본원은 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치 및 방법에 관한 것이다.
비디오 요약 기술은 비디오를 구성하는 이미지의 특징을 이용해서 프레임의 집합으로 이루어진 장면을 구분하고 장면 변화를 이용하거나, 뉴스의 헤드라인, 영화의 자막, 스포츠 경기에서 점수판과 같은 부가 정보를 추가로 이용해서 중요한 프레임, 샷 또는 장면을 위주로 비디오를 요약하는 기술이다.
최근 UCC, YouTube, Vimeo 등과 같이 디지털 방송 및 인터넷, 모바일을 중심으로 디지털 비디오의 활용이 급속히 확산되고 방대한 디지털 비디오 데이터가 급격히 증가하고 대중화됨에 따라 이를 활용하기 위한 효율적인 접근 기법이 절실히 요구되고 있으며 소셜 네트워크 서비스를 비롯한 클라우드 컴퓨터 환경을 통해 수많은 정보들이 사용자에게 제공되고 있지만, 많은 정보 중에서 사용자가 원하는 핵심적인 정보나 사용자의 의도에 맞는 정보를 제공받기에는 어려움이 있으며 현재 사용자의 의도에 맞춘 비디오 요약 기술은 미비한 실정이다.
또한, 기존 비디오 요약 또는 편집 시스템에서 입력 비디오의 장면 분할 이후 각 장면 별 대표 비디오 프레임을 키프레임으로 제공해 주는 방법으로는 장시간 비디오에서 사용자 선호도에 따른 이벤트를 빠른 시간 안에 검색하기 어려운 문제점이 있다.
본원의 배경이 되는 기술은 한국등록특허공보 제 10-1531783호에 개시되어 있다.
본원은 장시간의 비디오 내 출현하는 출현 인물 중 사용자가 시청하고자 하는 출현 인물들의 정보를 사용자가 쉽게 획득할 수 있는 사용자 선호도 입력 기반의 출현 인물 중심 장면 생성 및 비디오 요약 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 비디오 컨텐츠 내의 출현 인물을 인식하여 사용자 선호도를 기반으로 한 장면 정보가 제공되는 영상분석시스템에서 사용자의 출현 인물, 인물 간 관계 선호도에 따른 장면을 생성하고, 이를 이용한 비디오 요약 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법은, (a) 입력 비디오 내 선호 인물 및 선호 관계와 관련하여 수신한 사용자 입력에 기초하여, 하나 이상의 요약 후보 인물을 결정하는 단계, (b) 상기 하나 이상의 요약 후보 인물을 포함하는 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습을 수행하여 상기 입력 비디오 내 출현 인물을 인식하는 단계, (c) 출현 인물 인식 결과에 기초하여, 상기 입력 비디오 내에서 같은 출현 인물이 등장하는 프레임들에 관한 1차 장면을 생성하는 단계, (d) 생성된 1차 장면을 기초로 상기 하나 이상의 요약 후보 인물과 관련되는 2차 장면을 생성하고, 상기 하나 이상의 요약 후보 인물별로 산출되는 출현 횟수를 고려하여 가중치를 생성하는 단계 및 (e) 상기 가중치를 기초로 상기 2차 장면 중 요약 대상 장면을 선별하여 요약 비디오를 생성하는 단계를 포함할 수 있다.
또한, 상기 (b) 단계에서, 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습은 출현 인물에 대한 이미지를 외부로부터 수집하여 이루어지는 것일 수 있다.
또한, 상기 (b) 단계는, 상기 입력 비디오 내의 출현 인물이 프레임 단위로 인식되도록 프레임 별로 출현 인물 정보를 검출 및 저장할 수 있다.
또한, 상기 (d) 단계는, 프레임 별로 검출된 출현 인물 정보를 활용하여 출현 비율이 상대적으로 높은 요약 후보 인물에 대하여 더 높은 가중치를 부여할 수 있다.
또한, 상기 사용자 입력에는, 선호 인물에 대한 선호도 및 선호 관계에 대한 선호도 중 적어도 하나를 포함하는 사용자 선호도가 포함될 수 있다.
또한, 상기 (e) 단계에서, 상기 요약 대상 장면은 상기 가중치와 상기 사용자 선호도를 고려한 우선 순위에 기반하여 선별되는 것일 수 있다.
또한, 상기 (d) 단계에서 생성되는 2차 장면은, 상기 입력 비디오 내 장면 위치 정보, 장면 내 출현 인물 정보 및 장면 내 출현 인물별 출현 횟수 정보를 장면 정보로서 포함할 수 있다.
또한, 상기 (e) 단계는, 선별된 요약 대상 장면별 장면 정보를 이용하여 상기 요약 비디오로 생성할 수 있다.
또한, 상기 (a) 단계에서, 상가 하나 이상의 요약 후보 인물은, 선호 인물 및 선호 인물과 선호 관계에 의해 연결되는 연결 인물을 포함할 수 있다.
또한, 상기 (a) 단계는, 상기 입력 비디오와 관련하여 사전 정의된 인물간 관계 설정을 고려하여 상기 요약 후보 인물을 결정하는 것일 수 있다.
또한, 상기 (a) 단계에서, 상기 사용자 입력은 상기 사전 정의된 인물간 관계 설정을 기초로 선호 인물 및 선호 관계를 선택하여 이루어질 수 있다.
한편, 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치는, 입력 비디오 내 선호 인물 및 선호 관계와 관련하여 수신한 사용자 입력에 기초하여, 하나 이상의 요약 후보 인물을 결정하는 선호도 분석부, 상기 하나 이상의 요약 후보 인물을 포함하는 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습을 수행하여 상기 입력 비디오 내 출현 인물을 인식하는 사전 학습부, 출현 인물 인식 결과에 기초하여, 상기 입력 비디오 내에서 같은 출현 인물이 등장하는 프레임들에 관한 1차 장면을 생성하고, 생성된 1차 장면을 기초로 상기 하나 이상의 요약 후보 인물과 관련되는 2차 장면을 생성하는 장면 생성부, 상기 하나 이상의 요약 후보 인물별로 산출되는 출현 횟수를 고려하여 가중치를 생성하는 인물 가중치 계산부 및 상기 가중치를 기초로 상기 2차 장면 중 요약 대상 장면을 선별하여 요약 비디오를 생성하는 요약 비디오 편집부를 포함할 수 있다.
또한, 상기 사전 학습부는, 출현 인물에 대한 이미지를 외부로부터 수집하여 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습을 수행할 수 있다.
또한, 상기 인물 가중치 계산부는, 프레임 별로 검출된 출현 인물 정보를 활용하여 출현 비율이 상대적으로 높은 요약 후보 인물에 대하여 더 높은 가중치를 부여할 수 있다.
또한, 상기 요약 비디오 편집부는, 상기 가중치와 상기 사용자 선호도를 고려한 우선 순위에 기반하여 상기 요약 대상 장면을 선별할 수 있다.
또한, 상기 장면 생성부는, 상기 입력 비디오 내 장면 위치 정보, 장면 내 출현 인물 정보 및 장면 내 출현 인물별 출현 횟수 정보를 장면 정보로서 포함하는 상기 2차 장면을 생성할 수 있다.
또한, 상기 요약 비디오 편집부는, 선별된 요약 대상 장면별 장면 정보를 이용하여 상기 요약 비디오로 생성할 수 있다.
또한, 상기 선호도 분석부는, 상기 입력 비디오와 관련하여 사전 정의된 인물간 관계 설정을 고려하여 상기 요약 후보 인물을 결정할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 장시간의 비디오 내 출현하는 출현 인물 중 사용자가 시청하고자 하는 출현 인물들의 정보를 사용자가 쉽게 획득할 수 있는 사용자 선호도 입력 기반의 출현 인물 중심 장면 생성 및 비디오 요약 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 각 분할 시간 구간별 비디오에 대해 장면 인물 분포를 통해 추출된 장면 정보를 이용하여 요약 비디오를 생성함으로써 비교적 장시간의 비디오에 대한 시청자의 컨텐츠 이해도가 높아질 수 있으며, 시청자가 출현 인물 중심으로 발생하는 이벤트를 빠르게 검색하여 파악할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 장시간의 비디오 입력에 대하여 생성된 구간별 장면들로부터 사용자가 출현 인물 중심의 원본 영상 화면 재생을 가능하게 할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 장면 선택부를 포함하는 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치의 개략적인 구성도이다.
도 3은 선호 관계와 관련된 사용자 입력에 기초하여 요약 후보 인물을 결정하기 위하여 컨텐츠의 내용을 고려하여 사전에 정의한 인물 간의 관계를 개략적으로 나타낸 도표이다.
도 4는 사전 학습 결과에 기초하여 입력 비디오 내의 출현 인물 검출을 수행하는 인물 검출부의 세부 구성도이다.
도 5는 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치의 사용자의 인물 선호도 및 출현 인물 횟수에 기초한 가중치 계산 예시를 개략적으로 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치의 입력 비디오에 대한 장면 생성 및 요약 비디오 생성 과정을 개략적으로 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치에 의하여 수행되는 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법의 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치의 개략적인 구성도이고, 도 2는 본원의 일 실시예에 따른 장면 선택부를 포함하는 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치의 개략적인 구성도이다.
도 1 및 도 2를 참조하면, 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치(10)(이하, '장면 생성 및 비디오 요약 장치(10)'라 한다.)는, 선호도 분석부(100), 사전 학습부(200), 인물 검출부(210), 장면 생성부(300), 장면 객체 DB(310), 인물 가중치 계산부(400), 장면 선택부(410) 및 요약 비디오 편집부(500)를 포함할 수 있다.
또한, 도 1 및 도 2를 참조하면, 장면 생성 및 비디오 요약 장치(10)는 사용자 선호도 입력 및 입력 비디오(1)를 입력으로 하여, 소정의 메커니즘을 통해 입력 비디오(1)에 대한 요약 비디오(2)를 출력으로 제공하는 장치로 이해될 수 있다. 여기서, 장면 생성 및 비디오 요약 장치(10)에 의해 제공되는(출력되는) 요약 비디오(2)는 사용자 선호도 입력에 기초하여 사용자가 원하는 내용(특히, 사용자가 시청을 원하는 출현 인물이 등장하는 장면)을 우선적으로 포함하도록 입력 비디오(1)로부터 추출된 것일 수 있다.
또한, 본원에서의 입력 비디오(1)는 시간에 따른 영상 평면(프레임)이 연속적으로 이루어진 데이터이며, 요약 비디오(2)는 연속된 프레임 단위의 집합을 포함할 수 있다.
선호도 분석부(100)는, 입력 비디오(1) 내 선호 인물 및 선호 관계와 관련하여 수신한 사용자 입력에 기초하여, 하나 이상의 요약 후보 인물을 결정할 수 있다.
여기서, 사용자 입력에는 선호 인물에 대한 선호도 및 선호 관계에 대한 선호도 중 적어도 하나를 포함하는 사용자 선호도가 포함될 수 있다.
또한, 선호도 분석부(100)는, 입력 비디오(1)와 관련하여 사전 정의된 인물간 관계 설정을 고려하여 요약 후보 인물을 결정할 수 있다. 여기서, 사전 정의된 인물간 관계 설정은 사전에 정의된 입력 비디오(1)의 컨텐츠 내용을 고려한 인물 관계도에 의해 결정되는 것일 수 있다.
구체적으로, 선호도 분석부(100)는, 선호 인물과 관련하여 수신한 사용자 입력에 기초하여 선호 인물에 해당하는 요약 후보 인물을 결정하고, 선호 관계와 관련하여 수신한 사용자 입력에 기초하여, 결정된 선호 인물에 해당하는 요약 후보 인물에 대하여 사전 정의된 인물간 관계 설정을 고려한 선호 인물과 선호 관계에 의해 연결되는 연결 인물을 결정할 수 있다.
달리 말해, 장면 생성 및 비디오 요약 장치(10)에 인가되는 사용자 선호도 입력은 사용자가 입력 비디오(1) 내의 출현 인물 중 중점적으로 시청하고자 하는 선호 인물과 관련된 선호도 입력 및 입력 비디오(1)의 컨텐츠 내용 상 해당 선호 인물과 소정의 관계를 갖고 등장하는 출현 인물(연결 인물)과 관련된 선호 관계와 관련된 선호도 입력을 포함할 수 있다.
여기서, 선호 관계는 입력 비디오(1)가 포함하고 있는 컨텐츠의 내용을 고려하여 사전에 정의된 입력 비디오(1) 내 등장 인물간 관계 설정을 기초로 선택되는 것일 수 있다.
예를 들어, 드라마, 영화 등의 컨텐츠에 대한 입력 비디오(1) 내에는 복수의 출현 인물들이 등장하고, 이러한 복수의 출현 인물들 간에는 우호 관계, 적대 관계, 연인 관계, 가족 관계 등 상호 간의 다양한 관계 설정을 포함하여 컨텐츠의 내용 흐름이 진행되는 것이 일반적이다.
이렇듯, 선호도 분석부(100)는, 입력 비디오(1)에 대한 출현 인물간의 관계 설정을 사전 정의(학습)하고, 사용자 선호도 입력이 인가되면, 인가된 사용자 선호도 입력에 기초하여 요약 비디오(2)에 중점적으로 등장하게 될 하나 이상의 요약 후보 인물을 결정하는 것일 수 있다.
예를 들어, 선호도 분석부(100)에 인가된 사용자 선호도 입력이 '선호 인물= C1, 선호 관계=우호 관계' 인 경우, 선호도 분석부(100)는 선호 인물에 관련한 사용자 입력에 기초하여 C1을 요약 후보 인물로 결정하고, 사전 정의된 인물간 관계 설정에 기초하여 선호 인물인 C1에 대하여 '우호 관계'에 있는 인물을 탐색하고 탐색된 인물(예를 들면 C2)을 요약 후보 인물에 추가하도록 동작할 수 있다. 특히, 선호 관계와 관련된 사용자 입력에 기초하여 결정되는 연결 인물은 선호 인물에 대하여 하나의 인물로 결정되거나 복수의 인물로 결정될 수 있다.
본원의 일 실시예에 따르면, 사용자 선호도 입력은 단계적으로 입력되는 것일 수 있다. 예를 들어, 사용자가 1차적으로 선호 인물에 대한 선호도를 선택한 후, 사전 정의된 인물간 관계 설정을 고려하여 1차적으로 선택된 선호 인물에 대하여 선택 가능한 선호 관계의 목록을 사용자에게 제공하고, 사용자가 2차적으로 선호 관계에 대한 선호도를 선택하도록 구현될 수 있다. 다만, 이에만 한정되는 것은 아니고, 선호 인물 및 선호 관계 중 하나에 대한 사용자 선호도 입력만이 인가되거나 선호 인물 및 선호 관계에 대한 사용자 선호도 입력이 동시에 인가되는 등 다양한 방식으로 사용자 선호도 입력이 입력되는 것일 수 있다.
또한, 사용자 선호도 입력 중 선호 관계와 관련된 사용자 입력은 선호 인물 선택 과정에서 선택된 인물에 한하여 선호하는 관계를 선택하는 방식으로 입력될 수 있고, 선택된 선호 관계에 따라 선호도 분석부(100)에 의해 소정의 인물이 연결 인물로 선택될 수 있다.
도 3은 선호 관계와 관련된 사용자 입력에 기초하여 요약 후보 인물을 결정하기 위하여 컨텐츠의 내용을 고려하여 사전에 정의한 인물 간의 관계를 개략적으로 나타낸 도표이다.
도 3을 참조하면, 입력 비디오(1) 내 출현 인물이 C1 내지 C5로 5명인 경우, 두 출현 인물에 대하여 인물 간의 관계가 각각 정의되는 것일 수 있다. 또한, 도 3을 참조하면, 인물 간의 관계는 서로 상이한 두 출현 인물 사이에서도 동일한 관계로 평가되는 것일 수 있다. 예를 들어, 도 3을 참조하면, 인물 C1과 인물 C2사이의 인물 간의 관계가 R A 이고, 인물 C1과 인물 C4 사이의 인물 간의 관계 역시 R A 로 평가되는 것일 수 있다.
여기서, R A , R B , R C 등은 상술한 우호 관계, 적대 관계, 연인 관계, 가족 관계 등의 관계 설정 중 어느 하나를 가리키는 것으로 이해될 수 있으며, 입력 비디오(1)의 유형에 따라 기 설정된 인물 간 관계의 수는 추가되거나 감축될 수 있다.
또한, 본원의 일 실시예에 따르면, 선호 인물과 관련한 사용자 입력 또는 선호 관계와 관련한 사용자 입력은 복수의 선호 인물을 선택한 것이거나, 복수의 선호 관계를 선택한 것일 수 있다. 달리 말해, 선호도 분석부(100)는 복수의 선호 인물과 관련한 사용자 입력 또는 복수의 선호 관계와 관련한 사용자 입력에 기초하여 복수의 선호 인물 또는 복수의 연결 인물을 포함하는 요약 후보 인물을 결정하는 것일 수 있다.
사전 학습부(200)는, 결정된 하나 이상의 요약 후보 인물을 포함하는 입력 비디오(1) 내의 출현 인물의 식별을 위한 학습을 수행하여 입력 비디오(1) 내 출현 인물을 인식하도록 동작할 수 있다.
이를 위하여, 사전 학습부(200)는, 출현 인물에 대한 이미지를 외부로부터 수집하여 입력 비디오(1) 내의 출현 인물의 식별을 위한 학습을 수행할 수 있다.
또한, 사전 학습부(200)는, 입력 비디오(1) 내의 출현 인물이 프레임 단위로 인식되도록 프레임 별로 출현 인물 정보를 검출 및 저장할 수 있다.
본원의 일 실시예에 따르면, 사전 학습부(200)는, 사전 학습 결과에 기초하여 입력 비디오(1) 내 출현 인물을 인식하는 인물 검출부(210)를 포함할 수 있다.
도 4는 사전 학습 결과에 기초하여 입력 비디오 내의 출현 인물 검출을 수행하는 인물 검출부의 세부 구성도이다.
도 4를 참조하면, 인물 검출부(210)는 얼굴 인식부(211) 및 학습 데이터 포맷 변환부(212)를 포함할 수 있다. 또한, 도 4를 참조하면, 인물 검출부(210)는 참조 이미지(Reference Images, 21)을 참조하여 입력 비디오(1)의 각 프레임에 등장하는 출현 인물을 인식하는 것일 수 있다. 구체적으로, 입력 비디오(1)의 각 프레임에 대하여 얼굴 인식부(21)가 프레임 내 출현 인물의 얼굴 영역을 추출하고 추출된 얼굴 영역의 이미지를 참조 이미지(21)와 비교함으로써 입력 비디오(1)의 각 프레임의 출현 인물을 인식하도록 동작할 수 있다.
여기서, 참조 이미지(21) 데이터베이스에 저장된 출현 인물에 대한 이미지 데이터는 인터넷 포털 사이트 등에서 학습을 위하여 수집(크롤링)된 것일 수 있다.
또한, 학습 데이터 포맷 변환부(212)는, 얼굴 인식부(211)에 의해 판단된 프레임 별 출현 인물에 대한 인식 결과(달리 말해, 프레임별 출현 인물 정보, 학습 데이터 또는 Training Data)를 장면 객체 DB(310)에 저장되기에 적합한 형태로 변환할 수 있다.
또한, 인물 검출부(210)에 의해 도출된 입력 비디오(1)의 각 프레임에 대한 출현 인물 인식 결과는 장면 객체 DB(310)에 저장될 수 있고, 이렇게 저장된 프레임별 출현 인물 정보는 장면 생성부(300)에 의해 1차 장면 또는 2차 장면 중 적어도 하나를 생성하는데 활용되거나, 2차 장면에 대하여 장면 정보로써 포함되거나 요약 후보 인물별 가중치를 계산하는데 활용될 수 있다.
또한, 본원의 일 실시예에 따르면, 사전 학습부(200)는, 입력 비디오(1) 내의 출현 인물에 대한 이미지 데이터를 인터넷 포털 등에서 자동으로 수집(크롤링)하여 학습을 수행하도록 구현될 수 있다.
장면 생성부(300)는, 사전 학습부(200)의 출현 인물 인식 결과에 기초하여, 입력 비디오(1) 내에서 같은 출현 인물이 등장하는 프레임들에 관한 1차 장면을 생성할 수 있다.
본원의 일 실시예에 따르면, 장면 생성부(300)는, 사전 학습부(200)에 의하여 추출되어 장면 객체 DB(310)에 저장된 입력 비디오(1)의 각 프레임 별로 등장하는 출현 인물에 대한 출현 인물 정보에 기초하여 시계열적으로 연속적인 복수의 프레임 내에 동일한 출현 인물이 등장하는 경우 해당 복수의 프레임들을 묶어 하나의 1차 장면으로 생성할 수 있다. 달리 말해, 장면 생성부(300)는 출현 인물 정보에 기초하여 입력 비디오(1)를 시계열적으로 나눈 복수의 1차 장면을 생성하는 것일 수 있다.
이해를 돕기 위하여 예시하면, 입력 비디오(1)의 시계열적인 첫번째 프레임부터 n번째 프레임까지 출현 인물 C1이 등장하고, n+1번째 프레임부터 m번째 프레임까지 출현 인물 C3가 등장하는 경우, 장면 생성부(300)에 의해 첫번째 프레임부터 n번째 프레임까지의 복수의 프레임들을 포함하는 출현 인물 C1이 등장하는 1차 장면이 생성될 수 있고, n+1번째 프레임부터 m번째 프레임까지의 복수의 프레임들을 포함하는 출현 인물 C3가 등장하는 1차 장면이 생성될 수 있다.
또한, 장면 생성부(300)는, 1차 장면에 대한 생성이 완료되고 나면, 생성된 1차 장면을 기초로 하나 이상의 요약 후보 인물과 관련되는 2차 장면을 생성할 수 있다.
본원의 일 실시예에 따르면 하나 이상의 요약 후보 인물과 관련되는 2차 장면은 앞서 생성된 1차 장면 중에서 선호도 분석부(100)에 의해 결정된 요약 후보 인물이 등장하는 1차 장면을 추출하여 병합한 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 제1요약 후보 인물에 대한 2차 장면과 제2요약 후보 인물에 대한 2차 장면이 시계열적으로 연속적으로 위치하는 경우, 장면 생성부(300)는, 두 2차 장면을 하나의 2차 장면으로 병합할 수 있다. 이 때 생성되는 2차 장면은 제1요약 후보 인물 및 제2요약 후보 인물이 함께 등장하는 2차 장면이 될 수 있다.
예를 들어, 제1요약 후보 인물과 제2요약 후보 인물이 대화하는 장면에 대한 입력 비디오(1)의 소정 구간에서는 제1요약 후보 인물이 등장하는 프레임들(또는 1차 장면)과 제2요약 후보 인물이 등장하는 프레임들(또는 1차 장면)이 교대로 나타날 수 있다. 이러한 경우, 장면 생성부(300)는 해당 1차 장면들을 병합하여 제1요약 후보 인물 및 제2요약 후보 인물이 함께 등장하는 2차 장면을 생성할 수 있다.
또한, 장면 생성부(300)는, 입력 비디오(1) 내 장면 위치 정보, 장면 내 출현 인물 정보 및 장면 내 출현 인물별 출현 횟수 정보를 장면 정보로서 포함하는 2차 장면을 생성할 수 있다.
본원의 일 실시예에 따르면, 입력 비디오(1) 내 장면 위치 정보란, 생성된 2차 장면의 시작 시점의 프레임 번호(f s ) 및 생성된 2차 장면의 마지막 시점의 프레임 번호(f e )를 의미하는 것으로 이해될 수 있다. 즉, 생성된 2차 장면은 프레임 f s 와 프레임 f e 사이의 복수의 프레임을 포함하는 것일 수 있다.
구체적으로, 생성된 2차 장면에 대한 장면 정보는 하기 식 1과 같이 표현될 수 있다.
[식 1]
Figure 112019087039449-pat00001
여기서, S n 은 n번째 2차 장면에 대한 장면 정보이고, f s 는 2차 장면의 시작 시점의 프레임 번호(위치, 시간), f e 는 2차 장면의 마지막 시점의 프레임 번호(위치, 시간), cv는 요약 후보 인물의 출현 여부를 나타내는 값이고, cc는 요약 후보 인물의 2차 장면 내 출현 횟수를 나타내는 값이고, m은 선호도 분석부(100)에 의해 결정된 전체 요약 후보 인물의 수를 의미할 수 있다.
예시적으로, 요약 후보 인물의 출현 여부를 나타내는 cv는 해당 요약 후보 인물이 2차 장면 내에 등장하는 경우 1을 할당하고, 등장하지 않는 경우 0을 할당한 것일 수 있다. 또한, 요약 후보 인물의 출현 횟수를 나타내는 cc는 cv 값이 0인 경우(등장하지 않는 경우) 마찬가지로 0의 값을 가지고, cv 값이 1인 경우(등장하는 경우) 출현 횟수를 카운트한 정수 형식의 값을 가질 수 있다.
예를 들어, 제1요약 후보 인물이 해당 2차 장면 내에서 5번 등장한 경우, 해당 2차 장면에 대하여 cv 1 =1, cc 1 =5로 결정될 수 있다.
또한, 본원의 일 실시예에 따르면, 장면 객체 DB(310)에는 2차 장면 각각에 대한 장면 정보(S n )가 저장되는 것일 수 있다.
인물 가중치 계산부(400)는, 하나 이상의 요약 후보 인물별로 산출되는 출현 횟수를 고려하여 가중치를 생성할 수 있다.
또한, 인물 가중치 계산부(400)는, 사전 학습부(200)에 의하여(달리 말해, 인물 검출부(210)에 의하여) 프레임 별로 검출된 출현 인물 정보를 활용하여 출현 비율이 상대적으로 높은 요약 후보 인물에 대하여 더 높은 가중치를 부여하도록 동작할 수 있다. 여기서, 출현 인물의 출현 비율은 출현 비중, 출현 시간 등을 가리키는 것으로 달리 이해될 수 있다.
본원의 일 실시예에 따르면, 인물 가중치 계산부(400)에 의해 산출되는 요약 후보 인물별 가중치는 하기 식 2에 의해 계산될 수 있다.
[식 2]
Figure 112019087039449-pat00002
여기서, weigntn은 n번째 요약 후보 인물에 대한 가중치 값이고, N은 입력 비디오(1)의 전체 장면(예를 들면, 2차 장면)의 수이고, k는 n번째 요약 후보 인물이 등장한 장면(예를 들면, 2차 장면)의 수를 각각 의미할 수 있다.
구체적으로, n번째 요약 후보 인물에 대한 가중치 값은 입력 비디오(1) 내에서 n번째 요약 후보 인물이 등장(출현)한 횟수를 전체 요약 후보 인물이 입력 비디오(1) 내에서 등장(출현)한 전체 횟수를 나눈 값으로 계산되는 것일 수 있다.
도 5는 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치의 사용자의 인물 선호도 및 출현 인물 횟수에 기초한 가중치 계산 예시를 개략적으로 나타낸 도표이다.
도 5를 참조하면, 입력 비디오(1)가 5개의 2차 장면(Scene #1 내지 Scene #5)을 포함하고, 결정된 요약 후보 인물이 C1 및 C2인 경우, 1번째 2차 장면(Scene #1)에서는 인물 C1이 10번 등장하고, 2번째 2차 장면(Scene #2)에서는 인물 C1이 5번, 인물 C2가 10번 등장하고, 3번째 2차 장면(Scene #3)에서는 인물 C2가 5번 등장하고, 4번째 2차 장면(Scene #4)에서는 인물 C1이 8번 등장하고, 5번째 2차 장면(Scene #5)에서는 인물 C1이 2번 등장한다.
구체적으로, 요약 후보 인물 C1에 대한 가중치(W1)는 요약 후보 인물 C1의 등장횟수(10+5+8+2=25)를 전체 요약 후보 인물(C1 및 C2)의 전체 등장횟수(10+5+10+5+8+2=40)로 나눈 W1=25/40=0.625로 계산될 수 있다.
또한, 요약 후보 인물 C2에 대한 가중치(W2)는 요약 후보 인물 C2의 등장횟수(10+5=15)를 전체 요약 후보 인물(C1 및 C2)의 전체 등장횟수(10+5+10+5+8+2=40)로 나눈 W2=15/40=0.375로 계산될 수 있다.
요약 비디오 편집부(500)는, 생성된 가중치를 기초로 2차 장면 중 요약 대상 장면을 선별하여 선별된 요약 대상 장면을 포함하는 요약 비디오(2)를 생성할 수 있다.
도 6은 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치의 입력 비디오에 대한 장면 생성 및 요약 비디오 생성 과정을 개략적으로 나타낸 도면이다.
도 6을 참조하면, 장면 생성부에 의해 입력 비디오(1)에 대한 7개의 2차 장면(Scene #1 내지 Scene #7)이 생성되었다고 가정할 때, 요약 비디오 편집부(500)는, 인물 가중치 계산부(400)에 의해 생성된 가중치를 기초로 7개의 2차 장면 중 일부(도 6을 참조하면, Scene #2, Scene #5 및 Scene #6)를 요약 대상 장면으로 선별하여 선별된 요약 대상 장면을 포함하는 요약 비디오(2)를 생성할 수 있다.
또한, 요약 비디오 편집부(500)는, 가중치와 사용자 선호도를 고려한 우선 순위에 기반하여 요약 대상 장면을 선별할 수 있다.
본원의 일 실시예에 따르면, 요약 비디오 편집부(500)는 2차 장면 각각에 대하여 하기 식 3에 의한 장면 점수를 계산하고, 계산된 장면 점수에 기초하여 장면 점수가 높은 2차 장면 중 일부를 요약 대상 장면으로 선별하는 것일 수 있다.
[식 3]
Figure 112019087039449-pat00003
여기서, 2차 장면 각각의 장면 점수(score)는 도 2를 참조하면, '선호도 기반 장면 스코어링'으로 달리 지칭될 수 있으며, f e 는 2차 장면의 마지막 프레임 번호(위치, 시간)이고, f s 는 2차 장면의 첫번째 프레임 번호(위치, 시간)이고, weightn은 n번째 요약 후보 인물의 가중치, cc j 는 j번째 요약 후보 인물의 2차 장면 내 출현 횟수, m은 전체 요약 후보 인물의 수를 의미하는 것일 수 있다.
달리 말해, 요약 비디오 편집부(500)는, 2차 장면 각각의 길이 대비 요약 후보 인물의 출현 비(비중)을 수치화하여 장면 점수로 환산하는 것일 수 있다.
구체적으로, 상기 식 3은 해당 2차 장면의 프레임 단위 길이와 요약 후보 인물의 가중치 및 출현 횟수의 곱으로 표현되고, 입력 비디오(1) 내에서 많이 등장한 요약 후보 인물일수록(달리 말해, 높은 가중치를 가지는 요약 후보 인물일수록) 해당 요약 후보 인물이 다수 출현한 2차 장면에 높은 장면 점수가 할당될 수 있다.
또한, 요약 비디오 편집부(500)는, 계산된 장면 점수에 기초하여, 복수의 2차 장면을 높은 장면 점수를 가지는 2차 장면으로부터 정렬할 수 있고, 높은 점수를 갖는 2차 장면을 선택하여 선호도에 따라 높은 점수를 갖는 2차 장면을 요약 대상 장면으로 선별할 수 있다.
또한, 본원의 일 실시예에 따르면, 장면 생성 및 비디오 요약 장치(10)는 도 2를 참조하면, 요약 비디오(2)의 전체 재생 시간과 관련된 요약 시간에 대한 사용자 입력을 수신할 수 있다. 이 때, 요약 비디오 편집부(500)는 수신된 요약 시간에 대한 사용자 입력에 기초하여, 선별된 요약 대상 장면의 총 재생 길이(시간)가 수신된 요약 시간을 초과하지 않도록 하는 범위 내에서 장면 점수를 기준으로 하여 높은 순위의 2차 장면을 요약 대상 장면으로 선별하는 것일 수 있다.
또한, 상기에서 요약 후보 인물인 선호 인물과 선호 관계에 의해 선택된 연결 인물은 상호 동등하게 취급되어 장면 생성 및 비디오 요약 장치(10)는, 선호 인물 및 연결 인물 모두에 대하여 출현 횟수에 따라 동일하게 계산되는 가중치 값에 기초하여 요약 대상 장면을 선별하는 것으로 설명하였으나 이에만 한정되는 것은 아니다. 다른 예로, 장면 생성 및 비디오 요약 장치(10)는 사용자 선호도 입력에 기초하여 선호 인물이 등장하는 장면이 연결 인물이 등장하는 장면에 비하여 우선적으로 요약 대상 장면으로 선택되도록 선호 인물과 연결 인물에 대한 가중치를 별도로 설정하여 장면 점수를 계산하도록 구현될 수 있다. 이 때, 선호 인물과 연결 인물을 동일하게 취급할지 여부는 별도의 사용자 입력에 의해 결정되는 것일 수 있다. 예를 들어, 선호 인물에 대한 시청 선호도(중요도)가 높은 사용자의 경우, 선호 인물이 포함된 장면을 우선적으로 요약 비디오(2) 내에 포함할 것을 요청하는 사용자 입력을 장면 생성 및 비디오 요약 장치(10)에 인가할 수 있고, 장면 생성 및 비디오 요약 장치(10)는 선호 인물에 대한 가중치를 연결 인물에 대한 가중치보다 높게 설정할 수 있다. 이러한 경우, 선호 인물 및 연결 인물의 출현 횟수에 의해 계산되는 가중치는 사용자 입력에 의한 가중치와 함께 활용되는 것일 수 있다.
또한, 요약 비디오 편집부(500)는, 선별된 요약 대상 장면별 장면 정보를 이용하여 요약 비디오(2)를 생성하는 것일 수 있다.
구체적으로, 요약 비디오 편집부(500)는, 선별된 요약 대상 장면을 기준으로 입력 비디오(1)에 대해 각 요약 대상 장면의 시간 정보를 추출하여 해당 요약 대상 장면의 시작 프레임과 마지막 프레임 사이의 복수의 프레임들을 추출하여 요약 비디오(2)를 생성할 수 있다.
달리 말해, 요약 비디오 편집부(500)는 장면 객체 DB(310)에 저장된 요약 대상 장면의 장면 정보를 활용하여 입력 비디오(1)에서 해당 요약 대상 장면의 위치를 탐색하고, 연속적으로 존재하는 프레임들을 추출하여 요약 비디오(2)로 재구성하는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 요약 비디오 편집부(500)는 요약 대상 장면으로 선별된 복수의 요약 대상 장면 간의 장면 점수 차이가 기 설정된 임계값 이하인 경우, 요약 비디오(2) 내에서 복수의 요약 대상 장면 중 원본인 입력 비디오(1)내에서 시계열적으로 앞선 위치에 존재하는(달리 말해, 재생 순서 상 먼저 재생되는)의 요약 대상 장면이 나머지 요약 대상 장면에 대하여 먼저 재생되도록 요약 비디오(2)를 생성할 수 있다.
예를 들어, 요약 비디오 편집부(500)는, 두 요약 대상 장면 간의 장면 점수 차이가 기 설정된 임계값을 초과하는 경우, 높은 장면 점수를 얻은 요약 대상 장면이 사용자 선호도 측면에서 사용자가 시청하고자 하는 장면일 확률이 매우 높은 것으로 보고, 요약 비디오(2) 내에서 먼저 재생되도록 요약 비디오(2)를 생성하되, 두 요약 대상 장면 간의 장면 점수 차이가 기 설정된 임계값 이하인 경우, 두 요약 대상 장면이 사용자 선호도 측면에서 사용자가 시정하고자 하는 장면일 확률이 상호 유사한 것으로 보고, 요약 비디오(2) 내에서 시청자의 시청 편의를 위하여 원본인 입력 비디오(1)에서 먼저 재생되었던 부분의 요약 대상 장면을 원본 재생 순서와 동일하게 먼저 재생되도록 요약 비디오(2)를 생성할 수 있다.
또한, 도 2를 참조하면, 본원의 일 실시예에 따른 장면 생성 및 비디오 요약 장치(10)는, 복수의 2차 장면을 기초로 한 요약 대상 장면 선별은 장면 선택부(410)에 의해 수행하고, 선별된 요약 대상 장면에 기초한 요약 비디오(2) 생성은 요약 비디오 편집부(500)에 의해 수행하도록 구현될 수 있으나, 이에만 한정되는 것은 아니고, 장면 선택부(410)와 요약 비디오 편집부(500)가 하나의 주체로서 요약 대상 장면 선별과 요약 비디오(2) 생성을 함께 수행하도록 구현될 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치에 의하여 수행되는 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법의 동작 흐름도이다.
도 7에 도시된 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치에 의하여 수행되는 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법은 앞서 설명된 장면 생성 및 비디오 요약 장치(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 장면 생성 및 비디오 요약 장치(10)에 대하여 설명된 내용은 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 단계 S710에서 선호도 분석부(100)는, (a) 입력 비디오(1) 내 선호 인물 및 선호 관계와 관련하여 수신한 사용자 입력에 기초하여, 하나 이상의 요약 후보 인물을 결정할 수 있다.
여기서, 하나 이상의 요약 후보 인물은, 선호 인물 및 선호 인물과 선호 관계에 의해 연결되는 연결 인물을 포함할 수 있다.
또한, 본원의 일 실시예에 따르면, (a) 단계는(즉, 단계 S710은), 입력 비디오(1)와 관련하여 사전 정의된 인물간 관계 설정을 고려하여 요약 후보 인물을 결정하는 것일 수 있다. 여기서, 사전 정의된 인물간 관계 설정은 사전에 정의된 입력 비디오(1)의 컨텐츠 내용을 고려한 인물 관계도에 의해 결정되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, (a) 단계에서, 사용자 입력은 사전 정의된 인물간 관계 설정을 기초로 선호 인물 및 선호 관계를 선택하여 이루어지는 것일 수 있다.
다음으로, 단계 S720에서 사전 학습부(200)는, (b) 하나 이상의 요약 후보 인물을 포함하는 입력 비디오(1) 내의 출현 인물의 식별을 위한 학습을 수행하여 입력 비디오(1) 내 출현 인물을 인식할 수 있다.
본원의 일 실시예에 따르면, (b) 단계에서(즉, 단계 S720에서), 입력 비디오(1) 내의 출현 인물의 식별을 위한 학습은 출현 인물에 대한 이미지를 외부로부터 수집하여 이루어지는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, (b) 단계는(즉, 단계 S720은) 입력 비디오(1) 내의 출현 인물이 프레임 단위로 인식되도록 프레임 별로 출현 인물 정보를 검출 및 저장하는 것일 수 있다.
다음으로, 단계 S730에서 장면 생성부(300)는, (c) 사전 학습부(200)의 출현 인물 인식 결과에 기초하여, 입력 비디오(1) 내에서 같은 출현 인물이 등장하는 프레임들에 관한 1차 장면을 생성할 수 있다.
다음으로, 단계 S740에서 장면 생성부(300)는, (d) 생성된 1차 장면을 기초로 상기 하나 이상의 요약 후보 인물과 관련되는 2차 장면을 생성할 수 있다. 또한, 단계 S740에서 인물 가중치 계산부(400)는, 하나 이상의 요약 후보 인물별로 산출되는 출현 횟수를 고려하여 가중치를 생성할 수 있다.
본원의 일 실시예에 따르면, (d) 단계는(즉, 단계 S740은), 프레임 별로 검출된 출현 인물 정보를 활용하여 출현 비율이 상대적으로 높은 요약 후보 인물에 대하여 더 높은 가중치를 부여하는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, (d) 단계에서 생성되는 2차 장면은, 입력 비디오(1) 내 장면 위치 정보, 장면 내 출현 인물 정보 및 장면 내 출현 인물별 출현 횟수 정보를 장면 정보로서 포함할 수 있다.
다음으로, 단계 S750에서 요약 비디오 편집부(500)는, (e) 가중치를 기초로 2차 장면 중 요약 대상 장면을 선별하여 요약 비디오(2)를 생성할 수 있다.
특히, (e) 단계에서, 요약 대상 장면은 가중치와 사용자 선호도를 고려한 우선 순위에 기반하여 선별되는 것일 수 있다.
또한, (e) 단계는(즉, 단계 S750은), (d) 단계에서 획득된 선별된 요약 대상 장면별 장면 정보를 이용하여 요약 비디오(2)로 생성하는 것일 수 있다.
상술한 설명에서, 단계 S710 내지 S750은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치에 의하여 수행되는 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 본원의 일 실시예에 따른 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치에 의하여 수행되는 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
1: 입력 비디오
2: 요약 비디오
10: 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치
100: 선호도 분석부
200: 사전 학습부
210: 인물 검출부
211: 얼굴 인식부
212: 학습 데이터 포맷 변환부
300: 장면 생성부
310: 장면 객체 DB
400: 인물 가중치 계산부
410: 장면 선택부
500: 요약 비디오 편집부

Claims (16)

  1. 인물 중심 장면 생성 및 비디오 요약 장치에 의해 수행되는 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 방법으로서,
    (a) 입력 비디오 내 선호 인물 및 선호 관계와 관련하여 수신한 사용자 입력에 기초하여, 하나 이상의 요약 후보 인물을 결정하는 단계;
    (b) 상기 하나 이상의 요약 후보 인물을 포함하는 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습을 수행하여 상기 입력 비디오 내 출현 인물을 인식하는 단계;
    (c) 출현 인물 인식 결과에 기초하여, 상기 입력 비디오 내에서 같은 출현 인물이 등장하는 프레임들에 관한 1차 장면을 생성하는 단계;
    (d) 생성된 1차 장면 중에서 상기 (a) 단계에서 결정된 하나 이상의 요약 후보 인물이 등장하는 1차 장면을 추출하여 상기 하나 이상의 요약 후보 인물과 관련되는 2차 장면을 생성하고, 상기 하나 이상의 요약 후보 인물별로 산출되는 출현 횟수를 고려하여 가중치를 생성하는 단계; 및
    (e) 상기 가중치를 기초로 상기 2차 장면 중 요약 대상 장면을 선별하여 요약 비디오를 생성하는 단계를 포함하는, 인물 중심 장면 생성 및 비디오 요약 방법.
  2. 제1항에 있어서,
    상기 (b) 단계에서, 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습은 출현 인물에 대한 이미지를 외부로부터 수집하여 이루어지는 것인, 인물 중심 장면 생성 및 비디오 요약 방법.
  3. 제1항에 있어서,
    상기 (b) 단계는, 상기 입력 비디오 내의 출현 인물이 프레임 단위로 인식되도록 프레임 별로 출현 인물 정보를 검출 및 저장하고,
    상기 (d) 단계는, 프레임 별로 검출된 출현 인물 정보를 활용하여 출현 비율이 상대적으로 높은 요약 후보 인물에 대하여 더 높은 가중치를 부여하는 것인, 인물 중심 장면 생성 및 비디오 요약 방법.
  4. 제1항에 있어서,
    상기 사용자 입력에는, 선호 인물에 대한 선호도 및 선호 관계에 대한 선호도 중 적어도 하나를 포함하는 사용자 선호도가 포함되고,
    상기 (e) 단계에서, 상기 요약 대상 장면은 상기 가중치와 상기 사용자 선호도를 고려한 우선 순위에 기반하여 선별되는 것인, 인물 중심 장면 생성 및 비디오 요약 방법.
  5. 제1항에 있어서,
    상기 (d) 단계에서 생성되는 2차 장면은, 상기 입력 비디오 내 장면 위치 정보, 장면 내 출현 인물 정보 및 장면 내 출현 인물별 출현 횟수 정보를 장면 정보로서 포함하는 것인, 인물 중심 장면 생성 및 비디오 요약 방법.
  6. 제5항에 있어서,
    상기 (e) 단계는, 선별된 요약 대상 장면별 장면 정보를 이용하여 상기 요약 비디오로 생성하는 것인, 인물 중심 장면 생성 및 비디오 요약 방법.
  7. 제1항에 있어서,
    상기 (a) 단계에서, 상가 하나 이상의 요약 후보 인물은, 선호 인물 및 선호 인물과 선호 관계에 의해 연결되는 연결 인물을 포함하는 것인, 인물 중심 장면 생성 및 비디오 요약 방법.
  8. 제1항에 있어서,
    상기 (a) 단계는, 상기 입력 비디오와 관련하여 사전 정의된 인물간 관계 설정을 고려하여 상기 요약 후보 인물을 결정하는 것인, 인물 중심 장면 생성 및 비디오 요약 방법.
  9. 제8항에 있어서,
    상기 (a) 단계에서, 상기 사용자 입력은 상기 사전 정의된 인물간 관계 설정을 기초로 선호 인물 및 선호 관계를 선택하여 이루어지는 것인, 인물 중심 장면 생성 및 비디오 요약 방법.
  10. 사용자 선호도 입력 기반의 인물 중심 장면 생성 및 비디오 요약 장치에 있어서,
    입력 비디오 내 선호 인물 및 선호 관계와 관련하여 수신한 사용자 입력에 기초하여, 하나 이상의 요약 후보 인물을 결정하는 선호도 분석부;
    상기 하나 이상의 요약 후보 인물을 포함하는 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습을 수행하여 상기 입력 비디오 내 출현 인물을 인식하는 사전 학습부;
    출현 인물 인식 결과에 기초하여, 상기 입력 비디오 내에서 같은 출현 인물이 등장하는 프레임들에 관한 1차 장면을 생성하고, 생성된 1차 장면 중에서 상기 선호도 분석부에서 결정된 상기 하나 이상의 요약 후보 인물이 등장하는 1차 장면을 추출하여 상기 하나 이상의 요약 후보 인물과 관련되는 2차 장면을 생성하는 장면 생성부;
    상기 하나 이상의 요약 후보 인물별로 산출되는 출현 횟수를 고려하여 가중치를 생성하는 인물 가중치 계산부; 및
    상기 가중치를 기초로 상기 2차 장면 중 요약 대상 장면을 선별하여 요약 비디오를 생성하는 요약 비디오 편집부,
    를 포함하는, 인물 중심 장면 생성 및 비디오 요약 장치.
  11. 제10항에 있어서,
    상기 사전 학습부는,
    출현 인물에 대한 이미지를 외부로부터 수집하여 상기 입력 비디오 내의 출현 인물의 식별을 위한 학습을 수행하는 것인, 인물 중심 장면 생성 및 비디오 요약 장치.
  12. 제10항에 있어서,
    상기 사전 학습부는,
    상기 입력 비디오 내의 출현 인물이 프레임 단위로 인식되도록 프레임 별로 출현 인물 정보를 검출 및 저장하고,
    상기 인물 가중치 계산부는,
    프레임 별로 검출된 출현 인물 정보를 활용하여 출현 비율이 상대적으로 높은 요약 후보 인물에 대하여 더 높은 가중치를 부여하는 것인, 인물 중심 장면 생성 및 비디오 요약 장치.
  13. 제10항에 있어서,
    상기 사용자 입력에는, 선호 인물에 대한 선호도 및 선호 관계에 대한 선호도 중 적어도 하나를 포함하는 사용자 선호도가 포함되고,
    상기 요약 비디오 편집부는,
    상기 가중치와 상기 사용자 선호도를 고려한 우선 순위에 기반하여 상기 요약 대상 장면을 선별하는 것인, 인물 중심 장면 생성 및 비디오 요약 장치.
  14. 제10항에 있어서,
    상기 장면 생성부는,
    상기 입력 비디오 내 장면 위치 정보, 장면 내 출현 인물 정보 및 장면 내 출현 인물별 출현 횟수 정보를 장면 정보로서 포함하는 상기 2차 장면을 생성하는 것인, 인물 중심 장면 생성 및 비디오 요약 장치.
  15. 제14항에 있어서,
    상기 요약 비디오 편집부는,
    선별된 요약 대상 장면별 장면 정보를 이용하여 상기 요약 비디오로 생성하는 것인, 인물 중심 장면 생성 및 비디오 요약 장치.
  16. 제10항에 있어서,
    상기 선호도 분석부는,
    상기 입력 비디오와 관련하여 사전 정의된 인물간 관계 설정을 고려하여 상기 요약 후보 인물을 결정하는 것인, 인물 중심 장면 생성 및 비디오 요약 장치.
KR1020190103961A 2019-08-23 2019-08-23 사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법 KR102173858B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190103961A KR102173858B1 (ko) 2019-08-23 2019-08-23 사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190103961A KR102173858B1 (ko) 2019-08-23 2019-08-23 사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102173858B1 true KR102173858B1 (ko) 2020-11-05

Family

ID=73249594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190103961A KR102173858B1 (ko) 2019-08-23 2019-08-23 사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102173858B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359099A (zh) * 2021-12-31 2022-04-15 深圳市爱剪辑科技有限公司 一种多功能视效美化处理系统和应用

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000038291A (ko) * 1998-12-05 2000-07-05 구자홍 등장인물들의 관계중심 동영상 검색 데이타 구조 및 검색방법
KR100792016B1 (ko) * 2006-07-25 2008-01-04 한국항공대학교산학협력단 오디오 및 비디오 정보를 이용한 등장인물 기반 비디오요약 장치 및 그 방법
KR20130061058A (ko) * 2011-11-30 2013-06-10 고려대학교 산학협력단 영상 내 비주얼 특징을 이용한 영상 요약 방법 및 시스템
KR101531783B1 (ko) * 2011-05-18 2015-06-25 인텔렉츄얼 벤처스 펀드 83 엘엘씨 특정한 사람을 포함하는 비디오 요약본
KR20180015101A (ko) * 2017-10-30 2018-02-12 명홍철 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
JP2018206292A (ja) * 2017-06-09 2018-12-27 日本放送協会 要約映像生成装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000038291A (ko) * 1998-12-05 2000-07-05 구자홍 등장인물들의 관계중심 동영상 검색 데이타 구조 및 검색방법
KR100792016B1 (ko) * 2006-07-25 2008-01-04 한국항공대학교산학협력단 오디오 및 비디오 정보를 이용한 등장인물 기반 비디오요약 장치 및 그 방법
KR101531783B1 (ko) * 2011-05-18 2015-06-25 인텔렉츄얼 벤처스 펀드 83 엘엘씨 특정한 사람을 포함하는 비디오 요약본
KR20130061058A (ko) * 2011-11-30 2013-06-10 고려대학교 산학협력단 영상 내 비주얼 특징을 이용한 영상 요약 방법 및 시스템
JP2018206292A (ja) * 2017-06-09 2018-12-27 日本放送協会 要約映像生成装置及びプログラム
KR20180015101A (ko) * 2017-10-30 2018-02-12 명홍철 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359099A (zh) * 2021-12-31 2022-04-15 深圳市爱剪辑科技有限公司 一种多功能视效美化处理系统和应用

Similar Documents

Publication Publication Date Title
JP6824332B2 (ja) 動画サービス提供方法およびこれを用いるサービスサーバ
KR101994592B1 (ko) 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
KR102197098B1 (ko) 콘텐츠 추천 방법 및 장치
Merler et al. Automatic curation of sports highlights using multimodal excitement features
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
US10134440B2 (en) Video summarization using audio and visual cues
JP4920395B2 (ja) 動画要約自動作成装置、方法、及びコンピュータ・プログラム
KR100717402B1 (ko) 멀티미디어 데이터의 장르를 판단하는 장치 및 방법
CN113709561A (zh) 视频剪辑方法、装置、设备及存储介质
Sreeja et al. Towards genre-specific frameworks for video summarisation: A survey
CN103200463A (zh) 一种视频摘要生成方法和装置
Jiang et al. Automatic consumer video summarization by audio and visual analysis
Tapaswi et al. Aligning plot synopses to videos for story-based retrieval
KR102221792B1 (ko) 동영상 컨텐츠의 스토리 기반의 장면 추출 장치 및 방법
Wang et al. Affection arousal based highlight extraction for soccer video
KR20110032347A (ko) 동영상에서의 인물 정보 추출방법 및 그 장치
KR102298066B1 (ko) 영상 콘텐츠 제공 방법 및 영상 콘텐츠 제공 장치
JP6031096B2 (ja) オブジェクトの位置を通じた映像ナビゲーション
KR102173858B1 (ko) 사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법
JP2007200249A (ja) 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
Qu et al. Semantic movie summarization based on string of IE-RoleNets
Otani et al. Textual description-based video summarization for video blogs
CN105847964A (zh) 一种影视节目处理方法和系统
JP4270118B2 (ja) 映像シーンに対する意味ラベル付与方法及び装置及びプログラム
JP2008153920A (ja) 動画像一覧表示装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant