KR102592904B1 - 영상 요약 장치 및 방법 - Google Patents

Abstract

전자 디바이스에 입력된 영상을 요약하는 방법에 있어서, 상기 영상으로부터 키 프레임들을 획득하는 단계; 기설정된 기준에 기초하여, 상기 키 프레임들 중에서 제 1 요약 프레임들을 결정하는 단계; 상기 제 1 요약 프레임들의 복수의 제 1 요약 정보를 생성하는 단계; 및 상기 제 1 요약 프레임들 및 상기 복수의 제 1 요약 정보를 상기 전자 디바이스에 저장하는 단계; 를 포함하는, 방법이 제공된다.

Description

영상 요약 장치 및 방법{APPARATUS AND METHOD FOR SUMMARIZING IMAGE}

본 개시는 영상 요약 장치 및 방법에 관한 것이다.

멀티 미디어 기술 및 네트워크 기술이 발전함에 따라, 사용자는 단말을 이용하여 자신이 영상을 생성하거나, 다른 단말 또는 서비스 서버로부터 영상을 수신하고 이용할 수 있게 되었다.

그러나, 사용자가 이용할 수 있는 영상의 수가 증가함에 따라, 사용자는 자신이 이용할 영상을 효과적으로 선택하기 힘든 불편함이 있었다. 이에 영상의 내용을 요약하여 제공하는 기술이 개발되고 있으나, 종래의 요약 정보 제공 기술은 기존 미디어의 일부를 단순히 조합하는데 그쳤으므로, 사용자가 친숙하고 편안하게 영상 내용을 파악하기 힘든 문제가 있었다. 이에 따라, 사용자가 효율적으로 영상의 내용을 파악할 수 있으며, 사용자가 보다 친근하게 요약 정보를 이용할 수 있도록 하는 영상 요약 기술이 요구되고 있다.

영상을 요약하는 방법 및 장치를 제공하는데 있다.

본 개시의 1 측면은, 전자 디바이스에 입력된 영상을 요약하는 방법에 있어서, 상기 영상으로부터 키 프레임들(key frames)을 획득하는 단계; 기설정된 기준에 기초하여, 상기 키 프레임들 중에서 제 1 요약 프레임들(summary frames)을 결정(determine)하는 단계; 상기 제 1 요약 프레임들의 복수의 제 1 요약 정보를 생성하는 단계; 및 상기 제 1 요약 프레임들 및 상기 복수의 제 1 요약 정보를 상기 전자 디바이스에 저장하는 단계;를 포함하는, 방법을 제공할 수 있다.

본 개시의 2 측면은, 입력된 영상을 요약하는 전자 디바이스에 있어서, 상기 영상으로부터 키 프레임들을 획득하고, 기설정된 기준에 기초하여, 상기 키 프레임들 중에서 제 1 요약 프레임들을 결정하고, 상기 제 1 요약 프레임들의 복수의 제 1 요약 정보를 생성하는 제어부; 및 상기 제 1 요약 프레임들 및 상기 복수의 제 1 요약 정보를 저장하는 메모리; 를 포함하는, 전자 디바이스를 제공할 수 있다.

본 개시의 3 측면은, 제 1측면의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

도 1은 일 실시예에 따른, 영상 요약을 위해 사용되는 사용자 장치의 블록도이다.
도 2는 일 실시예에 따른, 사용자 장치의 컴포넌트들을 도시하는 블록도이다.
도 3은 일 실시예에 따른, 키 프레임들을 이용하여 제 1 요약 프레임들을 생성하는 과정을 도시하는 흐름도이다.
도 4는 일 실시예에 따른, 사용자 장치를 이용하여 영상 네비게이션에 기초하여 제 1 요약 프레임들의 과정을 도시하는 흐름도이다.
도 5는 일 실시예에 따른, 사용자 장치를 이용하여, 액션 서머리 검색에 기초하여 제 1 요약 프레임들의 과정을 도시하는 흐름도이다.
도 6은 일 실시예에 따른, 순간 기억을 위한 제 1 요약 프레임들을 이용하는 과정을 도시하는 흐름도이다.
도 7은 일 실시예에 따른, 저장 공간을 최적화 하기 위해 제 1 요약 프레임들을 이용하는 과정을 도시하는 흐름도이다.
도 8은 일 실시예에 따른, 전자 디바이스에 입력된 영상을 요약하여 요약 프레임들을 제공하는 것을 설명하기 위한 도면이다..
도 9는 일 실시예에 따른, 요약 프레임들의 요약 정보를 생성하는 방법의 흐름도이다.
도 10은 일 실시예에 따른, 선택된 제 1 요약 프레임부터 영상을 디스플레이하는 예시를 나타내는 방법의 흐름도이다.
도 11은 일 실시예에 따른, 선택된 제 1 요약 프레임부터 영상을 디스플레이하는 예시를 나타내는 도면이다.
도 12는 일 실시예에 따른, 영상을 검색하는 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시예에 따른, 영상의 재생 구간과 매칭되는 영상을 검색하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른, 제 1 요약 프레임의 일부 영역을 선택하는 예시를 나타내는 도면이다.
도 15은 일 실시예에 따른, 복수의 영상들에 대한 마스터 서머리를 생성하는 방법을 설명하기 위한 흐름도이다.
도 16은 일 실시예에 따른, 복수의 영상들에 대한 마스터 서머리를 생성하는 방법을 설명하는 예시를 나타내는 도면이다.
도 17은 일 실시예에 따른, 선택된 요약 프레임의 재생 위치에서부터 영상을 디스플레이하는 방법의 흐름도이다.
도 18은 일 실시예에 따른, 입력된 영상의 일부를 저장하는 방법을 설명하기 위한 흐름도이다.
도 19는 일 실시예에 따른, 입력된 영상의 저장 방식을 선택하는 예시를 나타내는 도면이다.
도 20은 일 실시예에 따른, 전자 디바이스의 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에서, 키 프레임들(key frames)은 영상에서 일정한 시간 간격으로 삽입된 이미지이고, 요약 프레임들(summary frames)은 키 프레임들 중에서 결정된 프레임들로써, 키 프레임들 중에서 이미지의 변화량이 상대적으로 많은 프레임들일 수 있다. 요약 프레임들은 키 프레임들일 수 있다.

또한, 본 명세서에서, 영상이 전자 디바이스 상에서 디스플레이 되는 것은, 영상이 재생 중 또는 정지된 상태를 포함할 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 영상 요약을 위해 사용되는 사용자 장치의 블록도이다. 사용자 장치(101)는 적어도 하나의 포멧으로 데이터를 저장할 수 있는 전자 디바이스일 수 있다. 사용자 장치(101)는 전술한 적어도 하나의 전술한 포맷들로 미디어를 저장하고 캡쳐하기 위한 적어도 하나의 수단을 포함할 수 있다. 또한, 사용자 장치(101)는 로컬 메모리, 저장 공간 기초한 클라우드, 또는 둘다에 데이터를 저장할 수 있다. 또한, 사용자 장치(101)는 사용자에 미디어 컨텐츠를 재생하는 적어도 하나의 수단을 포함할 수 있다. 또한, 사용자 장치(101)는 데이터를 관리하기 위해, 사용자 장치(101)와 사용자가 인터랙션하기 위한 적어도 하나의 옵션을 지원할 수 있다. 사용자 장치(101)는 스마트폰, 태블릿, PDA(Personal Digital Assistant) 및/또는 그와 같은 디바이스일 수 있다.

도 2는 일 실시 예로서, 사용자 장치의 컴포넌트들을 도시하는 블록도이다. 사용자 장치(101)는 입력/출력 인터페이스(201), 영상 서머리 엔진(video summarization engine)(202), 메모리 모듈(203), 네비게이션 모듈(204), 컨텐츠 복구 모듈(content retrieval module)(205) 및 마스터 서머리 생성기(206)을 포함한다.

입력/출력 인터페이스(201)는 데이터 관리, 데이터 캡쳐 및 관련된 활동에 관련된 적어도 하나의 기능을 수행하기 위해, 사용자 장치(101)와 사용자가 상호작용하도록 구성된다. 입력/출력 인터페이스(201)는 키패드 및 터치 스크린 디스플레이와 같은 적합한 형태일 수 있으나, 이에 제한되지 않는다. 또한, 입력/출력 인터페이스(201)는 사용자에게 데이터 캡쳐 및 관리와 관련된 기능을 초기화 및 제어하는 옵션들을 제공한다. 입력/출력 인터페이스(201)는 미디어 컨텐츠를 캡쳐하기 위한 적어도 하나의 수단과 관련되거나, 외부 소스로부터 컨텐츠를 수신/수집할 수 있다. 외부 소스는 인터넷, 외부 하드 디스크 등과 같은 것을 나타낸다.

영상 서머리 엔진(202)는 수집된 영상에서 액션 시퀀스들을 식별하고, 대응하는 키 프레임들을 추출하고, 추출된 키 프레임들을 이용하여 영상에 대응하는 요약 프레임들을 생성할 수 있다. '키 프레임'은 처리될 영상으로부터 고유한 액션 장면들을 나타내는 프레임을 나타낼 수 있다. 일 예에서, 영상 서머리 엔진(202)은 새 영상이 수집되고 메모리 모듈(203)에 저장될 때, 자동으로 요약 프레임들을 초기화한다. 일 실시예에서, 영상 서머리 엔진(202)는 사용자로부터 입력을 수신할 때, 요약 프레임들을 생성한다.

메모리 모듈(203)은 다른 종류들 및 다른 포맷들의 미디어 컨텐츠들을 대응하는 미디어 데이터베이스에 저장할 수 있고, 추가 처리를 위해, 데이터 요청을 수신할 때, 사용자 장치(101)의 다른 컴포넌트들에 미디어 컨텐츠들을 제공할 수 있다. 다양한 실시 예에서, 메모리 모듈(203)은 사용자 장치(101)의 내부 또는 외부에 있을 수 있다. 또한, 메모리 모듈(203)은 고정된 크기이거나 확장 가능하다. 또한, 메모리 모듈(203)은 동일 또는 다른 데이터 베이스에, 미디어 데이터 베이스에 저장되는 각 영상을 위해 생성된 요약 프레임들을 저장할 수 있다. 메모리 모듈(203)은 빠른 컨텐츠 검색 및 복구를 지원하기 위해 미디어 컨텐츠 인덱싱을 지원할 수 있다.

네비게이션 모듈(204)는 영상 네비게이션을 수행할 수 있다. 영상 네비게이션 과정은 사용자가 영상에서 다른 액션 시퀀스들로 신속히 접근하는 것을 허용할 수 있다. 영상이 재생되는 동안, 네비게이션 모듈(204)은 메모리 모듈(203)에 영상을 위해 생성 및 저장되는 요약 프레임들에 기초하여, 사용자에게 영상과 연관된 키 프레임들의 묶음을 식별할 수 있다. 또한, 네비게이션 모듈(204)은 사용자로부터 수신된 입력을 수집할 수 있다. 입력은 사용자에게 표시되는 묶음의 일부인 키 프레임들로부터 특정 키 프레임의 선택과 관계된다. 또한, 네비게이션 모듈(204)은 사용자에게 키 프레임이 표시되고 있는 영상의 일부를 재전송한다.

컨텐츠 복구 모듈(205)은 사용자로부터 검색어를 수집할 수 있다. 검색어는 미디어 파일의 적어도 하나의 타입의 적어도 하나의 부분을 포함할 수 있다. 일 실시예에서, 검색어는 보여지는 미디어 컨텐츠에 기초하여, 사용자에 의해 바로 생성될 수 있다. 예를 들어, 사용자가 영상을 보고 있는 동안, 적절한 옵션들을 이용하여, 사용자는 영상의 특정 부분을 선택하고, 검색어로서 선택된 부분을 제공할 수 있다. 컨텐츠 복구 모듈(205)은, 검색어를 수신할 때, 가급적 영상 라이브러리 인덱스에 의해 표시되는 서머리 영상들 중에서 메모리 모듈에 저장된 컨텐츠들을 검색하고, 모두 매칭되는 컨텐츠를 식별한다. 또한, 컨텐츠 복구 모듈(205)은 입력/출력 인터페이스(201)을 이용하여 사용자에게 식별된 컨텐츠를 표시한다.

마스터 서머리 생성기(206)는 복수의 선택된 영상들의 요약 프레임들을 포함하는 마스터 서머리를 생성할 수 있다. 마스터 서머리 생성기(206)는, 선택된 영상들을 위해 생성된 요약 프레임들로부터, 선택된 영상들을 위한 키 프레임들을 식별하고, 선택된 영상들을 위한 마스터 서머리를 생성한다. 일 실시 예에서, 마스터 서머리 생성기(206)는 마스터 서머리를 생성하기 위해 사용된 영상들에 관련된 사용자 선택을 수신한다. 또 다른 예에서, 마스터 서머리 생성기(206)은 메모리 모듈(203)로부터 서로 관련된 컨텐츠들을 식별 및 선택하고, 선택된 영상들을 위한 마스터 서머리를 생성한다. 마스터 서머리 생성기(206)는 컨텐츠가 생성되고 저장하고 태그되는 기간에 한정되지 않는 적어도 하나의 파라미터에 기초하여 관련된 컨텐츠들을 식별할 수 있다.

도 3은 키 프레임들을 이용하여 요약 프레임들을 생성하는 과정을 도시하는 흐름도이다. 우선, 영상이 선택되고, 자동적으로 또는 사용자의 지시에 기초하여, 영상 서머리 엔진(202)은 선택된 영상에서 다른 액션들을 나타내는 프레임들을 식별한다(단계 302). 또한, 영상 서머리 엔진(202)은 특정 영상에 대응하는 키 프레임들로서 식별된 프레임들을 추출한다(단계 304).

키 프레임들을 식별한 후에, 영상 서머리 엔진(202)은 하나 이상의 미리 결정된 기준에 기초하여 식별된 키 프레임(들)로부터 요약 프레임들을 생성한다. 일 예에서, 미리 결정된 기준은 관심도 점수일 수 있다. 영상 서머리 엔진(202)은 추출된 키 프레임들의 관심을 관심도 점수로서 결정한다(단계 306). 일 예에서 관심도 점수는 사용자에 의해 미리 설정된 적어도 하나의 기준에 기초하여 결정된다.

일 에에서, '관심'는 고려될 키 프레임에 있는 '새로운 정보'의 양에 기초하여 결정될 수 있다. 시간 T에서 가정할 때, M번째 키 프레임이 처리되고 있고, N 키 프레임들(시공간 특징으로 표현되는)으로 구성된 사전이 사용 가능하다. M번째 키 프레임은 미리 설정된 매칭 기준을 이용하여 사전의 모든 컨텐츠들과 비교하고, 매칭의 수(N)이 식별된다. 만약, 'N'이 미리 정의된 임계 'T'를 초과하면, M번째 키 프레임의 관심도 점수는 '하이(high)'로 설정된다. 또한, 사전으로부터 이미 존재하는 키 프레임을 제거하여 M번째 키 프레임이 사전에 추가되고, 이로서 사전이 업데이트된다. 일 예에서, 사전에서 키 프레임의 나머지 부분과 가장 매칭되는 키 프레임이 제거되기 위해 선택된다. 일 예에서, 사전은 키 프레임의 관심도 점수에 기초하여 업데이트 된다. 예를 들어, 고려되는 새로운 키 프레임의 관심도 점수는 사전에 존재하는 모든 키 프레임들 중에서 최소 관심도 점수를 갖는 키 프레임의 관심도 점수와 비교된다. 만약, 새로운 키 프레임의 관심도 점수가 높다면, 기존의 키 프레임을 새로운 키 프레임으로 대체하여 사전은 업데이트된다. 만약, N 값이 임계값 'T'보다 작으면, M번째 키 프레임의 관심도 점수는 '로우(low)'로 설정되고, M번째 키 프레임은 사전에 추가되지 않는다.

또한, 결정된 관심도 점수는 관심도의 임계값과 비교된다. 관심도의 임계값은 미리 결정되고 미리 설정된다. 만약, 결정된 관심도 점수가 임계값과 동일 또는 초과한다면, 대응하는 키 프레임은 요약 프레임들을 생성하기 위해 선택된다. 또한, 선택된 키 프레임을 이용하여, 요약 프레임들이 생성된다(단계 310). 방법(300)에서 다양한 액션들이 다른 순서로 또는 동시에, 제시된 순서대로 수행될 수 있다. 또한, 일부 실시 예에서, 도 3에 도시된 몇몇 액션들은 생략될 수 있다.

도 4는 사용자 장치를 이용하여, 영상 네비게이션에 기초하여 요약 프레임들의 처리를 도시하는 흐름도이다. 선택된 영상이 재생되는 동안, 네비게이션 모듈(204)은 메모리 모듈(203)에서 영상을 위해 생성되고 저장된 요약 프레임들에 기초하여, 영상과 관련된 키 프레임들을 식별한다. 일 실시예에서, 오직 높은 관심도 점수를 갖는 키 프레임들만이 선택되고, 선택된 키 프레임들은 키 프레임들의 묶음으로써 디스플레이 된다(단계 402). 사용자는 적합한 사용자 인터페이스를 이용하여 표시되는 묶음들로부터 적어도 하나의 키 프레임을 선택할 수 있다.

네비게이션 모듈(204)은 특정 키 프레임의 사용자 선택에 따른 입력을 수신하고(단계 404), 재생되는 영상의 특정 부분을 식별한다(단계 406). 선택된 키 프레임은 재생되는 영상으로부터 선택된다. 네비게이션 모듈(204)은 사용자에게 영상의 선택된 부분으로 네비게이션/재전송한다(단계 408). 방법(400)에서 다양한 액션들이 다른 순서로 또는 동시에, 제시된 순서대로 수행될 수 있다. 또한, 일부 실시 예에서, 도 4에 도시된 몇몇 액션들은 생략될 수 있다.

도 5는 사용자 장치를 이용하여, 액션 서머리 검색에 기초하여 요약 프레임들의 처리를 도시하는 흐름도이다. 사용자 장치(101)에서 컨텐츠 복구 모듈(205)은 사용자로부터 검색어를 수집하고(단계 502), 검색어는 미디어 파일의 적어도 하나의 종류의 적어도 하나의 부분을 포함할 수 있다. 예를 들어, 만약 사용자가 미디어 라이브러리 인덱스에서 모든 영상들을 검색하려 한다면, 검색어는 임의의 영상의 부분이 될 수 있다. 예를 들어, 영상 파일을 시청하는 동안, 사용자는 컨텐츠 복구 모듈(205) 및 입력/출력 인터페이스(201)에 의해 제공되는 적합한 옵션들을 이용하여 영상의 특정 부분을 선택할 수 있고, 검색어로서 선택된 특정 부분을 제공할 수 있다.

컨텐츠 복구 모듈(205)는 검색어를 수신할 때, 검색어로부터 모든 키 프레임들을 추출하고(단계 504), 추출된 키 프레임과 영상 라이브러리 인덱스를 비교한다(단계 506). 키 프레임들을 비교하여, 컨텐츠 복구 모듈은 영상 라이브러리 내의 모든 매칭된 컨텐츠들을 식별(단계 508) 및 복구(단계 510)한다. 또한, 식별된 매칭들은 사용자에게 표시된다. 예를 들어, 검색어 영상이 축구 경기에서 페널티킥이면, 컨텐츠 복구 모듈(205)은 검색하여, 적어도 하나의 유사한 키 프레임(페널티킥을 표시)을 갖는 라이브러리에서 모든 영상들을 식별하고, 사용자에게 검색 결과를 표시한다.

방법(500)에서 다양한 액션들이 다른 순서로 또는 동시에, 제시된 순서대로 수행될 수 있다. 또한, 일부 실시 예에서, 도 5에 도시된 몇몇 액션들은 생략될 수 있다.

도 6은 순간 기억을 위한 요약 프레임들을 이용하는 처리를 도시하는 흐름도이다. '순간 기억(moment recall)'은 입력된 쿼리(query)와 매칭되는 요약 프레임들을 수집하는 것을 허락하는 특징을 나타내고, 입력된 쿼리는 이미지이다. 사용자 장치(101)는 쿼리 입력으로서 이미지를 수집함으로써 순간 기억을 개시한다(단계 602). 사용자 장치(101)는 입력된 쿼리를 적어도 하나의 영상과 관련된 요약 프레임들이 저장된 저장 공간 내의 데이터베이스와 비교한다(단계 604).

데이터베이스에서 입력된 쿼리와 요약 프레임들을 비교하여, 적어도 하나의 영상 쿼리가 입력된 쿼리와 매칭되는 것으로 식별된다. 어떤 적합한 이미지 및/또는 영상 처리 및 비교 알고리즘이 입력된 쿼리와 요약 프레임들을 비교하기 위해 사용될 수 있다. 다양한 예에서, 타임 스탬프 및 입력된 쿼리와 연관된 지리적 태그뿐만 아니라 요약 프레임들과 같은 파라미터들이 매칭을 식별하기 위해 고려된다.

적어도 하나의 매칭이 식별되면, 식별된 매칭은 입력된 쿼리에 응답하여, 적합한 포맷에서, 적어도 하나의 적합한 인터페이스를 이용하여, 출력으로 제공된다(단계 608). 만약 매칭이 발견되지 않으면, 결과가 발견되지 않았다는 것을 나타내는 미리 설정된 메시지가 적합한 인터페이스를 이용하여 사용자에게 표시된다(단계 610).

방법(600)에서 다양한 액션들이 다른 순서로 또는 동시에, 제시된 순서대로 수행될 수 있다. 또한, 일부 실시 예에서, 도 6에 도시된 몇몇 액션들은 생략될 수 있다.

도 7은 저장 공간 최적화를 위해 요약 프레임들을 이용하는 처리를 도시하는 흐름도이다. 사용자는 사용자 장치(101)를 이용하여 영상 레코딩을 초기화할 수 있다(단계 702).

사용자 장치(101)는 영상의 레코딩을 모니터하기 위해 구현될 수 있고, 저장 공간의 최적화를 위해 미리 정의된 종류의 적어도 하나의 트리거를 수신한다(단계 704). 예를 들어, 가능한 저장 공간은 설정값 즉, 사용자 장치(101)에서 미리 설정된 저장 공간의 임계치 이하일 수 있다. 또한, 사용자에 의해 제공된 수동 입력의 조합 중 적어도 하나일 수 있고, 가능한 저장 공간은 임계값보다 적거나 및/또는 사용자에 의해 미리 정의된 이벤트일 수 있다.

저장 공간 최적화를 위해 적어도 하나의 트리거를 수신하면, 사용자 장치(101)는 동적으로 레코딩된 영상의 서머리를 생성하고(단계 706), 대응하는 저장 공간에 실제 영상 대신 요약 프레임들을 저장한다(단계 708).

방법(700)에서 다양한 액션들이 다른 순서로 또는 동시에, 제시된 순서대로 수행될 수 있다. 또한, 일부 실시 예에서, 도 7에 도시된 몇몇 액션들은 생략될 수 있다.

도 8은 일 실시예에 따른, 전자 디바이스에 입력된 영상을 요약하여 요약 프레임들을 제공하는 것을 설명하기 위한 도면이다. 전자 디바이스(1000)는 영상을 분석하여 영상의 변화가 상대적으로 큰 프레임들을 요약 프레임으로 결정할 수 있다. 전자 디바이스(1000)는 영상(810)을 디스플레이하고, 요약 프레임들을 영상(810)과 함께 표시할 수 있다. 사용자가 요약 프레임들 중 어느 하나를 선택하면, 전자 디바이스(1000)는 선택된 요약 프레임의 재생 위치부터 영상(810)을 재생할 수 있다. 전자 디바이스(1000)는 영상(810)의 주요 프레임들을 결정하여 사용자에게 제공하기 때문에, 사용자는 영상(810)에서 원하는 재생 위치를 쉽게 검색할 수 있다. 도 8을 참조하면, 전자 디바이스(1000)는 입력된 영상(810)을 디스플레이할 수 있다. 또한, 전자 디바이스(1000)는 요약 프레임들을 디스플레이할 수 있다. 또한, 전자 디바이스(1000)는 요약 프레임들을 입력된 영상(810)과 함께 화면 상에 디스플레이할 수 있으나, 이에 제한되지 않는다.

전자 디바이스(1000)는 키 프레임들을 획득하고, 획득된 키 프레임들 중에서 요약 프레임들을 결정할 수 있다. 전자 디바이스(1000)는 사용자 입력(820)을 수신한 후, 요약 프레임들을 결정할 수 있다. 즉, 사용자가 표시된 아이콘(821)을 터치하면, 전자 디바이스(1000)는 요약 프레임들을 디스플레이할 수 있다. 또한, 전자 디바이스(1000)는 사용자 입력(820)을 수신한 후, 결정된 요약 프레임들을 입력된 영상(810)의 화면 상에 디스플레이할 수 있다.

전자 디바이스(1000)는 디스플레이된 요약 프레임들 중 어느 하나를 선택하는 사용자 입력(830)을 수신할 수 있다

전자 디바이스(1000)는 요약 프레임들에 대한 요약 정보를 생성할 수 있다. 요약 정보는 요약 프레임에 관한 정보를 포함한다. 예를 들어, 요약 정보는 요약 프레임이 포함된 영상 파일명, 재생 위치, 다음 키 프레임의 재생 위치 및 매칭 정보 등을 포함할 수 있다. 요약 정보는 각각의 요약 프레임마다 생성될 수 있다. 예를 들어, 요약 정보C(840)는 요약 프레임C에 대한 정보이다. 요약 정보C(840)는 요약 프레임C에 관한 영상 파일명, 재생 위치 및 매칭 정보를 포함한다. 영상 파일명은 영상(810)의 식별값이고, 예를 들어, abc.avi 와 같이 표시될 수 있다. 요약 프레임C의 재생 위치는 영상(810)에서 요약 프레임C가 재생 되는 시간을 나타낸다. 매칭 정보는, 특징점(key point) 정보, 장소 정보, 및 날짜 및 시간 정보를 포함할 수 있고, 동일 또는 유사 요약 프레임을 검색하기 위해 필요한 정보를 더 포함할 수 있다.

전자 디바이스(1000)는 영상 처리를 할 수 있는 모든 장치를 포함할 수 있다. 전자 디바이스(1000)는, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 디바이스는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다.

도 9는 일 실시예에 따른, 요약 프레임들의 요약 정보를 생성하는 방법의 흐름도이다.

단계 910에서 전자 디바이스는 입력된 영상으로부터 키 프레임들을 획득할 수 있다. 전자 디바이스에 입력된 영상은 전자 디바이스에서 생성된 영상일 수 있다. 예를 들어, 입력된 영상은 전자 디바이스의 카메라에 의해 촬영된 영상일 수 있다. 또한, 전자 디바이스에 입력된 영상은 전자 디바이스가 외부 서버(예를 들어, 클라우드 서버) 또는 외부 전자 디바이스로부터 수신한 영상일 수 있다. 전자 디바이스에 입력된 영상에는 키 프레임들이 포함되어 있을 수 있다. 입력된 영상에 포함된 키 프레임들은 영상의 정지 화면일 수 있다. 즉, 키 프레임들은 이미지 파일일 수 있다. 전자 디바이스가 획득한 키 프레임들은 썸네일(thumbnail)로 디스플레이 될 수 있다.

단계 920에서 전자 디바이스는 기설정된 기준에 기초하여, 키 프레임들 중에서 요약 프레임들을 결정할 수 있다. 일 실시예에서, 기설정된 기준은, 다른 키 프레임들과 비교했을 때 특정 키 프레임들의 변화량일 수 있다. 예를 들어, 키 프레임들 중에서, 전체 화면의 픽셀값들에서 기설정된 임계값 이상으로 변화가 발생한 키 프레임들, 새로운 객체가 등장하는 키 프레임들, 또는 기설정된 임계값 이상으로 객체의 동작이 변한 키 프레임들이 요약 프레임들로 결정될 수 있다. 전자 디바이스는 일정한 재생 구간 내의 키 프레임들 중에서 요약 프레임들을 결정할 때, 결정되는 요약 프레임들의 수를 제한할 수 있다. 예를 들어, 전자 디바이스는 영상의 10분 구간 내의 키 프레임들 중에서 1개의 요약 프레임을 결정할 수 있다.

예를 들어, 전자 디바이스에 입력된 영상에 N개의 키 프레임들이 포함되어 있을 때, 전자 디바이스는 키 프레임들을 이용하여, 하나의 특정 키 프레임(이하, "A 키 프레임"이라고 함)과 이를 제외한 나머지 N-1개 키 프레임들 간의 유사성을 비교할 수 있다. 전자 디바이스는 키 프레임들의 시공적 특징(Spatio-Temporal Feature)을 이용하여 키 프레임들 간의 유사성을 비교할 수 있다. 또한, 전자 디바이스는 키 프레임들의 특징점들을 이용하여 키 프레임들 간의 유사성을 비교할 수 있다. 또한, 전자 디바이스는 키 프레임들에 포함된 시간 정보 및 장소 정보 중 적어도 하나를 이용하여 키 프레임들 간의 유사성을 비교할 수 있다. "A 키 프레임"과 N-1개 키 프레임들의 유사성을 비교한 결과, "A 키 프레임"의 변화량이 기설정된 임계값 이상으로 결정된 경우, 전자 디바이스는 "A 키 프레임"을 요약 프레임들로 결정할 수 있다. 전자 디바이스는 입력된 영상에 포함된 N개의 키 프레임들 각각과 나머지 N-1개 키 프레임들 간의 유사성을 비교하여, 요약 프레임들을 결정할 수 있다.

단계 930에서 전자 디바이스는 요약 프레임들의 복수의 요약 정보를 생성할 수 있다. 요약 정보는 영상 파일명, 재생 위치 및 매칭 정보를 포함한다.

단계 940에서 전자 디바이스는 요약 프레임들 및 복수의 요약 정보를 메모리에 저장할 수 있다. 전자 디바이스는 요약 프레임들에 요약 정보를 링크(link)할 수 있다.

도 10은 일 실시예에 따른, 선택된 요약 프레임부터 영상을 디스플레이하는 예시를 나타내는 방법의 흐름도이다.

단계 1010에서 영상이 디스플레이 되는 중에, 전자 디바이스는 요약 프레임들을 디스플레이할 수 있다. 일 실시예에서, 전자 디바이스는 요약 프레임들을 입력 영상과 함께 디스플레이할 수 있다. 또한, 전자 디바이스는 사용자 입력에 대응하여, 결정된 요약 프레임들을 입력 영상과 함께 디스플레이할 수 있다. 예를 들어, 요약 프레임들은 화면의 하단 부분, 좌측 부분, 또는 우측 부분 표시될 수 있다.

다른 일 실시예에서, 요약 프레임들이 복수인 경우, 전자 디바이스는 요약 프레임들의 일부를 디스플레이할 수 있다. 또한, 전자 디바이스는 사용자 입력에 대응하여, 디스플레이되지 않은 요약 프레임들을 디스플레이할 수 있다.

단계 1020에서 전자 디바이스는 디스플레이된 요약 프레임을 선택하는 사용자의 입력을 수신할 수 있다. 또한, 전자 디바이스는 디스플레이된 요약 프레임들 복수 개를 선택하는 사용자 입력을 수신할 수 있다.

단계 1030에서 전자 디바이스는 선택된 요약 프레임의 재생 위치에서부터 영상을 디스플레이할 수 있다. 전자 디바이스는 선택된 요약 프레임의 재생 위치에 대응하는 영상을 디스플레이할 수 있으나, 이에 제한되지 않는다. 전자 디바이스 상에서 영상이 재생 중인 경우, 전자 디바이스는 선택된 요약 프레임들의 재생 위치에 대응하는 영상을 재생할 수 있다. 또한, 전자 디바이스 상에서 영상이 정지된 상태인 경우, 전자 디바이스는 선택된 요약 프레임들의 재생 위치에 대응하는 영상의 정지 영상을 디스플레이할 수 있다.

도 11은 일 실시예에 따른, 선택된 요약 프레임부터 영상을 디스플레이하는 예시를 나타내는 도면이다.

도 11을 참조하면, 입력 영상(1110a)이 전자 디바이스(1000) 상에서 재생 중에, 전자 디바이스(1000)는 요약 프레임들을 디스플레이할 수 있다. 복수의 요약 프레임들은 화면의 하단 부분에 위치할 수 있다. 전자 디바이스(1000)는 사용자 입력(1120)에 대응하여, 요약 프레임들을 디스플레이할 수 있다. 전자 디바이스(1000)는 디스플레이된 요약 프레임들 중 하나를 선택하는 사용자의 입력(1120)을 수신할 수 있다.

전자 디바이스(1000)는 디스플레이된 요약 프레임들 중 하나를 선택하는 사용자 입력(1120)을 수신한 후, 선택된 요약 프레임의 재생 위치에서부터 입력 영상(1110b)를 재생할 수 있다.

도 12는 일 실시예에 따른, 영상을 검색하는 방법을 설명하기 위한 흐름도이다. 도 12를 참조하면, 전자 디바이스는 요약 프레임의 요약 정보를 이용하여 재생 중인 영상과 유사한 영상을 사용자에게 제공할 수 있다.

단계 1210에서 전자 디바이스는 영상의 재생 구간에서 제 1 위치 및 제 2 위치를 선택하는 사용자 입력을 수신할 수 있다. 재생 구간은 바(bar) 형태로 영상 하단부에 위치할 수 있다. 일 실시예에서, 전자 디바이스는 영상의 재생 구간에서 제 1 위치만을 선택하는 사용자 입력을 수신할 수 있다. 제 1 위치만이 선택된 경우, 전자 디바이스는 자동으로 영상의 시작 위치를 제 2 위치로 결정할 수 있다. 또한, 제 1 위치만이 선택된 경우, 전자 디바이스는 자동으로 영상의 종료 위치를 제 2 위치로 결정할 수 있다.

또한, 일 실시예에서, 전자 디바이스는 복수 개의 제 1 위치 및 제 2 위치 세트를 선택하는 사용자 입력을 수신할 수 있다.

일 실시예에서, 전자 디바이스는 영상의 재생 구간에서 제 1 및 제 2 위치를 선택하는 대신, 영상에 포함된 제 1 요약 프레임들 중 두 개의 제 1 요약 프레임들을 직접 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 전자 디바이스는 영상과 함께 디스플레이된 제 1 요약 프레임들 중 두 개의 제 1 요약 프레임들을 선택하는 사용자 입력을 수신할 수 있다. 사용자가 선택한 두 개의 제 1 요약 프레임들 중에서, 상대적으로 앞선 재생 위치를 갖는 제 1 요약 프레임의 재생 위치가 제 1 위치, 나머지 제 1 요약 프레임의 재생 위치가 제 2 위치로 결정된다.

제 1 요약 프레임들은 재생 중인 영상의 프레임들 중에서 선택된다. 제 2 요약 프레임들은 메모리에 저장된 영상의 프레임들 중에서 선택된다. 또 다른 실시 예에서, 제 2 요약 프레임들은 재생 중인 영상에서 사용자에 의해 지정되지 않은 구간에서 선택될 수도 있다.

단계 1220에서 전자 디바이스는 제 1 요약 프레임들 중에서, 선택된 위치 사이에 포함된 제 1 요약 프레임들을 추출할 수 있다. 또한, 전자 디바이스는 추출된 제 1 요약 프레임들을 디스플레이할 수 있다. 또한, 추출된 제 1 요약 프레임들은 추출되지 않은 제 1 요약 프레임들과 구별되는 식별값을 포함할 수 있다.

또한, 일 실시예에서, 복수 개의 제 1 위치 및 제 2 위치 세트가 수신된 경우, 전자 디바이스는 각 세트에 포함된 제 1 요약 프레임들을 추출할 수 있다. 또한, 전자 디바이스는 추출된 제 1 요약 프레임들을 디스플레이할 수 있다. 또한, 추출된 제 1 요약 프레임들은 추출되지 않은 제 1 요약 프레임들과 구별되는 식별 값을 포함할 수 있다. 또한, 각 세트에 포함된 제 1 요약 프레임들은 다른 세트의 제 1 요약 프레임들과 구별되는 식별 값을 포함할 수 있다.

일 실시예에서, 영상의 재생 구간에서 제 1 위치 및 제 2 위치를 선택하는 대신, 두 개의 제 1 요약 프레임들을 직접 선택하는 사용자 입력을 수신한 경우, 전자 디바이스는 선택된 두 개의 제 1 요약 프레임들의 재생 위치 사이에 포함된 제 1 요약 프레임들을 추출할 수 있다.

단계 1230에서 전자 디바이스는 추출된 제 1 요약 프레임들에 대한 요약 정보를 획득할 수 있다. 제 1 요약 프레임들 각각에 대한 제 1 요약 정보를 획득할 수 있다. 단계 1240에서 전자 디바이스는 전자 디바이스에 저장된 복수의 영상에서 복수의 제 2 요약 정보를 획득할 수 있다. 또한, 전자 디바이스는 제 1 요약 프레임들을 포함하는 영상 내에서 제 2 요약 정보를 획득할 수 있다. 전자 디바이스는 영상 내에서 제 1 위치 및 제 2 위치 사이에 포함된 프레임들을 제외한 프레임들에 대한 제 2 요약 정보를 획득할 수도 있다. 전자 디바이스는 복수의 영상에 포함된 키 프레임들 중에서 제 2 요약 프레임들을 획득할 수 있다. 전자 디바이스는 제 2 요약 프레임들의 복수의 제 2 요약 정보를 생성한 후, 생성된 복수의 제 2 요약 정보를 획득할 수 있다. 복수의 제 2 요약 정보는 복수의 제 1 요약 정보와 동일한 종류의 정보를 포함할 수 있다.

단계 1250에서 전자 디바이스는 복수의 제 2 요약 정보 중에서, 복수의 제 1 요약 정보와 매칭되는 제 2 요약 정보를 검색할 수 있다. 전자 디바이스는 복수의 제 1 요약 정보 및 복수의 제 2 요약 정보에 포함된 매칭 정보를 이용하여 복수의 제 1 요약 정보와 매칭되는 제 2 요약 정보를 검색할 수 있다.

일 실시예에서, 전자 디바이스는 영상 인식(vision recognition)을 이용하여 복수의 제 1 요약 정보와 매칭되는 제 2 요약 정보를 검색할 수 있다. 전자 디바이스는 복수의 제 1 요약 정보 및 복수의 제 2 요약 정보에 포함된 특징점 정보를 이용하여, 복수의 제 1 요약 정보와 복수의 제 2 요약 정보를 매칭할 수 있다. 특징점 정보를 이용하여 매칭을 수행하는 방법으로는, Harris corner, Shi & Tomasi, SIFT DoG, FAST, 또는 AGAST 알고리즘을 이용하는 방법이 있으나, 이에 제한되지 않는다. 또한, 전자 디바이스는 얼굴 인식(face recognition) 및 영역 추적(region tracking) 알고리즘을 이용하여 복수의 제 1 요약 정보와 매칭되는 제 2 요약 정보를 검색할 수 있다.

다른 일 실시예에서, 전자 디바이스는 복수의 제 1 요약 정보 및 복수의 제 2 요약 정보에 포함된 장소 정보, 및 날짜 및 시간 정보를 이용하여 복수의 제 1 요약 정보와 매칭되는 제 2 요약 정보를 검색할 수 있다. 전자 디바이스는 복수의 제 1 요약 정보에 포함된 장소 정보와 매칭되는 장소 정보를 포함하는 복수의 제 2 요약 정보를 검색할 수 있다. 또한, 전자 디바이스는 복수의 제 1 요약 정보에 포함된 날짜 및 시간 정보와 매칭되는 날짜 및 시간 정보를 포함하는 복수의 제 2 요약 정보를 검색할 수 있다. 장소 정보는 복수의 제 1 요약 정보를 포함하는 영상이 촬영된 장소의 GPS(global positioning system) 정보일 수 있다. 날짜 및 시간 정보는 복수의 제 1 요약 정보를 포함하는 영상이 촬영된 날짜 및 시간 정보일 수 있다. 그러나, 장소 정보, 및 날짜 및 시간 정보는, 이에 제한되지 않는다.

일 실시예에서, 전자 디바이스는 제 1 요약 프레임들의 영역 중 일부 영역을 선택하는 사용자의 입력을 수신할 수 있다. 제 1 요약 프레임들의 일부 영역이 선택된 경우, 전자 디바이스는 선택된 영역에 대응되는 제 1 요약 프레임들의 복수의 제 1 요약 정보를 식별하고, 식별된 제 1 요약 정보와 매칭되는 제 2 요약 정보를 검색할 수 있다. 예를 들어, 전자 디바이스는 선택된 영역의 특징점 정보만을 이용하여 매칭되는 복수의 제 2 요약 정보를 검색할 수 있으나, 이에 제한되지 않는다.

단계 1260에서 전자 디바이스는 검색된 제 2 요약 정보가 나타내는 복수의 영상을 디스플레이할 수 있다. 일 실시예에서, 전자 디바이스는 검색된 제 2 요약 정보에 대응하는 제 2 요약 프레임들을 디스플레이 할 수 있다. 전자 디바이스는 화면을 분할하여 제 2 요약 프레임들을 디스플레이 할 수 있다. 예를 들어, 전자 디바이스는 화면을 12개의 영역들로 분할하고, 12개의 제 2 요약 프레임들을 디스플레이할 수 있다. 사용자는 디스플레이된 제 2 요약 프레임들 중에서 어느 하나를 선택할 수 있고, 전자 디바이스는 선택된 제 2 요약 프레임을 포함하는 영상을 재생할 수 있다. 이때, 전자 디바이스는 제 2 요약 프레임의 위치부터 영상을 재생할 수 있다.

일 실시예에서, 전자 디바이스는 복수의 제 2 요약 정보와 복수의 제 1 요약 정보의 매칭 값에 기초하여 복수의 제 2 요약 정보를 디스플레이할 수 있다. 전자 디바이스는 복수의 제 2 요약 정보의 매칭 값을 계산할 수 있다. 전자 디바이스는 기설정된 조건을 만족하는 복수의 제 2 요약 정보를 포함하는 영상을 디스플레이할 수 있다. 예를 들어, 매칭 값이 클수록 복수의 제 1 요약 정보와의 매칭 정도가 높은 복수의 제 2 요약 정보일 수 있다. 전자 디바이스는 임계값 이상의 매칭 값을 갖는 복수의 제 2 요약 정보를 포함하는 영상을 디스플레이할 수 있다. 또한, 예를 들어, 전자 디바이스는 매칭 값이 높은 복수의 제 2 요약 정보를 포함하는 영상을 우선적으로 디스플레이할 수 있다.

도 13은 일 실시예에 따른, 영상의 재생 구간과 매칭되는 영상을 검색하는 방법을 설명하기 위한 도면이다.

도 13을 참조하면, 전자 디바이스(1000)는 영상 재생 구간의 제 1 위치(1310) 및 제 2 위치(1320)를 선택하는 사용자 입력을 수신할 수 있다. 전자 디바이스(1000)는 선택된 위치 사이에 포함된 제 1 요약 프레임들을 추출할 수 있고, 추출된 제 1 요약 프레임들은 별도의 식별 값(1340)을 포함할 수 있다.

전자 디바이스(1000)는 추출된 제 1 요약 프레임들의 복수의 제 1 요약 정보(1330)를 획득할 수 있다. 복수의 제 1 요약 정보는, 영상 파일명, 재생 위치 및 매칭 정보를 포함할 수 있다. 매칭 정보는 특징점 정보, 시간 정보 및 장소 정보를 포함할 수 있다.

전자 디바이스(1000)는 메모리(1340)에 저장된 복수의 제 2 요약 정보 중에서, 복수의 제 1 요약 정보(1330)와 매칭되는 제 2 요약 정보를 검색할 수 있다.

도 14는 일 실시예에 따른, 제 1 요약 프레임의 일부 영역을 선택하는 예시를 나타내는 도면이다.

전자 디바이스(1000)는 제 1 요약 프레임(1410)의 일부 영역(1420)을 선택하는 사용자 입력(1430)을 수신할 수 있다. 도 14에 도시된 바와 같이, 사용자는 일부 영역(1420)을 터치&드래그하여 선택할 수 있다.

또한, 전자 디바이스(1000)는 선택된 제 1 요약 프레임들의 일부 영역에 대응하는 복수의 제 1 요약 정보를 획득할 수 있다. 획득된 복수의 제 1 요약 정보는 선택된 제 1 요약 프레임들의 일부 영역에 관한 특징점 정보일 수 있으나, 이에 제한되지 않는다.

또한, 상술한 단계들이 수행된 후, 도 5의 단계 540 내지 560과 동일한 단계가 수행될 수 있으나, 내용이 중복되므로 편의상 생략하기로 한다.

일 실시예에서, 전자 디바이스(1000)는 선택된 일부 영역(1420)의 특징점 정보를 이용하여, 선택된 일부 영역(1420)에 얼굴이 포함되었다는 것을 식별할 수 있다. 전자 디바이스(1000)는 식별된 얼굴과 매칭되는 프레임을 포함하는 영상을 검색할 있다. 예를 들어, 식별된 얼굴과 매칭되는 프레임을 포함하는 영상을 검색하는 방법으로 얼굴 인식 알고리즘을 이용할 수 있다. 전자 디바이스는 선택된 일부 영역(1420)에서 얼굴을 검출하고, 특징점 정보를 이용하여 검출된 얼굴의 특징을 추출한 후, 추출된 얼굴 특징과 매칭되는 정보를 포함하는 제 2 요약 정보를 검색할 수 있다.

도 15은 일 실시예에 따른, 복수의 영상들에 대한 마스터 서머리를 생성하는 방법을 설명하기 위한 흐름도이다. 도 15를 참조하면, 전자 디바이스는 영상들에서 일부를 추출하고, 추출된 영상들을 병합하여 마스터 서머리를 생성할 수 있다. 사용자는 마스터 서머리를 재생하여, 복수의 영상들의 주요 부분들을 짧은 시간 내에 감상할 수 있다.

단계 1510에서, 전자 디바이스는 영상의 요약 프레임을 획득할 수 있다. 일 실시예에서, 전자 디바이스는 복수의 영상들의 요약 프레임을 획득한다. 예를 들어, 복수의 영상들은 사용자가 지정한 기간 내에 촬영된 영상들이거나 사용자에 의해 선택된 영상들일 수 있다. 또는 복수의 영상들은 동일한 폴더에 포함된 영상들일 수 있다. 또는 복수의 영상들은 동일/유사한 파일명을 포함하는 영상들일 수 있다.

단계 1520에서, 전자 디바이스는 요약 프레임을 이용하여 영상의 요약 영상들을 추출할 수 있다. 일 실시예에서, 전자 디바이스는 요약 프레임을 이용하여 복수의 영상들의 요약 영상들을 추출한다. 전자 디바이스는 각각의 요약 프레임의 재생 위치부터 다음 키 프레임의 재생 위치까지의 영상을 추출하여 요약 영상들을 추출할 수 있다.

단계 1530에서, 전자 디바이스는 추출된 요약 영상들을 병합하여 마스터 서머리를 생성한다. 예를 들어, 전자 디바이스는 시간적으로 앞서 입력된 영상의 요약 영상을 마스터 서머리에서 시간적으로 앞에 위치시킬 수 있다.

도 16은 일 실시예에 따른, 복수의 영상들에 대한 마스터 서머리를 생성하는 방법을 설명하는 예시를 나타내는 도면이다.

도 16을 참조하면, 전자 디바이스는 메모리에 저장된 복수의 영상들(1610)을 포함할 수 있다. 전자 디바이스는 복수의 영상들(1610) 중에서, 특정 기간 동안에 생성된 영상(1620)에 포함된 요약 프레임들(1630)을 획득할 수 있다. 예를 들어, 사용자는 전자 디바이스에 저장된 복수의 영상들 중에서, 최근 여행 기간 동안 촬영한 영상들을 선택할 수 있고, 전자 디바이스는 사용자에 의해 선택된 영상들의 요약 프레임을 획득할 수 있다.

전자 디바이스는 획득된 요약 프레임들(1630)을 이용하여 요약 영상을 추출할 수 있다. 전자 디바이스는 추출된 요약 영상을 병합하여 마스터 서머리를 생성함으로써, 사용자가 관심 있어하는 부분 영상들을 하나의 영상 파일 형태로 사용자에게 제공할 수 있다.

도 17은 일 실시예에 따른, 선택된 요약 프레임의 재생 위치에서부터 영상을 디스플레이하는 방법의 흐름도이다. 전자 디바이스(1000)는 요약 프레임들을 디스플레이할 수 있고, 사용자가 선택한 요약 프레임의 재생 위치부터 영상을 재생할 수 있다.

전자 디바이스(1000)는 저장된 복수의 요약 프레임들을 디스플레이할 수 있다. 전자 디바이스(1000)는 하나의 영상 파일에 포함된 복수의 요약 프레임들을 디스플레이할 수 있다. 또는, 전자 디바이스(1000)는 복수의 영상 각각을 대표하는 요약 프레임들을 디스플레이할 수 있다. 일 실시예에서, 전자 디바이스(1000)는 기설정된 기준에 기초하여 요약 프레임들을 디스플레이할 수 있다. 예를 들어, 전자 디바이스(1000)는 영상 내에서 재생되는 순서대로 요약 프레임들을 디스플레이할 수 있다. 전자 디바이스(1000)는 복수의 영상들이 저장된 날짜 순으로 복수의 영상들에 대한 요약 프레임들을 디스플레이하는 위치를 결정할 수 있다.

또한, 전자 디바이스(1000)는 디스플레이된 요약 프레임들을 선택하는 사용자의 입력(1710)을 수신할 수 있다. 전자 디바이스(1000)는 사용자의 입력(1710)이 수신되면, 디스플레이된 요약 프레임의 재생 위치(1720)부터 영상을 재생한다.

또한, 전자 디바이스(1000)는 선택된 요약 프레임들의 복수의 제 1 요약 정보를 획득할 수 있다. 복수의 요약 정보에는 요약 프레임들의 재생 위치 정보가 포함될 수 있으나, 이에 제한되지 않는다.

또한, 전자 디바이스(1000)는 복수의 요약 정보에 포함된 재생 위치(1720)에서부터 영상을 디스플레이할 수 있으나, 영상이 디스플레이되는 위치는 이에 제한되지 않는다.

도 18은 일 실시예에 따른, 입력된 영상의 일부를 저장하는 방법을 설명하기 위한 흐름도이다. 도 18을 참조하면, 전자 디바이스는 저장 공간이 부족한 경우, 촬영되는 영상의 일부만을 저장할 수 있다.

단계 1810에서 전자 디바이스는 저장 공간이 기설정된 임계 값 이하인지 결정할 수 있다. 저장 공간은 전자 디바이스의 메모리일 수 있으나, 이에 제한되지 않는다. 저장 공간이 기설정된 임계 값 이하로 결정되지 않은 경우, 전자 디바이스는 입력된 영상 전체를 저장 공간에 저장할 수 있다.

기설정된 임계 값 이하로 결정된 경우, 전자 디바이스는 사용자에게 알림 정보를 제공할 수 있다. 전자 디바이스는 알림 정보에 대한 사용자의 입력에 대응하여, 단계 1820으로 진행할 수 있다. 다만, 일 실시예에서, 저장 공간이 기설정된 임계 값 이하로 결정되지 않은 경우라도, 사용자의 입력에 대응하여 단계 1820으로 진행할 수 있다.

단계 1820에서 전자 디바이스는 입력된 영상 데이터 중에서 요약 프레임들 및 복수의 요약 정보를 저장할 수 있다. 일 실시예에서, 알림 정보에 대한 사용자의 입력에 대응하여, 전자 디바이스는 요약 프레임들 및 복수의 요약 정보만을 저장 공간에 저장하는 입력을 수신할 수 있다. 또한, 알림 정보에 대한 사용자의 입력에 대응하여, 전자 디바이스는 요약 프레임들 및 복수의 요약 정보를 제외한 영상 데이터를 저장 공간에서 삭제할 수 있다.

도 19는 일 실시예에 따른, 입력된 영상의 저장 방식을 선택하는 예시를 나타내는 도면이다.

도 19를 참조하면, 사용자는 전자 디바이스를 이용하여 영상을 촬영할 수 있다. 전자 디바이스는 복수의 영상 촬영 모드 중에서, 요약 프레임들 모드(1910)를 선택하는 사용자 입력을 수신할 수 있다. 전자 디바이스는 요약 프레임들 모드(1910)를 선택하는 사용자 입력에 대응하여, 영상 촬영시 영상으로부터 획득된 요약 프레임들 및 복수의 요약 정보를 저장 공간에 저장할 수 있다. 또한, 전자 디바이스는 요약 프레임들 모드(1910)를 선택하는 사용자 입력에 대응하여, 요약 프레임들 및 복수의 요약 정보를 제외한 영상 데이터를 저장 공간에서 삭제할 수 있다.

도 20은 일 실시예에 따른, 전자 디바이스의 블록도이다.

도 20에 도시된 바와 같이, 일 실시예에 따른 전자 디바이스(2000)는 제어부(2100), 디스플레이(2200), 통신부(2300) 및 메모리(2400)을 포함할 수 있다. 그러나, 도 20에 도시된 구성 요소 모두가 전자 디바이스(2000)의 필수 구성 요소인 것은 아니다. 도 20에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 디바이스(2000)가 구현될 수도 있고, 도 20에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 디바이스(2000)가 구현될 수도 있다.

예를 들어, 일 실시예에 따른 전자 디바이스(2000)는, 사용자 입력부, 출력부, 센싱부 및 A/V 입력부를 더 포함할 수도 있다.

사용자 입력부는, 사용자가 전자 디바이스(2000)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 사용자 입력부에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

출력부는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있다.

디스플레이(2200)는 전자 디바이스(2000)에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 디스플레이(2200)는, 전자 디바이스(2000)에 입력된 영상을 디스플레이할 수 있다.

한편, 디스플레이(2200)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이(2200)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이(2200)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 디바이스(2000)의 구현 형태에 따라 전자 디바이스(2000)는 디스플레이(2200)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이(2200)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.

제어부(2100)는, 통상적으로 전자 디바이스(2000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(2100)는, 메모리(2400)에 저장된 프로그램들을 실행함으로써, 사용자 입력부, 출력부, 센싱부, 통신부, A/V 입력부 등을 전반적으로 제어할 수 있다. 제어부(2100)는 도 1 내지 도 21에서의 전자 디바이스(2000)의 동작을 수행하기 위하여, 사용자 입력부, 출력부, 센싱부, 통신부, A/V 입력부등을 전반적으로 제어할 수 있다.

본 명세서에서 상술한, 도 1 내지 19의 단계들은 도 20에 도시된 전자 디바이스(2000)에 의해 수행될 수 있다.

제어부(2100)는 영상을 분석하여 영상의 변화가 상대적으로 큰 프레임들을 요약 프레임으로 결정할 수 있다. 디스플레이(2200)는 영상을 디스플레이하고, 요약 프레임들을 영상과 함께 표시할 수 있다. 통신부(2300)에서 사용자가 요약 프레임들 중 어느 하나를 선택하는 입력을 수신하면, 제어부(2100)는 선택된 요약 프레임의 재생 위치부터 영상을 재생할 수 있다. 제어부(2100)는 영상의 주요 프레임들, 즉 요약 프레임들을 결정하여 사용자에게 제공하기 때문에, 사용자는 영상에서 원하는 재생 위치를 쉽게 검색할 수 있다.

또한, 제어부(2100)는 결정된 요약 프레임 각각에 대한 요약 정보를 생성할 수 있고, 요약 프레임 및 요약 정보를 메모리(2400)에 저장할 수 있다. 제어부(2100)는 메모리(2400)에 저장된 요약 프레임 및 요약 정보를 이용하여, 입력된 영상과 유사한 영상을 검색할 수 있고, 마스터 서머리를 생성할 수 있으며, 영상을 재생할 때 사용자가 원하는 재생 위치에서부터 영상을 디스플레이할 수 있다.

도 21은 일 실시 예에 따른 전자 디바이스가 영상을 디스플레이하는 방법을 설명하기 위한 순서도이다. 도 21을 참조하면, 전자 디바이스는 하나의 영상 내에서 유사한 영상을 검색하여 사용자에게 제공할 수 있다.

단계 2110에서, 전자 디바이스는 영상의 재생 구간에서 제 1 위치 및 제 2 위치를 선택하는 사용자 입력을 수신한다.

단계 2120에서, 전자 디바이스는 제 1 위치 및 제 2 위치 사이에 포함된 프레임들에 대한 제 1 요약 정보를 획득한다. 제 1 요약 정보는 제 1 위치 및 제 2 위치 사이에 포함된 프레임들을 대표하는 정보일 수 있다. 또는, 제 1 요약 정보는 제 1 위치 및 제 2 위치 사이에 포함된 프레임들 각각에 대한 정보일 수도 있다.

단계 2130에서, 전자 디바이스는 영상에서 제 1 위치 및 제 2 위치 사이에 포함된 프레임들을 제외한 프레임들에 대한 적어도 하나의 제 2 요약 정보를 획득한다. 전자 디바이스는 하나의 영상에서 사용자에 의해 선택된 구간을 제외한 구간의 영상에 대한 제 2 요약 정보를 획득한다. 전자 디바이스는 사용자에 의해 선택된 구간을 제외한 구간의 영상을 복수의 구간들로 분할하고, 각각의 구간에 포함된 프레임들에 대한 제 2 요약 정보를 획득할 수 있다.

제 1 요약 정보 및 제 2 요약 정보는 영상에 포함된 객체의 특징, 형상, 배치, 움직임 등을 포함할 수 있다.

단계 2140에서, 전자 디바이스는 적어도 하나의 제 2 요약 정보 중에서, 제 1 요약 정보와 매칭되는 제 2 요약 정보를 검색한다. 전자 디바이스는 객체의 특징, 형상, 배치, 움직임이 가장 일치하는 제 2 요약 정보를 검색한다.

전자 디바이스는 검색된 제 2 요약 정보에 대응하는 영상의 요약 프레임을 결정할 수 있다. 전자 디바이스는 제 2 요약 정보에 대응하는 영상에 포함된 프레임들 중에서 요약 프레임을 결정할 수 있다.

단계 2150에서, 전자 디바이스는 검색된 제 2 요약 정보에 대응하는 영상을 디스플레이한다. 전자 디바이스는 검색된 제 2 요약 정보에 대응하는 영상의 첫 프레임을 전체 화면에 표시하거나, 첫 프레임을 화면의 일부에 디스플레이할 수 있다.

또한, 전자 디바이스는 검색된 제 2 요약 정보에 대응하는 영상의 요약 프레임을 디스플레이할 수 있다. 사용자가 요약 프레임을 선택하면, 전자 디바이스는 요약 프레임에 대응하는 영상을 재생한다. 전자 디바이스는 요약 프레임부터 영상을 재생하거나, 첫 프레임부터 영상을 재생할 수 있다.

제2 요약 정보에 대응하는 영상을 2 이상 검색된 경우, 전자 디바이스는 2이상의 영상을 시간 순서대로 디스플레이할 수 있다. 전자 디바이스는 2 이상의 영상들의 첫 프레임들을 디스플레이할 수 있다. 또한, 전자 디바이스는 2 이상의 영상들의 요약 프레임들을 디스플레이할 수 있다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 전자 디바이스가 영상을 처리하는 방법에 있어서,
   미리 설정된 시간 간격에 따라 상기 전자 디바이스에 입력된 영상으로부터 키 프레임들(key frames)을 획득하는 단계;
   상기 키 프레임들 내 존재하는 새로운 정보의 양에 기초하여, 상기 키 프레임들 중에서 제 1 요약 프레임들(summary frames)을 결정(determine)하는 단계;
   상기 제 1 요약 프레임들의 복수의 제 1 요약 정보를 생성하는 단계;
   상기 제 1 요약 프레임들 및 상기 복수의 제 1 요약 정보를 적어도 하나의 비디오 프레임과 함께 디스플레이하는 단계;
   상기 디스플레이된 제1 요약프레임들 중 하나로부터 일부 영역을 선택하는 사용자 입력을 수신하는 단계;
   복수의 제1 요약 정보 중에서 상기 선택된 일부 영역에 대응되는 제1 요약 정보를 획득하는 단계;
   상기 디바이스에 저장된 복수의 영상에서 복수의 제2 요약 정보를 획득하는 단계;
   상기 복수의 제2 요약 정보 중에서, 선택된 영역에 대응되는 제1 요약 정보와 매칭되는 적어도 하나의 제2 요약 정보를 검색하는 단계; 및
   상기 검색된 적어도 제2 요약 정보에 대응되는, 복수의 영상의 적어도 하나의 요약 프레임을 디스플레이하는 단계를 포함하되,
   상기 제1 요약 정보 및 상기 제2 요약 정보 각각은, 요약 프레임이 포함된 영상 파일명, 요약 프레임의 재생 위치, 다음 키 프레임의 재생 위치 및 매칭 정보 중 적어도 하나를 포함하고,
   상기 매칭 정보는, 제1 요약 프레임 또는 제2 요약 프레임의 특징점에 대한 특징점 정보, 제1 프레임 또는 제2 프레임을 포함하는 영상이 촬영된 장소, 날짜, 시간 정보 중 적어도 하나를 포함하는, 방법.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 영상이 디스플레이되는 중에, 상기 제 1 요약 프레임들을 디스플레이하는 단계;
   상기 디스플레이된 제 1 요약 프레임들 중 어느 하나의 제 1 요약 프레임을 선택(select)하는 사용자 입력을 수신하는 단계; 및
   상기 선택된 제 1 요약 프레임의 재생 위치에서부터 상기 영상을 디스플레이하는 단계;
   를 더 포함하며,
   상기 재생 위치는, 상기 선택된 제 1 요약 프레임의 제 1 요약 정보에 포함되는 것인, 방법.
4. 삭제
5. 삭제
6. 제 1항에 있어서,
   상기 획득된 제 1 요약 프레임들을 이용하여, 상기 영상의 요약 영상들을 추출하는 단계; 및
   상기 요약 영상들을 병합하여 마스터 서머리를 생성하는 단계;
   를 더 포함하는, 방법.
   
7. 제 1항에 있어서,
   상기 전자 디바이스에 저장된 복수의 제 2 요약 프레임들을 상기 전자 디바이스 상에 디스플레이하는 단계;
   상기 디스플레이된 제 2 요약 프레임들을 선택하는 사용자의 입력을 수신하는 단계; 및
   상기 선택된 제 2 요약 프레임의 재생 위치에서부터 상기 영상을 디스플레이하는 단계;
   를 더 포함하는, 방법.
   
8. 제 1항에 있어서,
   상기 전자 디바이스 내 저장 공간이 기설정된 임계 값 이하인지 결정하는 단계; 및
   상기 저장 공간이 상기 기설정된 임계값 이하로 결정된 경우, 상기 입력된 영상에 포함된 데이터 중에서 상기 제 1 요약 프레임들 및 상기 복수의 제 1 요약 정보만을 상기 전자 디바이스에 저장하는 단계;
   를 더 포함하는, 방법.
   
9. 영상을 처리하는 전자 디바이스에 있어서,
   디스플레이;
   사용자 입력을 수신하는 입력부;
   하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 인스트럭션을 실행하는 제어부를 포함하며, 상기 제어부는,
   미리 설정된 시간 간격에 따라 상기 전자 디바이스에 입력된 영상으로부터 키 프레임들(key frames)을 획득하고,
   상기 키 프레임들 내 존재하는 새로운 정보의 양에 기초하여, 상기 키 프레임들 중에서 제 1 요약 프레임들(summary frames)을 결정(determine)하고,
   상기 제 1 요약 프레임들의 복수의 제 1 요약 정보를 생성하고,
   상기 제 1 요약 프레임들 및 상기 복수의 제 1 요약 정보를 적어도 하나의 비디오 프레임과 함께 디스플레이하고,
   상기 디스플레이된 제1 요약프레임들 중 하나로부터 일부 영역을 선택하는 사용자 입력을 수신하고,
   복수의 제1 요약 정보 중에서 상기 선택된 일부 영역에 대응되는 제1 요약 정보를 획득하고,
   상기 디바이스에 저장된 복수의 영상에서 복수의 제2 요약 정보를 획득하고,
   상기 복수의 제2 요약 정보 중에서, 선택된 영역에 대응되는 제1 요약 정보와 매칭되는 적어도 하나의 제2 요약 정보를 검색하고,
   상기 검색된 적어도 제2 요약 정보에 대응되는, 복수의 영상의 적어도 하나의 요약 프레임을 디스플레이하되,
   상기 제1 요약 정보 및 상기 제2 요약 정보 각각은, 요약 프레임이 포함된 영상 파일명, 요약 프레임의 재생 위치, 다음 키 프레임의 재생 위치 및 매칭 정보 중 적어도 하나를 포함하고,
   상기 매칭 정보는, 제1 요약 프레임 또는 제2 요약 프레임의 특징점에 대한 특징점 정보, 제1 프레임 또는 제2 프레임을 포함하는 영상이 촬영된 장소, 날짜, 시간 정보 중 적어도 하나를 포함하는, 전자 디바이스.
   
10. 삭제
11. 제 9 항에 있어서,
    상기 제어부는,
    상기 영상이 디스플레이되는 중에, 상기 제 1 요약 프레임들을 디스플레이하고,
    상기 디스플레이된 제 1 요약 프레임들 중 어느 하나의 제 1 요약 프레임을 선택(select)하는 사용자 입력을 수신하고,
    상기 선택된 제 1 요약 프레임의 재생 위치에서부터 상기 영상을 디스플레이하도록 상기 디스플레이를 제어하는, 전자 디바이스.
    
12. 삭제
13. 제 9항에 있어서,
    상기 제어부는,
    상기 획득된 제 1 요약 프레임들을 이용하여, 상기 영상의 요약 영상들을 추출하고,
    상기 요약 영상들을 병합하여 마스터 서머리를 생성하는, 전자 디바이스.
    
14. 제 9항에 있어서,
    상기 제어부는,
    상기 전자 디바이스 내 저장 공간이 기설정된 임계 값 이하인지 결정하고,
    상기 저장 공간이 상기 기설정된 임계값 이하로 결정된 경우, 상기 입력된 영상에 포함된 데이터 중에서 상기 제 1 요약 프레임들 및 상기 복수의 제 1 요약 정보만을 저장하는, 전자 디바이스.
    
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images