KR20160087573A - 원본 컨텐츠와 연계된 편집 영상의 생성 및 디스플레이 - Google Patents

원본 컨텐츠와 연계된 편집 영상의 생성 및 디스플레이 Download PDF

Info

Publication number
KR20160087573A
KR20160087573A KR1020150006710A KR20150006710A KR20160087573A KR 20160087573 A KR20160087573 A KR 20160087573A KR 1020150006710 A KR1020150006710 A KR 1020150006710A KR 20150006710 A KR20150006710 A KR 20150006710A KR 20160087573 A KR20160087573 A KR 20160087573A
Authority
KR
South Korea
Prior art keywords
image
information
video
electronic device
edited
Prior art date
Application number
KR1020150006710A
Other languages
English (en)
Other versions
KR102271741B1 (ko
Inventor
조익환
민정기
김상미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150006710A priority Critical patent/KR102271741B1/ko
Priority to EP16151099.5A priority patent/EP3046107B1/en
Priority to CN201610023889.4A priority patent/CN105791976B/zh
Priority to US14/996,009 priority patent/US10276209B2/en
Publication of KR20160087573A publication Critical patent/KR20160087573A/ko
Application granted granted Critical
Publication of KR102271741B1 publication Critical patent/KR102271741B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

전자 장치가 개시된다. 상기 전자 장치는 프로세서 및 메모리를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행될 때, 복수의 컨텐츠(contents)로부터 편집 영상(highlight video)의 생성을 위한 이미지를 획득하는 동작, 상기 편집 영상과 상기 복수의 컨텐츠 사이의 매칭 정보를 생성하는 동작, 및 상기 획득된 이미지와 상기 매칭 정보에 기초하여 상기 편집 영상을 생성하는 동작을 수행하는 명령어를 포함할 수 있다. 또한 상기 매칭 정보는 상기 획득된 이미지와 연관된 원본 파일 정보, 시간 정보, 장소 정보 중 적어도 하나를 포함할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

원본 컨텐츠와 연계된 편집 영상의 생성 및 디스플레이{Generating and Display of Highlight Video associated with Source Contents}
본 발명의 다양한 실시 예들은 복수의 원본 컨텐츠를 이용하여 편집 영상을 생성하고, 이를 재생하는 기술과 관련된다.
카메라 기능을 탑재한 다양한 전자 장치가 출시되고 있다. 기존의 카메라 장치 외에도, 스마트폰이나 스마트 워치와 같은 웨어러블 장치에도 카메라 기능이 제공될 수 있다. 이와 같이 카메라 기능을 탑재한 제품이 다양하게 보급됨에 따라서, 사용자는 기존에 비하여 더욱 많은 사진 또는 동영상 촬영을 하여, 자신의 일상이나 여행지 등에 대한 기록을 풍부하게 남길 수 있다.
한편 사용자는 전자 장치를 이용하여 촬영된 이미지나 동영상을 하나의 영상으로 편집할 수 있다. 예를 들어, 한달 동안 어떤 지역을 여행한 사진을 모아서 영상 앨범을 만들 수도 있고, 결혼식 준비 과정이나, 아이가 생후 100일까지 자란 모습 등을 모아서 하이라이트 영상으로 편집할 수도 있다.
그러나 기존의 편집 영상 생성 방법이나 재생 방법은, 원본 컨텐츠에 대한 정보를 효율적으로 제공하지 못했다. 예를 들어, 편집 영상의 생성에 사용된 원본 컨텐츠에 대한 접근을 허용하지 않았다. 특히, 원본 컨텐츠가 편집 영상의 생성에 사용된 전자 장치와 다른 전자 장치에 저장되어 있는 경우, 편집 영상에서 직접적으로 외부 컨텐츠에 접근하는 것은 허용되지 않았다.
또한, 기존의 영상 편집 방법은 다수의 이미지를 이용하여 영상을 편집하거나, 하나의 동영상에서 지정된 영역을 추출하는 방법을 제공하는데 그쳤다. 또한, 편집 영상이 재생될 때, 재생 시점에 해당하는 원본 영상의 촬영 시간, 촬영 장소 등에 대한 정보는 제공하지 못하였다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 프로세서 및 메모리를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행될 때, 복수의 컨텐츠(contents)로부터 편집 영상(highlight video)의 생성을 위한 이미지를 획득하는 동작, 상기 편집 영상과 상기 복수의 컨텐츠 사이의 매칭 정보를 생성하는 동작, 및 상기 획득된 이미지와 상기 매칭 정보에 기초하여 상기 편집 영상을 생성하는 동작을 수행하는 명령어를 포함할 수 있다. 또한 상기 매칭 정보는 상기 획득된 이미지와 연관된 원본 파일 정보, 시간 정보, 장소 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시 예들은, 복수의 원본 컨텐츠를 이용하여 원본 컨텐츠와 연계된 편집 영상을 생성하고, 편집 영상을 재생할 때 원본 컨텐츠 그 자체 또는 원본 컨텐츠와 관련된 정보를 제공할 수 있다.
본 발명의 다양한 실시 예에 따르면, 편집 영상을 재생할 때, 원본 컨텐츠에 대한 정보를 편집 영상과 함께 제공하거나, 지정된 이벤트에 대응하여 원본 컨텐츠 자체를 제공할 수 있다. 또한, 호버링과 같이 지정된 입력이 발생하는 동안 원본 컨텐츠를 제공하는 것도 가능하다.
도 1은 다양한 실시 예에 따른 전자 장치를 나타낸다.
도 2는 다양한 실시 예에 따른 영상 처리 모듈의 구성을 나타낸다.
도 3은 다양한 실시 예에 따른 원본 이미지로부터 편집 영상을 생성하는 예시를 나타낸다.
도 4는 다양한 실시 예에 따른 동영상(비디오)을 포함하는 소스 컨텐츠로부터 편집 영상을 생성하는 예시를 나타낸다.
도 5는 다양한 실시 예에 따른 매칭 정보의 구조를 개념적으로 나타낸다.
도 6은 다양한 실시 예에 따른 편집 영상 생성 방법을 나타낸다.
도 7은 다양한 실시 예에 따른 편집 영상을 재생하는 방법을 나타낸다.
도 8은 다양한 실시 예에 따른, 편집 영상 재생 시 원본 컨텐츠에 대한 정보를 제공하는 화면을 나타낸다.
도 9는 다양한 실시 예에 따른 편집 영상에서 원본 컨텐츠를 출력하는 방법을 나타낸다.
도 10은 다양한 실시 예에 따른 편집 영상 재생 시 원본 컨텐츠를 제공하는 예시적인 화면 구성을 나타낸다.
도 11은 다양한 실시 예에 따른 서로 다른 전자 장치에 저장된 원본 컨텐츠로부터 편집 영상을 생성하고, 편집 영상에서 서로 다른 전자 장치에 저장된 원본 컨텐츠에 접근하는 예시를 나타낸다.
도 12는 다양한 실시 예에 따른 어플리케이션을 이용하여 편집 영상의 정보를 제공하는 예시를 나타낸다.
도 13은 다양한 실시 예에 따른 이미지 서술자(image descriptor) 기반의 원본 컨텐츠와 편집 영상의 연계 방법을 나타낸다.
도 14는 다양한 실시 예에 따른 웹 사이트에서 제공하는 편집 영상과 원본 컨텐츠를 재생하는 예시를 나타낸다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치를 나타낸다.
도 1을 참조하여, 다양한 실시 예에 따른 전자 장치 100이 기재된다. 전자 장치 100은 버스 110, 제어 모듈 120, 영상 처리 모듈 130, 메모리 140, 입출력 인터페이스 150, 디스플레이 160, 및 통신 인터페이스 170을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 100은, 구성요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.
버스 110은, 예를 들면, 구성요소들 110-170을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
제어 모듈 120은, 중앙처리장치(CPU), AP(application processor), 또는 CP(communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 제어 모듈 120은, 전자 장치 100의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예에서, 제어 모듈 120과 영상 처리 모듈 130은 하나의 프로세서(예: SoC)로 이해되거나, 서로 다른 프로세서(예: CPU 및 GPU)로 이해될 수 있다.
영상 처리 모듈 130은 전자 장치 100에서 자체적으로 생산되거나, 서버 106 또는 다른 전자 장치 102, 104 등으로부터 획득되는 복수의 컨텐츠(예: 이미지 또는 동영상)를 이용하여 편집 영상(예: 하이라이트 영상)을 생성할 수 있다. 또한 영상 처리 모듈 130은 전자 장치 100에 의해 생성되거나 다른 장치에 의해 생성된 편집 영상의 재생을 지원할 수 있다. 영상 처리 모듈 130은 편집 영상의 재생 중에, 지정된 조건 또는 정보에 기초하여 원본 컨텐츠에 대한 정보를 함께 제공(예: 디스플레이 160에 원본 컨텐츠가 생성된 날짜 또는 장소에 대한 정보를 출력)할 수 있다. 영상 처리 모듈 130의 동작에 대한 구체적인 설명이 도 2를 참조하여 서술된다.
메모리 140은, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리 140은, 예를 들면, 전자 장치 100의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 다양한 실시 예에서, 메모리 140에는 복수의 원본 컨텐츠, 또는 복수의 원본 컨텐츠 중 적어도 일부가 저장될 수 있다. (나머지 컨텐츠는 다른 전자 장치 102, 104 또는 서버 106 등에 저장되어 있을 수 있다.) 일부 실시 예에서, 메모리 140에는 편집 영상이 저장되고, 원본 컨텐츠는 전자 장치 100과는 다른 외부 장치에 저장되어 있을 수 있다. 또한 일부 실시 예에서, 메모리 140에는 전자 장치 100이 통신 인터페이스 170을 통해 접속한 웹 사이트, 서비스, 서버 등으로부터 수신된 편집 영상의 적어도 일부가 버퍼링(buffering) 될 수 있다.
입출력 인터페이스 150은, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치 100의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스 150은 전자 장치 100의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. 다양한 실시 예에서, 입출력 인터페이스 150은 편집 영상의 재생 중에 원본 컨텐츠를 출력하도록 하는 입력을 수신하거나, 혹은 원본 컨텐츠의 재생 또는 디스플레이 중에 편집 영상의 재생 상태로 복귀하도록 하는 입력을 수신할 수 있다.
디스플레이 160은, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems, MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이 160은 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이 160은, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스 170은, 전자 장치 100과 외부 장치(예: 제1 외부 전자 장치 102, 제2 외부 전자 장치 104, 또는 서버 106) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스 170은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 상기 외부 장치(예: 제2 외부 전자 장치 104 또는 서버 106)와 통신할 수 있다.
제1 및 제2 외부 전자 장치 102, 104 각각은 전자 장치 100과 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버 106은 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예에 따르면, 서버 106은 SNS(social network service)(예: Facebook, Google+ 등)를 제공하는 서버, 또는 컨텐츠 제공 서버(예: YouTube 등)와 같이 다양한 종류의 서버에 대응될 수 있다.
도 2는 다양한 실시 예에 따른 영상 처리 모듈의 구성을 나타낸다.
도 2를 참조하면, 영상 처리 모듈 180은 필터링 엔진(filtering engine) 211, 먹싱 엔진(muxing engine) 213, 매칭 정보 처리부(matching information processing unit) 215, 플레이 컨트롤러(play controller) 221, 및 미디어 처리부(media processing unit) 223을 포함할 수 있다.
다양한 실시 예에서, 필터링 엔진 211, 먹싱 엔진 213, 매칭 정보 처리부 215는 영상 생성 엔진(video generating engine) 210을 구성할 수 있다. 전자 장치 201은 영상 생성 엔진 210을 이용하여 복수의 원본 컨텐츠 201로부터 편집 영상 203을 생성할 수 있다.
필터링 엔진 211은 다수의 소스 이미지/비디오로부터 품질(quality), 중복(duplicate or near-duplicate) 등을 조사하여 무의미한 이미지를 제거할 수 있다. 또한 얼굴 인식이나 객체 인식(face/objection recognition and classification)을 통해 유의미한 이미지를 판별할 수 있다. 예를 들어, 원본 컨텐츠가 다수의 유사한 이미지(예: 연속 촬영 등에 의해 생성된 이미지)를 포함하는 경우, 중복되거나, 초점이 정확하지 않거나, 어떠한 객체 또는 얼굴이 인식되지 않는 이미지를 제외하고, 중요하다고 판단되는 이미지를 선별할 수 있다. 예를 들어, 원본 컨텐츠가 비디오(동영상)을 포함하는 경우, 필터링 엔진 211은 비디오를 구성하는 프레임을 분석하여 중요 프레임을 선별할 수 있다. 예를 들어, 필터링 엔진 211은 비디오를 구성하는 프레임 중 I 프레임을 추출하고, I 프레임에 대해 이미지에 적용하는 것과 동일 또는 유사하거나 대응되는 방식으로 필터링을 적용하여 지정된 조건을 충족하는 프레임을 선별할 수 있다. 필터링 엔진 211은 이와 같은 방식으로 선택된 I 프레임, 및 I 프레임에 종속된 프레임(예: P 프레임 또는 B 프레임 등)을 편집 영상 203의 생성에 사용할 수 있다. 다양한 실시 예에서, 필터링 엔진 211은 전술한 I 프레임, 또는 I 프레임과 P/B 프레임 중 일부의 프레임을 편집 영상 203의 생성에 사용할 수도 있다.
먹싱 엔진 213은 필터링 엔진 211에 의해 선별된 이미지(프레임)들을 먹싱(muxing)하여 편집 영상 203을 생성할 수 있다.
매칭 정보 처리부 215는 편집 영상 203과 원본 컨텐츠 201 사이의 매칭 정보를 생성할 수 있다. 예를 들어, 매칭 정보 처리부 215는 원본 이미지의 이미지 촬영 정보(예: exchangeable image file format, EXIF)와 같은 메타데이터(metadata)에서 다양한 정보를 추출할 수 있다. 예를 들어, 매칭 정보 처리부 215는 편집 영상 203을 구성하는 프레임(예: 이미지 A)으로 선별된 원본 이미지(예: 이미지 B)로부터 그 이미지의 촬영 시간, 촬영 장소, 해당 이미지 파일의 파일 명, 저장 위치, 크기, 해상도와 같은 정보를 추출할 수 있다. 후술하겠지만, 매칭 정보 처리부 215는 편집 영상 203의 재생 중에, 상기 프레임(예: 이미지 A)이 재생되면 상기 프레임에 대응되는 원본 이미지(예: 이미지 B)의 촬영 시간과 같은 정보가 제공되도록 할 수 있다. 매칭 정보 처리부 215의 동작과 관련하여, 도 3, 도 4, 및 도 5의 예시를 참조하여 자세하게 후술한다.
다양한 실시 예에서, 플레이 컨트롤러 221, 미디어 처리부 223, 및 매칭 정보 처리부 215는 영상 플레이어 220을 구성할 수 있다. 전자 장치 201은 영상 플레이어 220을 이용하여 편집 영상 203을 재생하고, 편집 영상 203과 연관된 원본 컨텐츠에 대한 정보를 제공할 수 있다.
다양한 실시 예에서, 도 2에서 영상 처리 모듈 130에 포함되는 것으로 도시된 다양한 구성들은 예시적인 것이며, 각 구성의 명칭이 각 구성의 기능을 한정하는 것으로 해석되어서는 안 된다. 예를 들어, 영상 처리 모듈 130은 영상 생성 엔진 210과 영상 플레이어 220을 포함할 수 있고, 각각의 구성요소가 전술한 기능들을 수행하는 것으로 이해될 수 있다. 다른 예시에서, 영상 처리 모듈 130은, 하위 개념의 구분 없이, 전술한 기능들을 모두 수행할 수 있는 모듈로서 이해될 수 있다.
다양한 실시 예에서, 플레이 컨트롤러 221은 편집 영상 203을 재생할 수 있다. 플레이 컨트롤러 221은 편집 영상 203이 재생되면, 정의된 조건에 따라 편집 영상 203과 연관된 원본 컨텐츠 201에 대한 정보를 제공할 수 있다. 예를 들어, 플레이 컨트롤러 221은 편집 영상 203이 재생될 때, 재생 시점에 대응되는 원본 컨텐츠의 파일 명, 촬영 시간, 촬영 장소 등이 제공되도록 할 수 있다. 또한, 다양한 실시 예에서, 플레이 컨트롤러 221은 편집 영상 203이 재생될 때, 지정된 이벤트가 발생되면 편집 영상 203을 일시 정지시키거나, 혹은 재생 상태를 유지하면서 원본 컨텐츠 201 자체, 또는 원본 컨텐츠 201에 대한 정보를 제공(예: 디스플레이, 재생 등)할 수 있다. 이 경우, 플레이 컨트롤러 221은 미디어 처리부 223으로 원본 컨텐츠와 관련된 명령 또는 요청을 제공할 수 있다.
미디어 처리부 233은 전자 장치 100의 로컬(예: 메모리 140)에 저장된 원본 컨텐츠, 또는 저장 장치 100에 대하여 원격(예: 전자 장치 102, 전자 장치 104, 또는 서버 106)에 위치한 원본 컨텐츠에 접근할 수 있다. 예를 들어, 편집 영상 203의 재생 중에 원본 컨텐츠 201을 재생하도록 하는 이벤트가 발생하면, 미디어 처리부 223은 매칭 정보(예: 매칭 정보 처리부 215에 의해 생성되거나, 편집 영상 203의 데이터 헤더(data header)에 포함된 정보 등)를 참조하여 원본 컨텐츠에 대한 정보를 확인하고, 원본 컨텐츠 201을 전자 장치 100의 디스플레이 160에 출력할 수 있다.
이하에서는 도 3 내지 도 6을 참조하여, 전자 장치 100에서 편집 영상 203을 생성하는 방법에 대하여 살펴보고, 도 7 내지 도 12를 참조하여, 전자 장치 100에서 편집 영상 203을 재생하고 편집 영상 203과 연관된 원본 컨텐츠 201을 제공하는 다양한 실시 예에 대하여 살펴본다.
도 3은 다양한 실시 예에 따른 원본 이미지로부터 편집 영상을 생성하는 예시를 나타낸다.
도 3을 참조하면, 소스 컨텐츠 310은 복수의 이미지 311, 312, 313일 수 있다. 예를 들어, 소스 컨텐츠 310은, 전자 장치 100의 사용자가 특정 지역(예: 프랑스)을 여행하면서 촬영한 이미지, 또는 특정 폴더에 저장되거나 특정 태그로 분류된 이미지일 수 있다.
전자 장치 100은 소스 컨텐츠 310을 이용하여 편집 영상 320을 생성할 수 있다. 예를 들어, 전자 장치 100은 이미지 311을 편집 영상의 프레임 321에 배치하고, 이미지 312를 프레임 322에 배치하고, 이미지 313을 프레임 323에 배치할 수 있다. 도시된 예시에서, 프레임 321과 322 사이에는 3개의 프레임이, 프레임 322와 프레임 323 사이에는 1개의 프레임이 존재하지만, 이는 설명의 편의를 위한 예시적인 것이며, 편집 영상 320의 생성 방식에 따라 다양한 개수의 프레임이 존재할 수 있다. 예를 들어, 이미지 311에 대한 확대, 축소, 색감 변화, 이동 등의 효과를 다양하게 추가하여, 프레임 321과 프레임 322 사이에 상대적으로 다수의 프레임이 존재할 수 있다.
전자 장치 100은 편집 영상 321을 구성하는 프레임에 대응하는 원본 이미지와 연관된 정보를 획득하여 매칭 정보 330을 구성할 수 있다. 예를 들어, 전자 장치 100은 편집 영상 320의 프레임 321에 대응하는 원본 이미지 311의 파일 정보(예: 이미지 311이 저장된 논리 주소, 이미지 311의 파일 크기, 이미지 311의 파일 확장자, 해상도 등), 이미지 311의 시간 정보(예: 이미지 311이 촬영된 시간) 등을 획득할 수 있다. 도 3에는 기재되어 있지 않지만, 이미지 311이 촬영된 장소에 대한 정보, 이미지 311을 촬영한 장치에 대한 정보, 노출, 화이트밸런스, 포커스 등에 대한 정보가 추가적으로 포함될 수 있다. 다양한 실시 예에서, 전자 장치 100은 소스 컨텐츠 310에 해당하는 파일로부터 획득할 수 있는 정보, 소스 컨텐츠 310의 부가 정보(예: 메타 데이터 정보)로부터 획득할 수 있는 정보, 및 소스 컨텐츠 310 그 자체를 획득할 수 있다.
다양한 실시 예에서, 전자 장치 100은 다음과 같은 방식으로 편집 영상 파일을 생성할 수 있다. 예를 들어, 전자 장치 100은 소스 컨텐츠 310을 이용하여 편집 영상 데이터를 생성하고, 생성된 편집 영상과 소스 컨텐츠 사이의 매칭 정보 330을 구성하여, 파일의 헤더(header) 영역에 매칭 정보 330을 저장하고, 데이터 영역에 편집 영상 데이터를 저장할 수 있다. 일부 실시 예에서, 전자 장치 100은 임의의 예약 영역(reserved area)에 매칭 정보 330이 저장되도록 할 수 있다.
도 4는 다양한 실시 예에 따른 동영상(비디오)을 포함하는 소스 컨텐츠로부터 편집 영상을 생성하는 예시를 나타낸다. 도 4의 실시 예에는 소스 컨텐츠 410으로 이미지 411과 비디오 412를 사용하고 있으나, 복수의 비디오를 이용하여 편집 영상 420을 생성할 수도 있다. 즉, 다양한 실시 예에서, 전자 장치 100은 복수의 이미지, 복수의 동영상, 또는 하나 이상의 이미지와 동영상을 복수의 원본 컨텐츠로 하여 편집 영상을 생성할 수 있다. 이하의 설명에서, 도 3의 설명과 중복, 대응되거나 유사한 내용은 그 설명이 생략될 수 있다.
다양한 실시 예에서, 전자 장치 100은 원본 이미지 411을 이용하여 편집 영상 420의 프레임 421(및 421을 키 프레임으로 하는 종속 프레임)을 생성할 수 있다. 또한, 전자 장치 100은 원본 비디오 412를 이용하여 편집 영상의 다른 프레임 422를 생성할 수 있다. 예를 들어, 전자 장치 100은 원본 비디오 412의 서로 다른 두 재생 영역을 이용하여 연속된 프레임 422를 구성할 수 있다.
다양한 실시 예에서, 전자 장치 100은 다양한 방법을 통해 원본 비디오 412로부터 편집 영상 420의 적어도 일부를 생성할 수 있다. 예를 들어, 전자 장치 100은 원본 비디오 412를 구성하는 키 프레임(key frame), 예를 들어 I 프레임(예: 도 3 또는 도 4에서 빗금 영역에 해당하는 이미지/프레임)을 모두 추출하고, 원본 비디오 412에서 추출된 프레임 중 지정된 조건에 따라 중복 이미지 또는 객체나 얼굴 인식이 되지 않는 이미지를 제거하여 유의미한 이미지를 선택하여 편집 영상 420의 생성에 이용할 수 있다. 이 경우, 최종적으로 선택된 I 프레임의 종속 프레임(예: P 프레임 등)은 선택된 I 프레임과 함께 편집 영상 420에 포함될 수 있다. 한편 일부 실시 예에서는, 사용자 선택에 의해 지정된 재생 구간이 편집 영상 420에 포함될 수 있다. 또한, 전자 장치 100은 전술한 예시에서와 같이 I 프레임을 추출하는 방법뿐만 아니라, 다양한 조건에 의한 중요 프레임을 선택하는 방법을 사용할 수 있다.
다양한 실시 예에서, 전자 장치 100은 편집 영상 420과 소스 컨텐츠 410 사이의 관계 정보를 수집하여 매칭 정보 430을 구성할 수 있다. 예를 들어, 전자 장치 100은 도 3에서 전술한 것과 같은 방식으로, 편집 영상 420의 프레임 421에 대하여, 프레임 421에 대응되는 원본 이미지 411의 정보를 매칭 정보 430에 포함시킬 수 있다. 또한, 전자 장치 100은 프레임 422에 대응되는 원본 비디오 412의 PTS 정보를 매칭 정보 430에 포함시킬 수 있다. 예를 들어, 편집 영상에서 00:00:05 PTS(presentation time stamp)에 재생되는 프레임에 대응되는 원본 컨텐츠의 프레임은, 원본 컨텐츠에서는 00:03:10 PTS에서 재생될 수 있다. 매칭 정보 430에는 이와 같은 서로 대응되는 프레임에 대하여 편집 영상과 원본 컨텐츠 각각에서의 PTS 정보가 포함될 수 있다. 전자 장치 100은 매칭 정보 430을 참조하여, 편집 영상 420의 재생 중에, 현재 출력되고 있는 이미지(프레임)이 원본 비디오에서는 어느 시점에 재생되는지에 대한 정보를 제공할 수 있다. 또한, 도 3에서 설명한 바와 같이, 비디오 412에 대해서도, 비디오 412의 파일 크기, 재생 시간(duration), 해상도, 촬영 시간, 촬영 장소, 비디오 파일 412에 사용된 코덱 등 다양한 정보가 획득될 수 있다.
이하에서는 도 5를 참조하여, 매칭 정보 330 또는 매칭 정보 430의 예시적인 구조에 대하여 살펴본다.
도 5는 다양한 실시 예에 따른 매칭 정보의 구조를 개념적으로 나타낸다.
도 5를 참조하면, 원본 이미지 511과 원본 비디오 512를 이용하여 생성된 편집 영상 520의 매칭 정보 530이 도시된다. 도 5의 예시에서, 원본 이미지 511은 편집 영상 520의 프레임 521에 대응될 수 있다. 또한 원본 비디오 512로부터 추출된 프레임은, 각각 편집 영상 520의 프레임 522, 523에 대응될 수 있다. 여기서 프레임 522 및 523은 원본 비디오 512의 적어도 일부 구간에 대응되는 하나 이상의 프레임일 수 있다.
매칭 정보 530은 편집 영상 520의 프레임 521에 대응하는 원본 컨텐츠에 대한 정보를 포함할 수 있다. 예를 들어, 매칭 정보 530은 프레임 521에 대응하는 원본 이미지 511의 소스 파일 정보(예: /sdcard/temp/photo1.jpg와 같은 파일 경로), 이미지 서술자(image descriptor), 편집 영상 520에서의 PTS, 원본 컨텐츠에서의 PTS, 원본 파일의 위치 정보(예: 캘리포니아 주 샌프란시스코, 또는 GPS 좌표 등)와 같은 정보를 포함할 수 있다. 원본 컨텐츠의 타입에 따라서, 일부 매칭 정보 값은 비어있거나, 기본 값(예: 0 또는 1)으로 처리될 수 있다. 예를 들어, 프레임 521의 경우 원본 컨텐츠는 이미지 파일이므로, 원본 컨텐츠에서의 PTS는 어떠한 값을 갖지 않거나, 혹은 지정된 임의의 값(예: 0 또는 00:00:00)으로 설정될 수 있다.
유사하게, 매칭 정보 530은 프레임 522 및 프레임 523에 대응하는 원본 비디오 512에 대한 정보를 포함할 수 있다. 원본 컨텐츠가 동일한 경우(에: 프레임 522 및 프레임 523), 매칭 정보 530 중 일부 정보는 같은 값을 가질 수 있다. 예를 들어, 프레임 522 및 프레임 523에 대응되는 소스 파일 경로 및 소스 파일에서의 위치 정보는 각각 /sdcard/temp/video1.mp4, 유타 주 아리조나로 동일할 수 있다. 그러나 이미지 서술자, PTS, 소스 파일에서의 PTS는 서로 다른 값을 가질 수 있다. 예를 들어, 프레임 522는 편집 영상 520에서 00:00:05 시점에 재생되지만, 프레임 522에 대응되는 원본 비디오 512의 프레임은 원본 비디오 512에서 00:03:10에 재생될 수 있다. 프레임 523에 대응되는 원본 비디오 512의 프레임은 원본 비디오 512에서 00:07:07에 재생될 수 있다.
스마트폰이나 태블릿, 또는 웨어러블 장치의 촬영 기능이 향상되면서, 사용자는 여행, 등산, 출장과 같은 다양한 활동에 있어서, 사용자 단말을 이용한 기록(사진, 동영상 등)을 남길 수 있다. 사용자는 추후에 이러한 사진과 동영상을 편집하여 하나의 컨텐츠를 재생산할 수 있다. 예를 들어, 사용자는 스마트폰을 이용하여 휴가지(예: 파리 - 스페인) 곳곳에서 동영상을 촬영하고, 촬영된 다수의 동영상 파일을 이용하여 자신의 휴가를 종합한 편집 영상을 생성할 수 있다. 그러나 이 경우, 예를 들어 제1 영상은 10월 5일에 촬영하고, 제2 영상은 10월 9일에 촬영한 상태에서, 제1 영상과 제2 영상을 이용하여 편집 영상을 생성한 경우, 편집 영상을 구성하는 서로 인접한 프레임 사이에는 최대 4일의 시간 차이가 있을 수 있으나, 이러한 시간적 차이를 인지하는 것은 쉽지 않다. 이러한 시간적 차이를 인지하기 위해서, 사용자는 편집 영상에 사용된 영상이 어떤 영상인지 확인하여야 하고, 확인된 영상(즉, 제1 영상 및 제2 영상)의 촬영 날짜를 확인하여야 한다.
다양한 실시 예에 따르면, 전자 장치 100은 편집 영상의 재생 중에 원본 영상에 대한 정보를 제공할 수 있다. 예를 들어, 편집 영상의 재생 중에 제1 영상에 대응하는 프레임이 재생되는 경우, 전자 장치 100은 제1 영상 및 촬영 시간에 대한 정보를 제공할 수 있다. 예를 들어, 현재 재생되는 프레임이 제1 영상의 00:20:17 PTS에 대응되는 지점이고, 제1 영상의 촬영 시점이 10월 5일 오전 10시 30분인 경우, 전자 장치 100은 디스플레이 160의 임의의 위치(예: 우측 상단, 또는 중앙 하단 등)에 원본 컨텐츠에 대한 정보, 즉, “제1 영상, 10/5/2014 AM 10:30, 00:20:17”과 같은 정보를 제공할 수 있다. 일부 실시 예에서, 전자 장치 100은 원본 영상의 촬영(생성) 시간에 대한 정보와 PTS 정보를 이용하여, “제1 영상, 10/5/2014 AM 10:50:17”(10:30분에 촬영 시작하여, 20분 17초 경과한 프레임에 대한 정보)과 같은 정보를 제공할 수 있다. 추가적으로, 전자 장치 100은 제1 영상의 장소 정보를 이용하여, “Paris, 10/5/2014 AM 10:50:17”과 같은 정보를 제공할 수 있다. 또한 시간 정보는, 원본 영상의 PTS의 변경에 따라 편집 영상에서도 대응되도록 변경되어 제공될 수 있다. 이제 전자 장치 100이 편집 영상에서 제2 영상(예: 스페인에서 10월 9일에 촬영)에 대응되는 프레임을 재생하기 시작하면, 전자 장치 100은 매칭 정보를 참조하여, “Spain, 10/9/2014 PM 04:09:11”과 같은 정보를 제공할 수 있다. 즉, 다양한 실시 예에 따르면, 서로 다른 복수의 컨텐츠를 이용하여 하이라이트 영상을 생성하고, 생성된 하이라이트 영상에 대한 원본 컨텐츠의 정보를 제공할 수 있다.
도 6은 다양한 실시 예에 따른 편집 영상 생성 방법을 나타낸다. 도 6에 도시된 흐름도는 예시적인 것이며, 전술하거나 후술할 동작들이 적절한 단계에서 추가로 적용되거나, 혹은 흐름도에 도시된 일부 동작들은 생략되거나 그 순서가 변경될 수 있다.
동작 610에서, 전자 장치 100은 원본 컨텐츠를 획득할 수 있다. 원본 컨텐츠는 전자 장치 100의 메모리 140에 저장되어 있거나, 외부 장치(예: 전자 장치 102, 104, 또는 서버 106)에 저장되어 있을 수 있다. 예를 들어, 전자 장치 100은 YouTube와 같은 컨텐츠 제공 서버에서 원본 컨텐츠를 획득하거나, Google Drive와 같은 클라우드 서버에서 원본 컨텐츠를 획득할 수 있다.
동작 620에서, 전자 장치 100은 획득된 원본 컨텐츠가 비디오 타입인지 여부를 판단할 수 있다. 만약 원본 컨텐츠가 비디오 타입인 경우, 전자 장치 100은 동작 630에서 중요 프레임 또는 키 프레임을 추출할 수 있다. 여기서 중요 프레임 또는 키 프레임이라 함은, 편집 영상의 생성에 사용될 수 있는 조건을 충족하는 프레임을 의미하며, 그 명칭에 의해 한정되지 않는다. 예를 들어, 어떤 실시 예에서는, 중요 프레임은 I 프레임을 의미할 수 있으나, 다른 실시 예에서는 얼굴 인식이나 객체 분석이 가능한 프레임을 의미할 수 있다. 다른 일부의 실시 예에서, 키 프레임은 사용자에 의해 임의로 설정된 구간에 해당하는 프레임일 수 있다.
동작 640에서, 전자 장치 100은 추출된 프레임에 대한 시간 정보를 추출할 수 있다. 예를 들어, 전자 장치 100은 추출된 프레임이 속한 세그먼트(segment)의 시간 정보를 추출할 수 있다. 다양한 실시 예에서, 동작 640에서 추출되는 시간 정보는 추출된 프레임이 원본 컨텐츠에서 가지는 PTS 정보일 수 있다. 다양한 실시 예에서, 동작 630과 동작 640은 동시에 또는 병렬적으로 수행될 수 있다.
동작 650에서, 전자 장치 100은 추출된 프레임에 대하여 영상 처리(예: 필터링 등)를 수행할 수 있다. 또한, 동작 620에서 비디오 타입이 아닌 원본 컨텐츠(즉, 이미지 타입의 원본 컨텐츠)에 대해서는 바로 동작 650이 수행될 수 있다. 동작 650에서의 필터링 결과, 편집 영상 생성에 적절하지 않은 것으로 판단되는(편집 영상 생성 기준에 부합하지 않는) 이미지들은 제거될 수 있다.
동작 660에서, 전자 장치 100은 원본 컨텐츠에 대한 부가정보를 추출할 수 있다. 예를 들어, 동작 650에서의 필터링 결과, 최종적으로 선택된 이미지들에 대응되는 원본 컨텐츠의 파일 명, 파일 경로(파일이 위치한 디바이스), 파일 크기, 해상도, 재생 시간(비디오의 경우), 촬영(생성) 시간, 촬영(생성) 장소 등 다양한 부가 정보를 추출할 수 있다.
동작 670에서, 전자 장치 100은 동작 650에서 선택된 이미지들에 대하여, 동작 640 및 동작 660에서 획득된 정보에 기초하여 편집 영상과 원본 컨텐츠 사이의 매칭 정보를 생성할 수 있다.
동작 680에서, 전자 장치 100은 동작 670에서 생성된 매칭 정보와, 동작 650에서 결정된 이미지(프레임)들을 이용하여 편집 영상을 생성할 수 있다. 예를 들어, 전자 장치 100은 데이터 영역에는 선택된 이미지에 대한 먹싱(muxing)수행하여 생성된 편집 영상 데이터를, 헤더 영역에는 매칭 정보를 포함하는 데이터 구조를 갖는 편집 영상 파일을 생성할 수 있다.
다양한 실시 예에서, 도 6의 동작은, 도 2의 영상 생성 엔진 210에 의해 수행될 수 있다. 이하에서는 도 7 내지 도 10을 참조하여, 편집 영상을 재생하는 방법에 대하여 설명한다. 이하에서 설명되는 편집 영상은, 도 6의 방법에 의해 전자 장치 100에서 생성된 편집 영상일 수도 있고, 전자 장치 100과는 다른 장치에서 생성되어 전자 장치 100이 획득한 편집 영상일 수도 있다. 후자의 경우, 전자 장치 100은 그 구성요소로서 영상 생성 엔진 210에만 포함되는 구성은 생략할 수 있다.
도 7은 다양한 실시 예에 따른 편집 영상을 재생하는 방법을 나타낸다.
동작 710에서, 전자 장치 100은 편집 영상을 재생할 수 있다. 예를 들어, 전자 장치 100의 영상 처리 모듈 130은 메모리 140에 저장된 편집 영상을 재생할 수 있다. 여기서 메모리 140에 저장된 편집 영상은 전자 장치 100에 의해 복수의 컨텐츠로부터 생성된 편집 영상일 수 있다. 다른 실시 예에서, 전자 장치 100은 외부 서버에 위치한 편집 영상을 재생할 수 있다. 이 경우, 외부 서버에 위치한 편집 영상은 복수의 컨텐츠로부터 생성된 영상일 수 있으며, 재생을 위해 전자 장치 100의 메모리 140에 버퍼링 될 수 있다.
동작 720에서, 전자 장치 100은 매칭 정보에 기초하여 원본 컨텐츠에 대한 정보를 제공할 수 있다. 예를 들어, 편집 영상은 매칭 정보를 편집 영상 파일의 헤더 또는 예약 영역 등에 포함하고 있을 수 있다. 전자 장치 100은 이 매칭 정보를 이용하여 원본 컨텐츠에 대한 정보 또는 원본 컨텐츠 그 자체를 편집 영상과 함께 제공할 수 있다. 이하에서는, 도 8을 참조하여 편집 영상의 재생 중에 원본 컨텐츠의 정보를 제공하는 예시를 설명한다.
도 8은 다양한 실시 예에 따른, 편집 영상 재생 시 원본 컨텐츠에 대한 정보를 제공하는 화면을 나타낸다.
도 8을 참조하면, 편집 영상 800의 재생 중에, 스크린의 일정 영역 830에 원본 컨텐츠에 대한 정보를 제공하는 화면을 나타낸다. 예를 들어, 편집 영상이 재생될 때, 재생 지점 810에 특정 프레임이 출력되면, 해당 프레임에 대응되는 원본 컨텐츠에 대한 정보가 영역 830에 제공될 수 있다. 예를 들어, 일반적으로 여름 바다를 배경으로 트리 및 산타 복장을 한 이미지는 부자연스러울 수 있으나, 원본 정보에서 2013년 12월 25일 크리스마스에 호주 시드니에서 촬영한 이미지 또는 동영상이라는 정보가 제공되어 컨텐츠에 대한 이해도를 높일 수 있다.
다양한 실시 예에서, 원본 컨텐츠가 이미지인 경우, 시간 정보로서 촬영 시간이, 장소 정보로서 촬영 장소가 출력되도록 할 수 있다. 만약 현재 재생되는 프레임에 대응되는 컨텐츠가 비디오인 경우, 시간 정보로서 촬영 시간, 재생 시간(PTS), 또는 도 5에서 설명한 바와 같이 촬영 시간과 재생 시간을 기초로 하여 계산된 값이 출력될 수 있다.
다양한 실시 예에서, 편집 영상의 재생 구간 전체에 걸친 원본 컨텐츠의 촬영 시간 또는 촬영 장소에 대한 정보가 다른 어플리케이션과 연계되어 제공될 수 있다. 해당 실시 예가 도 12를 참조하여 서술된다.
또한, 편집 영상 800의 재생 중에, 원본 컨텐츠를 재생하도록 하는 객체(예: 원본 컨텐츠 연결 객체)가 선택되면, 전자 장치 100은 원본 컨텐츠가 전자 장치의 디스플레이 160의 적어도 일부에 디스플레이 되도록 할 수 있다. 이하에서는 도 9를 참조하여, 편집 영상에서 원본 컨텐츠를 디스플레이 하는 방법을 설명한다.
도 9는 다양한 실시 예에 따른 편집 영상에서 원본 컨텐츠를 출력하는 방법을 나타낸다.
도 9를 참조하면, 동작 910에서 원본 컨텐츠 연결 객체에 대한 선택 이벤트가 발생될 수 있다. 동작 910은 전술한 도 7의 동작 710 또는 동작 720에 후속하여 수행될 수 있다. 예를 들어, 도 8과 같이 편집 영상이 재생되면 자동으로 원본 컨텐츠에 대한 정보를 편집 영상의 일부 영역에 제공하도록 설정된 경우, 동작 910은 동작 720에 후속하여 발생하는 것으로 이해될 수 있다. 그러나 다른 실시 예에서, 편집 영상 재생 시에 원본 컨텐츠에 대한 정보가 자동으로 디스플레이 되지 않는 경우, 동작 910은 동작 710에 후속하여 발생하는 것으로 이해될 수 있다.
동작 910에서, 선택 이벤트는 다양한 경로로 발생할 수 있다. 예를 들어, 입출력 인터페이스 150을 통하여 객체(예를 들어, 객체 830)에 대한 터치 또는 호버링 입력이 수신되는 경우, 원본 컨텐츠에 대한 선택 이벤트가 발생한 것으로 이해될 수 있다. 그러나 다양한 실시 예에서, 전자 장치 100은 편집 영상의 재생 시에 특정한 객체(예: 버튼)를 제공하지 않고, 지정된 입력(예: 재생 화면을 롱 터치, 또는 메뉴 항목에서 선택)을 수행함으로써, 동작 910과 동일한 동작이 발생한 것으로 처리할 수 있다.
동작 920에서 원본 컨텐츠를 디스플레이 하기 위해 편집 영상이 일시 정지될 수 있다. 그러나, 일부 실시 예에서는 편집 영상에 대한 일시 정지 없이 원본 컨텐츠를 재생할 수 있다. 한편 다양한 실시 예에서, 원본 컨텐츠는 정속으로 재생하고, 편집 영상은 저속(예: 0.5배속)으로 재생할 수 있다. 또한, 다양한 실시 예에서, 편집 영상은 원본 영상과 공통인 부분에 대해서는 함께 재생되지만, 원본에 대응되는 부분이 없는 경우 그 재생이 정지될 수 있다. 예를 들어, 편집 영상의 프레임 1~100 중에서 1~70까지는 제1 원본 비디오에 매칭되는 경우(예: 71~100까지는 제2 원본 비디오에 매칭), 프레임 30 시점에서 동작 910이 발생하면 전자 장치 100은 편집 영상과 제1 원본 비디오를 함께 (동기화하여) 재생하지만, 프레임 70이 넘어서는 시점부터 편집 영상은 재생을 정지하고, 제1 원본 비디오는 계속해서 재생할 수 있다.
동작 930에서, 전자 장치 100은 이벤트가 발생한 시점에 재생 중인 편집 영상의 프레임에 대응되는 원본 컨텐츠가 비디오인 경우, 동작 940에서 객체 선택 시점에 대응하는 지점부터(예: 전술한 예시에서, 프레임 30에 대응하는 원본 영상의 PTS부터) 원본 컨텐츠의 재생을 시작할 수 있다. 다양한 실시 예에서, 전자 장치 100은 원본 컨텐츠를 제공하여 편집 영상에는 포함되어 있지 않은 원본 영상을 확인하는 것을 가능하게 할 수 있다. 만약 원본 컨텐츠가 전자 장치 100의 내부 메모리(예: 메모리 140)에 저장되어 있지 않은 경우, 전자 장치 100은 매칭 정보에 저장된 원본 파일 정보(예: 파일 경로)를 참조하여 외부 장치/서버로부터 원본 컨텐츠를 다운로드하고, 다운로드 된 원본 컨텐츠가 재생되도록 할 수 있다.
동작 930에서, 전자 장치 100은 이벤트가 발생한 시점에 재생 중인 편집 영상의 프레임에 대응되는 원본 컨텐츠가 이미지인 경우, 동작 950에서 이미지의 촬영 시점을 참고하여, 이미지의 촬영 시점과 다른 이미지를 제공할 수 있다. 예를 들어, 전자 장치는 촬영 날짜와 같은 날 촬영된 사진들에 대한 갤러리를 제공할 수 있다. 또는 촬영 날짜로부터 1주일 이내에 있는 사진들에 대한 갤러리를 제공할 수 있다.
동작 960에서 편집 영상으로 복귀하는 이벤트가 발생하는 경우, 전자 장치 100은 원본 컨텐츠에 대한 디스플레이를 종료하고 편집 영상의 재생으로 복귀할 수 있다. 예를 들어, 동작 960이 발생하면, 전자 장치 100은 동작 710 또는 동작 720 단계로 복귀할 수 있다.
도 10은 다양한 실시 예에 따른 편집 영상 재생 시 원본 컨텐츠를 제공하는 예시적인 화면 구성을 나타낸다.
예를 들어, 전자 장치 100의 디스플레이 160에 편집 영상 1000이 재생되고 있는 상태에서, 객체 1020의 선택 이벤트가 발생하여 원본 컨텐츠의 디스플레이가 요청되면, 전자 장치 100은 편집 영상 1000이 디스플레이 되고 있던 영역을 원본 컨텐츠로 대체할 수 있다. 이 경우, 편집 영상은 그 재생이 일시적으로 중지(예: 동작 920)될 수 있으며, 원본 컨텐츠에서 편집 영상으로 복귀(예: 동작 960)하면 다시 그 재생이 재개될 수 있다.
다른 예시로서, 전자 장치 100은 디스플레이 160을 분할하여 제1 화면에는 편집 영상 1031을 디스플레이 하면서 제2 화면에는 원본 영상 1032를 디스플레이 할 수 있다. 이 상태에서 편집 영상으로 복귀하기 위한 객체 1033이 선택되면, 다시 처음 편집 영상이 재생되던 상태로 복귀할 수 있다.
또 다른 예시로서, 전자 장치 100은 이벤트가 발생한 시점의 프레임에 대응되는 원본 이미지 1041을 디스플레이 하면서, 원본 이미지의 촬영 시점과 유사한 촬영 시점을 갖는(예: 촬영 일이 동일하거나, 촬영 시점으로부터 소정 기준 시간 내에 촬영된) 이미지 1042를 제공할 수 있다. 전자 장치 100은 스크롤 입력 또는 터치 입력 등에 응답하여 원본 이미지 1041이 아닌 다른 이미지 1042를 메인 영역(예: 이미지 1041이 디스플레이 되어 있는 영역) 또는 전체 화면으로 디스플레이 할 수 있다. 이 상태에서 편집 영상으로 복귀하기 위한 객체 1043이 선택되면, 다시 처음 편집 영상이 재생되던 상태로 복귀할 수 있다.
다른 예시로서, 전자 장치 100은 편집 영상 1051이 재생되는 영역에 오버레이하여 원본 컨텐츠 1052를 재생할 수 있다. 원본 컨텐츠 1052가 재생되는 영역은 플로팅되어 편집 영상 1051의 영역 위에서 움직일 수 있다.
전술한 예시들은 편집 영상의 재생 중에 원본 컨텐츠를 디스플레이 하는 다양한 방법을 설명하기 위한 것이며, 그 방법을 한정하고자 하는 것이 아니다. 상술한 예시로부터 당업자 수준에서 변형 가능한 다양한 디스플레이 방법이 가능하다.
도 11은 다양한 실시 예에 따른 서로 다른 전자 장치에 저장된 원본 컨텐츠로부터 편집 영상을 생성하고, 편집 영상에서 서로 다른 전자 장치에 저장된 원본 컨텐츠에 접근하는 예시를 나타낸다.
도 11을 참조하면, 편집 영상의 생성을 위한 원본 컨텐츠는 다양한 장치에 의해 촬영될 수 있다. 예를 들어, 스마트폰 1110에서부터, 스마트 워치 1120, 장착형 카메라 1130, 스마트 안경 1140과 같은 다양한 웨어러블 장치로부터 다양한 컨텐츠가 촬영될 수 있다. 예를 들어, 사용자는 스마트폰 1110을 소지한 상태로, 스마트 워치 1120와 장착형 카메라 1130을 장착하고, 스마트 안경 1140을 착용한 상태에서, 스키나 사이클, 패러글라이딩과 같은 다양한 활동을 수행할 수 있다. 다양한 장치에 부착된 카메라는 서로 다른 시점에서 촬영이 가능하고, 이렇게 촬영된 컨텐츠를 이용하여 편집 영상을 생성하는 것이 가능하다.
다양한 실시 예에서, 원본 컨텐츠는 촬영 기기 별로 다른 폴더에 저장될 수 있다. 예를 들어, 스마트폰 1110에 의해 촬영된 컨텐츠는 폴더 1111에, 스마트 워치 1120에 의해 촬영된 컨텐츠는 폴더 1112에, 장착형 카메라 1130에 의해 촬영된 컨텐츠는 폴더 1113에, 스마트 안경 1140에 의해 촬영된 컨텐츠는 폴더 1114에 저장될 수 있다. 각각의 폴더들은 각각의 장치의 내부 메모리에 존재할 수 있다. 한편 다양한 실시 예에서, 각각의 폴더들은 장치 1110, 1120, 1130, 1140 중 어느 하나의 메모리에 존재할 수 있다. 또는, 각각의 폴더들은 장치 1110, 1120, 1130, 1140를 연결하는 사용자 계정에 대응하는 클라우드 서버 상에 존재할 수 있다.
다양한 실시 예에서, 편집 영상 1100의 재생 중에, 특정 시점에서 원본 컨텐츠로의 재생 중 점프 기능(예: 원본 컨텐츠 연결 객체의 선택)이 수행되면, 전자 장치 100은 대응되는 폴더에 접근하여 원본 컨텐츠를 재생할 수 있다. 만약 해당 폴더가 전자 장치 100의 외부에 위치하는 경우, 전자 장치 100은 통신 인터페이스 170을 통해 필요한 네트워크 연결을 수립(예: BT 연결, Wi-Fi 다이렉트, 또는 셀룰러 네트워크 연결 등)하고 해당 원본 컨텐츠를 다운로드 하여 디스플레이(재생)할 수 있다. 예를 들어, 재생 지점 1101에서 전자 장치는 스마트폰 1110에 의해 촬영된 원본 컨텐츠를 폴더 1111로부터 획득할 수 있다. 유사한 방식으로, 재생 지점 1102, 1103, 1104에서 각각 전자 장치 100은 스마트 워치 1120, 장착형 카메라 1130, 스마트 안경 1140에 대응되는 각각의 폴더에서 원본 컨텐츠를 다운로드 하여 디스플레이 할 수 있다.
전술한 바와 같이, 전자 장치 100은 다양한 실시 예에서, 편집 영상 1100의 재생 중에 각각의 프레임에 대응되는 원본 컨텐츠에 액세스하여, 편집 영상 1100의 소정 영역(예: 우측 상단)에 함께 디스플레이 할 수 있다. 예를 들어, 사용자의 손가락 또는 전자 펜(예: S-펜, 스타일러스 등)으로 호버링하면 호버링이 유지되는 시간 동안 원본 컨텐츠를 오버레이하여 디스플레이 할 수 있다.
도 12는 다양한 실시 예에 따른 어플리케이션을 이용하여 편집 영상의 정보를 제공하는 예시를 나타낸다.
도 12를 참조하면, 영역 1210에 편집 영상이 디스플레이 될 수 있다. 예를 들어, 도 8에서 설명된 편집 영상이 영역 1210에 디스플레이 될 수 있다. 전자 장치 100은 영역 1210에 편집 영상을 디스플레이 하면서, 편집 영상에 포함된 매칭 정보를 지정된 어플리케이션으로 제공할 수 있다. 예를 들어, 전자 장치 100은 매칭 정보에 포함된 시간 정보와 장소 정보를 날씨 어플리케이션으로 제공할 수 있다. 전자 장치 100은 날씨 어플리케이션을 통해 해당 시간 및 장소에 대응되는 날씨 정보를 영역 1220에 디스플레이 할 수 있다. 이를 통해, 현재 디스플레이 되고 있는 편집 영상의 이미지들(또는 비디오)이 촬영된 상황에서의 날씨 정보가 제공되도록 할 수 있다.
다른 예시로서, 전자 장치 100은 매칭 정보에 포함된 시간 정보와 장소 정보를 지도 어플리케이션으로 제공할 수 있다. 전자 장치 100은 지도 어플리케이션을 통해 편집 영상과 연관된 이동 경로 정보를 또 다른 영역 1230에 제공할 수 있다. 예를 들어, 전자 장치 100은 편집 영상의 각 프레임에 대응되는 장소를 촬영 시간 순으로 연결하여 이동 경로 1231을 지도 상에 표시하고, 현재 출력되고 있는 프레임에 해당되는 위치 1232를 표시할 수 있다. 이를 통해, 전자 장치 100은 현재 편집 영상에서 보여지고 있는 화면이 지리적으로 어디에 위치하여 있었는지를 직관적으로 제공할 수 있다.
도 12에 예시된 화면 배치는 예시적인 것이며, 영역 1220, 영역 1230은 편집 영상이 출력되는 영역 1210 외부에 위치하지 않고 영역 1210 내부에 위치할 수도 있다. 또한 영역 1220이나 영역 1230 중 어느 하나만이 출력될 수도 있고, 혹은 부가적인 임의의 영역이 추가적인 정보를 제공하기 위하여 더 출력될 수도 있다.
도 13은 다양한 실시 예에 따른 이미지 서술자(image descriptor) 기반의 원본 컨텐츠와 편집 영상의 연계 방법을 나타낸다.
도 13을 참조하면, 전자 장치 100은 원본 컨텐츠, 예를 들어 이미지 1310 및 비디오 1320을 이용하여 편집 영상 1330을 생성할 수 있다. 전자 장치 100은 원본 컨텐츠로부터 영상 특징(image feature)을 추출할 수 있다. 예를 들어, 편집 영상 1330의 생성에 사용되는 이미지 또는 비디오의 키 프레임(예를 들어, 원본 비디오 1320에서 빗금 친 프레임)에 SIFT(Scale Invariant Feature Transform) 변환을 적용하여 특징 벡터를 추출할 수 있다. 다양한 실시 예에서, SIFT 외에도, HOG(Histogram of Oriented Gradient), Haar feature, LBP(Local Binary Pattern), SURF(Speeded-UP Robust Features) 기법 등이 적용될 수 있다. 각각의 방법에 의해 산출되는 특정 값(예: 특징 벡터)은 이미지 서술자(image descriptor)로 이해될 수 있다.
전자 장치 100은 추출된 이미지 서술자를 이미지 서술자 DB 1340에 저장할 수 있다. DB 1340은 전자 장치 100의 메모리 140에 저장될 수도 있으나, 예를 들어, DB 1340은 전자 장치 100과 연관된 클라우드 서버에 위치할 수 있다. 다른 실시 예에서, DB 1340은 컨텐츠 제공자 서버에 위치할 수도 있다. 전자 장치 100은 이미지 서술자를 서버로 전송할 때, 원본 이미지/동영상의 매칭 정보(예: 메타 데이터, 파일 정보 등) 또는 매칭 정보 구조(예: 도 5에서 설명한 매칭 정보 구조(또는 테이블) 등)를 함께 전송할 수 있다.
다양한 실시 예에서, 전자 장치 100은 편집 영상 1330을 재생할 때, 편집 영상 1330의 키 프레임으로부터 이미지 서술자를 추출하고, DB 1340에 추출된 이미지 서술자에 대응되는 매칭 정보를 요청할 수 있다. 전자 장치 100은 DB 1340으로부터 편집 영상 1330으로부터 추출된 이미지 서술자에 대응되는 매칭 정보로부터 원본 컨텐츠 또는 원본 컨텐츠에 대응되는 정보를 확인할 수 있다. 전자 장치 100은 확인된 원본 정보에 기초하여, 도 7 내지 12를 통해 전술한 내용에 따라 원본 컨텐츠에 대한 정보를 제공할 수 있다.
다양한 실시 예에서, 편집 영상 1330을 생성하는 전자 장치와 편집 영상 1330을 재생하는 전자 장치는 서로 다를 수 있다. 예를 들어, 데스크톱을 이용하여 편집 영상 1330이 생성되거나, 컨텐츠 제공자(서버)에 의해 편집 영상 1330이 생성될 수 있다. 예를 들어, 전자 장치의 사용자는 웹 사이트 등에 접근하여 편집 영상 1330을 재생할 수 있고, 이 경우, 전자 장치는 서버에 저장된 이미지 서술자 DB 1340을 이용하여 확인된 원본 정보를 제공받을 수 있다. 예를 들어, 사용자가 YouTube나 Facebook 사이트에서 다른 사용자에 의해 생성된 하이라이트 영상을 시청할 때에도, 사용자는 상기 하이라이트 영상에 대한 원본 정보를 제공받을 수 있다.
도 14는 다양한 실시 예에 따른 웹 사이트에서 제공하는 편집 영상과 원본 컨텐츠를 재생하는 예시를 나타낸다.
도 14를 참조하면, 전자 장치 100은 웹사이트(예: Facebook 페이지)에 접속하여 편집 영상 1410을 재생할 수 있다. 예를 들어, 편집 영상 1410은 전자 장치 100의 웹 페이지 내부에서 재생되거나, 디스플레이 160에서 전체 화면으로 재생될 수 있다.
편집 영상 1410의 재생 중에, 원본 컨텐츠의 디스플레이를 요청하는 이벤트(예: 원본 컨텐츠 연결 객체 1411에 대한 선택 이벤트)가 발생하면, 해당 웹 사이트 서버에서는 편집 영상 1410에 포함된 매칭 정보에 기초하여 원본 컨텐츠의 경로에 접근하여, 원본 컨텐츠 1420이 재생되도록 할 수 있다. 예를 들어, 원본 컨텐츠가 해당 웹 사이트와 다른 웹 사이트에 존재하더라도, 보안 등의 이유로 접근이 제한된 컨텐츠가 아니라면, 원본 컨텐츠의 경로 정보를 참조하여 해당 원본 컨텐츠를 획득할 수 있다. 원본 컨텐츠 1420의 재생 중에, 편집 영상 1410으로 복귀하도록 하는 이벤트(예: 복귀 버튼 1421에 대한 선택 이벤트)가 발생하면, 편집 영상 1410의 재생이 재개될 수 있다.
다양한 실시 예에 따르면, 전자 장치 100의 구성은 그 명칭에 제한되지 않고, 각 구성이 수행하는 기능을 중심으로 이해되어야 한다. 예를 들어, 전자 장치 100은, 전자 장치 100의 구성요소들 및 영상 생성/재생을 제어하는 AP, 통신 기능을 담당하는 CP, 및 컨텐츠가 저장되는 메모리를 포함하는 것으로 이해될 수 있다. 다른 예시로서, 전자 장치 100은 전자 장치 100의 전반적인 동작을 제어하는 CPU, 영상처리 및 디스플레이를 담당하는 GPU, 통신 기능을 담당하는 RFIC, 및 스토리지를 포함할 수 있다. 다른 예시로서, 전자 장치 100은 제어 모듈, 영상 처리 모듈, 저장 모듈, 출력 모듈, 통신 모듈을 포함하는 것으로 이해될 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 제어 모듈 120)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리 140이 될 수 있다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    프로세서 및 상기 프로세서에 의해 제어되는 메모리를 포함하고, 상기 메모리는,
    복수의 컨텐츠(contents)로부터 편집 영상(highlight video)의 생성을 위한 이미지를 획득하는 동작,
    상기 편집 영상과 상기 복수의 컨텐츠 사이의 매칭 정보를 생성하는 동작, 및
    상기 획득된 이미지와 상기 매칭 정보에 기초하여 상기 편집 영상을 생성하는 동작을 수행하는 명령어를 포함하고,
    상기 매칭 정보는 상기 획득된 이미지와 연관된 원본 파일 정보, 시간 정보, 장소 정보 중 적어도 하나를 포함하도록 설정된 전자 장치.
  2. 청구항 1에 있어서,
    상기 복수의 컨텐츠는, 복수의 이미지, 복수의 비디오, 또는 하나 이상의 이미지와 비디오 중 적어도 하나를 포함하는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 매칭 정보는 상기 획득된 이미지의 이미지 서술자(image descriptor)를 더 포함하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 시간 정보는 상기 원본 파일이 이미지 파일인 경우 이미지 촬영 시간에 대한 정보를 포함하는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 시간 정보는 상기 원본 파일이 비디오 파일인 경우 비디오 촬영 시간 및 상기 비디오 파일의 PTS(presentation time stamp) 정보를 포함하는, 전자 장치.
  6. 청구항 5에 있어서,
    상기 시간 정보는, 상기 획득된 이미지에 대응되는 상기 원본 파일의 프레임의 PTS 정보를 포함하는, 전자 장치.
  7. 청구항 1에 있어서,
    상기 전자 장치는 외부 장치와 연결하기 위한 통신 인터페이스를 더 포함하고,
    상기 프로세서는 상기 통신 인터페이스를 통해 상기 외부 장치에 저장된 컨텐츠로부터 상기 이미지 및 상기 이미지와 연관된 정보의 적어도 일부를 획득하도록 설정된 전자 장치.
  8. 전자 장치에 있어서,
    프로세서, 및
    복수의 컨텐츠로부터 생성된 편집 영상이 저장되는 메모리를 포함하고,
    상기 프로세서는 상기 편집 영상이 재생될 때, 상기 편집 영상과 상기 복수의 컨텐츠 사이의 매칭 정보에 기초하여 상기 복수의 컨텐츠의 적어도 일부가 제공되도록 설정된 전자 장치.
  9. 청구항 8에 있어서,
    상기 프로세서는, 상기 편집 영상이 재생될 때, 재생 중인 프레임과 매칭되는 원본 컨텐츠의 정보를 상기 재생되는 편집 영상의 일부 영역에 디스플레이 하도록 설정된 전자 장치.
  10. 청구항 9에 있어서,
    상기 프로세서는, 상기 원본 컨텐츠가 촬영된 시간 정보 및 장소 정보 중 적어도 하나를 상기 재생되는 편집 영상의 일부 영역에 디스플레이 하도록 설정된 전자 장치.
  11. 청구항 9에 있어서,
    상기 프로세서는, 상기 원본 컨텐츠가 비디오인 경우, 상기 비디오의 촬영 시점에 대해 상기 재생 중인 프레임에 대응되는 상기 비디오의 프레임의 PTS가 반영된 시간 정보를, 상기 재생되는 편집 영상의 일부 영역에 디스플레이 하도록 설정된 전자 장치.
  12. 청구항 8에 있어서,
    상기 프로세서는, 원본 컨텐츠 연결 객체가 선택되면, 상기 원본 컨텐츠를 디스플레이 하도록 설정된 전자 장치.
  13. 청구항 12에 있어서,
    상기 프로세서는, 상기 원본 컨텐츠가 이미지인 경우, 상기 이미지의 촬영 시점으로부터 일정 시간 내에 촬영된 다른 이미지를 함께 제공하도록 설정된 전자 장치.
  14. 청구항 12에 있어서,
    상기 프로세서는, 상기 원본 컨텐츠가 비디오인 경우, 상기 선택 시점의 프레임에 대응되는 시점부터 상기 비디오를 재생하도록 설정된 전자 장치.
  15. 청구항 12에 있어서,
    상기 프로세서는, 상기 선택에 대응하여 상기 편집 영상의 재생일 일시적으로 중지시키도록 설정된 전자 장치.
  16. 청구항 12에 있어서,
    상기 프로세서는, 상기 원본 컨텐츠의 디스플레이를 종료하고 상기 편집 영상의 재생으로 복귀하기 위한 객체 또는 기능을 제공하도록 설정된 전자 장치.
  17. 청구항 12에 있어서,
    상기 프로세서는, 상기 원본 컨텐츠를 상기 편집 영상이 재생되던 영역에 디스플레이 하거나, 상기 전자 장치의 스크린을 분할하고 상기 편집 영상과 상기 원본 컨텐츠를 서로 다른 화면에 디스플레이 하거나, 상기 원본 컨텐츠를 상기 편집 영상 위에 오버레이하여 디스플레이 하도록 설정된 전자 장치.
  18. 청구항 8에 있어서,
    상기 프로세서는, 상기 매칭 정보에 포함된 시간 정보 또는 장소 정보를 지정된 어플리케이션으로 제공하고, 상기 어플리케이션에 의한 부가 정보를 디스플레이 하도록 설정된 전자 장치.
  19. 청구항 18에 있어서,
    상기 프로세서는, 상기 매칭 정보에 기초하여 상기 복수의 컨텐츠가 저장된 위치 또는 저장된 장치에 대한 정보를 제공하도록 설정된 전자 장치.
  20. 영상 재생 방법에 있어서,
    복수의 컨텐츠로부터 생성된 편집 영상을 재생하는 동작,
    재생 중인 프레임에 대응되는 원본 컨텐츠 요청을 수신하는 동작, 및
    상기 편집 영상과 상기 복수의 컨텐츠 사이의 매칭 정보에 기초하여 상기 원본 컨텐츠를 제공하는 동작을 포함하는 방법.
KR1020150006710A 2015-01-14 2015-01-14 원본 컨텐츠와 연계된 편집 영상의 생성 및 디스플레이 KR102271741B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150006710A KR102271741B1 (ko) 2015-01-14 2015-01-14 원본 컨텐츠와 연계된 편집 영상의 생성 및 디스플레이
EP16151099.5A EP3046107B1 (en) 2015-01-14 2016-01-13 Generating and display of highlight video associated with source contents
CN201610023889.4A CN105791976B (zh) 2015-01-14 2016-01-14 电子设备和用于播放视频的方法
US14/996,009 US10276209B2 (en) 2015-01-14 2016-01-14 Generating and display of highlight video associated with source contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150006710A KR102271741B1 (ko) 2015-01-14 2015-01-14 원본 컨텐츠와 연계된 편집 영상의 생성 및 디스플레이

Publications (2)

Publication Number Publication Date
KR20160087573A true KR20160087573A (ko) 2016-07-22
KR102271741B1 KR102271741B1 (ko) 2021-07-02

Family

ID=55221271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150006710A KR102271741B1 (ko) 2015-01-14 2015-01-14 원본 컨텐츠와 연계된 편집 영상의 생성 및 디스플레이

Country Status (4)

Country Link
US (1) US10276209B2 (ko)
EP (1) EP3046107B1 (ko)
KR (1) KR102271741B1 (ko)
CN (1) CN105791976B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200005968A (ko) * 2018-07-09 2020-01-17 에스케이텔레콤 주식회사 컨텐츠 생성 장치 및 방법
KR102350359B1 (ko) * 2021-06-18 2022-01-12 노마드웍스 주식회사 음성 인식 알고리즘을 이용한 영상 편집 방법
WO2022065704A1 (ko) * 2020-09-25 2022-03-31 삼성전자 주식회사 비 파괴 편집 컨텐츠 관리 방법 및 장치
WO2023149770A1 (ko) * 2022-02-07 2023-08-10 삼성전자 주식회사 전자 장치에서 영상을 편집하는 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452407A (zh) * 2017-08-17 2017-12-08 北京达佳互联信息技术有限公司 视频数据的存储、显示方法和装置以及智能眼镜
CN108881742B (zh) * 2018-06-28 2021-06-08 维沃移动通信有限公司 一种视频生成方法及终端设备
US11357351B2 (en) 2019-11-21 2022-06-14 Rebecca Lynn Lemmons Tree stand display assembly
US11763787B2 (en) * 2020-05-11 2023-09-19 Avid Technology, Inc. Data exchange for music creation applications
CN112565905B (zh) * 2020-10-24 2022-07-22 北京博睿维讯科技有限公司 一种图像锁定操作方法、系统、智能终端和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188626A (ja) * 2008-02-05 2009-08-20 Canon Inc 映像出力装置、表示システム及び映像出力方法
JP4507013B2 (ja) * 2006-02-07 2010-07-21 東京電力株式会社 コンテンツ編集生成システム
KR20130031179A (ko) * 2011-09-20 2013-03-28 삼성전자주식회사 요약 동영상 디스플레이 방법 및 장치
KR20140069943A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 휴대단말기의 컨텐츠 처리장치 및 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333389A (ja) * 2000-05-17 2001-11-30 Mitsubishi Electric Research Laboratories Inc ビデオ再生システムおよびビデオ信号処理方法
KR20060011324A (ko) 2004-07-30 2006-02-03 삼성전자주식회사 동영상 파일 저장/검색 방법 및 장치
JP4258846B2 (ja) * 2004-08-16 2009-04-30 富士フイルム株式会社 画像情報処理装置及び画像情報処理プログラム
US7594177B2 (en) * 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
JP2007074549A (ja) * 2005-09-08 2007-03-22 Toshiba Corp 情報記録媒体、情報記録方法、情報再生方法、情報記録装置、情報再生装置
NO327155B1 (no) 2005-10-19 2009-05-04 Fast Search & Transfer Asa Fremgangsmåte for å vise videodata innenfor resultatpresentasjoner i systemer for aksessering og søking av informasjon
WO2008152805A1 (ja) * 2007-06-14 2008-12-18 Panasonic Corporation 画像認識装置及び画像認識方法
US20090003799A1 (en) * 2007-06-29 2009-01-01 Victor Company Of Japan, Ltd. Method for apparatus for reproducing image data
US8200063B2 (en) * 2007-09-24 2012-06-12 Fuji Xerox Co., Ltd. System and method for video summarization
US8126995B2 (en) * 2008-06-23 2012-02-28 Adobe Systems Incorporated Multi-source broadcasting in peer-to-peer network
DE112008003972T5 (de) * 2008-08-21 2011-07-14 Hewlett-Packard Development Co., L.P., Tex. Automatische Erzeugung einer skalierbaren, nach Relevanz geordneten Darstellung einer Bildsammlung
US9224425B2 (en) * 2008-12-17 2015-12-29 Skyhawke Technologies, Llc Time stamped imagery assembly for course performance video replay
KR101049634B1 (ko) 2009-06-24 2011-07-14 한국방송공사 멀티 포맷 콘텐츠를 재생하는 장치 및 방법
WO2011014772A1 (en) * 2009-07-31 2011-02-03 Citizenglobal Inc. Systems and methods for content aggregation, editing and delivery
CN101640775B (zh) * 2009-08-24 2012-01-18 华为终端有限公司 视频录制方法和照片拍摄方法及移动终端
CN101867730B (zh) * 2010-06-09 2011-11-16 马明 一种基于用户轨迹的多媒体合成方法
WO2012085993A1 (ja) * 2010-12-20 2012-06-28 株式会社ビジョナリスト 画像フォルダ伝送再生装置及び画像フォルダ伝送再生プログラム
US20120166953A1 (en) * 2010-12-23 2012-06-28 Microsoft Corporation Techniques for electronic aggregation of information
JP2013025748A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、動画要約方法、及びプログラム
US20130304820A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co., Ltd. Network system with interaction mechanism and method of operation thereof
CN102930061B (zh) * 2012-11-28 2016-01-06 安徽水天信息科技有限公司 一种基于运动目标检测的视频摘要方法
WO2014179749A1 (en) * 2013-05-02 2014-11-06 Pribula Alexis Juri Interactive real-time video editor and recorder
US9881645B2 (en) * 2013-08-20 2018-01-30 Google Llc Systems, methods, and media for editing video during playback via gestures
US9436705B2 (en) * 2013-09-17 2016-09-06 Google Technology Holdings LLC Grading images and video clips
JP2015080025A (ja) * 2013-10-15 2015-04-23 株式会社東芝 電子機器および通信制御方法
US20150199727A1 (en) * 2014-01-10 2015-07-16 Facebook, Inc. Sponsoring Brands Detected in User-Generated Social Networking Content
US20150331930A1 (en) * 2014-05-16 2015-11-19 Here Global B.V. Method and apparatus for classification of media based on metadata

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4507013B2 (ja) * 2006-02-07 2010-07-21 東京電力株式会社 コンテンツ編集生成システム
JP2009188626A (ja) * 2008-02-05 2009-08-20 Canon Inc 映像出力装置、表示システム及び映像出力方法
KR20130031179A (ko) * 2011-09-20 2013-03-28 삼성전자주식회사 요약 동영상 디스플레이 방법 및 장치
KR20140069943A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 휴대단말기의 컨텐츠 처리장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200005968A (ko) * 2018-07-09 2020-01-17 에스케이텔레콤 주식회사 컨텐츠 생성 장치 및 방법
WO2022065704A1 (ko) * 2020-09-25 2022-03-31 삼성전자 주식회사 비 파괴 편집 컨텐츠 관리 방법 및 장치
US11995798B2 (en) 2020-09-25 2024-05-28 Samsung Electronics Co., Ltd. Electronic device and method for managing non-destructive editing contents
KR102350359B1 (ko) * 2021-06-18 2022-01-12 노마드웍스 주식회사 음성 인식 알고리즘을 이용한 영상 편집 방법
WO2023149770A1 (ko) * 2022-02-07 2023-08-10 삼성전자 주식회사 전자 장치에서 영상을 편집하는 방법 및 장치

Also Published As

Publication number Publication date
KR102271741B1 (ko) 2021-07-02
CN105791976A (zh) 2016-07-20
US20160203841A1 (en) 2016-07-14
EP3046107B1 (en) 2020-07-22
US10276209B2 (en) 2019-04-30
EP3046107A1 (en) 2016-07-20
CN105791976B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
KR102271741B1 (ko) 원본 컨텐츠와 연계된 편집 영상의 생성 및 디스플레이
US8988456B2 (en) Generating digital media presentation layouts dynamically based on image features
ES2974683T3 (es) Sistemas y métodos para enjambres multimedia
US9361319B2 (en) Systems, methods, and computer program products for digital photography
JP5980222B2 (ja) コンテンツ処理装置、コンテンツ処理方法およびプログラム
Palmer iPhone photography: Mediating visions of social space
US20160189414A1 (en) Autocaptioning of images
WO2021135334A1 (zh) 处理直播内容的方法、装置、系统
TW201118792A (en) Capture and display of digital images based on related metadata
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
US20120284426A1 (en) Method and system for playing a datapod that consists of synchronized, associated media and data
US10958837B2 (en) Systems and methods for determining preferences for capture settings of an image capturing device
JP5878523B2 (ja) コンテンツ加工装置とその集積回路、方法、およびプログラム
US11089071B2 (en) Symmetric and continuous media stream from multiple sources
US9779306B2 (en) Content playback system, server, mobile terminal, content playback method, and recording medium
JP2014023098A (ja) 情報処理装置、撮像装置、情報処理プログラム、情報処理方法
KR101934799B1 (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
KR20170139202A (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
US20140153836A1 (en) Electronic device and image processing method
KR101722831B1 (ko) 단말기 및 상기 단말기의 컨텐츠 제작 방법
KR101421059B1 (ko) 이미지 파일을 이용한 스트리밍 영상의 제공방법
US20160111127A1 (en) Generating a Composite Video of an Event Having a Moving Point of Attraction
Carlson Photos for OS X and iOS: Take, edit, and share photos in the Apple photography ecosystem
US20190114814A1 (en) Method and system for customization of pictures on real time dynamic basis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right