KR102137207B1 - 전자 장치, 그 제어 방법 및 시스템 - Google Patents
전자 장치, 그 제어 방법 및 시스템 Download PDFInfo
- Publication number
- KR102137207B1 KR102137207B1 KR1020150057268A KR20150057268A KR102137207B1 KR 102137207 B1 KR102137207 B1 KR 102137207B1 KR 1020150057268 A KR1020150057268 A KR 1020150057268A KR 20150057268 A KR20150057268 A KR 20150057268A KR 102137207 B1 KR102137207 B1 KR 102137207B1
- Authority
- KR
- South Korea
- Prior art keywords
- metadata
- electronic device
- multimedia stream
- detection
- multimedia
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Abstract
멀티미디어 레코딩(recording)을 수행하기 위한 제1 전자 장치의 제어 방법이 개시된다. 본 제어 방법은 제1 멀티미디어 스트림을 레코딩하는 단계, 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 단계, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하는 단계 및 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성하는 단계를 포함한다. 그에 따라, 사용자 편의성이 증대된다.
Description
본 발명은 멀티미디어 시스템에 관련된 것으로, 더욱 자세하게는 복수의 전자 장치로부터 수신된 메타 데이터를 분석함으로써 공동으로 이벤트에 대한 레코딩 및 요약을 수행하기 위한 방법 및 시스템에 관한 것이다.
멀티미디어, 특히 비디오를 생성할 수 있는 모바일 장치의 증가로, 사용자가 생성하는 비디오 컨텐츠가 폭발적으로 증가하고 있다. 극적인 사건, 자연 재해 사건, 뉴스 거리 이벤트 등과 같은 대부분의 이벤트로 인해, 자신의 장치를 사용하여 표면적으로 평범하고 일상적이며 종교적인 사건을 정기적으로 기록하는 휴대 전화 카메라의 보편화가 부각된다.
이러한 비디오 레코딩을 생성하는 일반적인 컨텐츠 공동 작업 시나리오는 다양한 장면, 촬영 및 이벤트 등을 레코딩하기 위해 하나 이상의 카메라를 사용하는 사용자 그룹을 포함한다. 다양한 카메라로부터 레코딩된 비디오 컨텐츠 스트림은 최종 멀티미디어 비디오를 제공하기 위해 단일 지점에서 수신되고 (수동 또는 자동으로) 편집되고 결합된다.
그룹 내의 모든 사용자는 최종 멀티미디어 파일을 생성하기 위해 전체 비디오 컨텐츠 스트림을 공유할 필요가 있다. 동일한 이벤트가 사용자들에 의해 캡쳐되어, 동일한 이벤트의 동일한 장면, 샷 등이 반복될 가능성이 있다. 또한, 공동 작업자는 최종 멀티미디어 파일을 고려하여 컨텐츠 데이터 품질, 중복 등의 관점에서 레코딩된 비디오 세그먼트의 일부를 충분히 유용하지 않은 것으로 판단할 수 있다.
특정한 경우, 일부 비디오 컨텐츠는 직접적인 관련이 있어 유용하고, 빠르게 지겨워질 수 있다. 또한, 실제의 비디오 세그먼트의 공유 또는 업로드는 송신자와 수신자 측의 전체 시스템 비용을 증가시키는 시간과 대역폭을 소비할 수 있다. 공동 작업 환경에서 비디오 컨텐츠 스트림을 수집, 분류, 관리, 페치(fetch)하는 다양한 방법을 관리할 좀더 간단한 수단이 필요하다.
본 명세서에 기재된 실시 예의 주요한 목적은 공동 작업 환경에서 멀티미디어 레코딩을 수행하는 시스템 및 방법을 제공하는 것이다. 본원에 기재된 실시 예들의 또 다른 목적은 실시간 및 오프라인으로 전자 장치에서 생성된 메타 데이터가 멀티미디어 레코딩 세션에 참여하는 복수의 다른 전자 장치와 공유되는 메커니즘을 제공하는 것이다.
본원에 기재된 실시 예들의 또 다른 목적은 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성하기 위해 멀티미디어 스트림의 관심 있는 비디오 세그먼트 또는 이미지를 자동으로 식별하는 메커니즘을 제공하는 것이다.
본원에 기재된 실시 예들의 또 다른 목적은 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성하기 위해 사용자가 원하는 멀티미디어 스트림을 식별하는 메커니즘을 제공하는 것이다.
본원에 기재된 실시 예들의 또 다른 목적은 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여, 멀티미디어 스트림에서 선택한 관심 있는 비디오 세그먼트 또는 이미지를 페치하는 메커니즘을 제공하는 것이다.
본원에 기재된 실시 예들의 또 다른 목적은 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여, 레코딩된 멀티미디어 스트림에 연관된 썸네일을 정기적으로 생성하고 공유하는 메커니즘을 제공하는 것이다. 썸네일은 레코딩되고 있는 전체 장면을 나타낼 수 있는 대표 이미지이다. 대표 썸네일은 각각의 사용자가 다른 사용자가 세션에서 레코딩하는 것을 볼 수 있게 한다.
본원에 기재된 실시 예들의 또 다른 목적은 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여, 복수의 전자 장치의 위치를 나타내는 시각적 레이아웃을 생성하는 메커니즘을 제공하는 것이다. 시각적 레이아웃은 예를 들어, 이벤트의 멀티미디어 레코딩에 참여하는 전자 장치, 공동 작업 환경에서 중요한 이벤트의 위치, 공동 작업 환경에서 하나 이상의 사용자의 위치, 공동 작업 환경에서 두 개의 전자 장치의 근접 등을 나타낸다.
본원에 기재된 실시 예들의 또 다른 목적은 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여, 시각적으로 유사하게 이벤트의 장면을 레코딩하고 있는 하나 이상의 전자 장치에 경고하는 메커니즘을 제공하는 것이다.
본원에 기재된 실시 예들의 또 다른 목적은 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여, 멀티미디어 콘텐츠의 콜라주를 생성하는 메커니즘을 제공하는 것이다.
본원에 기재된 실시 예들의 또 다른 목적은 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여, 자동으로 멀티미디어 콘텐츠에 대한 테마를 제안하는 메커니즘을 제공하는 것이다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 공동 작업 환경(collaborative environment)에서 멀티미디어 레코딩(recording)을 수행하기 위한 제1 전자 장치의 제어 방법은, 제1 멀티미디어 스트림을 레코딩하는 단계, 상기 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 단계, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하는 단계 및 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성하는 단계를 포함한다.
한편, 이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 공동 작업 환경(collaborative environment)에서 멀티미디어 레코딩(recording)을 수행하는 제1 전자 장치는, 적어도 하나의 제2 전자 장치와 통신을 수행하는 통신부 및 제1 멀티미디어 스트림을 레코딩하고, 상기 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하며, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하고, 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성하는 프로세서를 포함한다.
한편, 이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 공동 작업 환경(collaborative environment)에서 멀티미디어 레코딩(recording)을 수행하기 위한 시스템은, 제1 멀티미디어 스트림을 레코딩하고, 상기 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 제1 전자 장치 및 제2 멀티미디어 스트림을 레코딩하는 적어도 하나의 제2 전자 장치를 포함하며, 상기 제1 전자 장치는, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하고, 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성할 수 있다.
한편, 이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 공동 작업 환경(collaborative environment)에서 멀티미디어 레코딩(recording)을 수행하기 위한 제1 전자 장치의 컴퓨터 프로그램이 저장된 컴퓨터-판독 가능 매체는, 제1 멀티미디어 스트림을 레코딩하는 단계, 상기 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 단계, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하는 단계 및 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성하는 단계를 포함한다.
이러한 실시 예들 및 다른 실시 예들은 다음의 설명 및 첨부된 도면과 함께 고려될 때 더 잘 인식되고 이해될 것이다. 그러나, 다음의 설명이 바람직한 실시 예 및 다양한 구체적인 세부 사항을 나타내는 반면, 예시적인 것으로서 이에 한정되는 것은 아니라는 것이 이해되어야 한다. 많은 변경 및 변형이 본원 발명의 사상을 벗어나지 않고 실시 예들의 범위 내에서 이루어질 수 있고, 상기 실시 예들은 그러한 모든 변경을 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 전자 장치는 다른 전자 장치로부터 메타 데이터만을 수신하여 합성할 영상을 선택할 수 있다. 그에 따라, 수신된 다양한 시점의 영상을 합성하여 사용자에게 제공할 수 있게 되어, 사용자 만족도를 향상시킬 수 있다.
본 발명은 여러 도면에서 해당 부분을 나타내는 식별기호와 함께 첨부 도면에 도시되어 있다. 실시 예들은 도면과 함께 다음의 설명으로부터 좀더 쉽게 이해될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 멀티미디어 레코딩을 조정하기 위한 개략적인 시스템을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 공동 작업 환경에서 멀티미디어 레코딩을 수행하도록 구성된 제1 전자 장치 및 제2 전자 장치 내의 다양한 모듈들을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른, 공동 작업 환경에서 멀티미디어 레코딩을 수행하는 방법을 도시한 흐름도이다.
도 4a 및 4b는 본 발명의 일 실시 예에 따른 공동 작업 환경에서 이벤트를 캡쳐하는 사용자들의 그룹을 나타내는 예시적인 도면이다.
도 5a, 5b 및 5c는 본 발명의 일 실시 예에 따른 각종 전자 장치들로부터 수신된 메타 데이터를 분석하고 공동 작업 환경에서 최종 합성 요약 비디오 파일을 생성하는 예시 도면이다.
도 6은 본 발명의 일 실시 예에 따른 사용자 A와 사용자 B로부터 수신된 메타 데이터의 비교를 나타내는 예시 도면이다.
도 7은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여 최종 요약 비디오 파일을 구성하기 위한 예시적인 시나리오를 나타낸다.
도 8은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여 선명하지 않은 멀티미디어 스트림을 폐기함으로써 최종 요약 비디오 파일을 생성하기 위한 예시 시나리오를 나타낸다.
도 9는 본 발명의 일 실시 예에 따른 공동 레코딩 환경에서의 전자 장치의 사용자 인터페이스의 예를 나타낸다.
도 10은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 사용자로부터 수신된 각종 코멘트의 예시 도면을 나타낸다.
도 11은 본 발명의 일 실시 예에 따른 사용자 인터페이스에서 공동 관리 에이전트에 의해 생성된 시각적 레이아웃의 예시 도면이다.
도 12a, 12b 및 12c는 본 발명의 일 실시 예에 따른 이벤트에 대해 공동 관리 에이전트가 제안하는 테마의 예시 도면이다.
도 13은 본 발명의 일 실시 예에 따라 복수의 전자 장치들로부터 수신된 메타 데이터의 오디오 분석에 기초한 멀티미디어 스트림의 선택의 예를 나타낸다.
도 14a, 14b 및 14c는 본 발명의 일 실시 예에 따른 공동 레코딩 환경에 사무실 이벤트의 최종 비디오 스냅 샷을 나타내는 예시 도면이다.
도 15a, 15b 및 15c는 본 발명의 일 실시 예에 따른 공동 작업 세션 중에 생성된 비디오나 이미지 콜라주를 도시한 도면이다.
도 16은 본 발명의 일 실시 예에 따른 공동 멀티미디어 레코딩을 수행하기 위한 방법 및 시스템을 구현하는 컴퓨팅 환경을 도시한다.
도 17은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 19는 본 발명의 일 실시 예에 따른 시스템을 설명하기 위한 시퀀스도이다.
도 1은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 멀티미디어 레코딩을 조정하기 위한 개략적인 시스템을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 공동 작업 환경에서 멀티미디어 레코딩을 수행하도록 구성된 제1 전자 장치 및 제2 전자 장치 내의 다양한 모듈들을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른, 공동 작업 환경에서 멀티미디어 레코딩을 수행하는 방법을 도시한 흐름도이다.
도 4a 및 4b는 본 발명의 일 실시 예에 따른 공동 작업 환경에서 이벤트를 캡쳐하는 사용자들의 그룹을 나타내는 예시적인 도면이다.
도 5a, 5b 및 5c는 본 발명의 일 실시 예에 따른 각종 전자 장치들로부터 수신된 메타 데이터를 분석하고 공동 작업 환경에서 최종 합성 요약 비디오 파일을 생성하는 예시 도면이다.
도 6은 본 발명의 일 실시 예에 따른 사용자 A와 사용자 B로부터 수신된 메타 데이터의 비교를 나타내는 예시 도면이다.
도 7은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여 최종 요약 비디오 파일을 구성하기 위한 예시적인 시나리오를 나타낸다.
도 8은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여 선명하지 않은 멀티미디어 스트림을 폐기함으로써 최종 요약 비디오 파일을 생성하기 위한 예시 시나리오를 나타낸다.
도 9는 본 발명의 일 실시 예에 따른 공동 레코딩 환경에서의 전자 장치의 사용자 인터페이스의 예를 나타낸다.
도 10은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 사용자로부터 수신된 각종 코멘트의 예시 도면을 나타낸다.
도 11은 본 발명의 일 실시 예에 따른 사용자 인터페이스에서 공동 관리 에이전트에 의해 생성된 시각적 레이아웃의 예시 도면이다.
도 12a, 12b 및 12c는 본 발명의 일 실시 예에 따른 이벤트에 대해 공동 관리 에이전트가 제안하는 테마의 예시 도면이다.
도 13은 본 발명의 일 실시 예에 따라 복수의 전자 장치들로부터 수신된 메타 데이터의 오디오 분석에 기초한 멀티미디어 스트림의 선택의 예를 나타낸다.
도 14a, 14b 및 14c는 본 발명의 일 실시 예에 따른 공동 레코딩 환경에 사무실 이벤트의 최종 비디오 스냅 샷을 나타내는 예시 도면이다.
도 15a, 15b 및 15c는 본 발명의 일 실시 예에 따른 공동 작업 세션 중에 생성된 비디오나 이미지 콜라주를 도시한 도면이다.
도 16은 본 발명의 일 실시 예에 따른 공동 멀티미디어 레코딩을 수행하기 위한 방법 및 시스템을 구현하는 컴퓨팅 환경을 도시한다.
도 17은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 19는 본 발명의 일 실시 예에 따른 시스템을 설명하기 위한 시퀀스도이다.
본원 실시 예들, 다양한 특징 및 유리한 세부 사항은 이하의 첨부된 도면과 상세한 설명을 참조하여 더 완전하게 설명되지만, 이는 설명을 위한 예시적인 것이며 이에 한정되는 것은 아니다. 잘 알려진 구성 요소 및 처리 기술은 본원 실시 예들을 불명료하게 하지 않도록 생략한다. 또한, 다양한 실시 예들은 상호 배타적이지 않고, 일부는 다른 구성요소와 결합되어 새로운 구성요소를 생성할 수도 있다. 본원에 사용된 바와 같이, 달리 명시되어 있지 않다면 용어 "또는"은 비배타적으로 사용된다. 본 명세서에서 사용되는 예들은 실시 예들이 실행 가능하도록 하고, 당업자가 변형 실시할 수 있도록 하기 위한 것이다. 따라서, 실시 예는 본 실시 예의 범위를 제한하는 것으로 해석되어서는 안 된다.
본원에 기술된 실시 예는 공동 작업 환경(collaborative environment)에서 멀티미디어 레코딩(recording)을 수행하기 위한 전자 장치를 포함하는 시스템 및 전자 장치를 제어하는 방법에 관한 것이다. 제어 방법은 제1 멀티미디어 스트림을 레코딩하는 단계, 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 단계, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하는 단계 및 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성하는 단계를 포함한다.
본원에 기재된 방법 및 시스템은 공동 작업 환경에서 멀티미디어 레코딩을 수행하는 방법이다. 종래 시스템과 달리, 실제 멀티미디어 스트림을 공유하는 대신, 공동 작업 환경에서 각각의 전자 장치들로부터의 레코딩된 스트림과 연관된 메타 데이터만이 공동 작업자 간에 공유된다. 다양한 전자 장치로부터 수신된 메타 데이터는 전자 장치에서 최종 멀티미디어 파일을 구성하기 위해 분석된다. 수신된 메타 데이터의 분석에 기초하여, 최종 메타 데이터 파일은 멀티미디어 레코딩 세션(session) 동안 레코딩된 멀티미디어 스트림에서 관심 있는 비디오 세그먼트(segment) 또는 이미지 정보를 포함하도록 생성된다. 최종 메타 데이터 파일에 기초하여, 연관된 제2 멀티미디어 스트림 또는 연관된 제2 멀티미디어 스트림의 일부분은 각각의 전자 장치에서 페치(fetch)될 수 있다. 최종 메타 데이터 파일에 기초하여 오직 일부의 식별된 멀티미디어 스트림만이 페치되어, 전자 장치로부터 모든 멀티미디어 스트림을 페치할 필요가 없다. 이렇게 함으로써 공동 작업 환경에서 시간 및 대역폭을 절약할 수 있고, 송신자와 수신자 측 모두에서 전체 시스템 비용을 감소시킨다.
이제, 도 1 내지 16을 참조하면, 유사한 식별 기호가 도면 전반에 걸쳐 일관성 있게 대응되는 특징을 나타내고, 적절한 실시 예가 도시되어 있다.
도 1은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 멀티미디어 레코딩을 조정하기 위한 개략적인 시스템을 도시한다. 본 발명에 따른 시스템(100)은 통신 네트워크(108)를 통하여 서로 통신하는 제1 전자 장치(102) 및 복수의 제2 전자 장치(104-1~104-n)(이하에서는, 제2 전자 장치(들)(104)로 나타낸다)를 포함한다.
실시 예에서, 제1 전자 장치(102) 및 제2 전자 장치(104)는 셀룰러 폰, 개인 휴대 정보 단말기(PDA), 휴대 전화, 개인용 컴퓨터, 노트북, 태블릿, 패블릿(phablet), 데스크탑 컴퓨터, 커뮤니케이터(communicator), 웨어러블(wearable) 장치 등일 수 있으나, 이에 한정되는 것은 아니다.
제1 전자 장치(102) 및 제2 전자 장치(104)는 관심 있는 이벤트를 공동으로 레코딩할 수 있다. 실시 예에서, 이벤트는 표면적으로 평범하고 일상적이며 종교적인 사건일 수 있으나, 이에 한정되는 것은 아니다. 이벤트의 예는 극적인 사건, 자연 재해 사건, 뉴스 거리 이벤트, 종교적인 이벤트 등일 수 있으나, 이에 한정되는 것은 아니다.
제1 전자 장치(102) 및 제2 전자 장치(104)는 공동 멀티미디어 레코딩을 관리하기 위하여 공동 관리 에이전트(collaborative management agent)(106)를 포함하도록 구성될 수 있다. 공동 관리 에이전트(106)는 공동 이벤트를 형성하는 것과 같이 서로 통신하도록 제1 전자 장치(102) 및 제2 전자 장치(104)를 결합하기 위한 사용자 인터페이스를 제공하도록 구성될 수 있다. 공동 작업 세션은 제1 전자 장치(102) 및 제2 전자 장치(104)가 공동 작업 환경에서 표면적으로 평범하고 일상적이며 종교적인 사건을 기록하도록 생성될 수 있다.
제1 전자 장치(102)의 공동 관리 에이전트(106)는 이벤트의 제1 멀티미디어 스트림 및 제1 멀티미디어 스트림과 연관된 대응되는 제1 메타 데이터를 생성하도록 구성될 수 있다. 유사하게, 제2 전자 장치(104)의 공동 관리 에이전트(106)는 제2 멀티미디어 스트림 및 제2 멀티미디어 스트림과 연관된 대응되는 제2 메타 데이터를 생성하도록 구성될 수 있다. 실시 예에서, 본원에 기술된 메타 데이터는, 예를 들어 카메라 설정, 타임 스탬프, 감정 검출, 얼굴 검출 및 인식, 음성 검출 및 분류, 움직임 검출, 흐림 검출, 손 흔들림 검출, 특징 추출, 위치 정보, 물체 정보, 인간 감지, 동작 감지, 물체 검출 및 인식 정보, 이미지 품질 검출 및 특징 검출 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
실시 예에서, 제1 전자 장치(102)에 레코딩된 제1 멀티미디어 스트림 및 제2 전자 장치(104)에 레코딩된 제2 멀티미디어 스트림은 시각적으로 유사한 장면에 관련될 수 있다. 실시 예에서, 제1 전자 장치(102)에 레코딩된 제1 멀티미디어 스트림 및 제2 전자 장치(104)에 레코딩된 제2 멀티미디어 스트림은 다른 장면과 관련될 수 있다.
또한, 각각의 제2 전자 장치(104)는 제2 멀티미디어 스트림과 연관된 제2 메타 데이터를 제1 전자 장치(102)에 전송하도록 구성될 수 있다. 실시 예에서, 제2 전자 장치(104)는 제2 멀티미디어 스트림과 연관된 제2 메타 데이터를 실시간으로, 예를 들어 레코딩 중에 제1 전자 장치(102)에 전송하도록 구성될 수 있다. 실시 예에서, 제2 전자 장치(104)는 제2 멀티미디어 스트림과 연관된 제2 메타 데이터를 오프라인으로, 예를 들어 레코딩이 완료된 후 제1 전자 장치(102)에 전송하도록 구성될 수 있다.
비록 도 1은 복수의 제2 전자 장치(104)가 참여하는 공동 레코딩 세션을 조정하는 제1 전자 장치(102)를 도시하였으나, 제1 전자 장치(102) 및 제2 전자 장치(104)는 설명을 위한 것으로 이해되어야 하고, 임의의 제2 전자 장치(104)는 예를 들어, 제1 전자 장치(102)로서 동작하여 레코딩 세션을 조정할 수 있다.
통신 네트워크(108)는 공동 작업 환경에서 멀티미디어 레코딩을 지원하도록 구성될 수 있다. 실시 예에서, 본원에 기술된 통신 네트워크(108)는 예를 들면 전자 장치 간에 통신 수단을 제공할 수 있는 개인 사설망(PANs), 근거리 통신망(LANs), 광역 네트워크(WANs), 이동 통신용 글로벌 시스템(GSM), 인터넷, 부가가치 네트워크, 무선 통신 네트워크, 양방향 케이블 네트워크, 위성 네트워크, 대화형 키오스크 네트워크, 셀룰러 네트워크, 개인 모바일 게이트웨이(PMGs), 블루투스, 근거리 통신(NFC)의 근거리 통신망 등일 수 있으나, 이에 한정되는 것은 아니다.
도 1은 개략적인 시스템(100)을 도시하였으나, 다른 실시 예들은 이에 한정되지 않는다. 제1 및 제2와 같은 표기는 예시적인 목적일 뿐 본 발명의 범위를 제한하지 않는 것으로 이해되어야 한다. 일부 실시 예에서, 주어진 시간에, 제1 전자 장치는 제2 전자 장치로서 동작할 수 있고, 반대로 동작하기도 한다. 또한, 일부 실시 예에서, 제1 및 제2 전자 장치는 동일한 전자 장치에 적용될 수 있다. 또한, 시스템(100)은 공동 작업 환경에서 멀티미디어 레코딩을 조정하는 로컬 또는 원격으로 통신하는 다른 하드웨어 또는 소프트웨어 구성 요소들과 함께 다양한 다른 전자 장치를 포함할 수 있다. 예를 들어, 구성 요소는 컨트롤러 또는 프로세서에서 동작하는 프로세스, 객체, 실행 가능한 프로세서, 실행, 프로그램 또는 컴퓨터의 스레드일 수 있으나, 이에 한정되는 것은 아니다. 예로서, 전자 장치상에서 동작하는 어플리케이션 및 전자 장치 그 자체가 구성 요소일 수 있다.
도 2는 본 발명의 일 실시 예에 따른 공동 작업 환경에서 멀티미디어 레코딩을 수행하도록 구성된 제1 전자 장치(102) 및 제2 전자 장치(104) 내의 다양한 모듈들을 나타낸다. 제1 전자 장치(102) 및 제2 전자 장치(104)는 멀티미디어 레코딩 모듈(202), 분석 엔진(204), 제어 모듈(206), 통신 모듈(208), 저장 모듈(210) 및 공동 관리 에이전트(106)를 포함하도록 구성될 수 있다. 멀티미디어 레코딩 모듈(202)은 이벤트를 레코딩하도록 구성될 수 있다. 도 4A 및 4B의 예는 멀티미디어 레코딩 세션에서 복수의 전자 장치에 의해 공동으로 레코딩되는 이벤트의 예를 나타낸다. 공동 관리 에이전트(106)는 공동 작업 환경에서 멀티미디어 레코딩을 시작할 수 있다. 통신 모듈(208)은 제1 전자 장치(102) 주변의 복수의 제2 전자 장치(104)를 감지하도록 구성될 수 있다. 감지된 제2 전자 장치(104)에 기초하여, 공동 관리 에이전트(106)는 제2 전자 장치(104)를 초대하도록 구성될 수 있다. 예를 들어, 제2 전자 장치(104)는 공동 작업 환경에서 멀티미디어 레코딩에 참여하기 위해 초대될 수 있다. 초대를 수락하면, 제2 전자 장치(104)와 제1 전자 장치(102)는 공동 작업 세션을 시작할 수 있다.
제1 전자 장치(102)의 멀티미디어 레코딩 모듈(202)은 레코딩된 이벤트에 대한 제1 멀티미디어 스트림을 생성한다. 공동 관리 에이전트(106)는 제1 멀티미디어 스트림에 관련된 대응하는 제1 메타 데이터를 생성한다. 제2 전자 장치(104) 각각은 제2 멀티미디어 스트림을 생성하도록 구성될 수 있다. 공동 관리 에이전트(106)는 제2 멀티미디어 스트림과 연관된 대응하는 제2 메타 데이터를 생성한다. 생성된 제1 멀티미디어 스트림 및 복수의 제2 멀티미디어 스트림은 각각의 제1 전자 장치(102) 및 제2 전자 장치(104)의 저장 모듈(210)에 저장된다. 제2 전자 장치(104) 각각은 제1 전자 장치(102)에 제2 메타 데이터를 전송하도록 구성될 수 있고, 그 반대로 구성될 수도 있다.
분석 엔진(204)은 제1 메타 데이터 및 수신된 제2 메타 데이터를 제1 전자 장치(102)에서 분석하도록 구성될 수 있고, 그 반대로 구성될 수도 있다. 공동 관리 에이전트(106)는 분석 엔진(204)에 의해 수행되는 메타 데이터의 분석에 기초하여 전자 장치에서 최종 멀티미디어 파일(resultant multimedia file)을 생성하도록 구성될 수 있다.
실시 예에서, 공동 관리 에이전트(106)는 제1 전자 장치(102)에서 최종 멀티미디어 파일을 생성하기 위하여 제1 멀티미디어 스트림의 적어도 일 부분 및 제2 멀티미디어 스트림의 적어도 일 부분을 결합하도록 구성될 수 있다. 제1 전자 장치(102)의 사용자는 제1 멀티미디어 스트림 및 제2 멀티미디어 스트림의 부분들을 선택하기 위해 제1 메타 데이터 및 제2 메타 데이터에 대한 필터를 지정할 수 있다.
실시 예에서, 공동 관리 에이전트(106)는 분석된 제1 메타 데이터 및 제2 메타 데이터로부터 최종 메타 데이터 파일을 생성하도록 구성될 수 있다. 생성된 최종 메타 데이터 파일에 기초하여, 공동 관리 에이전트(106)는 멀티미디어 레코딩을 생성하기 위해 선택된 부분에 대응하는 제2 전자 장치(104)로부터 선택된 관심 있는 비디오 세그먼트나 이미지를 포함하는 멀티미디어 스트림의 부분들을 페치(fetch)하도록 구성될 수 있다.
최종 메타 데이터 파일은 복수의 사용자 정의 속성에 기초하여 제1 전자 장치(102)에서 생성될 수 있다. 최종 메타 데이터 파일은 대응하는 제2 전자 장치(104)로부터 대응하는 멀티미디어 스트림을 페치하는 공동 관리 에이전트(106)에 의해 사용될 수 있다. 필터링에 사용되는 사용자 정의 속성은 이벤트, 사람, 풍경, 애완 동물, 차량, 사용자가 선택한 다른 사용자의 썸네일, 카메라 설정, 중복, 녹음 기간 및 타임스탬프를 포함하나, 이에 한정되는 것은 아니다.
제1 전자 장치(102) 또는 제2 전자 장치(104)의 사용자는 공동 멀티미디어 레코딩 환경을 종료할 수 있고, 멀티미디어 레코딩을 생성하기 위하여 최종 메타 데이터 파일을 생성하고 멀티미디어 스트림의 일 부분들을 페치함으로써 그들의 멀티미디어 레코딩을 생성할 수 있다. 실시 예에서, 최종 메타 데이터 파일은 자동으로 멀티미디어 스트림의 관심 있는 비디오 세그먼트 또는 이미지를 선택함으로써 생성될 수 있다.
실시 예에서, 공동 관리 에이전트(106)는 분석 엔진(204)에 의해 수행되는 제1 메타 데이터 및 제2 메타 데이터의 분석에 기초하여 레코딩된 멀티미디어 스트림의 저해상도 썸네일을 공유하도록 구성될 수 있다. 예를 들어, 썸네일은 몇 분마다 레코딩하는 하이라이트를 표시하는 멀티미디어 스트림의 가장 대표 화상을 나타낼 수 있다. 제1 전자 장치(102) 및 제2 전자 장치(104)의 통신 모듈(208)은 주기적으로 서로 중요한 대표적인 썸네일을 공유하도록 구성될 수 있다. 이러한 대표 썸네일은 제1 전자 장치(102)의 사용자가 공동 레코딩 세션에서 제2 전자 장치(102)의 다른 사용자가 무엇을 레코딩하는지 볼 수 있게 한다.
실시 예에서, 분석 엔진(204)은 제1 메타 데이터 및 제2 메타 데이터를 비교함으로써 제1 전자 장치(102)에 의해 캡쳐된 장면이 제2 전자 장치(104)에 의해 캡쳐된 장면과 시각적으로 유사한지 여부를 판단하도록 구성될 수 있다. 제1 메타 데이터 및 제2 메타 데이터의 분석에 기초하여, 제1 전자 장치(102)에 의해 캡쳐된 장면이 제2 전자 장치(104)에 의해 캡쳐된 장면과 시각적으로 유사한 경우 공동 관리 에이전트(106)는 제2 전자 장치(104)의 사용자에게 경고를 보내도록 구성될 수 있다. 경고는 제1 전자 장치(102)가 시각적으로 유사한 장면을 캡쳐하고 있음을 제2 전자 장치(104)의 사용자에게 알릴 수 있다. 예를 들어, 공동 관리 에이전트(106)에 의해 생성된 잡음을 통해 시각적으로 유사한 장면이 다른 사용자에 의해 캡쳐되고 있음을 사용자에게 경고할 수 있다. 종래의 시스템들과는 달리, 제1 전자 장치(102)로부터의 경고는 제1 멀티미디어 스트림 및 제2 멀티미디어 스트림과 연관된 메타 데이터의 분석에 의해 유사한 멀티미디어 스트림을 식별함으로써 시스템에서 중복 검출을 촉진한다.
실시 예에서, 공동 관리 에이전트(106)는 제2 메타 데이터 중 하나의 식별된 인기도(popularity)에 기초하여 제1 전자 장치(102)에서 제1 전자 장치(102) 및 복수의 제2 전자 장치(104)의 위치를 나타내는 시각적 레이아웃을 생성하도록 구성될 수 있다. 제2 메타 데이터의 인기도는 복수의 제2 전자 장치(104)에 의해 레코딩된 중요한 이벤트를 식별하기 위해 이용될 수 있다.
실시 예에서, 제1 메타 데이터 및 제2 메타 데이터에서 오디오 및 비디오 큐(cue)와 관련된 기정의된 속성들은 레코딩된 멀티미디어 스트림에서 중요한 이벤트를 식별하기 위하여 이용될 수 있다. 기정의된 속성의 예로는 큰 소리의 박수, 동일한 방향을 향하는 썸네일에서 객체의 움직임, 응원, 사용자 밀도 레이아웃 및 웃음 폭발을 포함할 수 있으나, 이에 한정되는 것은 아니다.
실시 예에서, 공동 관리 에이전트(106)는 공동 멀티미디어 레코딩 환경에서 사용자 밀도를 나타내는 시각적 레이아웃을 생성하도록 구성될 수 있다. 예를 들어, 제1 전자 장치(102)의 공동 관리 에이전트(106)는 결혼식 이벤트의 사용자 밀도 레이아웃을 표시할 수 있다. 밀도 레이아웃에서, 제1 전자 장치(102)의 사용자는 제2 전자 장치(104)가 무대에서 수행되는 결혼식 이벤트를 레코딩하고 있음을 식별할 수 있다. 제1 전자 장치(102)는 무대 이벤트의 레코딩을 중지하고 결혼식 이벤트에서 다른 장면을 캡쳐할 수 있다. 이것은 공동 레코딩 세션 동안 레코딩되는 중복되는 비디오 장면을 방지할 수 있다. 따라서, 최종 멀티미디어 비디오는 두 개 이상의 전자 장치에 의해 캡쳐된 동일한 장면을 포함하지 않는다. 다른 실시 예에서 사용자 밀도 정보는 비활성화된 사용자의 주의를 끌기 위해 사용될 수 있다. 특정 위치에서의 높은 사용자 밀도는 몇 가지 중요한 이벤트가 발생하는 것을 의미할 수 있다.
제어 모듈(206)은 멀티미디어 레코딩에서 다른 모듈들에 의해 수행되는 동작을 제어하고 공동 관리 모듈(106)을 보조하도록 구성될 수 있다.
도 2는 제1 전자 장치(102) 또는 제2 전자 장치(104)의 모듈의 개략적인 개요를 나타내나, 다른 실시 예는 이에 한정되지 않는다는 것이 이해되어야 한다. 모듈의 표기 또는 이름은 단지 예시적인 목적을 위해 사용되며, 본 발명의 범위를 한정하는 것은 아니다. 또한, 실시간으로 하나 이상의 모듈의 기능은 본 명세서에 기재된 실시 예의 범위를 벗어나지 않고, 동일한 또는 다른 모듈에 의해 결합될 수 있거나 개별적으로 실행될 수 있다. 또한, 전자 장치는 공동 작업 환경에서 멀티미디어 레코딩을 수행하는 로컬 또는 원격으로 통신하는 다른 하드웨어 또는 소프트웨어 구성 요소들과 함께 다양한 다른 모듈을 포함할 수 있다. 예를 들어, 구성 요소는 컨트롤러 또는 프로세서에서 동작하는 프로세스, 객체, 실행 가능한 프로세서, 실행, 프로그램 또는 컴퓨터의 스레드일 수 있으나, 이에 한정되는 것은 아니다. 예로서, 전자 장치상에서 동작하는 어플리케이션 및 전자 장치 그 자체가 구성 요소일 수 있다.
도 3은 본 발명의 일 실시 예에 따른, 공동 작업 환경에서 멀티미디어 레코딩을 수행하는 방법(300)을 도시한 흐름도이다. 방법(300)의 다양한 단계들은 일부 단계가 제1 전자 장치(102), 제2 전자 장치(104), 제1 전자 장치(102)의 사용자 및 제2 전자 장치(104)의 사용자 중 적어도 하나에 의해 수행되는 개별적인 블록들로 요약된다. 본원에 기술된 방법(300) 및 다른 설명은 제어 프로그램을 위한 기초를 제공하고, 제어 프로그램은 마이크로 컨트롤러, 마이크로 프로세서 또는 임의의 컴퓨터 판독 가능한 기록 매체를 사용하여 구현될 수 있다.
본 발명의 일 실시 예에 따른 방법(300)은 공동 레코딩 세션을 시작하는 단계(302)를 포함한다. 제1 전자 장치(102)의 공동 관리 에이전트(106)는 공동 레코딩 세션에 참가하는 하나 이상의 제2 전자 장치(104)를 초대하여 공동 레코딩 세션을 시작한다. 초대는 통신 네트워크(108)를 통해 공동 관리 에이전트(106)를 이용하여 제1 전자 장치(102)의 공동 관리 에이전트(106)로부터 복수의 제2 전자 장치(104)로 전송될 수 있다. 실시 예에서, 제2 전자 장치(104)는 공동 관리 에이전트(106)를 이용하여 활성화된 공동 레코딩 세션을 감지할 수 있고, 제1 전자 장치(102)의 사용자로부터 인증 후 활성화된 공동 레코딩 세션에 참가할 수 있다. 제1 전자 장치(102)의 사용자는 공동 레코딩 세션을 생성하고 이벤트의 레코딩 세션을 조정한다.
또한, 본 방법(300)은 레코딩된 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 제1 전자 장치(102)에 의해 생성하는 단계(304)를 포함한다. 분석 엔진(204)은 레코딩된 멀티미디어 스트림과 연관된 메타 데이터를 생성한다. 제1 전자 장치(102)에서, 제1 메타 데이터는 레코딩된 제1 멀티미디어 스트림에 대해 생성된다. 제어 모듈(206)은 생성된 제1 메타 데이터의 업데이트를 수신하고, 이는 저장 모듈(210)에 저장된다.
본 방법(300)은 적어도 하나의 제2 전자 장치(104)에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하는 단계(306)를 포함한다. 공동 관리 에이전트(106)는 생성된 복수의 제2 메타 데이터를 제1 전자 장치(102)에 전송하고, 반대로 동작하기도 한다.
본 방법(300)은 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 제2 메타 데이터를 분석하는 단계(308)를 포함한다. 파라미터의 예로는 카메라 설정, 타임 스탬프, 감정 검출, 얼굴 검출 및 인식, 오디오 검출 및 분류, 움직임 감지, 흐림 감지, 손 흔들림 검출, 특징 추출, 위치 정보, 중요한 이벤트 감지, 중복 감지, 개체 정보, 줌 감지, 카메라 초점, 인간의 감지, 동작 감지, 이미지 품질 검출, 특징 검출, 물체 감지 및 인식 정보일 수 있으나, 이에 한정되는 것은 아니다.
본 방법(300)은 제1 메타 데이터 및 제2 메타 데이터의 분석에 기초하여 최종 멀티미디어 파일을 생성하는 단계(310)를 포함한다. 분석 엔진(204)의 결과에 기초하여 공동 관리 에이전트(106)는 다양한 작업을 수행한다.
본 발명의 일 실시 예에 따른 단계(310)에서, 본 방법(300)은 제1 전자 장치(102)에서 최종 멀티미디어 파일을 생성하기 위해 제1 멀티미디어 스트림의 적어도 일부 및 제2 멀티미디어 스트림의 적어도 일부분을 결합하는 단계를 포함한다. 실시 예에서, 공동 관리 에이전트(106)는 최종 멀티미디어 파일을 생성하기 위해 멀티미디어 스트림에서 관심 있는 비디오 세그먼트 또는 이미지를 자동으로 식별하도록 구성될 수 있다. 실시 예에서, 최종 멀티미디어 파일은 제1 전자 장치(102)로부터 수신된 메타 데이터 및 제2 전자 장치(104)로부터 수신된 메타 데이터의 분석에 기초한 합성 요약 비디오 파일이다.
실시 예에서, 제1 전자 장치(102)의 사용자는 제1 멀티미디어 스트림 및 제2 멀티미디어 스트림의 일 부분을 선택하기 위해 제1 메타 데이터 및 제2 메타 데이터에 대한 필터로서 속성을 지정할 수 있다. 속성의 예는 이벤트, 사람, 풍경, 애완 동물, 차량, 사용자 주위의 다른 사용자의 썸네일, 카메라 설정, 중복, 레코딩 기간, 타임 스탬프를 포함할 수 있으나, 이에 한정되는 것은 아니다.
실시 예에서, 공동 작업 세션을 종료하면, 공동 관리 에이전트(106)는 분석된 제1 메타 데이터 및 제2 메타 데이터로부터 최종 메타 데이터 파일을 생성한다. 생성된 최종 메타 데이터 파일에 기초하여, 제1 전자 장치(102)는 멀티미디어 레코딩을 생성하기 위해 선택한 관심 있는 비디오 세그먼트 또는 이미지를 포함하는 멀티미디어 스트림의 부분들을 페치하도록 구성될 수 있다. 종래 시스템과 달리, 방법(300)은 사용자 지정 파라미터들 및 메타 데이터 분석에 기초하여 최종 메타 데이터 파일을 생성할 수 있다. 이는 제1 전자 장치(102)가 공동 작업 환경에서 고급의 멀티미디어 레코딩을 생성하게 한다. 예를 들어, 카메라 설정, 오디오 품질 레벨, 이미지 해상도 레벨 및 포커스 설정, 비디오 품질, 비디오 중복성, 다른 시점에서의 비디오 장면 같은 파라미터에 기초하여 최고 품질의 비디오 세그먼트는 제2 전자 장치(104)로부터 페치될 수 있다. 또한, 오직 선택된 제2 멀티미디어 스트림 또는 제2 멀티미디어 스트림의 일 부분만이 페치됨으로써, 시간과 대역폭 소비가 최소화될 수 있고, 전체 공동 시스템 비용을 크게 절감할 수 있다.
실시 예에서, 선택된 제2 멀티미디어 스트림 또는 제2 멀티미디어 스트림의 선택된 부분은 제2 전자 장치(104)와 제1 전자 장치(102) 사이의 파일 전송 시간을 단축하기 위해 낮은 해상도 포맷으로 트랜스코드(transcode)될 수 있다.
실시 예에서, 제1 전자 장치(102)가 고해상도 멀티미디어를 처리하는 능력이 부족한 경우, 선택된 멀티미디어 스트림 또는 멀티미디어 스트림의 선택된 부분은 낮은 해상도 포맷으로 트랜스코드될 수 있다.
또 다른 예에서, 제1 전자 장치(102)가 메타 데이터 분석에 기초하여 이벤트의 일부 관심 있는 장면을 놓친 경우, 제1 전자 장치(102)의 공동 관리 에이전트(106)는 제2 전자 장치(들)(104)로부터 수신된 복수의 제2 메타 데이터에 기초하여 제2 전자 장치(104)로부터의 멀티미디어 스트림을 페치할 수 있다.
일 예로, 최종 메타 데이터 파일에 기초하여 멀티미디어 스트림의 다른 부분들을 조합하는 과정이 도 7 및 8과 관련하여 도시되었다.
본 발명의 일 실시 예에 따른 단계(310)에서, 제1 전자 장치(102)에 의해 캡쳐된 장면이 제2 전자 장치(104)에 의해 캡쳐된 장면과 시각적으로 유사하다고 보이는 경우, 공동 관리 에이전트(106)는 제2 전자 장치(104)에 경고 메시지를 전송한다. 경고는 제1 전자 장치(102)와 시각적으로 유사한 장면을 캡쳐하고 있음을 제2 전자 장치(104)의 사용자에게 알릴 수 있다. 예를 들어, 공동 관리 에이전트(106)를 이용하여 생성된 잡음은 다른 사용자가 시각적으로 유사한 장면을 캡쳐하고 있음을 제2 전자 장치(104)의 사용자에게 경고할 수 있다.
제2 전자 장치(104)의 사용자는 동일한 장면의 레코딩을 계속하거나 다른 장면을 캡쳐할 수 있다. 따라서, 공동 레코딩 세션에서 중복은 제2 전자 장치(104)에 의해 시각적으로 유사한 장면의 캡쳐를 회피함으로써 감소될 수 있다. 종래 시스템과 달리, 경보 시스템은 사용자가 이벤트의 다른 장면을 캡쳐하도록 하고, 이벤트의 다른 장면을 포함하는 최종 요약 멀티미디어 레코딩을 생성하기 위해 다른 장면을 결합할 수 있다.
일 예로, 제1 전자 장치(102) 및 제2 전자 장치(104)에 의한 동일한 장면의 캡쳐를 설명하는 과정이 도 6과 관련하여 도시되었다.
본 발명의 일 실시 예에 따른 단계(310)에서, 방법(300)은 분석 엔진(204)에 의해 수행되는 제1 메타 데이터 및 제2 메타 데이터의 분석에 기초하여 레코딩된 제1 멀티미디어 스트림의 저해상도 썸네일을 공유하는 단계를 포함한다. 저해상도 썸네일은 공동 작업 세션의 지난 몇 분 동안 레코딩된 이벤트의 최적의 장면을 강조하기 위해 저해상도 비디오의 형태로 표현된다. 실시 예에서, 썸네일은 레코딩된 멀티미디어 스트림의 특정 프레임의 대표 이미지이다. 제1 전자 장치(102) 및 제2 전자 장치(들)(104)는 통신 네트워크(108)를 이용하여 저해상도 썸네일을 공유할 수 있다. 사용자는 썸네일에서 이미지 또는 비디오의 품질을 추천할 때 제2 전자 장치(104)로부터 수신된 썸네일 보기에서 선택 옵션을 누를 수 있다. 썸네일의 선택에 기초하여, 제1 전자 장치(102)는 제2 전자 장치(104)에 의해 사용되는 카메라 설정을 가져올 수 있다. 실시 예에서, 사용자 제스처에 기초하여, 제2 전자 장치(104)로부터의 카메라 설정은 제1 전자 장치(102)에 반입될 수 있다.
실시 예에서, 공동 관리 에이전트(106)는 제1 전자 장치(102) 및 제2 전자 장치(들)(104)의 사용자가 공동 관리 에이전트(106)에 의해 표시된 저해상도 대표 썸네일에 댓글, 이모티콘 및 주석을 추가할 수 있는 그룹 포럼을 제공할 수 있다. 이는 적극적이지는 않으나(예를 들어, 제2 전자 장치(104)는 수동적이며, 이벤트를 레코딩하지 않음), 이벤트의 공동 레코딩 세션 동안 일어나는 활동을 지켜보는 것에 관심이 있는 사용자에게 공동 레코딩 세션에 대한 관심을 유발할 수 있다.
본 발명의 일 실시 예에 따른 단계(310)에서, 제어 모듈(206)은 제2 메타 데이터 중 하나의 식별된 인기도에 기초하여 제1 전자 장치(102) 및 복수의 제2 전자 장치(104)의 위치를 나타내는 시각적 레이아웃을 생성할 수 있다. 제2 메타 데이터의 인기도는 복수의 제2 전자 장치(104)에 의해 레코딩된 중요한 이벤트를 식별하기 위해 이용될 수 있다.
제1 메타 데이터 및 제2 메타 데이터의 분석과 시각적 레이아웃에 기초하여, 공동 관리 에이전트(106)는 비활성화된 제2 전자 장치(104)를 식별할 수 있다. 비활성화된 제2 전자 장치(104)는 공동 작업 세션에서 멀티미디어를 레코딩하지 않는다. 중요한 이벤트가 식별되고, 공동 작업 세션의 사용자 일부가 적극적이지 않은 경우, 공동 관리 에이전트(106)는 중요 이벤트를 유휴(idle) 사용자에게 알리도록 구성될 수 있다. 예를 들어, 유휴한 사용자에게 잡음과 함께 메시지가 비활성화된 제2 전자 장치(104)로 전송될 수 있다.
본 방법(300)에서 다양한 동작, 작용, 블록, 단계 등이 제시된 순서, 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예에서, 일부 액션, 동작, 블록, 단계 등이 본 발명의 범위를 벗어나지 않고 생략, 부가, 변형, 스킵(skip) 등이 이루어질 수 있다.
도 4a 및 4b는 본 발명의 일 실시 예에 따른 공동 작업 환경에서 이벤트를 캡쳐하는 사용자들의 그룹을 나타내는 예시적인 도면이다. 도 4a는 공동 작업 환경에서 캡쳐된 웨딩 이벤트의 예시적인 도면이다. 사용자 X의 전자 장치와 사용자 W의 전자 장치는 신부와 신랑을 포함하여 같은 장면을 레코딩하고 있다. 사용자 Y의 전자 장치는 웨딩 이벤트를 공식화하는 목사를 레코딩한다. 사용자 Z의 전자 장치는 웨딩 이벤트의 신부 들러리를 레코딩한다. 이들 전자 장치의 사용자들 각각은 선호도에 따라 공동 레코딩 세션을 종료하거나 미리 볼 수 있다. 사용자 X, W, Y 및 Z의 전자 장치에 의해 캡쳐되는 이벤트는 시간이 중복되고 서로 다른 시점에서 웨딩 이벤트를 캡쳐하는 멀티미디어 스트림을 포함한다. 레코딩된 멀티미디어 스트림과 관련된 메타 데이터는 전자 장치들 간에 공유된다.
도 4b는 본 발명의 일 실시 예에 따른 4명의 사용자에 의해 캡쳐된 가족 피크닉 이벤트의 예시 도면이다. 도 4b는 사용자 존, 팀, 샘 및 벤의 전자 장치에 의해 레코딩된 멀티미디어 스트림을 사용하여 그래픽 효과를 포함한 최종 합성 비디오 파일의 도면을 제공한다. 존, 팀, 샘 및 벤의 전자 장치에 의해 레코딩된 된 멀티미디어 스트림은 가족 피크닉 이벤트에서 다른 장면을 캡쳐한다. 캡쳐된 멀티미디어 스트림의 메타 데이터 분석에 기초하여, 재미있는 비디오 세그먼트가 식별되고 최종 합성 비디오 파일이 생성될 수 있다.
도 5a, 5b 및 5c는 본 발명의 일 실시 예에 따른 각종 전자 장치들로부터 수신된 메타 데이터를 분석하고 공동 작업 환경에서 최종 합성 요약 비디오 파일을 생성하는 예시 도면이다. 도 5a는 다른 사용자들의 제2 전자 장치(104)에 의해 생성된 메타 데이터 파일 O, A, B 및 C를 도시한다. 사용자 D의 전자 장치는 제1 전자 장치(102)로서 작동하도록 구성될 수 있다. 사용자 D와 연관된 제1 전자 장치(102)는 제1 메타 데이터 파일 O(자기 자신의 메타 데이터 파일)를 생성하고, 제2 전자 장치(104)로부터 복수의 메타 데이터 파일 A, B 및 C를 수신한다.
도 5b는 사용자 존, 톰 및 벤과 연관된 제2 전자 장치(104)로부터 제1 전자 장치(102)에서 수신된 복수의 제2 메타 데이터 파일 A, B 및 C를 나타낸다. 제1 전자 장치(102)는 제1 메타 데이터 및 수신된 제2 메타 데이터를 분석하고 최종 메타 데이터 파일을 생성한다.
도 5c는 최종 메타 데이터 파일을 이용한 합성 비디오 파일의 생성을 나타낸다. 생성된 최종 메타 데이터 파일에 기초하여, 공동 관리 에이전트(106)는 최종 비디오를 생성하기 위해 제2 전자 장치(104)로부터의 비디오 세그먼트 또는 비디오 세그먼트들의 일부를 페치한다.
도 6은 본 발명의 일 실시 예에 따른 사용자 A와 사용자 B로부터 수신된 메타 데이터의 비교를 나타내는 예시 도면이다. 사용자 A로부터 수신된 메타 데이터 및 사용자 B로부터 수신된 메타 데이터의 비교는 분석 엔진(204)이 사용자 A 및 사용자 B의 멀티미디어 스트림이 시각적으로 얼마나 유사한지를 판단하도록 한다. 사용자 A는 제1 전자 장치(102)를 이용할 수 있고, 사용자 B는 제2 전자 장치(104)를 이용할 수 있다. 도 6은 제1 전자 장치(102) 및 제2 전자 장치(104)로부터 수신된 레코딩된 멀티미디어 스트림과 연관된 제 1 메타 데이터 및 제2 메타 데이터 사이의 비교를 나타낸다. 실시 예에서, 분석 엔진(204)은 동일한 멀티미디어 스트림, 즉 시각적으로 유사한 멀티미디어 스트림이 사용자 A의 제1 전자 장치(102) 및 사용자 B의 제2 전자 장치(104)에 레코딩 되었는지를 판단하기 위해 메타 데이터 맵핑(mapping)을 수행하도록 구성될 수 있다. 메타 데이터 맵핑의 사용으로 공동 작업 세션에서 중복을 검출할 수 있다. 제1 전자 장치(102)의 공동 관리 에이전트(106)는 사용자 B에게 제1 전자 장치(102)가 동일한 장면을 캡쳐한다는 것을 알리는 경고를 전송할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여 최종 요약 비디오 파일을 구성하기 위한 예시적인 시나리오를 나타낸다. 도 7은 4명의 사용자 존, 톰, 샘 및 벤의 전자 장치에 의해 공동으로 레코딩되는 피크닉 이벤트를 나타낸다. 메타 데이터 파일은 레코딩된 멀티미디어 스트림을 위해 주기적으로 각각의 전자 장치에 생성되어 업데이트된다. 레코딩된 멀티미디어 스트림과 관련된 생성된 메타 데이터 및 주기적으로 생성되는 대표 썸네일은 공동 레코딩 세션 동안 전자 장치들 간에 공유된다. 임의의 전자 장치는 공동 작업 세션을 종료하여 수신된 메타 데이터를 분석하고 최종 메타 데이터 파일을 생성할 수 있다. 공동 관리 에이전트(106)는 최적의 비디오 세그먼트들 및 지금까지 멀티미디어 레코딩 세션에서 캡쳐된 최적의 이미지 세그먼트들을 선택하기 위해, 수신된 메타 데이터의 다양한 파라미터를 분석하여 최종 메타 데이터 파일을 생성할 수 있다. 최적의 비디오 또는 최적의 이미지는 수신된 메타 데이터를 분석하고 시간이 중복되는 이미지 또는 비디오를 병합하여 선택될 수 있다. 최적의 비디오 세그먼트 및 최적의 이미지 세그먼트의 선택은 또한 카메라 설정과 관련된 매개 변수를 기반으로 수행될 수 있다. 예를 들어, 사용자는 비디오의 지속 시간, 카메라 설정, 조명 및 해상도를 선택하는 필터를 지정할 수 있다. 실시 예에서, 공동 관리 에이전트(106)는 사용자의 모든 장치들 중에서 최상의 카메라 설정, 조명 및 해상도에 기초하여 이미지 또는 비디오 세그먼트를 식별하기 위해 수신된 메타 데이터를 자동으로 분석하도록 구성될 수 있다.
702에서, 최적의 사진들의 콜라주(collage)는 전자 장치들 중 하나에서 생성될 수 있다. 704에서, 전자 장치 중 하나에서 생성된 짧은 비디오가 도시된다. 짧은 비디오는 최적의 비디오 세그먼트와 최적의 이미지 세그먼트를 포함하여 지속 시간이 30분이다.
도 8은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여 선명하지 않은 멀티미디어 스트림을 폐기함으로써 최종 요약 비디오 파일을 생성하기 위한 예시 시나리오를 나타낸다. 메타 데이터는 노광, 방향, 위치, 줌, 패닝(panning), 미디어 타입, 백라이트, 포커스, 모드, 플래쉬, 셔터 스피드, 카메라의 움직임 속도를 또는 선명하지 않은 멀티미디어 스트림을 식별하고 폐기하기 위하여 주어진 이미지의 가장자리를 분석하는 알고리즘과 같은 카메라 설정에 기초하여 필터링(filtering)될 수 있다. 비디오 또는 이미지의 흔들림을 검출하는 많은 방법이 있다는 것을 주목해야한다. 선명하지 않은 멀티미디어 스트림은 폐기될 수 있고, 선명한 멀티미디어 스트림은 최종 멀티미디어 파일의 일부분이 되기 위한 필터링의 다음 레벨로 한정될 수 있다. 도 8은 다른 사용자 존, 톰, 벤 및 샘에 의해 캡쳐된 피크닉의 다른 멀티미디어 스트림을 보여준다. 메타 데이터 분석으로부터, 선명하지 않은 멀티미디어 스트림과 연관된 메타 데이터는 폐기되고, 사용자 톰으로부터의 멀티미디어 스트림과 연관된 메타 데이터가 최적이라고 확인될 수 있다. 비디오 세그먼트 또는 이미지의 흔들린 정도는 최종 비디오 세그먼트 또는 이미지의 선택을 위해 이용되는 여러 기준 중 하나임이 이해되어야 한다.
도 9는 본 발명의 일 실시 예에 따른 공동 레코딩 환경에서의 전자 장치의 사용자 인터페이스의 예를 나타낸다. 공동 관리 에이전트(106)는 활성화된 제2 전자 장치(104) 및 제1 전자 장치(102)에 수신된 썸네일을 디스플레이한다. "내 비디오"는 제1 전자 장치(102)에 의해 레코딩된 멀티미디어 스트림을 나타낸다. 또한, 사용자 샘과 존, 두 개의 활성화된 제2 전자 장치(104)를 나타낸다. 도 9에서, 제2 전자 장치(104)로부터 수신된 썸네일은 주기적으로 업데이트됨을 알 수 있다. 공동 관리 에이전트(106)는 제1 전자 장치(102)의 레코더(recorder)(902)에 의해 현재 캡쳐되는 이벤트를 디스플레이한다. 공동 관리 에이전트(106)는 다양한 상호작용 도구(904)를 이용하여 양방향 공동 작업 세션을 제공한다. 양방향 공동 작업 세션에 사용되는 도구(904)의 예는 주석(annotation), 이모티콘(emoticon), 북마크(bookmark), 오디오 주석(audio annotation), 오디오 메시지 및 비디오 메시지를 포함하나, 이에 한정되는 것은 아니다. 사용자는 텍스트 주석, 오디오 주석, 이모티콘, 핀(pin)(북마크), 화면 고정(lock)(선택된 장면은 필수적으로 최종 비디오에 포함)을 추가할 수 있고, 공동 작업 세션 동안 비디오에 경고를 보낼 수 있다. 주석은 분석 및 중요한 이벤트 동안 다른 사용자들의 주의를 끌기 위해 사용될 수 있다. 공동 관리 에이전트(106)는 관심에 기초하여 프리뷰(preview) 썸네일을 잠그도록 구성될 수 있다. 도 9에서, 제1 전자 장치(102)의 사용자는 사용자 샘의 전자 장치로부터 수신된 썸네일 두 개를 고정시킬 수 있다. 프리뷰 썸네일과 관련된 멀티미디어 스트림은 제1 전자 장치(102)에 의해 생성된 최종 멀티미디어 레코딩에 포함될 수 있다. 도 9는 공동 작업 세션에서 현재 비활성화된 두 사용자 벤과 톰을 나타낸다. 제1 전자 장치(102)의 공동 관리 에이전트(106)는 메타 데이터의 분석에 기초하여 공동 작업 세션에서 비활성화된 사용자에게 경고할 수 있다. 실시 예에서, 대표 섬네일에 대한 사용자의 상호 작용으로 공동 멀티미디어 에이전트(108)는 레코딩된 이벤트에서 관심 있는 비디오 또는 이미지를 식별하게 된다.
도 10은 본 발명의 일 실시 예에 따른 공동 작업 환경에서 복수의 사용자로부터 수신된 각종 코멘트의 예시 도면을 나타낸다. 도 10은 오전 10시에 사용자 존의 전자 장치로부터 수신된 이미지에 대해 전송된 다른 의견, 이모티콘 및 오디오 메시지를 보여준다. 원하는 경우 다른 사용자(톰, 샘, 벤 및 조)는 존에게 이미지를 요청할 수 있다.
실시 예에서, 제안된 시스템 및 방법은 실시간 상호 작용 및 정보(예를 들어, 제2 전자 장치(104)로부터 최적의 이미지 및 비디오를 자동으로 선택하기 위한 정보) 공유를 가능하게 한다. 실시간 정보 공유의 예는 레코딩 시간, 레코딩의 위치 및 각도, 위치, 카메라 이벤트 정보(줌, 초점 등), 제1 전자 장치(102)에 의해 설정된 기본 설정, 제2 전자 장치(104)에 의해 설정된 기본 설정, 제2 전자 장치(104)의 각각의 사용자에 의해 선택된 장면, 템플릿, 경고, 텍스트 주석, 오디오 주석, 이모티콘, 북마크, 오디오 프레임 메타 데이터(예를 들어, 피치, 분류, 전력 등), 이미지 메타 데이터(예를 들어, 얼굴 정보, 특징점, 모서리, 색상, 질감 등과 같은 특징 정보), 카메라 움직임, 물체 검출 및 추적을 포함하나, 이에 한정되는 것은 아니다.
실시 예에서, 카메라 설정은 최고 품질의 이미지 선택을 위해 분석될 수 있다. 예를 들어, 카메라 설정은 노출 삼각형(exposure triangle), 방향, 위치, 플래시 설정, 미디어 타입, 해상도, 백라이트, 히스토그램 등일 수 있다.
다른 실시 예에서, 카메라 설정은 최고 품질의 비디오 선택을 위해 분석될 수 있다. 예를 들어, 카메라 설정은 줌(zooming), 패닝(panning), 포커스 등이 될 수 있다.
도 11은 본 발명의 일 실시 예에 따른 사용자 인터페이스에서 공동 관리 에이전트(106)에 의해 생성된 시각적 레이아웃의 예시 도면이다. 제1 전자 장치(102)의 공동 관리 에이전트(106)는 중요 이벤트 주위의 사용자 밀도를 나타내는 시각적 레이아웃을 생성하도록 구성될 수 있다. 시각적 레이아웃은 이벤트를 공동으로 캡쳐하는 전체 전자 장치의 위치를 나타낸다. 도 11은 각 사용자의 위치와 함께 주위 환경의 나침반 타입을 나타낸다. 공동 작업 세션에서 위성 위치 확인 시스템(GPS), 와이파이 기반 실내 위치 확인 시스템 또는 다른 위치 확인 메커니즘과 같은 시스템을 사용하여 각 사용자의 위치가 판단될 수 있다. 도 11은 북쪽으로부터 레코딩하는 사용자 A 및 B의 전자 장치, 서쪽으로부터 레코딩하는 사용자 C 및 D의 전자 장치, 동쪽으로부터 레코딩하는 사용자 E의 전자 장치를 도시한다. 사용자 E의 머리 부근의 기호는 사용자 E의 전자 장치가 현재 중요한 이벤트를 레코딩하고 있음을 나타낸다. 사용자 인터페이스 상에 디스플레이된 시각적 레이아웃에 기초하여, 사용자 A, B, C 및 D는 중요한 이벤트의 레코딩을 파악하고 중요한 이벤트를 레코딩하기 위해 이동할 수 있다.
도 12a, 12b 및 12c는 본 발명의 일 실시 예에 따른 이벤트에 대해 공동 관리 에이전트가 제안하는 테마의 예시 도면이다. 멀티미디어 스트림과 연관된 메타 데이터의 분석에서 검출된 오디오 및 비디오 큐에 기초하여, 공동 관리 에이전트(106)는 이벤트의 최종 합성 비디오를 위해 사용자에게 다른 테마를 제안할 수 있다. 도 12a는 공동 관리 에이전트(106)에 의해 제안된 피크닉 기반의 테마에 기초하여 "최고의 피크닉"이라는 제목을 나타낸다. 도 12B는 공동 관리 에이전트(106)에 의해 제안된 가족 기반의 테마에 기초하여 "우리는 가족"이라는 제목을 나타낸다. 도 12C는 공동 관리 에이전트(106)에 의해 제안된 로맨틱 기반의 테마에 기초하여 "러브 스토리"라는 제목을 나타낸다.
도 13은 본 발명의 일 실시 예에 따라 복수의 전자 장치들로부터 수신된 메타 데이터의 오디오 분석에 기초한 멀티미디어 스트림의 선택의 예를 나타낸다. 멀티미디어 스트림의 오디오 분석을 포함하여 메타 데이터 분석에 기초하여 멀티미디어 스트림의 클리어 오디오에 대응하는 메타 데이터가 선택될 수 있다. 도 13은 사용자 존, 톰 및 샘의 전자 장치에 의해 레코딩된 멀티미디어 스트림과 관련된 오디오 품질을 나타낸다. 메타 데이터 분석 결과는 톰과 샘에 의해 레코딩된 멀티미디어 스트림이 노이즈 음성을 포함하는 반면, 존에 의해 레코딩된 멀티미디어 스트림은 순수한 음성을 갖는 것을 보여준다. 분석 엔진(204)은 사용자 톰과 샘의 전자 장치로부터 수신된 메타 데이터를 폐기할 수 있고, 존의 전자 장치로부터 수신된 메타 데이터를 선택할 수 있다.
도 14a, 14b 및 14c는 본 발명의 일 실시 예에 따른 공동 레코딩 환경에 사무실 이벤트의 최종 비디오 스냅 샷을 나타내는 예시 도면이다. 도 14a는 두 개의 서로 다른 전자 장치에 의해 캡쳐된 동일한 장면을 보여준다. 다른 전자 장치들로부터 수신된 메타 데이터를 사용하여, 분석 엔진(204)은 이벤트의 장면이 서로 다른 시점에서 캡쳐되고 있다는 것을 식별할 수 있다. 사용자 정의 속성 또는 기설정된 속성 세트에 기초하여 서로 다른 시점에서 레코딩된 관심 있는 장면이 최종 메타 데이터 파일에 포함될 수 있다. 최종 멀티미디어 비디오는 다른 시점에서 레코딩된 비디오 장면 모두를 포함할 수 있다. 실시 예에서, 최종 비디오 파일은 그래픽 효과를 이용한 비디오 콜라주로 구성될 수 있다. 이러한 타입의 비디오 콜라주는 최종 멀티미디어 비디오의 시청자가 복수의 관심 있는 시점으로부터 주어진 비디오 장면을 볼 수 있도록 관심 있는 최종 합성 비디오를 생성한다. 도 14b는 그래픽 효과의 콜라주 정렬에서 중요한 비디오 세그먼트와 이미지로 구성된 비디오 세그먼트를 보여준다. 주어진 시나리오에서 비디오 세그먼트는 미리 정의된 특성에 기초하여 선택될 수도 있고, 이미지는 동일한 시간 간격으로 캡쳐되었고, 미리 정의된 속성에 따라 선택될 수 있다. 도 14c는 전자 장치들로부터 수신된 메타 데이터의 분석에 기초하여 관련된 이미지를 페치함으로써 생성된 이미지의 콜라주를 나타낸다. 각각의 메타 데이터는 제1 전자 장치(102) 또는 제2 전자 장치(104)와 연관될 수 있다. 이것이 미리 정의된 기준 또는 규칙의 집합을 기반으로 세 명의 사용자로부터의 비디오 세그먼트와 이미지 선택하는 시나리오이다.
도 15a, 15b 및 15c는 본 발명의 일 실시 예에 따른 공동 작업 세션 중에 생성된 비디오나 이미지 콜라주를 도시한 도면이다. 도 15a는 공동 관리 에이전트(106)에 의해 생성된 학교 행사에서 촬영된 이미지의 콜라주를 나타낸다. 도 15b는 공동 관리 에이전트(106)에 의해 생성된 가족 피크닉 행사에서 촬영된 이미지의 콜라주를 나타낸다. 도 15c는 공동 관리 에이전트(106)에 의해 생성된 가족 피크닉 행사에서 촬영된 최적의 이미지를 나타낸다.
도 16은 본 발명의 일 실시 예에 따른 공동 멀티미디어 레코딩을 수행하기 위한 방법 및 시스템을 구현하는 컴퓨팅 환경을 도시한다. 도시된 바와 같이, 컴퓨팅 환경(1602)은 제어 유닛(1606)과 산술 논리 유닛(ALU)(1608)을 포함하는 적어도 하나의 프로세싱 유닛(1604), 메모리(1610), 스토리지(1612), 클럭 칩(1614), 복수의 네트워킹 장치(1616) 및 복수의 입출력(I/O) 장치(1618)를 포함한다. 프로세싱 유닛(1604)은 알고리즘의 처리 명령을 담당한다. 프로세싱 유닛(1604)은 처리를 수행하기 위해 제어 유닛(1606)으로부터 명령을 수신한다. 또한, 명령의 실행에 관련된 논리 및 산술 연산은 산술 논리 유닛(1608)의 도움으로 처리된다. 전체 컴퓨팅 환경(1602)은 동종 또는 이종의 다수의 코어, 다른 종류의 매체 및 다른 특수 가속기의 다수의 CPU로 구성될 수 있다. 프로세싱 유닛(1604)은 알고리즘의 처리 명령을 담당한다. 또한, 복수의 프로세스 유닛은 단일 칩 또는 복수 칩 상에 위치할 수 있다. 구현에 필요한 명령어 및 코드로 이루어진 알고리즘은 메모리(1610) 및 스토리지(1612) 중 적어도 하나에 저장된다. 실행 시, 명령어들은 대응하는 메모리(1610) 또는 스토리지(1612)로부터 페치될 수 있고, 프로세싱 유닛(1604)에 의해 실행된다. 프로세싱 유닛(1604)은 클럭 칩(1614)에 의해 발생하는 타이밍 신호에 기초하여 동작을 동기화하고 명령들을 실행한다. 본원에 개시된 실시 예들은 구성 요소를 제어하는 적어도 하나의 하드웨어 장치에서 실행되고 네트워크 관리 기능을 수행하는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다. 도 1 및 2에 도시된 구성 요소는 적어도 하나의 하드웨어 디바이스들 중 하나, 또는 하드웨어 장치 및 소프트웨어 모듈의 조합이 될 수 있는 블록을 포함한다.
도 17은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 17에 따르면, 먼저 제1 멀티미디어 스트림을 레코딩한다(S1710). 그리고, 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성한다(S1720). 그리고, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신한다(S1730). 그리고, 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성한다(S1740).
또한, 최종 멀티미디어 파일을 생성하는 단계(S1740)는, 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하는 단계, 분석에 기초하여 적어도 하나의 제2 전자 장치로부터 제2 멀티미디어 스트림의 적어도 일 부분을 수신하는 단계 및 제1 멀티미디어 스트림의 적어도 일 부분 및 제2 멀티미디어 스트림의 적어도 일 부분을 결합하는 단계를 포함하고, 제1 멀티미디어 스트림의 적어도 일 부분은 분석에 기초하여 선택될 수 있다.
그리고, 최종 멀티미디어 파일을 생성하는 단계(S1740)는, 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 제1 멀티미디어 스트림 및 제2 멀티미디어 스트림 중 노이즈가 가장 적은 오디오를 이용하여 최종 멀티미디어 스트림을 생성할 수 있다.
또한, 최종 멀티미디어 파일을 생성하는 단계(S1740)는, 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 최종 멀티미디어 스트림을 콜라주(collage)의 형태로 생성할 수 있다.
그리고, 최종 멀티미디어 파일을 생성하는 단계(S1740)는, 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하는 단계, 분석에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터의 일치 여부를 판단하는 단계 및 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터가 일치한다고 판단되면, 적어도 하나의 제2 전자 장치에 경고 메시지를 전송하는 단계를 포함하고, 경고 메시지는 제1 전자 장치 및 제2 전자 장치가 시각적으로 유사한 멀티미디어 스트림을 레코딩하고 있음을 나타낼 수 있다.
또한, 최종 멀티미디어 파일을 생성하는 단계(S1740)는, 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하는 단계, 분석에 기초하여 적어도 하나의 제2 메타 데이터의 인기도(popularity)를 식별하는 단계 및 식별된 인기도에 기초하여, 제1 전자 장치 및 적어도 하나의 제2 전자 장치의 위치를 나타내는 시각적 레이아웃을 생성하는 단계를 포함할 수 있다.
그리고, 최종 멀티미디어 파일을 생성하는 단계(S1740)는, 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하는 단계, 분석에 기초하여 제1 전자 장치 및 적어도 하나의 제2 전자 장치가 근접한지를 판단하는 단계 및 제1 전자 장치 및 적어도 하나의 제2 전자 장치가 근접해 있다고 판단되면, 적어도 하나의 제2 전자 장치에 경고 메시지를 전송하는 단계를 포함할 수 있다.
또한, 최종 멀티미디어 파일을 생성하는 단계(S1740)는, 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하는 단계 및 분석에 기초하여 적어도 하나의 제2 전자 장치와 적어도 하나의 대표 썸네일을 공유하는 단계를 포함할 수 있다.
도 18은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 18에 따르면, 멀티미디어 레코딩(recording)을 수행하는 제1 전자 장치(102)는 통신부(1810) 및 프로세서(1820)를 포함한다.
통신부(1810)는 적어도 하나의 제2 전자 장치와 통신을 수행한다. 통신부(1810)는 적어도 하나의 제2 전자 장치와 단방향 통신 또는 양방향 통신을 수행할 수 있다. 단방향 통신을 수행하는 경우, 통신부(1810)는 적어도 하나의 제2 전자 장치로부터 신호를 수신할 수 있다. 양방향 통신을 수행하는 경우, 통신부(1810)는 적어도 하나의 제2 전자 장치로부터 신호를 수신할 수도 있고, 적어도 하나의 제2 전자 장치로 신호를 송신할 수도 있다.
프로세서(1820)는 제1 멀티미디어 스트림을 레코딩하고, 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하며, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하고, 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성할 수 있다.
또한, 프로세서(1820)는 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 적어도 하나의 제2 전자 장치로부터 제2 멀티미디어 스트림의 적어도 일 부분을 수신하며, 제1 멀티미디어 스트림의 적어도 일 부분 및 제2 멀티미디어 스트림의 적어도 일 부분을 결합하여 최종 멀티미디어 스트림을 생성하고, 제1 멀티미디어 스트림의 적어도 일 부분은 분석에 기초하여 선택될 수 있다.
그리고, 프로세서(1820)는 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 제1 멀티미디어 스트림 및 제2 멀티미디어 스트림 중 노이즈가 가장 적은 오디오를 이용하여 최종 멀티미디어 스트림을 생성할 수 있다.
또한, 프로세서(1820)는 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 최종 멀티미디어 스트림을 콜라주(collage)의 형태로 생성할 수 있다.
그리고, 프로세서(1820)는 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터의 일치 여부를 판단하며, 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터가 일치한다고 판단되면, 적어도 하나의 제2 전자 장치에 경고 메시지를 전송하고, 경고 메시지는 제1 전자 장치 및 제2 전자 장치가 시각적으로 유사한 멀티미디어 스트림을 레코딩하고 있음을 나타낼 수 있다.
또한, 프로세서(1820)는 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 적어도 하나의 제2 메타 데이터의 인기도(popularity)를 식별하며, 식별된 인기도에 기초하여, 제1 전자 장치 및 적어도 하나의 제2 전자 장치의 위치를 나타내는 시각적 레이아웃을 생성할 수 있다.
그리고, 프로세서(1820)는 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 제1 전자 장치 및 적어도 하나의 제2 전자 장치가 근접한지를 판단하며, 제1 전자 장치 및 적어도 하나의 제2 전자 장치가 근접해 있다고 판단되면, 적어도 하나의 제2 전자 장치에 경고 메시지를 전송할 수 있다.
또한, 프로세서(1820)는 적어도 하나의 파라미터에 기초하여 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터를 분석하고, 분석에 기초하여 적어도 하나의 제2 전자 장치와 적어도 하나의 대표 썸네일을 공유할 수 있다.
도 19는 본 발명의 일 실시 예에 따른 시스템을 설명하기 위한 시퀀스도이다.
도 19에 따르면, 멀티미디어 레코딩(recording)을 수행하기 위한 시스템은 먼저, 제1 전자 장치(102)에 의해 제1 멀티미디어 스트림을 레코딩하고(S1910-1), 제2 전자 장치(104)에 의해 제2 멀티미디어 스트림을 레코딩할 수 있다(S1910-2). 그리고, 제1 전자 장치(102)는 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하고(S1920-1), 제2 전자 장치(104)는 제2 멀티미디어 스트림과 연관된 제2 메타 데이터를 생성한다(S1920-2). 제1 멀티미디어 스트림 및 제2 멀티미디어 스트림은 동시에 레코딩되는 것으로 도시되었으나, 이는 전자 장치의 종류에 따라 다를 수 있다. 가령, 제1 전자 장치(102)는 제1 멀티미디어 스트림을 곧바로 레코딩하나, 제2 전자 장치(104)는 제2 멀티미디어 스트림을 곧바로 레코딩하지 않고, 버퍼에 저장해둔 후 사용자의 명령에 따라 레코딩할 수도 있다.
또한, 제1 메타 데이터 및 제2 메타 데이터 역시 동시에 생성되는 것으로 도시되었으나, 이는 일 실시 예에 불과하다. 예를 들어, 제1 전자 장치(102)는 제1 멀티미디어 스트림이 레코딩되면 제1 메타 데이터를 생성할 수 있으나, 제2 전자 장치(104)는 제2 멀티미디어 스트림이 레코딩된 후 사용자의 명령 또는 다른 전자 장치의 요청으로 제2 메타 데이터를 생성할 수도 있다.
그리고, 제2 전자 장치(104)는 제2 멀티미디어 스트림과 연관된 제2 메타 데이터를 제1 전자 장치(102)로 전송한다(S1930). 그리고, 제1 전자 장치(102)는 제1 메타 데이터 및 제2 메타 데이터를 분석하고(S1940), 분석에 기초하여 최종 멀티미디어 파일을 생성한다(S1950).
한편, 도 19에서는 제2 전자 장치(104)가 하나인 것으로 도시되었으나, 이에 한정되는 것은 아니다. 예를 들어, 제2 전자 장치(104)는 복수일 수 있고, 그에 따라 제1 전자 장치(102)는 복수의 제2 전자 장치(104)에서 레코딩된 복수의 제2 멀티미디어 스트림에 연관된 복수의 제2 메타 데이터를 수신할 수도 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 전자 장치는 다른 전자 장치로부터 메타 데이터만을 수신하여 합성할 영상을 선택할 수 있다. 그에 따라, 수신된 다양한 시점의 영상을 합성하여 사용자에게 제공할 수 있게 되어, 사용자 만족도를 향상시킬 수 있다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 제1 멀티미디어 스트림을 레코딩하는 단계, 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 단계, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하는 단계 및 제1 메타 데이터 및 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 최종 멀티미디어 파일을 생성하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
특정 실시 예들의 상술한 설명은 당업자가 현재의 지식을 적용하여 쉽게 변형하거나 일반적인 개념으로부터 벗어나지 않고 특정 실시 예와 같은 다양한 어플리케이션에 적용할 수 있도록 본 명세서에 충분히 실시의 일반적인 특징을 드러낸다. 따라서, 이러한 적용 및 변형은 본 발명의 등가물 및 범위 내인 것으로 이해되어야 한다. 본원에서 사용되는 표현 또는 용어는 설명을 위한 것이며 제한되지 않는다는 것이 이해되어야한다. 따라서, 실시 예들은 특정 구현 예로 설명되어 있지만, 당업자는 본원에 기재된 실시 예들이 본원 실시의 사상 및 범위 내에서 변형되어 실시될 수 있다는 것을 인식할 것이다.
100 : 시스템 102 : 제1 전자 장치
104 : 제2 전자 장치 108 : 통신 네트워크
104 : 제2 전자 장치 108 : 통신 네트워크
Claims (24)
- 멀티미디어 레코딩(recording)을 수행하기 위한 제1 전자 장치의 제어 방법에 있어서,
제1 멀티미디어 스트림을 레코딩하는 단계;
상기 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 단계;
적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하는 단계; 및
상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 상기 제1 멀티미디어 스트림 및 상기 제2 멀티미디어 스트림 중 노이즈가 가장 적은 오디오를 이용하여 최종 멀티미디어 파일을 생성하는 단계;를 포함하는 제어 방법. - 제1항에 있어서,
상기 최종 멀티미디어 파일을 생성하는 단계는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하는 단계;
상기 분석에 기초하여 상기 적어도 하나의 제2 전자 장치로부터 상기 제2 멀티미디어 스트림의 적어도 일 부분을 수신하는 단계; 및
상기 제1 멀티미디어 스트림의 적어도 일 부분 및 상기 제2 멀티미디어 스트림의 적어도 일 부분을 결합하는 단계;를 포함하고,
상기 제1 멀티미디어 스트림의 적어도 일 부분은 상기 분석에 기초하여 선택되는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
상기 최종 멀티미디어 파일을 생성하는 단계는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
상기 최종 멀티미디어 파일을 생성하는 단계는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하고, 상기 분석에 기초하여 상기 최종 멀티미디어 스트림을 콜라주(collage)의 형태로 생성하는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
상기 최종 멀티미디어 파일을 생성하는 단계는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하는 단계;
상기 분석에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 일치 여부를 판단하는 단계; 및
상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터가 일치한다고 판단되면, 상기 적어도 하나의 제2 전자 장치에 경고 메시지를 전송하는 단계;를 포함하고,
상기 경고 메시지는 상기 제1 전자 장치 및 상기 제2 전자 장치가 시각적으로 유사한 멀티미디어 스트림을 레코딩하고 있음을 나타내는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
상기 최종 멀티미디어 파일을 생성하는 단계는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하는 단계;
상기 분석에 기초하여 상기 적어도 하나의 제2 메타 데이터의 인기도(popularity)를 식별하는 단계; 및
상기 식별된 인기도에 기초하여, 상기 제1 전자 장치 및 상기 적어도 하나의 제2 전자 장치의 위치를 나타내는 시각적 레이아웃을 생성하는 단계;를 포함하는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
상기 최종 멀티미디어 파일을 생성하는 단계는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하는 단계;
상기 분석에 기초하여 상기 제1 전자 장치 및 상기 적어도 하나의 제2 전자 장치가 근접한지를 판단하는 단계; 및
상기 제1 전자 장치 및 상기 적어도 하나의 제2 전자 장치가 근접해 있다고 판단되면, 상기 적어도 하나의 제2 전자 장치에 경고 메시지를 전송하는 단계;를 포함하는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
상기 최종 멀티미디어 파일을 생성하는 단계는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하는 단계; 및
상기 분석에 기초하여 상기 적어도 하나의 제2 전자 장치와 적어도 하나의 대표 썸네일을 공유하는 단계;를 포함하는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
상기 제1 메타 데이터는,
카메라 설정, 타임 스탬프, 감정 검출, 얼굴 검출 및 인식, 음성 검출 및 분류, 움직임 검출, 흐림 검출, 손 흔들림 검출, 특징 추출, 위치 정보, 인간 감지, 동작 감지, 이미지 품질 검출, 특징 검출, 물체 검출 및 인식 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
상기 적어도 하나의 제2 메타 데이터는,
카메라 설정, 타임 스탬프, 감정 검출, 얼굴 검출 및 인식, 음성 검출 및 분류, 움직임 검출, 흐림 검출, 손 흔들림 검출, 특징 추출, 위치 정보, 인간 감지, 동작 감지, 이미지 품질 검출, 특징 검출, 물체 검출 및 인식 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법. - 제1항에 있어서,
통신망을 이용하여 상기 제2 전자 장치와 공동 작업 세션을 형성하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법. - 멀티미디어 레코딩(recording)을 수행하는 제1 전자 장치에 있어서,
적어도 하나의 제2 전자 장치와 통신을 수행하는 통신부; 및
제1 멀티미디어 스트림을 레코딩하고, 상기 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하며, 적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하고, 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 상기 제1 멀티미디어 스트림 및 상기 제2 멀티미디어 스트림 중 노이즈가 가장 적은 오디오를 이용하여 최종 멀티미디어 파일을 생성하는 프로세서;를 포함하는 전자 장치. - 제12항에 있어서,
상기 프로세서는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하고, 상기 분석에 기초하여 상기 적어도 하나의 제2 전자 장치로부터 상기 제2 멀티미디어 스트림의 적어도 일 부분을 수신하며, 상기 제1 멀티미디어 스트림의 적어도 일 부분 및 상기 제2 멀티미디어 스트림의 적어도 일 부분을 결합하여 상기 최종 멀티미디어 스트림을 생성하고,
상기 제1 멀티미디어 스트림의 적어도 일 부분은 상기 분석에 기초하여 선택되는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 프로세서는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 프로세서는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하고, 상기 분석에 기초하여 상기 최종 멀티미디어 스트림을 콜라주(collage)의 형태로 생성하는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 프로세서는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하고, 상기 분석에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 일치 여부를 판단하며, 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터가 일치한다고 판단되면, 상기 적어도 하나의 제2 전자 장치에 경고 메시지를 전송하고,
상기 경고 메시지는 상기 제1 전자 장치 및 상기 제2 전자 장치가 시각적으로 유사한 멀티미디어 스트림을 레코딩하고 있음을 나타내는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 프로세서는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하고, 상기 분석에 기초하여 상기 적어도 하나의 제2 메타 데이터의 인기도(popularity)를 식별하며, 상기 식별된 인기도에 기초하여, 상기 제1 전자 장치 및 상기 적어도 하나의 제2 전자 장치의 위치를 나타내는 시각적 레이아웃을 생성하는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 프로세서는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하고, 상기 분석에 기초하여 상기 제1 전자 장치 및 상기 적어도 하나의 제2 전자 장치가 근접한지를 판단하며, 상기 제1 전자 장치 및 상기 적어도 하나의 제2 전자 장치가 근접해 있다고 판단되면, 상기 적어도 하나의 제2 전자 장치에 경고 메시지를 전송하는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 프로세서는,
적어도 하나의 파라미터에 기초하여 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터를 분석하고, 상기 분석에 기초하여 상기 적어도 하나의 제2 전자 장치와 적어도 하나의 대표 썸네일을 공유하는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 제1 메타 데이터는,
카메라 설정, 타임 스탬프, 감정 검출, 얼굴 검출 및 인식, 음성 검출 및 분류, 움직임 검출, 흐림 검출, 손 흔들림 검출, 특징 추출, 위치 정보, 인간 감지, 동작 감지, 이미지 품질 검출, 특징 검출, 물체 검출 및 인식 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 적어도 하나의 제2 메타 데이터는,
카메라 설정, 타임 스탬프, 감정 검출, 얼굴 검출 및 인식, 음성 검출 및 분류, 움직임 검출, 흐림 검출, 손 흔들림 검출, 특징 추출, 위치 정보, 인간 감지, 동작 감지, 이미지 품질 검출, 특징 검출, 물체 검출 및 인식 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치. - 제12항에 있어서,
상기 프로세서는,
통신망을 이용하여 상기 제2 전자 장치와 공동 작업 세션을 형성하는 것을 특징으로 하는 전자 장치. - 멀티미디어 레코딩(recording)을 수행하기 위한 시스템에 있어서,
제1 멀티미디어 스트림을 레코딩하고, 상기 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 제1 전자 장치; 및
제2 멀티미디어 스트림을 레코딩하는 적어도 하나의 제2 전자 장치;를 포함하며,
상기 제1 전자 장치는,
적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하고, 상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 상기 제1 멀티미디어 스트림 및 상기 제2 멀티미디어 스트림 중 노이즈가 가장 적은 오디오를 이용하여 최종 멀티미디어 파일을 생성하는 것을 특징을 하는 시스템. - 멀티미디어 레코딩(recording)을 수행하기 위한 제1 전자 장치의 컴퓨터 프로그램이 저장된 컴퓨터-판독 가능 매체에 있어서,
제1 멀티미디어 스트림을 레코딩하는 단계;
상기 제1 멀티미디어 스트림과 연관된 제1 메타 데이터를 생성하는 단계;
적어도 하나의 제2 전자 장치에 의해 레코딩된 제2 멀티미디어 스트림과 연관된 적어도 하나의 제2 메타 데이터를 수신하는 단계; 및
상기 제1 메타 데이터 및 상기 적어도 하나의 제2 메타 데이터의 분석에 기초하여, 상기 제1 멀티미디어 스트림 및 상기 제2 멀티미디어 스트림 중 노이즈가 가장 적은 오디오를 이용하여 최종 멀티미디어 파일을 생성하는 단계;를 포함하는 컴퓨터 프로그램이 저장된 컴퓨터-판독 가능 기록 매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150057268A KR102137207B1 (ko) | 2014-06-06 | 2015-04-23 | 전자 장치, 그 제어 방법 및 시스템 |
| US14/728,407 US9456231B2 (en) | 2014-06-06 | 2015-06-02 | Electronic device, control method thereof and system |
| EP15803161.7A EP3152912A4 (en) | 2014-06-06 | 2015-06-02 | Electronic device, control method thereof and system |
| PCT/KR2015/005503 WO2015186945A1 (en) | 2014-06-06 | 2015-06-02 | Electronic device, control method thereof and system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN2798CH2014 | 2014-06-06 | ||
| IN2798/CHE/2014 | 2014-06-06 | ||
| KR1020150057268A KR102137207B1 (ko) | 2014-06-06 | 2015-04-23 | 전자 장치, 그 제어 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150140559A KR20150140559A (ko) | 2015-12-16 |
| KR102137207B1 true KR102137207B1 (ko) | 2020-07-23 |
Family
ID=54766973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150057268A KR102137207B1 (ko) | 2014-06-06 | 2015-04-23 | 전자 장치, 그 제어 방법 및 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9456231B2 (ko) |
| EP (1) | EP3152912A4 (ko) |
| KR (1) | KR102137207B1 (ko) |
| WO (1) | WO2015186945A1 (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160275108A1 (en) * | 2015-02-09 | 2016-09-22 | Jonathan Mark Sidener | Producing Multi-Author Animation and Multimedia Using Metadata |
| US10750215B2 (en) * | 2015-07-27 | 2020-08-18 | Lg Electronics Inc. | Method and device for transmitting metadata in WFD |
| US11182600B2 (en) * | 2015-09-24 | 2021-11-23 | International Business Machines Corporation | Automatic selection of event video content |
| US10645137B2 (en) | 2015-12-28 | 2020-05-05 | Facebook, Inc. | Systems and methods to create composite videos |
| EP3188478B1 (en) * | 2015-12-28 | 2021-01-13 | Facebook, Inc. | Systems and methods to create composite videos |
| ES2704275T3 (es) * | 2016-05-17 | 2019-03-15 | Ig Knowhow Ltd | Un sistema y método de selección automática de flujo de datos |
| US11172242B2 (en) * | 2016-12-02 | 2021-11-09 | Sony Group Corporation | Methods and systems for delivery of electronic media content |
| US10297059B2 (en) * | 2016-12-21 | 2019-05-21 | Motorola Solutions, Inc. | Method and image processor for sending a combined image to human versus machine consumers |
| KR102429901B1 (ko) * | 2017-11-17 | 2022-08-05 | 삼성전자주식회사 | 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법 |
| CN111277866B (zh) | 2018-12-04 | 2022-05-10 | 华为技术有限公司 | 一种控制vr视频播放的方法及相关装置 |
| CN111367592B (zh) * | 2018-12-07 | 2023-07-11 | 北京字节跳动网络技术有限公司 | 信息处理方法和装置 |
| JP7321712B2 (ja) * | 2019-01-30 | 2023-08-07 | キヤノン株式会社 | 通信装置、通信装置の制御方法およびプログラム |
| KR20210149549A (ko) * | 2020-06-02 | 2021-12-09 | 삼성전자주식회사 | 레코딩을 위한 전자 장치 및 그 동작 방법 |
| US11871139B1 (en) * | 2021-07-23 | 2024-01-09 | Meta Platforms, Inc. | Multi-camera recording using a visual media recording device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103336832A (zh) * | 2013-07-10 | 2013-10-02 | 中国科学院自动化研究所 | 基于质量元数据的视频分类器构造方法 |
| US20140082091A1 (en) * | 2012-09-19 | 2014-03-20 | Box, Inc. | Cloud-based platform enabled with media content indexed for text-based searches and/or metadata extraction |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030093790A1 (en) * | 2000-03-28 | 2003-05-15 | Logan James D. | Audio and video program recording, editing and playback systems using metadata |
| JP4660879B2 (ja) * | 2000-04-27 | 2011-03-30 | ソニー株式会社 | 情報提供装置および方法、並びにプログラム |
| US7796162B2 (en) | 2000-10-26 | 2010-09-14 | Front Row Technologies, Llc | Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers |
| US7302274B2 (en) | 2003-09-19 | 2007-11-27 | Nokia Corporation | Method and device for real-time shared editing mobile video |
| JP2007088943A (ja) | 2005-09-22 | 2007-04-05 | Casio Hitachi Mobile Communications Co Ltd | 端末装置、および、プログラム |
| JP2007201862A (ja) | 2006-01-27 | 2007-08-09 | Toshiba Corp | 通信端末装置 |
| US7805011B2 (en) * | 2006-09-13 | 2010-09-28 | Warner Bros. Entertainment Inc. | Method and apparatus for providing lossless data compression and editing media content |
| US8433611B2 (en) * | 2007-06-27 | 2013-04-30 | Google Inc. | Selection of advertisements for placement with content |
| KR101382501B1 (ko) | 2007-12-04 | 2014-04-10 | 삼성전자주식회사 | 동영상 촬영 편집 장치 및 방법 |
| US7885924B2 (en) * | 2008-02-07 | 2011-02-08 | International Business Machines Corporation | Management of recorded data for online simulations |
| US9760573B2 (en) * | 2009-04-28 | 2017-09-12 | Whp Workflow Solutions, Llc | Situational awareness |
| JP2011078008A (ja) | 2009-10-01 | 2011-04-14 | Nippon Hoso Kyokai <Nhk> | コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム |
| US10489414B2 (en) * | 2010-03-30 | 2019-11-26 | Microsoft Technology Licensing, Llc | Companion experience |
| US20120331502A1 (en) * | 2011-06-22 | 2012-12-27 | Mcintire John P | Method and apparatus for automatically creating media streams |
| EP2573772A1 (en) | 2011-09-22 | 2013-03-27 | Alcatel Lucent | Automated real time video mashup editor |
| US20130104177A1 (en) | 2011-10-19 | 2013-04-25 | Google Inc. | Distributed real-time video processing |
| US9363092B2 (en) | 2012-10-31 | 2016-06-07 | International Business Machines Corporation | Selecting a video data stream of a video conference |
| US9129640B2 (en) * | 2012-12-12 | 2015-09-08 | Crowdflik, Inc. | Collaborative digital video platform that enables synchronized capture, curation and editing of multiple user-generated videos |
| KR101352203B1 (ko) | 2013-08-09 | 2014-01-16 | 넥스트리밍(주) | 모바일용 동영상 편집도구의 이펙트 설정을 위한 플러그인의 배포방법 |
-
2015
- 2015-04-23 KR KR1020150057268A patent/KR102137207B1/ko active IP Right Grant
- 2015-06-02 EP EP15803161.7A patent/EP3152912A4/en not_active Ceased
- 2015-06-02 US US14/728,407 patent/US9456231B2/en active Active
- 2015-06-02 WO PCT/KR2015/005503 patent/WO2015186945A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140082091A1 (en) * | 2012-09-19 | 2014-03-20 | Box, Inc. | Cloud-based platform enabled with media content indexed for text-based searches and/or metadata extraction |
| CN103336832A (zh) * | 2013-07-10 | 2013-10-02 | 中国科学院自动化研究所 | 基于质量元数据的视频分类器构造方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150358650A1 (en) | 2015-12-10 |
| KR20150140559A (ko) | 2015-12-16 |
| WO2015186945A1 (en) | 2015-12-10 |
| EP3152912A4 (en) | 2018-03-21 |
| US9456231B2 (en) | 2016-09-27 |
| EP3152912A1 (en) | 2017-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102137207B1 (ko) | 전자 장치, 그 제어 방법 및 시스템 | |
| US10536683B2 (en) | System and method for presenting and viewing a spherical video segment | |
| US10084961B2 (en) | Automatic generation of video from spherical content using audio/visual analysis | |
| US10582149B1 (en) | Preview streaming of video data | |
| US20130259447A1 (en) | Method and apparatus for user directed video editing | |
| US9578279B1 (en) | Preview streaming of video data | |
| US20130259446A1 (en) | Method and apparatus for user directed video editing | |
| CN111522432A (zh) | 根据观看者表情捕捉媒体内容 | |
| US11716300B2 (en) | Techniques for optimizing the display of videos | |
| US8943020B2 (en) | Techniques for intelligent media show across multiple devices | |
| KR20170070164A (ko) | 다중 관점 콘텐츠 캡처 및 합성 | |
| US9449646B2 (en) | Methods and systems for media file management | |
| US7996772B2 (en) | Apparatus, method, and medium for providing guideline for arranging images with story | |
| CN117157710A (zh) | 视觉内容到音频轨道的同步 | |
| US9201947B2 (en) | Methods and systems for media file management | |
| US20160100110A1 (en) | Apparatus, Method And Computer Program Product For Scene Synthesis | |
| US20180232384A1 (en) | Methods and apparatus for information capture and presentation | |
| US10474743B2 (en) | Method for presenting notifications when annotations are received from a remote device | |
| Mate et al. | Automatic video remixing systems | |
| CN108141705B (zh) | 用于创建事件的个性化记录的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |