KR20150046407A - Method and server for providing contents - Google Patents
Method and server for providing contents Download PDFInfo
- Publication number
- KR20150046407A KR20150046407A KR20130125117A KR20130125117A KR20150046407A KR 20150046407 A KR20150046407 A KR 20150046407A KR 20130125117 A KR20130125117 A KR 20130125117A KR 20130125117 A KR20130125117 A KR 20130125117A KR 20150046407 A KR20150046407 A KR 20150046407A
- Authority
- KR
- South Korea
- Prior art keywords
- content
- contents
- terminal
- synchronization
- specific event
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001360 synchronised effect Effects 0.000 claims abstract description 25
- 239000000284 extract Substances 0.000 claims description 11
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000002716 delivery method Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
본 발명은 콘텐츠 제공 방법 및 서버에 관한 것으로, 더욱 상세하게는 동일한 이벤트에 대해 복수의 사용자가 제작한 각 콘텐츠를 동기화한 다시점(multi point view) 콘텐츠를 제공하는 방법 및 서버에 관한 것이다.
The present invention relates to a content providing method and server, and more particularly, to a method and a server for providing a multi-point view content synchronized with each content produced by a plurality of users for the same event.
최근 스마트 디바이스의 발전과 역동적인 보급은 단순히 소비자적 역할에 머물러있던 사용자들을 영상 생산과 소비의 주체인 프로슈머(prosumer)로 변화 시키고 있다.Recently, the development and dynamic diffusion of smart devices are transforming users who have simply remained in the consumer role into prosumers that are the subject of image production and consumption.
기존의 사용자 제작 영상은 영상의 기록과 저장이 가능한 형태의 디바이스를 이용하였지만, 현재는 무선 통신을 통해 영상의 기록부터 유통까지 한번에 처리할 수 있는 형태로 발전하였다.Conventional user-created images use a device capable of recording and storing images, but now they have developed into a form that can process images from recording to distribution through wireless communication.
이러한 변화는 모바일 시장이 스마트폰으로 전환되면서 스마트 디바이스를 통한 영상의 취득과 저장이 동시에 가능한 것에 기인한 것으로, 특히 '저장'은 사용자 단말기뿐만 아니라 온라인의 가상 공간인 클라우드(cloud)에 일정 시간차 내에서 실시간으로 저장되어 공유 되는 것이 일반적인 프로세스로 인식되고 있다.This change is due to the simultaneous acquisition and storage of images through smart devices as the mobile market is turned into a smart phone. In particular, 'storage' is not only a user terminal but also a virtual space in the online space, Is shared and stored in real time.
이는, 기존에 비즈니스 필드에서 협업 프로세스를 위해 공동의 작업물을 하나의 계정 공간에서 동기화 하며 수집하는 방식이 이젠 사용자들의 콘텐츠 영역으로까지 확대 되고 있는 것이다.This means that the way of collecting and collecting collaborative work in a single account space for collaborative processes in business fields is now expanding to the content area of users.
최근 이러한 변화를 대표하는 예로서, 이벤트 기반으로 생산되는 콘텐츠들(예를 들어, 사진, 동영상 등)이 네트워크를 통해 지인들과 공유되는 형태의 서비스를 들 수 있으며, 한국공개특허 제10-2011-0020619호(재생 동기화 방법 및 이를 적용한 디바이스)에서는 제 1 디바이스가 재생 스케줄에 따라 콘텐츠를 재생하고, 제 2 디바이스로 재생 스케줄을 전송하여 제 2 디바이스도 재생 스케줄에 따른 콘텐츠 재생이 가능하도록 재생을 동기화하는 기술을 제안하였다.Recently, an example of such a change is a service in which contents (for example, photographs, videos, etc.) produced on an event basis are shared with an acquaintance through a network, and Korean Patent Laid- -0020619 (playback synchronization method and device using the same), the first device reproduces the content according to the playback schedule, and transmits the playback schedule to the second device so that the second device can also play back the content in accordance with the playback schedule Synchronization technology.
그러나, 이러한 기술은 특정 이벤트에 대해 특정 사용자가 제작한 콘텐츠만을 동기화하여 공유할 뿐이며, 현장에 함께 있던 다른 사용자가 제작한 콘텐츠를 함께 공유하지 못하는 한계가 있다.
However, this technology only has to synchronize and share only content produced by a specific user for a specific event, and can not share contents created by other users who are on the scene together.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 동일한 이벤트에 대해 복수의 사용자가 제작한 각 콘텐츠를 동기화한 다시점(multi point view) 콘텐츠를 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the conventional art, and it is an object of the present invention to provide a multi-point view content in which each content produced by a plurality of users is synchronized with the same event.
또한, 상기 다시점 콘텐츠를 편리하게 제어할 수 있는 사용자 인터페이스를 제공하고자 한다.
Also, it is intended to provide a user interface capable of conveniently controlling the multi-point content.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 (a) 특정 이벤트에 대해 복수의 사용자가 각각 제작한 콘텐츠를 서로 동기화하는 단계 및 (b) 사용자의 요청에 따라 상기 동기화된 콘텐츠를 제 1 단말기로 전송하고, 상기 제 1 단말기로 전송된 콘텐츠를 제어하기 위한 인터페이스를 제 2 단말기로 전송하는 단계를 포함하되, 상기 (a) 단계는 상기 각 콘텐츠의 메타데이터에 근거하여 상기 동기화를 수행하거나, 상기 각 콘텐츠로부터 오디오에 대한 특징을 추출하여 서로 중복되는 구간을 기준으로 상기 동기화를 수행한다.According to an embodiment of the present invention, there is provided a method for synchronizing contents created by a plurality of users with respect to a specific event, the method comprising: (a) To the first terminal, and transmitting an interface for controlling the content transmitted to the first terminal to the second terminal, wherein the step (a) comprises the steps of: Or extracts features of audio from the respective contents and performs the synchronization based on overlapping sections.
본 발명의 일 측면에서, 상기 (a) 단계는 상기 특정 이벤트의 실제 시간 흐름(time line)에 매칭되도록 상기 동기화를 수행한다.In one aspect of the present invention, the step (a) performs the synchronization so as to match an actual time line of the specific event.
또한, 본 발명의 일 측면에서, 상기 인터페이스는 상기 복수의 사용자 별로 해당 사용자가 제작한 콘텐츠를 상기 특정 이벤트의 실제 시간 흐름(time line)에 대한 재생 시간의 비율에 따른 길이를 가지도록 표시하되, 상기 동기화가 이루어진 시간 구간이 시각적으로 표시된다.According to an aspect of the present invention, the interface displays content produced by a corresponding user for each of the plurality of users so as to have a length corresponding to a ratio of a reproduction time to an actual time line of the specific event, A time interval during which the synchronization is performed is visually displayed.
또한, 본 발명의 일 측면에서, 상기 (a) 단계는 상기 메타데이터가 존재하지 않거나, 상기 메타데이터에 포함된 상기 특정 이벤트에 대한 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보 중 하나 이상을 신뢰할 수 없는 경우 상기 오디오에 대한 특징을 추출하여 서로 중복되는 구간을 기준으로 상기 동기화를 수행한다.In addition, in one aspect of the present invention, the step (a) may include determining that the metadata does not exist, or that at least one of the shooting time point and the ending time point of the specific event included in the metadata, And extracts the features of the audio and performs the synchronization based on overlapping sections.
또한, 본 발명의 일 측면에서, 상기 (a) 단계는 상기 복수의 사용자간의 친밀함 정도를 반영하여 상기 동기화의 대상인 콘텐츠를 검색하는 단계를 포함하되, 상기 사용자간의 친밀함 정도는 강한 연결 관계 및 약한 연결 관계 중 어느 하나로 분류되며, 상기 강한 연결 관계는 디렉토리에 포함된 콘텐츠를 상기 동기화의 대상으로 검색하고, 상기 약한 연결 관계는 콘텐츠 제작 시 입력된 키워드를 이용하여 상기 동기화의 대상으로 검색한다.In one aspect of the present invention, the step (a) includes searching for a content to be synchronized with the degree of intimacy between the plurality of users, wherein the degree of intimacy between the users is a strong connection and a weak connection And the strong connection relationship is searched for the content included in the directory as the synchronization target and the weak connection relationship is searched for the synchronization target using the keyword inputted at the time of content creation.
또한, 본 발명의 일 측면에서, 상기 (a) 단계는 Fast Fourier Transform(FFT), Mel-Frequency Cepstral Coefficients(MFCCs), Linear Predictive Coding(LPC), Zero-Crossing Rate(ZCR), Beat Histogram 및 Line Spectrum Frequency 중 하나 이상을 포함하는 알고리즘을 이용하여 상기 오디오에 대한 특징을 추출하며, 상기 추출된 오디오에 대한 특징의 유사도 비교를 통해 상기 동기화를 수행한다.In one aspect of the present invention, the step (a) includes a Fast Fourier Transform (FFT), a Mel-Frequency Cepstral Coefficients (MFCCs), a Linear Predictive Coding Spectrum Frequency, and performs the synchronization through comparison of the similarity of features of the extracted audio.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 서버는, 특정 이벤트에 대해 복수의 사용자가 각각 제작한 콘텐츠를 서로 동기화하는 동기화부, 사용자의 요청에 따라 상기 동기화된 콘텐츠를 제 1 단말기로 전송하는 콘텐츠 제공부 및 상기 제 1 단말기로 전송된 콘텐츠를 제어하기 위한 인터페이스를 제 2 단말기로 전송하는 인터페이스 제공부를 포함하되, 상기 동기화부는 상기 각 콘텐츠의 메타데이터에 근거하여 상기 동기화를 수행하거나, 상기 각 콘텐츠로부터 오디오에 대한 특징을 추출하여 서로 중복되는 구간을 기준으로 상기 동기화를 수행한다.In order to achieve the above object, a server according to an embodiment of the present invention includes a synchronization unit for synchronizing contents produced by a plurality of users with respect to a specific event, And an interface providing unit for transmitting to the second terminal an interface for controlling contents transmitted to the first terminal and the content transmitted to the first terminal, wherein the synchronizer synchronizes the synchronization based on the metadata of each content, Or extracts features of audio from the respective contents, and performs the synchronization based on overlapping sections.
본 발명의 일 측면에서, 상기 인터페이스는 상기 복수의 사용자 별로 해당 사용자가 제작한 콘텐츠를 상기 특정 이벤트의 실제 시간 흐름(time line)에 대한 재생 시간의 비율에 따른 길이를 가지도록 표시하되, 상기 동기화가 이루어진 시간 구간이 시각적으로 표시된다.In one aspect of the present invention, the interface displays content produced by a corresponding user for each of the plurality of users so as to have a length corresponding to a ratio of a reproduction time to an actual time line of the specific event, Is visually displayed.
또한, 본 발명의 일 측면에서, 상기 동기화부는 상기 메타데이터가 존재하지 않거나, 상기 메타데이터에 포함된 상기 특정 이벤트에 대한 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보 중 하나 이상을 신뢰할 수 없는 경우 상기 오디오에 대한 특징을 추출하여 서로 중복되는 구간을 기준으로 상기 동기화를 수행한다.In addition, in an aspect of the present invention, the synchronization unit may be configured such that when the metadata does not exist or at least one of the shooting time point and the ending time point of the specific event included in the metadata, Extracts characteristics of the audio, and performs synchronization based on overlapping sections.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 제 2 단말기가 제 1 단말기에 표시되는 하나 이상의 콘텐츠 - 특정 이벤트에 대하여 복수의 사용자가 각각 제작한 콘텐츠 - 를 제공하는 방법은 (a) 서버로부터 상기 콘텐츠를 제어하기 위한 인터페이스를 수신하여 표시하는 단계 및 (b) 상기 인터페이스를 통해 하나 이상의 콘텐츠가 선택되면, 상기 선택된 콘텐츠의 식별자와 상기 특정 이벤트의 실제 시간 흐름(time line)에 대한 재생 시간에 대한 정보를 포함하여 상기 특정 이벤트에 대한 다시점(multi point view) 콘텐츠 생성을 요청하는 단계를 포함하되, 상기 인터페이스는 상기 복수의 사용자 별로 해당 사용자가 제작한 콘텐츠를 상기 특정 이벤트의 실제 시간 흐름에 대한 재생 시간의 비율에 따른 길이를 가지도록 표시하되, 상기 특정 이벤트에서 발생하는 사운드에 대한 동기화가 이루어진 시간 구간이 시각적으로 표시된다.
According to an aspect of the present invention, there is provided a method of providing a content created by a plurality of users for one or more content-specific events displayed on a first terminal by a second terminal according to an embodiment of the present invention includes: A method comprising: a) receiving and displaying an interface for controlling the content from a server; and b) if one or more content is selected via the interface, selecting an identifier of the selected content and an actual time- The method comprising: requesting generation of a multi-point view content for the specific event including information on a playback time of the specific event, And a length corresponding to the ratio of the reproduction time to the actual time flow, Yi time interval consisting of the synchronization of the sound generated in the agent are visually displayed.
본 발명의 일 실시예에 따르면, 동일한 이벤트에 대해 복수의 사용자가 제작한 각 콘텐츠를 동기화한 다시점(multi point view) 콘텐츠를 제공함으로써, 관계(relation), 공간(space), 시간(time)의 속성을 가지는 공통된 경험을 공유할 수 있다.According to an embodiment of the present invention, by providing a multi-point view content synchronized with each content produced by a plurality of users for the same event, a relationship, a space, a time, A common experience with the attributes of < RTI ID = 0.0 >
또한, 상기 다시점 콘텐츠를 제어하기 위한 사용자 인터페이스를 휴대 단말기와 같은 second screen으로 제공함으로써, Smart TV와 같은 main screen과 상기 second screen에서 동기화된 콘텐츠를 시청자가 능동적으로 재생 및 시청할 수 있어 능동적 양방향 서비스 및 시청자와의 상호 작용을 극대화할 수 있다.Also, since the user interface for controlling the multi-point content is provided on the second screen such as the mobile terminal, the viewer can actively play and watch the main screen such as Smart TV and the content synchronized on the second screen, And the interaction with the viewer can be maximized.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.
도 1은 본 발명의 일 실시예에 따른 콘텐츠 제공 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시에에 따른 특정 이벤트에 대한 콘텐츠 제작 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 도시한 블록도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 콘텐츠 제공 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 인터페이스를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 동기화 방법을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 유사도 비교를 통한 동기화 방법을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 제 2 단말기의 콘텐츠 제공 과정을 도시한 흐름도이다.1 is a block diagram showing a configuration of a content providing system according to an embodiment of the present invention.
2 is a diagram illustrating a content production process for a specific event according to an embodiment of the present invention.
3 is a block diagram illustrating a configuration of a service server according to an embodiment of the present invention.
4A and 4B are flowcharts illustrating a content providing process according to an embodiment of the present invention.
5 is a diagram illustrating a user interface according to an embodiment of the present invention.
6 is a diagram illustrating a synchronization method according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a synchronization method through comparison of similarity according to an embodiment of the present invention.
8 is a flowchart illustrating a content providing process of a second terminal according to an embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "indirectly connected" .
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 콘텐츠 제공 시스템의 구성을 도시한 블록도이다.1 is a block diagram showing a configuration of a content providing system according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 콘텐츠 제공 시스템(100)은 복수의 콘텐츠 제작 단말기(110), 서비스 서버(120), 제 1 단말기(130) 및 제 2 단말기(140)를 포함할 수 있다.A
각 구성 요소를 설명하면, 콘텐츠 제작 단말기(110)는 스마트폰, 휴대폰, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 컴퓨터, 디지털 캠코더, 디지털 카메라 등의 휴대 단말기를 포함할 수 있으며, 특정 이벤트를 촬영한 영상을 서비스 서버(120)로 전송할 수 있다.The
여기서, '특정 이벤트'는 복수의 콘텐츠 제작자들이 특정 시간 및 공간에서 함께 경험하는 사건으로서, 예를 들어, 유명 가수의 ‘콘서트’나 친구들과의 ‘여행’ 등이 상기 '특정 이벤트'에 포함될 수 있다.Here, 'specific event' is an event that a plurality of contents producers experience together at a specific time and space. For example, 'concert' of a famous singer, 'travel' with friends can be included in the 'specific event' have.
따라서, 상기 특정 이벤트에 대하여 각 콘텐츠 제작 단말기(110)가 촬영한 영상(이하, ‘콘텐츠’라 칭함)은 동일한 촬영 시간대 및 촬영 장소에 대한 정보를 포함할 수 있고, 사운드가 녹음되는 경우 동일한 사운드를 포함할 수 있으나, 촬영 시점과 종료 시점 그리고 촬영 앵글은 서로 다를 수 있다.Therefore, the image (hereinafter, referred to as 'content') captured by each
상기 촬영 시점과 종료 시점, 촬영 장소에 대한 정보, 사운드의 포함 여부 및 촬영 앵글 등은 콘텐츠의 메타데이터로 저장될 수 있으며, 콘텐츠 제작자가 입력한 콘텐츠와 관련된 키워드가 메타데이터로 저장될 수 있다.The photographing time point and the ending time point, the information about the photographing place, the sound inclusion and the photographing angle can be stored as metadata of the contents, and the keyword related to the contents inputted by the contents producer can be stored as the metadata.
또한, 콘텐츠의 이름은 각 콘텐츠 제작 단말기(110)에서 미리 설정한 형식으로 표시되거나, 콘텐츠 제작자가 의미를 부여하여 입력한 특정 이름으로 표시될 수 있다.In addition, the name of the content may be displayed in a predetermined format in each
참고로, 특정 이벤트를 촬영한 영상을 서비스 서버(120)로 전송한다는 것은 SNS(Social Network Service) 또는 서비스 서버(120)가 제공하는 홈 페이지(이하, '서비스 홈페이지'라 칭함)를 통해 콘텐츠를 업로드하는 동작을 포함할 수 있으며 업로드된 콘텐츠는 서비스 서버(120)와 연동되는 클라우드(cloud)와 같은 저장 공간에 저장될 수 있다.For reference, the transmission of a video image of a specific event to the
이때, 각 콘텐츠 제작자 간의 관계(친밀함 정도)에 따라서 저장되는 위치가 다를 수 있다.At this time, the position to be stored may be different according to the relation (intimacy degree) between each content creator.
예를 들어, 각 콘텐츠 제작자 간의 친밀함 정도가 강한 경우(이하, '강한 연결(strong connection) 관계'라 칭함)(가족이나 친구, 회사 동료 등), 각 콘텐츠 제작자는 미리 정해진 디렉토리나 폴더에 콘텐츠를 업로드할 수 있다.For example, when the degree of intimacy between each content creator is strong (hereinafter referred to as a "strong connection") (family, friends, company colleagues, etc.), each content creator prepares content in a predetermined directory or folder Can be uploaded.
여기서, 미리 정해진 디렉토리나 폴더는 복수의 콘텐츠 제작자 중 어느 하나의 요청에 의해 상기 저장 공간에 생성된 것이거나, 서비스 서버(120)가 기본으로 제공하는 것일 수 있으며, 해당 디렉토리나 폴더에는 이벤트와 관련된 키워드가 태깅될 수 있다.Here, the predetermined directory or folder may be created in the storage space by a request from one of a plurality of content producers, or may be provided by the
또한, 각 콘텐츠 제작자 간의 친밀함 정도가 약한 경우(이하, '약한 연결(weak connection) 관계'라 칭함), 각 콘텐츠 제작자는 블로그나 특정 게시판에 자신의 콘텐츠를 업로드하는 것에 관심이 있을 뿐, 자신이 업로드한 콘텐츠가 어느 위치에 저장되는지는 크게 중요하지 않을 것이며, 서비스 서버(120)는 저장 프로세스에 따라서 상기 저장 공간의 소정 위치에 각 콘텐츠 제작자가 업로드한 콘텐츠를 저장할 수 있다.Further, when the degree of intimacy between each content creator is weak (hereinafter referred to as a "weak connection"), each content creator is only interested in uploading his or her content to a blog or a specific bulletin board, The location of the uploaded content is not important, and the
한편, 서비스 서버(120)는 특정 이벤트에 대한 다시점(muilti point view) 콘텐츠 제작 요청에 따라 각 콘텐츠 제작 단말기(110)로부터 수신된 콘텐츠를 동기화할 수 있다.On the other hand, the
참고로, 각 콘텐츠 제작 단말기(110)는 SNS 또는 서비스 서버(120)가 제공하는 서비스 홈페이지를 통해 콘텐츠를 업로드할 수 있으며, 업로드된 콘텐츠는 클라우드와 같은 저장 공간에 저장될 수 있다.For reference, each
서비스 서버(120)는 각 콘텐츠 제작 단말기(110)로부터 수신된 콘텐츠를 동기화 시, 이벤트 촬영 시점과 종료 시점, 촬영 장소에 대한 정보 및 사운드 중 하나 이상의 속성에 근거하여 동기화를 수행할 수 있다.The
여기서, 서비스 서버(120)는 각 콘텐츠의 촬영 시점과 종료 시점, 촬영 장소에 대한 정보 등을 포함하는 메타데이터를 이용하여 동기화를 수행할 수 있다.Here, the
만일, 메타데이터가 존재하지 않거나 메타데이터에 포함된 상기 정보를 신뢰할 수 없는 경우, 각 콘텐츠의 사운드에 대한 특징을 추출하여 서로 중복되는 구간을 확인하고 이에 근거하여 동기화를 수행하거나, 슬라이딩 윈도우 방식의 유사도(similarity) 비교를 통하여 동기화를 수행할 수 있다.If the metadata does not exist or the information included in the meta data can not be trusted, the features of the sound of each content may be extracted to identify overlapping sections, and synchronization may be performed based thereon. Alternatively, Synchronization can be performed through similarity comparison.
이때, 서비스 서버(120)는 상기 방법으로 각 콘텐츠를 동기화하되, 이벤트의 실제 시간 흐름(time line)에 매칭되도록 동기화를 수행할 수 있다.At this time, the
참고로, ‘이벤트의 실제 시간 흐름’의 범위는 해당 이벤트에 대해 동기화된 모든 콘텐츠 중 가장 빠른 촬영 시점과, 가장 늦은 종료 시점으로 설정될 수 있다.For reference, the range of 'actual time flow of events' may be set to the earliest shooting point and the latest ending point of all synchronized contents for the event.
또한, 서비스 서버(120)는 각 콘텐츠 제작자 간의 관계(친밀함 정도)를 반영하여 동기화 대상인 콘텐츠를 검색할 수 있다.In addition, the
이때, 친밀함 정도가 강한 연결 관계의 경우, 서비스 서버(120)는 특정 디렉토리나 폴더에 태깅(tagging)된 키워드에 근거하여 해당 디렉토리나 폴더에 포함된 콘텐츠들을 동기화의 대상으로 검색할 수 있다.At this time, in the case of a strong connection, the
또한, 친밀함 정도가 약한 연결 관계의 경우, 서비스 서버(120)는 각 콘텐츠에 태깅된 키워드에 근거하여 동기화의 대상인 콘텐츠를 검색할 수 있다.In addition, in the case of a connection with a weak degree of intimacy, the
각 콘텐츠 제작자 간의 관계(친밀함 정도)에 대해서는 도 2를 참조하여 후술하도록 한다.The relationship (degree of intimacy) between each content creator will be described later with reference to FIG.
이후, 서비스 서버(120)는 이벤트의 실제 시간 흐름에 매칭되도록 동기화된 복수의 콘텐츠를 사용자의 요청에 따라 제 1 단말기(130)로 전송하고, 제 1 단말기(130)에 표시되는 콘텐츠의 재생을 제어하기 위한 사용자 인터페이스(이하, '콘텐츠 제어 인터페이스'라 칭함)를 제 2 단말기(140)로 전송할 수 있다.Thereafter, the
이를 위해, 서비스 서버(120)는 제 1 단말기(130)와 제 2 단말기(140)의 식별자를 사전에 수신하여 저장할 수 있다.For this purpose, the
참고로, 제 1 단말기(130)에 표시되는 콘텐츠는 제 1 단말기(130)의 화면에 무분할 또는 다분할 형태로 표시될 수 있으며, 이를 위해 서비스 서버(120)는 제 1 단말기(130)로 특정 애플리케이션을 전송할 수 있다.For reference, the content displayed on the
한편, 제 1 단말기(130)는 셋탑 박스가 내장되거나 셋탑 박스와 연결된 TV(예를 들어, 스마트 TV 등)를 포함할 수 있으며, 서비스 서버(120)로부터 복수의 콘텐츠를 수신하여 무분할 또는 다분할 형태로 화면에 표시할 수 있다.The
이를 위해, 제 1 단말기(130)는 서비스 서버(120)로부터 특정 애플리케이션을 수신하여 설치할 수 있다.To this end, the
여기서 콘텐츠를 '무분할 형태로 화면에 표시한다'는 것은 복수의 콘텐츠 중 사용자가 선택한 특정 콘텐츠만을 화면에 표시하는 것이며, '다분할 형태로 화면에 표시'한다는 것은 사용자가 선택한 복수의 콘텐츠를 화면에 함께 표시하는 것을 의미할 수 있다.Here, 'displaying the content on the screen in a non-divided form' means displaying only a specific content selected by the user from among a plurality of contents, and displaying the contents on the screen in a multi- And the like.
참고로, 상기 사용자가 선택한 특정 콘텐츠 및 복수의 콘텐츠는 제 2 단말기(140)의 콘텐츠 제어 인터페이스를 통해 선택될 수 있다.The specific content and the plurality of contents selected by the user can be selected through the content control interface of the
한편, 제 2 단말기(140)는 스마트폰, 휴대폰, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 컴퓨터 등의 휴대 단말기를 포함할 수 있으며, 제 1 단말기(130)에 표시되는 콘텐츠의 재생을 제어하기 위한 콘텐츠 제어 인터페이스를 서비스 서버(120)로부터 수신하여 제 2 단말기(140)의 화면에 표시할 수 있다.The
또한, 제 2 단말기(140)는 화면에 표시된 콘텐츠 제어 인터페이스를 통해 콘텐츠의 화면 표시 방식(무분할, 다분할 등), 콘텐츠의 재생, 볼륨 조절 등의 제어 명령을 제 1 단말기(130) 또는 서비스 서버(120)로 전송할 수 있다.The
여기서, 제 2 단말기(140)가 상기 제어 명령을 제 1 단말기(130)로 직접 전송하는 경우, 블루투스와 같은 무선 통신 방식이 사용될 수 있으며, 이를 위해 제 2 단말기(140)와 제 1 단말기(130)는 패어링(pairing)이 선행될 수 있다.In this case, when the
또한, 제 2 단말기(140)가 상기 제어 명령을 서비스 서버(120)로 전송하는 경우, 서비스 서버(120)가 해당 제어 명령을 제 1 단말기(130)로 전송할 수 있다.Also, when the
참고로, 제 2 단말기(140)는 콘텐츠 제작 단말기(110) 중 어느 하나일 수 있으나, 설명의 편의 상 콘텐츠 제작 단말기(110)와 제 2 단말기(140)를 분리하여 설명하도록 한다.The
도 2는 본 발명의 실시에에 따른 특정 이벤트에 대한 콘텐츠 제작 과정을 도시한 도면이다.2 is a diagram illustrating a content production process for a specific event according to an embodiment of the present invention.
도 2의 (a)는 유명 연예인의 콘서트에 참여한 팬들이 콘서트 현장에서 각각 촬영한 콘텐츠로서, 콘서트에 참석한 팬들이 제작하는 콘텐츠는 동일 시간대에 동일한 공간(콘서트 장소), 그리고 동일한 사운드를 포함한다는 공통점을 가지고 있다.FIG. 2 (a) is a view of the contents recorded by the fans participating in concerts of famous entertainers at the concert site, and contents produced by the fans attending the concert include the same space (concert place) and the same sound at the same time They have a common point.
또한, 촬영 시점과 종료 시점은 각 콘텐츠 마다 다를 수 있으며, 촬영되는 위치에 따라서 촬영 앵글 또한 달라질 수 있음을 볼 수 있다.In addition, the shooting time point and the ending time point may be different for each content, and the shooting angle may be changed depending on the position where the shooting is performed.
참고로, 도 2의 (a)의 경우, 각 콘텐츠 제작자 간의 관계(친밀함 정도)는 유사한 관심 및 경험을 공유하지만 직접적인 사회적 관계가 나타나지 않는 '약한 연결 관계'일 수 있다.For reference, in the case of FIG. 2 (a), the relationship (degree of intimacy) between the contents producers may be a 'weak connection relation' in which similar interests and experiences are shared, but no direct social relations appear.
이 경우, 각 콘텐츠 제작자가 업로드한 콘텐츠는 서비스 서버(120)의 저장 프로세스에 따라서 저장 공간의 소정 위치에 각각 저장될 수 있으며, 서비스 서버(120)는 각 콘텐츠에 태깅된 키워드에 근거하여 동기화 대상인 콘텐츠를 검색할 수 있다.In this case, the content uploaded by each content creator may be stored in a predetermined position in the storage space according to the storage process of the
예를 들어 도 2의 (a)에서, 유명 연예인의 콘서트에 참여한 A, B 및 C(서로 사회적 관계 전혀 없음)가 해당 콘서트에서 촬영한 콘텐츠에 ‘유명 연예인의 이름, 콘서트 일시 및 장소’를 키워드로 입력하여 서비스 서버(120)가 제공하는 서비스 홈페이지(블로그, 포털 게시판 등)에 업로드 한 경우, 서비스 서버(120)는 ‘유명 연예인의 이름, 콘서트 일시 및 장소’라는 키워드에 근거하여 A, B 및 C가 업로드한 각 콘텐츠를 동기화의 대상으로 검색할 수 있다.For example, in FIG. 2 (a), a name of a famous entertainer, a date and place of a concert is added to keywords (A, B, and C (none of which have any social relation) participating in a concert of a famous entertainer (Blog, portal bulletin board, etc.) provided by the
한편, 도 2의 (b)는 친구들과의 여행에서 각 친구들이 촬영한 콘텐츠로서, 여행에 참여한 친구들이 제작하는 콘텐츠 역시 동일 시간대에 동일한 공간(여행 장소), 그리고 동일한 사운드를 포함한다는 공통점을 가지고 있다.On the other hand, FIG. 2 (b) shows that the contents produced by the friends participating in the trip are the same space (travel place) and the same sound in the same time zone have.
또한, 촬영 시점과 종료 시점은 각 콘텐츠 마다 다를 수 있으며, 촬영되는 위치에 따라서 촬영 앵글 또한 달라질 수 있음을 볼 수 있다.In addition, the shooting time point and the ending time point may be different for each content, and the shooting angle may be changed depending on the position where the shooting is performed.
참고로, 도 2의 (b)의 경우, 각 콘텐츠 제작자 간의 관계(친밀함 정도)는 유사한 관심 및 경험을 공유하면서 직접적인 사회적 관계가 높은 '강한 연결 관계'일 수 있다.For reference, in the case of FIG. 2 (b), the relationship (degree of intimacy) between the contents producers can be a strong connection relationship in which a direct social relation is high while sharing similar interests and experiences.
이 경우, 여행에 참여한 친구 중 어느 하나가 서비스 서버(120)로 디렉토리나 폴더 생성을 요청하여 상기 저장 공간에 특정 디렉토리나 폴더가 생성되면, 여행에 참여한 친구들은 해당 디렉토리나 폴더에 각자 제작한 여행 콘텐츠를 업로드할 수 있다.In this case, when any one of the friends who has traveled requests a directory or folder creation to the
참고로, 서비스 서버(120)로 디렉토리나 폴더 생성을 요청 시 이벤트와 관련된 키워드가 태깅될 수 있으며, 서비스 서버(120)는 디렉토리나 폴더에 태깅된 키워드에 근거하여 동기화 대상인 콘텐츠를 검색할 수 있다.When a directory or a folder is requested to be generated by the
도 3은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 도시한 블록도이다.3 is a block diagram illustrating a configuration of a service server according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 서비스 서버(120)는 콘텐츠 동기화부(121), 콘텐츠 제공부(122) 및 인터페이스 제공부(123)를 포함할 수 있으며, 콘텐츠 동기화부(121)는 다시, 메타데이터 확인부(121a), 오디오 특징 추출부(121b), 중복 구간 판단부(121c) 및 동기화부(121d)를 포함할 수 있다.The
각 구성 요소를 설명하면, 먼저, 콘텐츠 동기화부(121)는 각 콘텐츠 제작 단말기(110)가 SNS 또는 서비스 홈페이지를 통해 업로드한 콘텐츠를 동기화할 수 있다.First, the
구체적으로, 메타데이터 확인부(121a)는 상기 업로드된 각 콘텐츠의 메타데이터 존재 여부를 확인하여 메타데이터에 포함된 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보를 추출할 수 있다.Specifically, the
여기서, 메타데이터는 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보 등을 포함하는 EXIF(EXchangeable Image file Format) 형태의 정보일 수 있으며, 촬영 장소에 대한 정보는 GPS 정보 및 사용자가 입력한 태깅 정보 중 하나 이상을 포함할 수 있다.Here, the metadata may be information in the form of EXIF (EXchangeable Image File Format) including photographing time, ending time, and photographing place, and the information about the photographing place may include GPS information and tagging information And may include one or more.
오디오 특징 추출부(121b)는 각 콘텐츠의 메타데이터가 존재하지 않거나, 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보 중 하나 이상이 신뢰할 수 없는 것으로 메타데이터 확인부(121a)로부터 확인되면, 각 콘텐츠로부터 오디오 특징을 추출할 수 있다.If the
참고로, 오디오 특징 추출부(121b)는 오디오 특징 추출을 위해서 Fast Fourier Transform(FFT), Mel-Frequency Cepstral Coefficients (MFCCs), Linear Predictive Coding(LPC), Zero- Crossing Rate(ZCR), Beat Histogram, Line Spectrum Frequency 등의 알고리즘을 사용(변형 또는 하나 이상을 복합적으로 사용 가능)할 수 있으며, 이후 Delta 연산을 통해 상기 알고리즘을 사용하여 추출된 특징들을 한 단계 더 추상화 할 수도 있다.For example, the audio
이렇게 추출된 특징 벡터들을 활용할 경우 높은 정확도의 매칭이 가능하며, 오디오 특징 추출부(121b)는 이 특징들의 데이터를 단순화시킴으로써 데이터의 사이즈를 감소시킬 수 있다.When using the extracted feature vectors, high-accuracy matching is possible, and the audio
예를 들어, 오디오 특징 추출부(121b)는 2.5ms 길이의 프레임을 50개 단위의 0.125 sec 길이의 단위로 합 연산을 통해 단순화 시키는 Simplified-Delta 과정을 수행할 수 있으며, 이때, 축약된 특징의 경향을 잘 살리기 위해 차 연산인 Delta 연산을 적용할 수 있다.For example, the audio
중복 구간 판단부(121c)는 오디오 특징 추출부(121b)로부터 추출된 오디오 특징들의 유사도 비교를 통하여 사운드가 서로 중복되는 구간을 판단할 수 있다.The overlapping
즉, 동일한 시간대 및 동일한 장소에서 촬영된 콘텐츠라면, 각 콘텐츠의 촬영 시점 및 종료 시점은 서로 다르더라도 사운드가 서로 일치하는(유사한) 구간은 반드시 존재할 것이므로, 중복 구간 판단부(121c)는 오디오 특징 추출부(121b)로부터 추출된 오디오 특징들의 유사도 비교를 통하여 사운드가 서로 중복되는 구간을 판단할 수 있다.That is, if the content is photographed in the same time zone and at the same place, even if the shooting time point and the ending time point of each content are different from each other, there is necessarily a section in which the sounds coincide with each other, A section in which sounds are overlapped with each other can be determined through comparison of the similarities of the audio features extracted from the
동기화부(121d)는 메타데이터 확인부(121a)로부터 추출된 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보에 근거하여 콘텐츠를 동기화하거나, 중복 구간 판단부(121c)로부터 판단된 사운드가 서로 중복되는 구간을 기준으로 콘텐츠를 동기화할 수 있다.The
이때, 동기화부(121d)는 이벤트의 실제 시간 흐름(time line)에 매칭되도록 콘텐츠를 동기화할 수 있다.At this time, the
참고로, 콘텐츠 동기화부(121)는 각 콘텐츠 제작자간의 친밀함 정도를 반영하여 동기화의 대상인 콘텐츠를 검색할 수 있다.For reference, the
사용자간의 친밀함 정도는 강한 연결 관계 및 약한 연결 관계 중 어느 하나로 분류될 수 있으며, 콘텐츠 동기화부(121)는 약한 연결 관계의 경우 콘텐츠에 태깅된 키워드에 근거하여 동기화의 대상인 콘텐츠를 검색하고, 강한 연결 관계의 경우 상기 저장 공간의 디렉토리나 폴더에 태깅된 키워드에 근거하여 동기화의 대상인 콘텐츠를 검색할 수 있다.The degree of intimacy between users can be classified into either a strong connection relationship or a weak connection relationship. In the case of a weak connection relationship, the
한편, 콘텐츠 제공부(122)는 동기화부(121d)로부터 이벤트의 실제 시간 흐름에 매칭되도록 동기화된 각 콘텐츠를 제 1 단말기(130)로 전송할 수 있다.Meanwhile, the
참고로, 콘텐츠 제공부(122)는 동기화된 모든 콘텐츠를 제 1 단말기(130)로 전송할 수도 있고, 동기화된 콘텐츠 중 제 2 단말기(140)로부터 선택된 콘텐츠를 제 1 단말기(130)로 전송할 수도 있다.For reference, the
한편, 인터페이스 제공부(123)는 제 1 단말기(130)에 표시되는 콘텐츠들의 재생을 제어하기 위한 콘텐츠 제어 인터페이스를 제 2 단말기(140)로 전송할 수 있다.The
여기서, 콘텐츠 제어 인터페이스는 콘텐츠의 화면 표시 방식(무분할, 다분할 등) 설정, 하나 이상의 콘텐츠를 재생하기 콘텐츠의 선택, 볼륨 조절 기능 등을 포함할 수 있다.Here, the content control interface may include a screen display method (non-division, multi-division, etc.) of contents, selection of contents for reproducing one or more contents, volume control function and the like.
콘텐츠 제어 인터페이스에 대한 상세한 설명은 도 5를 참조하여 후술하도록 한다.A detailed description of the content control interface will be given later with reference to Fig.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 콘텐츠 제공 과정을 도시한 흐름도이다.4A and 4B are flowcharts illustrating a content providing process according to an embodiment of the present invention.
이하, 서비스 서버(120)를 주체로 도 4a 및 도 4b의 흐름도를 설명하도록 한다.Hereinafter, the flow charts of FIGS. 4A and 4B will be described with the
서비스 서버(120)는 복수의 콘텐츠 제작 단말기(110)로부터 콘텐츠를 수신한다(S401).The
여기서, 콘텐츠의 수신은 SNS 또는 서비스 서버(120)가 제공하는 서비스 홈페이지를 통한 업로드를 포함할 수 있으며, 수신된 콘텐츠는 클라우드(cloud)와 같은 저장 공간에 저장될 수 있다.Here, the reception of the content may include uploading via the SNS or the service homepage provided by the
서비스 서버(120)는 S401에서 수신된 콘텐츠 중 각 콘텐츠 제작자간의 친밀함 정도를 반영하여 동기화의 대상인 콘텐츠를 검색할 수 있으며, 이에 대한 설명은 전술한바 있으므로 상세한 설명은 생략하도록 한다.The
S401 후, 서비스 서버(120)는 수신된 각 콘텐츠의 메타데이터의 존재 여부를 확인한다(S402).After S401, the
이때, 메타데이터의 존재 여부와 함께 메타데이터에 포함된 해당 콘텐츠의 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보의 신뢰성 여부도 확인할 수 있다.At this time, it is possible to confirm whether or not the metadata exists and also whether the shooting time and the end time of the content included in the meta data and the reliability of the information about the shooting location are reliable.
확인 결과, 메타데이터가 존재하고, 메타데이터에 해당 콘텐츠의 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보가 포함된 경우, 서비스 서버(120)는 메타데이터에 근거하여 각 콘텐츠를 동기화한다(S403).If it is determined that the metadata exists, and the meta data includes the shooting start time, the ending time, and the shooting location of the corresponding content, the
S402의 확인 결과, 메타데이터가 존재하지 않거나, 메타데이터에 포함된 해당 콘텐츠의 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보를 신뢰할 수 없는 경우, 서비스 서버(120)는 각 콘텐츠의 오디오 특징을 추출한다(S404).As a result of the determination in S402, if the meta data does not exist, or the information about the shooting time point and the ending time point of the content included in the meta data can not be trusted, the
이때 오디오 특징을 추출하기 위한 알고리즘은 앞서 기재한바 있으므로 생략하도록 한다.At this time, the algorithm for extracting the audio characteristic is omitted in the above description.
S404 후, 서비스 서버(120)는 추출된 오디오 특징들의 유사도 비교를 통하여 사운드가 서로 중복되는 구간을 판단한다(S405).After step S404, the
S405 후, 서비스 서버(120)는 S405에서 판단된 사운드가 서로 중복되는 구간을 기반으로 각 콘텐츠를 동기화한다(S406).After step S405, the
S403 또는 S406 후, 서비스 서버(120)는 동기화된 각 콘텐츠를 이벤트의 실제 시간 흐름에 매칭시켜 동기화를 완료한다(S407).After S403 or S406, the
S407 후, 서비스 서버(120)는 제 1 단말기(130) 또는 제 2 단말기(140)로부터 콘텐츠 요청이 수신되면, 이벤트의 실제 시간 흐름에 매칭된 콘텐츠를 제 1 단말기(130)로 전송한다(S408).After receiving the content request from the
도 5는 본 발명의 일 실시예에 따른 사용자 인터페이스를 도시한 도면이다.5 is a diagram illustrating a user interface according to an embodiment of the present invention.
main screen인 제 1 단말기(smart TV)(130)는 서비스 서버(120)로부터 수신된 복수의 콘텐츠를 화면에 표시할 수 있으며, second screen인 제 2 단말기(태블릿 컴퓨터)(140)는 콘텐츠 제어 인터페이스를 화면에 표시할 수 있다.The first terminal (smart TV) 130, which is the main screen, can display a plurality of contents received from the
콘텐츠 제어 인터페이스는 도 5에 도시된 바와 같이, 각 콘텐츠 제작자의 정보(사진과 신상 정보 등)(510) 및 이벤트의 실제 시간 흐름에 매칭된 각 콘텐츠 제작자의 콘텐츠(520)를 포함할 수 있으며, 재생 버튼(530)과 재생 위치를 나타내고 재생 위치를 조절하는 상태 바(bar)(540), 그리고 볼륨 조절 바(bar)(550)를 포함할 수 있다.The content control interface may include content of each content creator (such as photo and personal information) 510 and content of each
여기서, 상태 바(540)는 이벤트의 실제 시간 흐름에 대응될 수 있으며, 각 콘텐츠 제작자의 콘텐츠(520)는 이벤트의 실제 시간 흐름에 대한 재생 시간의 비율에 따라서 그 길이가 다르게 표시될 수 있으며, 각 콘텐츠 제작자 별로 다른 색상으로 표시될 수 있다.Here, the
따라서, 제 2 단말기(140)의 사용자는 콘텐츠 제어 인터페이스를 통해서 각 콘텐츠 제작자의 콘텐츠와 해당 콘텐츠의 재생 시간을 직관적으로 파악할 수 있다.Accordingly, the user of the
또한, 이벤트에 대한 모든 콘텐츠에 대하여 서로 중복되는 구간을 직관적으로 파악할 수 있으므로, 특정 시간 구간의 다양한 촬영 앵글을 감상하기 원하는 경우, 모든 콘텐츠를 일일이 재생해가면서 확인할 필요 없이 쉽고 편리하게 해당 콘텐츠들을 선택할 수 있다In addition, since it is possible to intuitively grasp the overlapping sections of all the contents with respect to the event, if it is desired to view various shooting angles in a specific time interval, the contents can be easily and conveniently selected Can
사용자는 제 2 단말기(140)의 콘텐츠 제어 인터페이스에서 특정 콘텐츠 제작자의 콘텐츠 중 어느 하나를 선택하여 제 1 단말기(130)를 통해 감상할 수 있고, 특정 시간 구간의 다양한 촬영 앵글을 감상하기 원하는 경우 해당 콘텐츠들을 선택하여 제 1 단말기(130)를 통해 동시에 감상할 수도 있다.The user can select any one of the contents of a specific content producer from the content control interface of the
이때, 제 1 단말기(130)의 화면 분할 방식은 선택된 복수의 콘텐츠가 균일한 화면의 영역에 표시되도록 하거나, 비대칭적으로 특정 콘텐츠가 더 큰 화면의 영역에 표시되고 나머지 콘텐츠는 그 보다는 작은 화면의 영역에 표시되도록 할 수 있다.At this time, the screen division method of the
또한, 콘텐츠의 배치는 기본적으로 제 1 단말기(130)에서 지원하는 PIP같이 겹쳐질 수 있는 형태와 겹치지 않고 화면의 영역이 배치되는 형태가 모두 가능하다.In addition, the arrangement of the contents can basically be such that the area of the screen is arranged without overlapping with the form in which the
도 5에서는 비대칭적으로 특정 콘텐츠가 더 큰 화면의 영역에 표시되고 나머지 콘텐츠는 그 보다는 작은 화면의 영역에 표시되는 방식이 도시되어 있다.In FIG. 5, a specific content is displayed asymmetrically in an area of a larger screen, and the remaining contents are displayed in an area of a smaller screen.
참고로, 도 5에서는 설명의 편의상, 특정 이벤트에 대하여 3명의 콘텐츠 제작자가 참여한 경우를 설명하였지만, 콘텐츠 제작자의 수와 각 콘텐츠 제작자의 콘텐츠 수가 증가할수록 본 발명의 콘텐츠 제어 인터페이스의 활용은 콘텐츠의 재생을 제어하는 사용자에게 더욱 직관적이고 편리함을 제공할 수 있다.5, the case where three content producers participate in a specific event has been described for convenience of explanation. However, as the number of content creators and the number of contents of each content creator increase, It is possible to provide more intuitive and convenient convenience to the user who controls the server.
도 6은 본 발명의 일 실시예에 따른 동기화 방법을 도시한 도면이다.6 is a diagram illustrating a synchronization method according to an embodiment of the present invention.
도 6은 각 콘텐츠 제작자의 콘텐츠로부터 추출된 오디오 특징을 기반으로 동기화 하는 방법으로서, 전술하였듯이 각 콘텐츠 제작자의 콘텐츠에 메타데이터가 존재하지 않거나, 메타데이터가 존재하더라도 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보를 신뢰할 수 없는 경우 수행될 수 있다.FIG. 6 shows a method of synchronizing based on audio features extracted from the content of each content producer. As described above, even if there is no metadata in the content of each content creator or metadata exists, May be performed if the information about the user is not reliable.
도 6의 (b)에 도시된 바와 같이, 각 콘텐츠의 오디오 특징을 추출하여 사운드가 중복되는 구간을 추출할 수 있으며, 각 콘텐츠에서 사운드가 서로 중복되는 구간을 각 색상으로 표시하였다.As shown in (b) of FIG. 6, audio features of each content can be extracted to extract a section in which sounds overlap each other, and sections in which sounds overlap each other are displayed in respective colors.
사운드가 중복되는 구간을 추출하는 방법에 대한 상세한 설명은 도 7을 참조하여 후술하도록 한다.A detailed description of a method of extracting a section in which sound is overlapped will be described later with reference to FIG.
이후, 도 6의 (c)에 도시된 바와 같이, 사운드가 중복되는 구간에 근거하여 각 콘텐츠를 동기화 할 수 있으며, 이벤트의 시간 흐름에 매칭하여 동기화를 완료할 수 있다.Thereafter, as shown in (c) of FIG. 6, each content can be synchronized based on a period in which sound is overlapped, and the synchronization can be completed by matching the time flow of the event.
이와 같이 동기화된 콘텐츠들은 이벤트의 시간 흐름과 유사하게 재현될 수 있다.Such synchronized contents can be reproduced similar to the time-course of the event.
도 7은 본 발명의 일 실시예에 따른 유사도 비교를 통한 동기화 방법을 도시한 도면이다.FIG. 7 is a diagram illustrating a synchronization method through comparison of similarity according to an embodiment of the present invention.
도 7의 동기화 방법은 도 6의 (b)에 도시된 사운드가 중복되는 구간을 추출하는 방법의 구체적인 실시예로서 유사도(similarity) 비교를 통한 단일 영상간의 매칭 과정이다.The synchronization method of FIG. 7 is a specific example of a method of extracting a section in which sound is overlapped as shown in FIG. 6 (b), and is a matching process between single images through similarity comparison.
먼저, 서비스 서버(120)는 쿼리 동영상과 비교 동영상 모두 일정한 Hop Size의 프레임으로 분리하고, 이로부터 추출되는 특징 벡터를 윈도우 슬라이딩 형태로 비교할 수 있다.First, the
쿼리 동영상의 첫 번째 프레임부터 마지막 프레임까지 모든 비교 영상의 프레임들과 순차적으로 비교하여 최소의 거리(distance) 값을 가지는, 즉, 유사도가 높은 프레임과 동기화 시킬 수 있다.It is possible to sequentially synchronize the frames of all comparison images from the first frame to the last frame of the query moving image and to synchronize them with frames having a minimum distance value, that is, a frame having high similarity.
참고로, 상기 거리의 측정은 Euclidean Distance와 같이 다차원 데이터간의 거리차를 산출하는 알고리즘들이 적용될 수 있다.For reference, algorithms for calculating the distance difference between multi-dimensional data such as Euclidean distance can be applied to the measurement of the distance.
도 8은 본 발명의 일 실시예에 따른 제 2 단말기의 콘텐츠 제공 과정을 도시한 흐름도이다.8 is a flowchart illustrating a content providing process of a second terminal according to an embodiment of the present invention.
먼저, 제 2 단말기(140)는 서비스 서버(120)로부터 콘텐츠 제어 인터페이스를 수신하여 표시한다(S801).First, the
S801 후, 콘텐츠 제어 인터페이스를 통해 하나 이상의 콘텐츠가 선택되면, 제 2 단말기(140)는 선택된 콘텐츠의 식별자와 재생 시간 정보를 포함하여 제 1 단말기(130) 또는 서비스 서버(120)로 다시점 콘텐츠 생성을 요청한다(S802).If at least one content is selected through the content control interface after step S801, the
즉, 특정 이벤트의 특정 시간 구간에 존재하는 다양한 촬영 앵글(각 콘텐츠 제작자의 시점으로 촬영된 콘텐츠)을 사용자가 선택하여 시청할 수 있다.That is, the user can select and view various shooting angles (contents photographed at the viewpoint of each content creator) present in a specific time period of a specific event.
참고로 S802 후, 제 2 단말기(140)는 콘텐츠 제어 인터페이스를 통해 제 1 단말기(130)에 표시되는 콘텐츠의 화면 표시 방식(무분할, 다분할 등), 콘텐츠의 재생, 볼륨 조절 등의 제어 명령을 제 1 단말기(130) 또는 서비스 서버(120)로 전송할 수 있다.After the step S802, the
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.
100 : 콘텐츠 제공 시스템
110 : 콘텐츠 제작 단말기
120 : 서비스 서버
121 : 콘텐츠 동기화부
121a : 메타데이터 확인부
121b : 오디오 특징 추출부
121c : 중복 구간 판단부
121d : 동기화부
122 : 콘텐츠 제공부
123 : 인터페이스 제공부
130 : 제 1 단말기
140 : 제 2 단말기100: Content providing system
110: content production terminal
120: service server
121: Content synchronization unit
121a:
121b: Audio feature extraction unit
121c:
121d:
122: content provider
123: interface offerings
130:
140: second terminal
Claims (10)
(b) 사용자의 요청에 따라 상기 동기화된 콘텐츠를 제 1 단말기로 전송하고, 상기 제 1 단말기로 전송된 콘텐츠를 제어하기 위한 인터페이스를 제 2 단말기로 전송하는 단계;
를 포함하되, 상기 (a) 단계는 상기 각 콘텐츠의 메타데이터에 근거하여 상기 동기화를 수행하거나, 상기 각 콘텐츠로부터 오디오에 대한 특징을 추출하여 서로 중복되는 구간을 기준으로 상기 동기화를 수행하는 콘텐츠 제공 방법.
(a) synchronizing contents created by a plurality of users with each other for a specific event; And
(b) transmitting the synchronized contents to a first terminal according to a user's request, and transmitting an interface for controlling contents transmitted to the first terminal to a second terminal;
Wherein the step (a) comprises the steps of: performing the synchronization on the basis of the metadata of each content, extracting characteristics of audio from each content, and performing the synchronization based on overlapping sections Way.
상기 (a) 단계는,
상기 특정 이벤트의 실제 시간 흐름(time line)에 매칭되도록 상기 동기화를 수행하는 콘텐츠 제공 방법.
The method according to claim 1,
The step (a)
Wherein the synchronization is performed to match an actual time line of the specific event.
상기 인터페이스는,
상기 복수의 사용자 별로 해당 사용자가 제작한 콘텐츠를 상기 특정 이벤트의 실제 시간 흐름(time line)에 대한 재생 시간의 비율에 따른 길이를 가지도록 표시하되, 상기 동기화가 이루어진 시간 구간이 시각적으로 표시되는 콘텐츠 제공 방법.
The method according to claim 1,
The interface comprises:
Wherein the contents created by the user for each of the plurality of users are displayed so as to have a length corresponding to a ratio of a reproduction time to an actual time line of the specific event, Delivery method.
상기 (a) 단계는,
상기 메타데이터가 존재하지 않거나, 상기 메타데이터에 포함된 상기 특정 이벤트에 대한 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보 중 하나 이상을 신뢰할 수 없는 경우 상기 오디오에 대한 특징을 추출하여 서로 중복되는 구간을 기준으로 상기 동기화를 수행하는 콘텐츠 제공 방법.
The method according to claim 1,
The step (a)
If the metadata does not exist or at least one of the shooting time point, the ending time point, and the shooting location information of the specific event included in the metadata can not be relied upon, extracts characteristics of the audio, And the synchronization is performed based on the synchronization information.
상기 (a) 단계는,
상기 복수의 사용자간의 친밀함 정도를 반영하여 상기 동기화의 대상인 콘텐츠를 검색하는 단계;
를 포함하되,
상기 사용자간의 친밀함 정도는 강한 연결 관계 및 약한 연결 관계 중 어느 하나로 분류되며, 상기 강한 연결 관계는 디렉토리에 포함된 콘텐츠를 상기 동기화의 대상으로 검색하고,
상기 약한 연결 관계는 콘텐츠 제작 시 입력된 키워드를 이용하여 상기 동기화의 대상으로 검색하는 콘텐츠 제공 방법.
The method according to claim 1,
The step (a)
Retrieving contents to be synchronized by reflecting the degree of intimacy among the plurality of users;
, ≪ / RTI &
Wherein the degree of intimacy between the users is classified into one of a strong connection relationship and a weak connection relationship, wherein the strong connection relationship searches content included in the directory as an object of synchronization,
Wherein the weak connection relation is searched for by using the keyword inputted at the time of content creation.
상기 (a) 단계는,
Fast Fourier Transform(FFT), Mel-Frequency Cepstral Coefficients(MFCCs), Linear Predictive Coding(LPC), Zero-Crossing Rate(ZCR), Beat Histogram 및 Line Spectrum Frequency 중 하나 이상을 포함하는 알고리즘을 이용하여 상기 오디오에 대한 특징을 추출하며, 상기 추출된 오디오에 대한 특징의 유사도 비교를 통해 상기 동기화를 수행하는 콘텐츠 제공 방법.
The method according to claim 1,
The step (a)
An algorithm including at least one of Fast Fourier Transform (FFT), Mel-Frequency Cepstral Coefficients (MFCCs), Linear Predictive Coding (LPC), Zero Crossing Rate (ZCR), Beat Histogram and Line Spectrum Frequency Extracts features of the extracted audio, and performs the synchronization by comparing similarities of features of the extracted audio.
사용자의 요청에 따라 상기 동기화된 콘텐츠를 제 1 단말기로 전송하는 콘텐츠 제공부; 및
상기 제 1 단말기로 전송된 콘텐츠를 제어하기 위한 인터페이스를 제 2 단말기로 전송하는 인터페이스 제공부;
를 포함하되, 상기 동기화부는 상기 각 콘텐츠의 메타데이터에 근거하여 상기 동기화를 수행하거나, 상기 각 콘텐츠로부터 오디오에 대한 특징을 추출하여 서로 중복되는 구간을 기준으로 상기 동기화를 수행하는 서버.
A synchronization unit for synchronizing contents produced by a plurality of users with respect to a specific event;
A content providing unit for transmitting the synchronized content to a first terminal according to a user's request; And
An interface for transmitting an interface for controlling contents transmitted to the first terminal to a second terminal;
Wherein the synchronization unit performs the synchronization based on the metadata of each content or extracts features of audio from the respective contents and performs the synchronization based on overlapping sections.
상기 인터페이스는,
상기 복수의 사용자 별로 해당 사용자가 제작한 콘텐츠를 상기 특정 이벤트의 실제 시간 흐름(time line)에 대한 재생 시간의 비율에 따른 길이를 가지도록 표시하되, 상기 동기화가 이루어진 시간 구간이 시각적으로 표시되는 서버.
8. The method of claim 7,
The interface comprises:
And displaying a content created by the user for each of the plurality of users with a length corresponding to a ratio of a reproduction time to an actual time line of the specific event, .
상기 동기화부는,
상기 메타데이터가 존재하지 않거나, 상기 메타데이터에 포함된 상기 특정 이벤트에 대한 촬영 시점과 종료 시점 및 촬영 장소에 대한 정보 중 하나 이상을 신뢰할 수 없는 경우 상기 오디오에 대한 특징을 추출하여 서로 중복되는 구간을 기준으로 상기 동기화를 수행하는 서버.
8. The method of claim 7,
Wherein the synchronization unit comprises:
If the metadata does not exist or at least one of the shooting time point, the ending time point, and the shooting location information of the specific event included in the metadata can not be relied upon, extracts characteristics of the audio, And the synchronization is performed based on the synchronization information.
(a) 서버로부터 상기 콘텐츠를 제어하기 위한 인터페이스를 수신하여 표시하는 단계; 및
(b) 상기 인터페이스를 통해 하나 이상의 콘텐츠가 선택되면, 상기 선택된 콘텐츠의 식별자와 상기 특정 이벤트의 실제 시간 흐름(time line)에 대한 재생 시간에 대한 정보를 포함하여 상기 특정 이벤트에 대한 다시점(multi point view) 콘텐츠 생성을 요청하는 단계;
를 포함하되,
상기 인터페이스는 상기 복수의 사용자 별로 해당 사용자가 제작한 콘텐츠를 상기 특정 이벤트의 실제 시간 흐름에 대한 재생 시간의 비율에 따른 길이를 가지도록 표시하되, 상기 특정 이벤트에서 발생하는 사운드에 대한 동기화가 이루어진 시간 구간이 시각적으로 표시되는 콘텐츠 제공 방법.A method for providing a content created by a plurality of users for one or more content-specific events displayed on a first terminal by a second terminal,
(a) receiving and displaying an interface for controlling the content from a server; And
(b) when one or more contents are selected through the interface, information on the identifier of the selected contents and the reproduction time of the specific time line of the specific event, point view content creation;
, ≪ / RTI &
Wherein the interface displays a content produced by the user for each of the plurality of users so as to have a length corresponding to a ratio of a reproduction time to an actual time flow of the specific event, A method of providing contents in which a section is visually displayed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130125117A KR20150046407A (en) | 2013-10-21 | 2013-10-21 | Method and server for providing contents |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130125117A KR20150046407A (en) | 2013-10-21 | 2013-10-21 | Method and server for providing contents |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20150046407A true KR20150046407A (en) | 2015-04-30 |
Family
ID=53037751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20130125117A KR20150046407A (en) | 2013-10-21 | 2013-10-21 | Method and server for providing contents |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20150046407A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102068484B1 (en) * | 2018-08-01 | 2020-01-21 | 서울대학교병원 | Method for making prediction model for sleep apnea syndrome and method for predicting sleep apnea syndrome by using the same model |
WO2020231332A1 (en) * | 2019-05-10 | 2020-11-19 | Chan Jason Keng Kwin | System and method for synchronizing audio content on a mobile device to a separate visual display system |
-
2013
- 2013-10-21 KR KR20130125117A patent/KR20150046407A/en not_active Application Discontinuation
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102068484B1 (en) * | 2018-08-01 | 2020-01-21 | 서울대학교병원 | Method for making prediction model for sleep apnea syndrome and method for predicting sleep apnea syndrome by using the same model |
WO2020027392A1 (en) * | 2018-08-01 | 2020-02-06 | 서울대학교병원 | Method for generating sleep apnea prediction model and method for predicting sleep apnea by using same model |
WO2020231332A1 (en) * | 2019-05-10 | 2020-11-19 | Chan Jason Keng Kwin | System and method for synchronizing audio content on a mobile device to a separate visual display system |
KR20210153138A (en) * | 2019-05-10 | 2021-12-16 | 시네웨이브 피티이. 엘티디. | Systems and methods for synchronizing audio content on a mobile device to a separate visual display system |
GB2598682A (en) * | 2019-05-10 | 2022-03-09 | Cinewav Pte Ltd | System and method for synchronizing audio content on a mobile device to a separate visual display system |
US11445238B2 (en) | 2019-05-10 | 2022-09-13 | Cinewav Pte. Ltd. | System and method for synchronizing audio content on a mobile device to a separate visual display system |
GB2598682B (en) * | 2019-05-10 | 2023-05-03 | Cinewav Pte Ltd | System and method for synchronizing audio content on a mobile device to a separate visual display system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10102284B2 (en) | System and method for generating media bookmarks | |
US10559324B2 (en) | Media identifier generation for camera-captured media | |
EP3138296B1 (en) | Displaying data associated with a program based on automatic recognition | |
US9258459B2 (en) | System and method for compiling and playing a multi-channel video | |
US20180255332A1 (en) | Multi-angle video synchronization and multi-angle video interface | |
KR102077237B1 (en) | Method and system for providing searching informatiom of a captured image on a display device to a mobile device | |
EP2718856A1 (en) | A method and system for automatic tagging in television using crowd sourcing technique | |
US20140082079A1 (en) | System and method for the collaborative recording, uploading and sharing of multimedia content over a computer network | |
US11799931B2 (en) | Providing related content using a proxy media content item | |
KR20140126556A (en) | Apparatus, Server, Terminal, Method, and Recording Medium for playing Multimedia based on Emotion | |
US11941048B2 (en) | Tagging an image with audio-related metadata | |
US20120226780A1 (en) | Enabling digital media content to be downloaded to and used on multiple types of computing device | |
KR20150046407A (en) | Method and server for providing contents | |
US11539997B1 (en) | Systems and methods for on-the-fly repackaging | |
US20200004833A1 (en) | Method and system for managing a time-based database for contextual searching and commenting on multimedia | |
GB2517733A (en) | Video remixing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E601 | Decision to refuse application |