KR20190083907A - Apparatus and method for multimedia contents handling - Google Patents

Apparatus and method for multimedia contents handling Download PDF

Info

Publication number
KR20190083907A
KR20190083907A KR1020180001908A KR20180001908A KR20190083907A KR 20190083907 A KR20190083907 A KR 20190083907A KR 1020180001908 A KR1020180001908 A KR 1020180001908A KR 20180001908 A KR20180001908 A KR 20180001908A KR 20190083907 A KR20190083907 A KR 20190083907A
Authority
KR
South Korea
Prior art keywords
sub
contents
content
decoding module
information included
Prior art date
Application number
KR1020180001908A
Other languages
Korean (ko)
Other versions
KR102012580B1 (en
Inventor
홍세진
김혁규
문지현
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020180001908A priority Critical patent/KR102012580B1/en
Publication of KR20190083907A publication Critical patent/KR20190083907A/en
Application granted granted Critical
Publication of KR102012580B1 publication Critical patent/KR102012580B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention relates to an apparatus for processing multimedia content, which simultaneously displays images photographed at various angles or photographing various subjects while receiving multimedia content through one channel, and a control method thereof. To achieve this, according to the present invention, the method for controlling a multimedia content processing apparatus comprises the steps of: receiving integrated multimedia content including at least one sub content from a content providing server; using information included in a header of the received integrated multimedia content to determine the number of sub contents included in the integrated multimedia content; extracting each sub content from the integrated multimedia content by the determined number of the sub contents; and using time information included in each extracted sub content to synchronize the sub contents, and simultaneously playing each synchronized sub content.

Description

멀티미디어 콘텐츠 처리를 위한 장치 및 그 제어방법{APPARATUS AND METHOD FOR MULTIMEDIA CONTENTS HANDLING}[0001] APPARATUS AND METHOD FOR MULTIMEDIA CONTENTS HANDLING [0002]

본 발명은 멀티미디어 콘텐츠 처리를 위한 장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 사용자 선택에 따라 특정 채널을 통해 멀티미디어 콘텐츠를 수신하여 표시하는 장치 및 그 제어방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an apparatus and method for processing multimedia contents, and more particularly, to an apparatus and method for receiving and displaying multimedia contents through a specific channel according to user selection.

최근 아날로그 방송에 국한되지 않고 다양한 방식의 방송 콘텐츠 서비스가 이루어지고 있다.Recently, various types of broadcasting contents services are being implemented not only in analog broadcasting.

그런데 종래에는 방송국에서 하나의 카메라에 의해 촬영된 영상만을 송출함에 따라 시청자는 다양한 각도 또는 다양한 위치에서 촬영된 영상을 동시에 시청할 수 없는 문제점이 있었다.However, conventionally, there is a problem that viewers can not simultaneously view images photographed at various angles or various positions by broadcasting only images captured by one camera in a broadcasting station.

특히 다중의 플레이어가 참여하는 스포츠의 경우 다양한 위치에 있는 플레이어의 모습을 확인 및 시청하고자 하는 시청자들의 요구가 있음에도 불구하고 종래에는 이러한 서비스가 제공되지 못하고 있는 실정이다.Particularly, in the case of a sport in which a plurality of players participate, there is a need for viewers who want to view and view the players at various locations.

예를 들어 야구 경기의 경우, 시청자들 중에는 투수가 투구하는 모습과 1루나 3루 주자의 모습을 동시에 확인하고픈 사람들이 있는데, 종래에는 특정 카메라의 각도가 투수와 주자를 동시에 촬영하는 위치에 있는 경우 또는 투수와 주자를 동시에 촬영하는 화각인 경우에 한하여 투수와 주자를 동시에 보여줄 수 있는데, 이 경우에는 카메라 각도 또는 화각이 상술한 조건을 만족하는 상황이어서 투수의 얼굴이나 주자의 얼굴을 크게 클로즈업하여 보여줄 수 없는 문제가 있어서, 여전히 시청자들의 니즈를 충족시키기에는 부족하다.For example, in the case of a baseball game, there are some viewers who would like to see a pitcher pitching and a first or third base runner at the same time. In the past, when the angle of a particular camera is in a position to shoot a pitcher and a runner at the same time In this case, the camera angle or angle of view satisfies the conditions described above, so that the pitcher's face or the runner's face can be shown close-up There is no problem, and it is still not enough to meet the needs of viewers.

이러한 문제점을 해결하기 위해 방송국에서 복수의 카메라로 촬영한 영상을 별도의 방송 채널을 통해 전송하고, 단말기는 그 각각의 방송 채널을 통해 수신되는 각각의 방송 콘텐츠를 동시에 화면상에 표시할 수도 있지만, 하나의 방송을 위해 복수의 방송 채널을 점유하는 것이 현실적으로 어려운 일이다.In order to solve such a problem, an image captured by a plurality of cameras in a broadcasting station is transmitted through a separate broadcasting channel, and the terminal can simultaneously display the respective broadcasting contents received through the respective broadcasting channels, It is practically difficult to occupy a plurality of broadcast channels for one broadcast.

뿐만 아니라, 각 개별 방송 채널을 통해 수신되는 방송 콘텐츠 간에는 시간 동기화가 이루어져야 시청자들의 불편 또는 혼동을 최소화할 수 있는데, 방송을 전송하는 서버단에서 전송되는 방송들의 시간을 동기화시킨다 하여도 통신 경로상에서 발생하는 다양한 원인으로 인해 실제 단말기에 수신되는 시점에는 각 방송 콘텐츠의 동기화 상태가 어긋나게 되는 문제점이 발생할 수 있다.In addition, time synchronization between broadcast contents received through each individual broadcast channel can minimize the inconvenience or confusion of viewers. Even if synchronizing the time of broadcasts transmitted at a server terminal that transmits broadcasts occurs on a communication path The synchronization state of each broadcast content may be shifted at a point of time when it is actually received by the terminal.

등록특허 제10-0974638호Patent No. 10-0974638

본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 하나의 채널을 통해 멀티미디어 콘텐츠를 수신하면서도, 다양한 각도로 촬영된 영상 또는 다양한 피사체를 촬영한 영상을 동시에 표시하여 시청자가 볼 수 있도록 하기 위한 멀티미디어 콘텐츠 처리를 위한 장치 및 그 제어방법을 제공하는 것이다. SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide an image display apparatus and a display method thereof, which are capable of simultaneously receiving multimedia contents through a single channel, And to provide a control method therefor.

상기한 목적을 달성하기 위해 본 발명에 따른 멀티미디어 콘텐츠 처리 장치는, 콘텐츠 제공 서버로부터 적어도 하나의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 하나의 콘텐츠 수신 채널을 통해 수신하는 수신부와; 상기 수신부에 수신된 통합 멀티미디어 콘텐츠의 헤더에 포함된 정보를 이용하여 상기 통합 멀티미디어 콘텐츠에 포함된 서브 콘텐츠 개수를 판단하는 판단부와; 상기 판단부에서 판단한 서브 콘텐츠 개수만큼 상기 통합 멀티미디어 콘텐츠에서 각각의 서브 콘텐츠를 추출하는 추출부와; 상기 추출부에서 추출한 각각의 서브 콘텐츠에 포함된 시간 정보를 이용하여 각 서브 콘텐츠를 동기화시킨 후, 그 동기화된 각 서브 콘텐츠가 함께 재생되도록 제어하는 제어부를 포함하여 구성된다.According to an aspect of the present invention, there is provided an apparatus for processing multimedia contents, comprising: a receiver for receiving unified multimedia contents including at least one sub-content from a contents providing server through a single content receiving channel; A determination unit for determining the number of sub-contents included in the integrated multimedia contents using the information included in the header of the integrated multimedia contents received by the receiver; An extracting unit for extracting each sub-content from the integrated multimedia contents by the number of sub-contents judged by the judging unit; And a controller for synchronizing the sub contents using the time information included in each of the sub contents extracted by the extraction unit and controlling the synchronized sub contents to be reproduced together.

또, 상기한 목적을 달성하기 위해 본 발명에 따른 멀티미디어 콘텐츠 처리 장치의 제어방법은, 콘텐츠 제공 서버로부터 적어도 하나의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 수신하는 단계와; 상기 수신된 통합 멀티미디어 콘텐츠의 헤더에 포함된 정보를 이용하여 상기 통합 멀티미디어 콘텐츠에 포함된 서브 콘텐츠 개수를 판단하는 단계와; 상기 판단된 서브 콘텐츠 개수만큼 상기 통합 멀티미디어 콘텐츠에서 각각의 서브 콘텐츠를 추출하는 단계와; 상기 추출한 각각의 서브 콘텐츠에 포함된 시간 정보를 이용하여 각 서브 콘텐츠를 동기화시킨 후, 그 동기화된 각 서브 콘텐츠가 함께 재생되도록 제어하는 단계를 포함하여 이루어진다.According to another aspect of the present invention, there is provided a method of controlling an apparatus for processing multimedia contents, the method comprising: receiving unified multimedia contents including at least one sub-content from a content providing server; Determining a number of sub-contents included in the integrated multimedia contents using information included in the header of the received integrated multimedia contents; Extracting respective sub-contents from the integrated multimedia contents by the determined number of sub-contents; And synchronizing the sub contents using the time information included in the extracted sub contents to control the synchronized sub contents to be reproduced together.

이상 설명한 바와 같이 본 발명에 따르면, 서로 다른 피사체를 각각 촬영하는 카메라 영상, 또는 서로 다른 각도로 촬영하는 카메라 영상을 동일한 촬영 시점으로 일치시켜 동시에 시청할 수 있다.As described above, according to the present invention, a camera image for photographing different subjects or camera images for photographing at different angles can be simultaneously viewed at the same photographing time point.

특히, 서로 다른 피사체를 촬영한 복수 개의 카메라 영상을 하나의 방송 채널(콘텐츠 수신 채널)을 통해 수신하므로, 서로 다른 채널을 통해 수신한 경우와 비교할 때 복수 개의 카메라 영상에 대한 재생 시점까지 걸리는 시간을 단축시킬 수 있다.In particular, since a plurality of camera images obtained by photographing different subjects are received through one broadcast channel (content reception channel), the time taken to reproduce a plurality of camera images is reduced Can be shortened.

예를 들어 서로 다른 통신 채널을 통해 각각의 카메라 영상을 수신하는 경우 각 카메라 영상이 각각 패킷으로 나뉜 후 서로 다른 경로를 통해 수신되므로 상당한 시간 지연이 발생할 수 있으나, 본 발명과 같이 동일한 통신 채널을 통해 복수의 카메라 영상 패킷을 수신하는 경우 시간 지연 문제를 상당히 해소할 수 있다.For example, when each camera image is received through a different communication channel, each camera image is divided into packets and then received through different paths. Therefore, a considerable time delay may occur. However, When a plurality of camera video packets are received, the time delay problem can be solved considerably.

특히 해당 방송 채널을 통해 수신되는 복수 개의 서브 콘텐츠에는 각각 동기화용 시간 정보가 포함되어 있고, 이러한 동기화용 시간 정보를 이용하여 수신 단말기(즉, 멀티미디어 콘텐츠 처리 장치)에서 각 서브 콘텐츠에 대한 시간 동기화를 수행하므로, 각 카메라 영상 패킷이 서로 다른 경로를 통해 수신됨에 따라 동기화가 어긋나는 문제들을 해결할 수 있다.In particular, a plurality of sub-contents received through the corresponding broadcast channel each include time information for synchronization, and time synchronization for each sub-content is performed by the receiving terminal (i.e., the multimedia content processing apparatus) Therefore, it is possible to solve problems in which synchronization is lost as each camera video packet is received through different paths.

또한 복수 개의 서브 콘텐츠를 처리함에 있어서, 디코딩 모듈 또는 디코딩 스레드를 이용함으로써, 상대적으로 저 사양의 하드웨어에서도 하나의 방송 채널을 통해 복수 개의 서브 콘텐츠를 동시에 시청할 수 있다.In addition, by using a decoding module or a decoding thread in processing a plurality of sub-contents, it is possible to watch a plurality of sub-contents at the same time through one broadcast channel even in relatively low-specification hardware.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 처리 장치를 포함하는 전체 시스템의 개략 구성도이고,
도 2는 도 1의 기능 블록도이고,
도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 처리 장치의 제어흐름도이다.1 is a schematic configuration diagram of an entire system including a multimedia contents processing apparatus according to an embodiment of the present invention,
Figure 2 is a functional block diagram of Figure 1,
FIG. 3 is a control flowchart of an apparatus for processing multimedia contents according to an exemplary embodiment of the present invention.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.Hereinafter, embodiments of the present invention will be described in order to facilitate understanding of the present invention, and the present invention is not limited to these embodiments. In particular, the present invention can be configured by combining at least any one of individual components, individual functions, or individual steps included in each embodiment.

특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.In particular, some claims of the claims for convenience include alphabets such as '(a)', but these alphabets do not define the order of each step.

또한 이하 본 발명에 따른 각 실시예에서 언급하는 각 신호는 한 번의 연결 등에 의해 전송되는 하나의 신호를 의미할 수도 있지만, 후술하는 특정 기능 수행을 목적으로 전송되는 일련의 신호 그룹을 의미할 수도 있다. 즉, 각 실시예에서는 소정의 시간 간격을 두고 전송되거나 상대 장치로부터의 응답 신호를 수신한 이후에 전송되는 복수 개의 신호들이 편의상 하나의 신호명으로 표현될 수 있는 것이다.Hereinafter, each signal referred to in the embodiments of the present invention may refer to one signal transmitted by one connection or the like, but may also mean a series of signals transmitted for the purpose of performing a specific function . That is, in each embodiment, a plurality of signals transmitted after a predetermined time interval or after receiving a response signal from the counterpart device can be represented by a single signal name for convenience.

본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 처리 장치(100)를 포함하는 전체 통신 시스템이 도 1에 도시되었다.An overall communication system including an apparatus 100 for processing multimedia content according to an embodiment of the present invention is shown in FIG.

동 도면에서 콘텐츠 제공 서버(200)는 멀티미디어 콘텐츠 처리 장치(100)의 요청에 따라 통합 멀티미디어 콘텐츠를 제공하는 기능을 수행하는 것으로서, 예를 들어 실시간 촬영되는 방송 영상을 제공하는 방송사 서버 또는 개별 고객의 요청에 따라 기 저장되거나 녹화된 콘텐츠를 추출하여 제공하는 VOD(Video On Demand) 서버 등에 해당할 수 있다.In the drawing, the content providing server 200 performs a function of providing integrated multimedia contents according to a request of the multimedia contents processing apparatus 100. For example, the contents providing server 200 may include a broadcasting server, A VOD (Video On Demand) server extracting and storing the previously stored or recorded contents according to the request, and the like.

이하 본 실시예를 설명함에 있어서, 콘텐츠 제공 서버(200)는 복수의 카메라(310,320,330)로부터 각각 촬영 영상을 수신한 후 멀티미디어 콘텐츠 처리 장치(100)에 제공한다고 가정한다.In the following description of the present embodiment, it is assumed that the content providing server 200 receives the photographed images from the plurality of cameras 310, 320, and 330, and provides the photographed images to the multimedia content processing apparatus 100.

즉, 도 1에서 각각의 카메라(310,320,330)는 예를 들어 동일한 장소(예를 들어 스포츠 경기장)에 설치되어 촬영을 하고, 그 촬영에 따른 촬영 영상 신호를 콘텐츠 제공 서버(200)에 전송하는데, 콘텐츠 제공 서버(200)는 이러한 각각의 카메라(310,320,330)로부터 촬영 영상 신호를 수신하여 그 각각의 촬영 영상 신호에 대한 동기화 처리를 수행한 후에 통합하여 시청자 단말기에 해당하는 멀티미디어 콘텐츠 처리 장치(100)로 전송하는 기능을 수행한다.1, each of the cameras 310, 320, and 330 is installed in, for example, a same place (for example, a sports arena) and shoots a photographed video signal according to the shooting to the content providing server 200, The providing server 200 receives photographed video signals from the cameras 310, 320, and 330, performs synchronization processing on the photographed video signals, and then integrates and transmits the signals to the multimedia content processing apparatus 100 corresponding to the viewer terminal .

구체적으로 콘텐츠 제공 서버(200)는 복수의 카메라(310,320,330)로부터 각각 수신된 촬영 영상 신호에 소정의 시간 정보를 포함시켜 각각의 서브 콘텐츠를 생성하고 , 그 서브 콘텐츠를 다중화하여 하나의 통합 멀티미디어 콘텐츠로 생성한 후 멀티미디어 콘텐츠 처리 장치(100)에 제공할 수 있다.Specifically, the content providing server 200 generates the respective sub-contents by including predetermined time information in the photographed video signals received from the plurality of cameras 310, 320, and 330, multiplexes the sub-contents, And provide the multimedia contents to the multimedia contents processing apparatus 100.

예를 들어 콘텐츠 제공 서버(200)는 각각의 촬영 영상 신호로부터 특정 오디오 신호가 검출되는 시점 기초하거나, 또는 촬영 영상 신호로부터 추출되는 특정 촬영 이미지에 기초하여 동기화용 시간 정보 생성하고, 이러한 동기화용 시간 정보를 그 대응되는 각각의 촬영 영상 신호와 매칭시킨 각각의 서브 콘텐츠를 생성할 수 있다.For example, the content providing server 200 generates time information for synchronization based on the time when a specific audio signal is detected from each shot video signal, or based on a specific shot image extracted from the shot video signal, Information corresponding to each photographed image signal corresponding thereto can be generated.

여기서 서브 콘텐츠는 예를 들어 MPEG 트랜스포트 스트림(즉, MPEG transport stream, 줄여서 TS) 포맷으로 이루어진 것(이하 'TS 파일'이라 함)일 수 있다. MPEG 트랜스포트 스트림은 헤더와 페이로드를 포함하는 패킷을 그 기본 데이터 단위로 하는 것으로서, 그 구조 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.Here, the sub-content may be, for example, an MPEG transport stream (hereinafter, referred to as TS file) in the MPEG transport stream (TS) format. The MPEG transport stream uses a packet including a header and a payload as its basic data unit. Since the structure itself corresponds to a known technique, a detailed description will be omitted.

이처럼 콘텐츠 제공 서버(200)가 서브 콘텐츠를 생성하는 보다 구체적인 과정을 단계적으로 설명하면 다음과 같다.A more detailed process of generating the sub-content by the content providing server 200 will be described step by step as follows.

예를 들어 1번 카메라(310)에서 수신되는 촬영 영상 신호의 프레임 중 네 번째 프레임에서 첫 번째 특정 오디오 신호가 검출되고 2번 카메라(320)에서 수신되는 촬영 영상 신호의 프레임 중 여섯 번째 프레임에서 첫 번째 특정 오디오 신호가 검출되는 경우, 콘텐츠 제공 서버(200)는 그 1번 카메라(310)의 촬영 영상 신호의 프레임 중 네 번째 프레임을 포함하는 TS 패킷과 2번 카메라(320)의 촬영 영상 신호의 프레임 중 여섯 번째 프레임을 포함하는 TS 패킷에 각각 '1'이라는 동기화 시간 정보를 포함시킬 수 있고, 다른 예로써, 1번 카메라(310)에서 수신되는 촬영 영상 신호의 프레임 중 여섯 번째 프레임에서 두 번째 특정 오디오 신호가 검출되고 2번 카메라(320)에서 수신되는 촬영 영상 신호의 프레임 중 여덟 번째 프레임에서 두 번째 특정 오디오 신호가 검출되는 경우, 콘텐츠 제공 서버(200)는 그 1번 카메라(310)의 촬영 영상 신호의 프레임 중 여섯 번째 프레임을 포함하는 TS 패킷과 2번 카메라(320)의 촬영 영상 신호의 프레임 중 여덟 번째 프레임을 포함하는 TS 패킷에 '2'라는 동기화 시간 정보를 포함시킬 수 있는 것이다.For example, if the first specific audio signal is detected in the fourth frame of the frame of the photographed image signal received by the first camera 310 and the first specific audio signal is detected in the sixth frame among frames of the photographed image signal received by the second camera 320 The content providing server 200 transmits the TS packet including the fourth frame of the frame of the captured image signal of the first camera 310 and the TS packet of the captured image signal of the second camera 320 The TS packet including the sixth frame of the frame may include synchronization time information of '1', and as another example, the second frame of the frame of the captured image signal received by the first camera 310 may include the synchronization time information of ' A specific audio signal is detected and a second specific audio signal is detected in the eighth frame of the frame of the photographed video signal received by the second camera 320 The content providing server 200 includes the TS packet including the sixth frame of the frame of the captured image signal of the first camera 310 and the eighth frame of the frame of the captured image signal of the second camera 320 The synchronization time information '2' can be included in the TS packet.

이어서 콘텐츠 제공 서버(200)는 앞서 동기화된 각각의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 생성하는데, 이러한 통합 멀티미디어 콘텐츠는 하나의 시청 채널에서 시청할 수 있는 영상 신호 또는 영상 데이터에 해당할 수 있다.Then, the content providing server 200 generates integrated multimedia contents including each of the sub-contents synchronized in advance, and the integrated multimedia contents may correspond to video signals or image data that can be viewed on one viewing channel.

즉, 앞서 언급한 바와 같이 서브 콘텐츠가 일종의 TS 포맷의 파일이라 한다면, 통합 멀티미디어 콘텐츠는 이러한 각각의 TS 파일들의 조합으로 이루어진 통합 TS 파일이라 할 수 있는데, 이러한 통합 TS 파일은 하나의 방송 채널을 통해 스트리밍 방식으로 전송될 수 있는 것이다.That is, as described above, if the sub-content is a file of a TS format, the integrated multimedia content can be regarded as an integrated TS file composed of a combination of the TS files. It can be transmitted in a streaming manner.

여기서 '파일'이라는 것이 반드시 영상의 시작부터 마지막까지 모두 포함하는 것을 의미하는 것은 아니고, 각 카메라(310,320,330)로부터 수신되는 촬영 영상 신호에 의해 실시간 생성되는 구간별 파일일 수 있다.Here, the term 'file' does not necessarily mean that all the images are included from the beginning to the end of the image, but may be a section-based file generated in real time by the photographed image signal received from each of the cameras 310,

이처럼 통합 멀티미디어 콘텐츠를 생성한 이후, 콘텐츠 제공 서버(200) 그 생성된 통합 멀티미디어 콘텐츠를 멀티미디어 콘텐츠 처리 장치(100)에 전송하는데, 예를 들어 콘텐츠 제공 서버(200)는 멀티미디어 콘텐츠 처리 장치(100)와 상호 통신이 가능한 통신 채널을 연결한 후 통합 멀티미디어 콘텐츠를 전송할 수도 있고, 또는 멀티미디어 콘텐츠 처리 장치(100)와 상호 통신 채널을 연결하지 않고 종래의 일 방향 방송국과 같이 무선 전파로 송출하는 방식으로 통합 멀티미디어 콘텐츠를 전송할 수도 있다.After generating the integrated multimedia contents, the contents providing server 200 transmits the generated integrated multimedia contents to the multimedia contents processing apparatus 100. For example, the contents providing server 200 transmits the integrated multimedia contents to the multimedia contents processing apparatus 100, The multimedia contents processing apparatus 100 may be connected to a communication channel capable of mutual communication and then transmitted to the multimedia contents processing apparatus 100 via a radio wave like a conventional one- Or may transmit multimedia content.

이처럼 콘텐츠 제공 서버(200)가 멀티미디어 콘텐츠 처리 장치(100)에 전송하는 통합 TS 파일은 헤더와 페이로드를 포함하는 패킷 단위로 연이어서 전송될 수 있는데, 이때 세션 연결을 위한 최초의 헤더 내에 특정 정보를 포함시켜 멀티미디어 콘텐츠 처리 장치(100)로 하여금 복수의 TS 파일을 전송하는 스트림임을 알려 줄 수 있다.As described above, the integrated TS file transmitted from the content providing server 200 to the multimedia content processing apparatus 100 can be transmitted in units of packets including a header and a payload. In this case, specific information To inform the multimedia contents processing apparatus 100 that the stream is a stream for transmitting a plurality of TS files.

즉, 콘텐츠 제공 서버(200)가 통합 TS 파일을 생성한다는 것은 이처럼 몇 개의 TS 파일을 포함시켰는지에 대한 정보를 세션용 패킷(헤더 및 페이로드)에 포함시키는 과정과, 그 이후 각각의 개별 TS 파일을 순차적으로 이어서 붙이는 과정을 포함할 수 있다.That is, the content providing server 200 generates an integrated TS file by including information on how many TS files are included in a session packet (header and payload) And sequentially attaching the files sequentially.

예를 들어 세션 연결을 위한 최초의 통합 TS 파일 스트림의 헤더 및 페이로드상에 3 개의 프로그램(서브 콘텐츠)이 해당 통합 TS 파일에 포함되어 있다고 지정되는 경우, 콘텐츠 제공 서버(200)는 그 이후의 패킷(헤더+페이로드)에 3 개의 각각의 TS 파일(서브 콘텐츠)을 순차적으로 이어서 보내게 되고, 이러한 과정(3 개의 서브 콘텐츠가 순차적으로 이어서 보내는 과정 또는 전체 과정)은 반복적으로 이루어질 수 있다.For example, when it is specified that three integrated programs (sub-contents) are included in the header and payload of the first integrated TS file stream for session connection, the contents providing server 200 stores Three TS files (sub-contents) are successively sent sequentially to the packet (header + payload), and this process (the process of sequentially sending the three sub-contents sequentially or the entire process) can be repeatedly performed.

한편, 멀티미디어 콘텐츠 처리 장치(100)는 앞서 설명한 바와 같이 콘텐츠 제공 서버(200)로부터 수신되는 통합 멀티미디어 콘텐츠를 처리하는 기능을 수행하는 것으로서, 동 도면에 도시된 바와 같이 셋탑박스(101)와 텔레비전(102)으로 구성될 수도 있고, 또는 휴대용 무선 통신 단말기(100)로 구성될 수도 있다.As described above, the multimedia content processing apparatus 100 performs processing of the integrated multimedia contents received from the content providing server 200. The multimedia contents processing apparatus 100 includes a set-top box 101 and a television 102, or a portable wireless communication terminal 100. In addition,

이러한 멀티미디어 콘텐츠 처리 장치(100)의 구체적인 기능 블록은 도 2에 도시되었다.A specific functional block of the multimedia content processing apparatus 100 is shown in FIG.

동 도면에 도시된 바와 같이 멀티미디어 콘텐츠 처리 장치(100)는 디스플레이부(150), 수신부(110), 판단부(120), 추출부(130), 제어부(140)를 포함할 수 있다.The multimedia content processing apparatus 100 may include a display unit 150, a receiving unit 110, a determining unit 120, an extracting unit 130, and a controller 140.

디스플레이부(150)는 콘텐츠 제공 서버(200)로부터 수신된 각 멀티미디어 콘텐츠가 표시되는 것으로서, 전력소모가 적은 LCD(Liquid Crystal Display) 등과 같은 표시 소자를 포함하여 구성될 수 있다.The display unit 150 displays each multimedia content received from the content providing server 200 and may include a display device such as an LCD (Liquid Crystal Display) having low power consumption.

수신부(110)는 콘텐츠 제공 서버(200)로부터 적어도 하나의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 하나의 콘텐츠 수신 채널을 통해 수신하는 기능을 수행한다.The receiving unit 110 receives the integrated multimedia contents including at least one sub-content from the content providing server 200 through one content receiving channel.

여기서 콘텐츠 수신 채널은 사용자가 특정 방송 또는 특정 멀티미디어 콘텐츠를 시청하기 위해 선택하는 것으로서, 예를 들어 특정 번호로 이루어진 방송 채널 또는 아이피:포트로 이루어진 인터넷 주소에 해당할 수 있다.Here, the content receiving channel is selected by a user to view a specific broadcast or a specific multimedia content. For example, the content receiving channel may correspond to a broadcast channel having a specific number or an internet address composed of an IP: port.

이하 본 실시예를 설명함에 있어서 콘텐츠 수신 채널은 콘텐츠 제공 서버(200)의 아이피 주소 및 특정 포트로 이루어진 것을 일 예로 하고, 이 경우 수신부(110)는 적어도 하나의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 특정 아이피:포트에 접속하여 수신하는 것이다.In the following description of the present embodiment, the content receiving channel includes an IP address and a specific port of the content providing server 200. In this case, the receiving unit 110 may receive the integrated multimedia content including at least one sub- It connects to a specific IP: port and receives it.

또한, 수신부(110)가 수신하는 통합 멀티미디어 콘텐츠는 다양한 형태로 구성될 수 있으나, 본 실시예에서는 TS 포맷의 서브 콘텐츠를 적어도 하나 포함하는 통합 TS 파일인 것을 일 예로 한다.In addition, although the integrated multimedia contents received by the receiver 110 may be configured in various forms, the present exemplary embodiment is an integrated TS file including at least one sub-content of the TS format.

즉, 수신부(110)는 통합 TS 파일을 하나의 콘텐츠 수신 채널(일 예로 하나의 방송 채널)을 통해 스트리밍 방식으로 수신할 수 있는 것이다.That is, the receiving unit 110 can receive the integrated TS file through a single content receiving channel (for example, one broadcasting channel) in a streaming manner.

여기서 통합 TS 파일은 앞서 설명한 바와 같이 세션 연결을 위한 패킷(헤더+페이로드)과 실제 서브 콘텐츠를 포함하는 패킷(헤더+페이로드)으로 이루어질 수 있고, 특히 서브 콘텐츠에 해당하는 패킷은 세션 연결을 위한 패킷의 페이로드에 포함될 수도 있다.Here, as described above, the integrated TS file may be composed of a packet (header + payload) for session connection and a packet (header + payload) including actual sub-contents. In particular, May be included in the payload of the packet.

판단부(120)는 수신부(110)에 수신된 통합 멀티미디어 콘텐츠의 헤더에 포함된 정보를 이용하여 통합 멀티미디어 콘텐츠에 포함된 서브 콘텐츠 개수를 판단하는 기능을 수행한다.The determination unit 120 determines the number of sub-contents included in the integrated multimedia contents using the information included in the header of the integrated multimedia contents received by the reception unit 110. [

앞서 설명한 바와 같이 콘텐츠 제공 서버(200)는 예를 들어 복수의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 생성하여 제공할 수 있는데, 멀티미디어 콘텐츠 처리 장치(100)의 판단부(120)는 그러한 통합 멀티미디어 콘텐츠의 헤더에 포함된 정보를 이용하여 몇 개의 서브 콘텐츠가 포함되어 있는지를 확인하는 것이다.As described above, the content providing server 200 may generate and provide integrated multimedia contents including a plurality of sub-contents, for example. The determination unit 120 of the multimedia contents processing apparatus 100 may determine whether the integrated multimedia contents Which is included in the header of the header information, to determine how many sub-contents are included.

예를 들어 세션 연결을 위한 패킷의 헤더에 PID(패킷 아이디)가 0인 경우 판단부(120)는 그 다음의 페이로드에 몇 개의 TS 파일(즉, 몇 개의 서브 콘텐츠)을 전송하는지를 지정한 값이 포함되어 있음을 알 수 있고, 따라서 판단부(120)는 해당 페이로드에서 지정된 값을 독출함으로써 통합 멀티미디어 콘텐츠에 몇 개의 서브 콘텐츠가 포함된 것인지 즉, 서브 콘텐츠의 개수가 몇 개인지를 판단할 수 있다.For example, when the PID (Packet ID) is 0 in the header of a packet for session connection, the determination unit 120 determines that a value indicating how many TS files (i.e., how many sub-contents) should be transmitted to the next payload Therefore, the determination unit 120 can determine how many sub-contents are included in the integrated multimedia contents, that is, how many sub-contents, by reading the designated values in the corresponding payloads .

추출부(130)는 판단부(120)에서 판단한 서브 콘텐츠 개수만큼 통합 멀티미디어 콘텐츠에서 각각의 서브 콘텐츠를 추출하는 기능을 수행한다.The extraction unit 130 extracts each sub-content from the integrated multimedia contents by the number of sub-contents determined by the determination unit 120. [

예를 들어 판단부(120)에서 서브 콘텐츠의 개수가 3개라고 판단한 경우 추출부(130)는 통합 멀티미디어 콘텐츠로부터 3 개의 서브 콘텐츠를 순차적으로 추출하는데, 이때 기 설정된 패킷 사이즈 또는 포맷 사이즈를 참조할 수 있다.For example, when the determination unit 120 determines that the number of sub contents is three, the extraction unit 130 sequentially extracts three sub contents from the integrated multimedia contents. In this case, .

제어부(140)는 추출부(130)에서 추출한 각각의 서브 콘텐츠에 포함된 시간 정보를 이용하여 각 서브 콘텐츠를 동기화시킨 후, 그 동기화된 각 서브 콘텐츠가 함께 재생되도록 제어하는 제어하는 기능을 수행한다.The control unit 140 performs a function of controlling the synchronized sub-contents to be reproduced together after synchronizing the sub-contents using the time information included in the sub-contents extracted by the extraction unit 130 .

예를 들어 각 서브 콘텐츠가 음성 콘텐츠인 경우 제어부(140)는 그 동기화된 각 서브 콘텐츠가 스피커(미 도시함)를 통해 함께 출력되도록 할 수 있다.For example, when each sub-content is audio content, the control unit 140 may cause each synchronized sub-content to be outputted together through a speaker (not shown).

다른 예로써 각 서브 콘텐츠가 영상을 포함하는 콘텐츠인 경우 제어부(140)는 그 동기화된 각 서브 콘텐츠가 화면상에 기 설정된 알고리즘에 따라 배치 및 표시되도록 제어하는 기능을 수행한다.As another example, when each sub-content is a content including an image, the control unit 140 performs a function of arranging and displaying each synchronized sub-content according to a predetermined algorithm on the screen.

이때 제어부(140)는 판단부(120)에서 판단된 서브 콘텐츠 개수만큼 디코딩모듈을 생성하고, 그 생성된 디코딩 모듈에 각각의 서브 콘텐츠를 그 순서에 따라 지속적으로 할당하면서 시간 동기화시킬 수 있다.At this time, the control unit 140 generates a decoding module as many as the number of sub-contents determined by the determination unit 120, and can time-synchronize the sub-contents while continuously allocating the sub-contents to the generated decoding module.

구체적으로, 제어부(140)는 디코딩 모듈에 각각 할당된 서브 콘텐츠에 포함된 시간 정보가 모두 일치할 때까지 대기하도록 각 디코딩 모듈을 제어하고, 그 디코딩 모듈에 각각 할당된 서브 콘텐츠에 포함된 시간 정보가 모두 일치하는 경우 각 디코딩 모듈에서 디코딩된 각 서브 콘텐츠가 각 디코딩 모듈에 할당된 화면상의 영역에 표시되도록 제어할 수 있다.Specifically, the control unit 140 controls each decoding module to wait until all the time information included in the sub-contents allocated to the decoding module are all coincident with each other, and the time information included in the sub- It is possible to control each decoded sub-content in each decoding module to be displayed in an area on the screen allocated to each decoding module.

예를 들어, 디코딩 모듈이 3개(제1 디코딩 모듈, 제2 디코딩, 제3 디코딩 모듈)로 이루어져 있고, 제1 디코딩 모듈과 제2 디코딩 모듈에 할당된 서브 콘텐츠에 포함된 시간 정보가 모두 '3'이고, 제3 디코딩 모듈에 할당된 서브 콘텐츠에 포함된 시간 정보가 '1'인 경우, 제어부(140)는 제1 디코딩 모듈과 제2 디코딩 모듈은 대기 상태를 유지하도록 하고, 제3 디코딩 모듈에 할당되는 서브 콘텐츠에 포함된 시간 정보가 '3'이 되는 시점(즉, 모든 디코딩 모듈에 할당된 서브 콘텐츠에 포함된 시간 정보가 동일해지는 시점)에 각 디코딩 모듈에서 디코딩된 각 서브 콘텐츠가 각 디코딩 모듈에 할당된 화면상의 영역에 표시되도록 제어할 수 있는 것이다.For example, when the decoding module is composed of three (first decoding module, second decoding, third decoding module) and the time information included in the sub-content allocated to the first decoding module and the second decoding module is' 3 'and the time information included in the sub-content assigned to the third decoding module is' 1', the controller 140 causes the first decoding module and the second decoding module to maintain the standby state, Each of the sub-contents decoded by each decoding module at the time when the time information included in the sub-contents assigned to the module becomes '3' (i.e., the time information included in the sub-contents assigned to all the decoding modules become equal) And can be controlled to be displayed in an area on the screen allocated to each decoding module.

기 설정된 알고리즘에 따라 배치/표시한다는 것은, 사용자 요청이 없는 경우에는 디폴트 순서에 기초하여 배치하고, 사용자 요청이 있는 경우에는 그 요청에 따라 배치 및 표시하는 것을 의미할 수 있다.Arranging / displaying according to a predetermined algorithm may be arranged based on the default order when there is no user request, and when the user request is made, it is arranged and displayed according to the request.

즉, 디스플레이(150) 상에 제1 디코딩 모듈에 의한 서브 콘텐츠, 제2 디코딩 모듈에 의한 서브 콘텐츠, 제3 디코딩 모듈에 의한 서브 콘텐츠가 표시된 상태에서 사용자 선택에 따라 그 순서가 변할 수 있고, 특히 각 서브 콘텐츠가 설정되는 레이어 순서에 따라 중첩 표시될 수도 있다.That is, the sub-contents by the first decoding module, the sub-contents by the second decoding module, and the sub-contents by the third decoding module are displayed on the display 150 according to user selection, Each sub-content may be superimposed on the set layer order.

이에 따라 멀티미디어 콘텐츠 처리 장치(100)를 사용하여 콘텐츠를 시청하는 사용자는 각각의 카메라(310,320,330)에 의해 동시간에 촬영된 영상들을 동시에 시청할 수 있게 된다.Accordingly, a user viewing the content using the multimedia content processing apparatus 100 can simultaneously view images photographed by the cameras 310, 320, and 330 at the same time.

여기서 디코딩 모듈은 멀티미디어 콘텐츠를 처리하는 일종의 소프트웨어 프로그램 내의 특정 함수에 해당하고, 디코딩 모듈의 생성은 함수 호출과 같은 방식으로 이루어질 수 있으며, 각 디코딩 모듈에 서브 콘텐츠를 할당하는 과정은 함수의 변수 값에 서브 콘텐츠 데이터 값을 할당하는 방식으로 이루어질 수 있다.Here, the decoding module corresponds to a specific function in a kind of software program for processing multimedia contents, and the generation of the decoding module can be performed in the same manner as the function call. In the process of assigning sub-contents to each decoding module, The sub-content data value may be allocated.

즉, 제어부(140)는 디코딩 모듈과 디코딩 모듈을 통합 관리하는 매니저 모듈로 이루어질 수 있고, 매니저 모듈은 각 디코딩 모듈의 동작/대기를 제어하고, 각 디코딩 모듈은 전달 또는 할당받은 서브 콘텐츠를 디코딩/재생하여 표시하는 기능을 수행하는 것이다.That is, the control unit 140 may be a manager module that manages the decoding module and the decoding module, and the manager module controls the operation / standby of each decoding module, and each decoding module decodes / And performs a function of reproducing and displaying.

다른 예로써, 제어부(140)는 판단부(120)에서 판단한 서브 콘텐츠 개수만큼 디코딩 스레드를 생성하고, 그 생성된 디코딩 스레드에 각각의 서브 콘텐츠를 그 순서에 따라 지속적으로 할당하면서 시간 동기화시키며, 그 시간 동기화된 각 서브 콘텐츠가 화면상에 배치 및 표시되도록 각 디코딩 스레드를 제어할 수도 있다.As another example, the control unit 140 generates a decoding thread as many times as the number of sub-contents determined by the determination unit 120, time-synchronizes each sub-content to the generated decoding thread while continuously allocating the sub- Each decoding thread may be controlled such that each sub-content time-synchronized is arranged and displayed on the screen.

여기서 스레드(Thread)는 프로세스(Process)와 구별되는 것으로서, 프로세스에서 실행 제어만 분리한 실행 단위라고 할 수 있는데, 프로세서를 사용하는 기본 단위이며, 명령어를 독립적으로 실행할 수 있는 하나의 제어흐름이라 할 수 있다.A thread is a unit of execution that is separate from a process. It is a basic unit that uses a processor. It is a single control flow that can execute instructions independently. .

복수 개의 서브 콘텐츠 개수만큼 디코딩 스레드를 생성하는 경우 다중 스레드 구조라 할 수 있고, 이 경우 자원 생성과 관리의 중복성이 최소화되어 실행 능력 향상과 더불어 신속한 처리가 가능하므로, 비교적 하드웨어 사양이 떨어지는 장치에서도 본 발명에 따른 제어부(140)의 기능이 구현될 수 있는 효과가 있다. 이는 앞서 설명한 함수(모듈)를 활용하는 경우에도 마찬가지이고, 또한 다중 스레드 구조의 경우에도 앞서 설명한 바와 같이 각 디코딩 스레드의 동작/대기를 제어하는 별도의 매니저 프로그램이 제어부(140)에 포함될 수 있음은 물론이다.In the case of generating a decoding thread by a plurality of sub-content numbers, it can be regarded as a multi-thread structure. In this case, redundancy of resource creation and management is minimized and execution performance can be improved and rapid processing can be performed. The function of the control unit 140 according to the present invention can be implemented. The same is true in the case of using the above-described function (module). Also, in the case of the multi-thread structure, a separate manager program for controlling the operation / standby of each decoding thread may be included in the controller 140 Of course.

물론 각 서브 콘텐츠를 디코딩/재생하여 디스플레이(150) 상에 표시되도록 하기 위해 별도의 플레이어를 구동시킬 수도 있지만, 이처럼 제어부(140)가 하나의 플레이어만 구동시키고 단지 각 서브 콘텐츠마다 별도의 디코딩 모듈/스레드를 생성하여 디코딩/재생하도록 하는 것이 상술한 처리의 신속성을 고려할 때 바람직하다.Of course, a separate player may be driven to decode / reproduce each sub-content to be displayed on the display 150. However, the control unit 140 drives only one player, and only a separate decoding module / It is desirable to create a thread and to decode / reproduce it, considering the speed of the above-described processing.

이하에서는 도 3을 참조하여 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 처리 장치(100)의 제어 과정을 설명한다.Hereinafter, a process of controlling the multimedia content processing apparatus 100 according to an embodiment of the present invention will be described with reference to FIG.

우선 본 실시예를 설명함에 있어서, 콘텐츠 제공 서버(200)가 복수의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 전송하고 있고, 또한 그 통합 멀티미디어 콘텐츠는 통합 TS 포맷으로 이루어져 있으며 스트리밍 방식으로 제공되는 것을 일 예로 한다.In the description of this embodiment, it is assumed that the content providing server 200 transmits the integrated multimedia contents including a plurality of sub-contents, and the integrated multimedia contents are provided in the integrated TS format and provided in a streaming manner. For example.

멀티미디어 콘텐츠 처리 장치(100)는 콘텐츠 제공 서버(200)로부터 하나의 콘텐츠 수신 채널을 통해 통합 멀티미디어 콘텐츠를 수신한다(단계 S1).The multimedia content processing apparatus 100 receives the integrated multimedia contents from the content providing server 200 through one content receiving channel (step S1).

그리고 멀티미디어 콘텐츠 처리 장치(100)는 통합 멀티미디어 콘텐츠의 헤더에 포함된 정보를 기초로 그 통합 멀티미디어 콘텐츠에 포함된 서브 콘텐츠의 개수를 확인한다(단계 S3).Then, the multimedia content processing apparatus 100 confirms the number of sub contents included in the integrated multimedia contents based on the information included in the header of the integrated multimedia contents (step S3).

이어서 멀티미디어 콘텐츠 처리 장치(100)는 확인된 서브 콘텐츠 개수만큼 디코딩 모듈을 호출 또는 생성한다(단계 S5).Subsequently, the multimedia content processing apparatus 100 calls or generates a decoding module by the number of the identified sub-content (step S5).

디코딩 모듈이 호출 또는 생성된 이후 멀티미디어 콘텐츠 처리 장치(100)는 그 생성된 디코딩 모듈마다 특정 서브 콘텐츠를 매칭시킨다(단계 S7).After the decoding module is called or generated, the multimedia content processing apparatus 100 matches specific sub-contents for each generated decoding module (step S7).

예를 들어 통합 멀티미디어 콘텐츠에 제1 TS 패킷(제1 서브 콘텐츠), 제2 TS 패킷(제2 서브 콘텐츠), 제3 TS 패킷(제3 서브 콘텐츠)이 포함되어 있는 경우, 그 제1 TS 패킷을 제1 디코딩 모듈과 매칭시키고, 제2 TS 패킷을 제2 디코딩 모듈과 매칭시키며, 제3 TS 패킷을 제3 디코딩 모듈과 매칭시킬 수 있다.For example, when the integrated multimedia content includes the first TS packet (first sub-content), the second TS packet (second sub-content), and the third TS packet (third sub-content) Matches the first TS packet with the first decoding module, matches the second TS packet with the second decoding module, and matches the third TS packet with the third decoding module.

여기서 도 1을 참조하면, 제1 TS 패킷은 제1 카메라(310)에 의해 촬영되는 영상 패킷에 대응될 수 있고(다만 앞서 설명한 바와 같이 콘텐츠 제공 서버(200)에 의해 동기화용 시간 정보가 포함됨), 제2 TS 패킷은 제2 카메라(320)에 의해 촬영되는 영상 패킷에 대응될 수 있으며, 제3 TS 패킷은 제3 카메라(330)에 의해 촬영되는 영상 패킷에 대응될 수 있다.Referring to FIG. 1, the first TS packet may correspond to an image packet captured by the first camera 310 (but the time information for synchronization is included by the content providing server 200 as described above) The second TS packet may correspond to an image packet captured by the second camera 320 and the third TS packet may correspond to an image packet captured by the third camera 330. [

이후, 멀티미디어 콘텐츠 처리 장치(100)는 콘텐츠 제공 서버(200)로부터 계속하여 수신되는 각 서브 콘텐츠를 그 매칭된 디코딩 모듈에 전달한다(단계 S9).Thereafter, the multimedia content processing apparatus 100 delivers each sub-content continuously received from the content providing server 200 to the matched decoding module (step S9).

즉, 멀티미디어 콘텐츠 처리 장치(100)는 제1 카메라(310)에 의해 촬영되어 전송되는 제1 TS 패킷은 지속적으로 제1 디코딩 모듈에 전달하고, 제2 카메라(320)에 의해 촬영되어 전송되는 제2 TS 패킷은 지속적으로 제2 디코딩 모듈에 전달하며, 제3 카메라(330)에 의해 촬영되어 전송되는 제3 TS 패킷은 지속적으로 제3 디코딩 모듈에 전달하는 것이다.That is, the multimedia content processing apparatus 100 continuously transmits the first TS packet captured and transmitted by the first camera 310 to the first decoding module, and transmits the first TS packet captured and transmitted by the second camera 320 2 TS packets continuously to the second decoding module, and the third TS packets captured and transmitted by the third camera 330 are continuously transmitted to the third decoding module.

이어서 멀티미디어 콘텐츠 처리 장치(100)는 각 디코딩 모듈에 전달된 서브 콘텐츠에 포함된 동기화용 시간 정보를 추출한다(단계 S11). 즉, 제1 TS 패킷, 제2 TS 패킷, 제3 TS 패킷의 헤더에서 동기화용 시간 정보를 추출하는 것이다.Subsequently, the multimedia content processing apparatus 100 extracts synchronization time information included in the sub-content delivered to each decoding module (step S11). That is, the synchronization time information is extracted from the header of the first TS packet, the second TS packet, and the third TS packet.

멀티미디어 콘텐츠 처리 장치(100)는 추출한 시간 정보를 기초로 각 서브 콘텐츠에 대한 시간 동기화 처리를 수행하는데(단계 S13), 예를 들어 각 디코딩 모듈에 전달된 각 서브 콘텐츠의 시간이 일치할 때까지 적어도 일부의 디코딩 모듈이 대기상태를 유지하도록 할 수 있는 것이다.The multimedia content processing apparatus 100 performs time synchronization processing for each sub-content based on the extracted time information (step S13). For example, at least the sub-contents delivered to the respective decoding modules are synchronized Some of the decoding modules can be kept in a standby state.

이처럼 시간 동기화 처리가 완료된 경우 즉, 각 디코딩 모듈에 전달된 각 서브 콘텐츠의 시간이 일치하게 된 경우 멀티미디어 콘텐츠 처리 장치(100)는 그 시간 동기화된 서브 콘텐츠가 각각 대응되는 디코딩 모듈에 의해 재생되어 디스플레이(150) 상에 표시되도록 할 수 있다(단계 S15).When the time synchronization process is completed, that is, when the time of each sub-content delivered to each decoding module coincides, the multimedia content processing apparatus 100 reproduces the time-synchronized sub- (Step S15).

상술한 단계 S13의 시간 동기화 처리 과정은 기 설정된 시간 마다, 예를 들어 주기적인 시간 간격마다 반복 처리될 수도 있다.The time synchronization process in step S13 may be repeated at predetermined time intervals, for example, at regular time intervals.

즉, 멀티미디어 콘텐츠 처리 장치(100)는 최초에만 시간 동기화 처리 과정을 수행하는 것이 아니라, 주기적으로 반복하여 시간 동기화 처리 과정을 수행할 수 있는 것이다.That is, the multimedia content processing apparatus 100 may perform the time synchronization processing process by periodically repeating not only the first time synchronization processing process.

한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.Meanwhile, it goes without saying that the process of performing each of the above-described embodiments can be performed by a program or an application stored in a predetermined recording medium (for example, a computer-readable). Here, the recording medium includes an electronic recording medium such as a RAM (Random Access Memory), a magnetic recording medium such as a hard disk, and an optical recording medium such as a CD (Compact Disk).

이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 멀티미디어 콘텐츠 처리 장치의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.At this time, the program stored in the recording medium may be executed on hardware such as a computer or a smart phone to perform each of the above embodiments. In particular, at least one of the functional blocks of the apparatus for processing multimedia contents according to the present invention described above can be implemented by such a program or an application.

또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 특허청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다. The present invention is not limited to the above-described specific embodiments, and various modifications and changes may be made without departing from the gist of the present invention. It is to be understood that such variations and modifications are intended to be included in the scope of the appended claims.

100 : 멀티미디어 콘텐츠 처리 장치
200 : 콘텐츠 제공 서버
310,320,330 : 카메라
110 : 수신부 120 : 판단부
130 : 추출부 140 : 제어부
150 : 디스플레이부100: Multimedia content processing device
200: Content providing server
310, 320,
110: Receiving unit 120:
130: Extracting unit 140:
150:

Claims (14)

(a) 콘텐츠 제공 서버로부터 적어도 하나의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 수신하는 단계와;
(b) 상기 (a) 단계에서 수신된 통합 멀티미디어 콘텐츠의 헤더에 포함된 정보를 이용하여 상기 통합 멀티미디어 콘텐츠에 포함된 서브 콘텐츠 개수를 판단하는 단계와;
(c) 상기 (b) 단계에서 판단된 서브 콘텐츠 개수만큼 상기 통합 멀티미디어 콘텐츠에서 각각의 서브 콘텐츠를 추출하는 단계와;
(d) 상기 (c) 단계에서 추출한 각각의 서브 콘텐츠에 포함된 시간 정보를 이용하여 각 서브 콘텐츠를 동기화시킨 후, 그 동기화된 각 서브 콘텐츠가 함께 재생되도록 제어하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 처리 장치의 제어방법.(a) receiving unified multimedia content including at least one sub-content from a content providing server;
(b) determining the number of sub-contents included in the integrated multimedia contents using information included in the header of the integrated multimedia contents received in the step (a);
(c) extracting respective sub-contents from the integrated multimedia contents by the number of sub-contents determined in the step (b);
(d) synchronizing each sub-content using the time information included in each of the sub-contents extracted in the step (c), and controlling the synchronized sub-contents to be reproduced together A method of controlling a content processing apparatus. 제1항에 있어서,
상기 (d) 단계에서는 상기 동기화된 각 서브 콘텐츠가 화면상에 기 설정된 알고리즘에 따라 배치 및 표시되도록 제어하는 것을 특징으로 하는 콘텐츠 처리 장치의 제어방법.The method according to claim 1,
Wherein in the step (d), the synchronized sub-contents are arranged and displayed according to a predetermined algorithm on the screen. 제2항에 있어서,
상기 (d) 단계는,
(d1) 상기 (b) 단계에서 판단된 서브 콘텐츠 개수만큼 디코딩모듈을 생성하는 단계와;
(d2) 상기 (d1) 단계에서 생성된 디코딩 모듈에 상기 (c) 단계에서 추출한 각각의 서브 콘텐츠를 그 순서에 따라 지속적으로 할당하면서 시간 동기화시키는 단계와;
(d3) 상기 (d2) 단계에서 시간 동기화된 각 서브 콘텐츠가 화면상에 기 설정된 알고리즘에 따라 배치 및 표시되도록 제어하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 처리 장치의 제어방법.3. The method of claim 2,
The step (d)
(d1) generating a decoding module by the number of sub-contents determined in the step (b);
(d2) synchronizing the sub-contents extracted in step (c) to the decoding module generated in step (d1) while continuously allocating the sub-contents in the order;
(d3) controlling the sub-contents time-synchronized in step (d2) to be arranged and displayed according to a predetermined algorithm on the screen. 제2항에 있어서,
상기 (d2) 단계에서는, 상기 디코딩 모듈에 각각 할당된 서브 콘텐츠에 포함된 시간 정보가 모두 일치할 때까지 대기하도록 각 디코딩 모듈을 제어하고,
상기 (d3) 단계에서는 상기 디코딩 모듈에 각각 할당된 서브 콘텐츠에 포함된 시간 정보가 모두 일치하는 경우, 상기 디코딩 모듈에 의해 디코딩되는 각 서브 콘텐츠가 각 디코딩 모듈에 할당된 화면상의 영역에 표시되도록 제어하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 처리 장치의 제어방법.3. The method of claim 2,
The decoding module controls each decoding module to wait until all the time information included in the sub contents allocated to the decoding module match,
In the step (d3), when all of the time information included in the sub-contents assigned to the decoding module are identical, the sub-contents decoded by the decoding module are controlled to be displayed in an area on the screen assigned to each decoding module The content processing method comprising the steps of: 제2항에 있어서,
상기 (d) 단계는,
(d4) 상기 (b) 단계에서 판단된 서브 콘텐츠 개수만큼 디코딩 스레드를 생성하는 단계와;
(d5) 상기 (d4) 단계에서 생성된 디코딩 스레드에 상기 (c) 단계에서 추출한 각각의 서브 콘텐츠를 그 순서에 따라 지속적으로 할당하면서 시간 동기화시키는 단계와;
(d6) 상기 (d5) 단계에서 시간 동기화된 각 서브 콘텐츠가 화면상에 기 설정된 알고리즘에 따라 배치 및 표시되도록 제어하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 처리 장치의 제어방법.3. The method of claim 2,
The step (d)
(d4) generating a decoding thread by the number of sub-contents determined in the step (b);
(d5) synchronizing the decoding threads generated in the step (d4) while continuously allocating the respective sub contents extracted in the step (c) according to the order;
(d6) controlling the sub-contents time-synchronized in step (d5) to be arranged and displayed according to a predetermined algorithm on the screen. 제1항에 있어서,
상기 (a) 단계에서는 상기 콘텐츠 제공 서버로부터 적어도 하나의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 하나의 콘텐츠 수신 채널을 통해 수신하는 것을 특징으로 하는 콘텐츠 처리 장치의 제어방법.The method according to claim 1,
Wherein the step (a) receives the integrated multimedia contents including at least one sub-content from the contents providing server through one content receiving channel. 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium storing a program for executing the method according to any one of claims 1 to 6. 하드웨어와 결합되어 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 응용 프로그램.7. An application program stored on a computer-readable medium for performing the method of any one of claims 1 to 6 in combination with hardware. 콘텐츠 제공 서버로부터 적어도 하나의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 하나의 콘텐츠 수신 채널을 통해 수신하는 수신부와;
상기 수신부에 수신된 통합 멀티미디어 콘텐츠의 헤더에 포함된 정보를 이용하여 상기 통합 멀티미디어 콘텐츠에 포함된 서브 콘텐츠 개수를 판단하는 판단부와;
상기 판단부에서 판단한 서브 콘텐츠 개수만큼 상기 통합 멀티미디어 콘텐츠에서 각각의 서브 콘텐츠를 추출하는 추출부와;
상기 추출부에서 추출한 각각의 서브 콘텐츠에 포함된 시간 정보를 이용하여 각 서브 콘텐츠를 동기화시킨 후, 그 동기화된 각 서브 콘텐츠가 함께 재생되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 멀티미디어 콘텐츠 처리 장치.A receiving unit for receiving the integrated multimedia contents including at least one sub-content from the contents providing server through one content receiving channel;
A determination unit for determining the number of sub-contents included in the integrated multimedia contents using the information included in the header of the integrated multimedia contents received by the receiver;
An extracting unit for extracting each sub-content from the integrated multimedia contents by the number of sub-contents judged by the judging unit;
And a controller for synchronizing each sub-content using the time information included in each of the sub-contents extracted by the extracting unit, and controlling the synchronized sub-contents to be reproduced together. 제9항에 있어서,
상기 제어부는 상기 동기화된 각 서브 콘텐츠가 화면상에 기 설정된 알고리즘에 따라 배치 및 표시되도록 제어하는 것을 특징으로 하는 콘텐츠 처리 장치.10. The method of claim 9,
Wherein the controller controls the synchronized sub-contents to be arranged and displayed according to a predetermined algorithm on the screen. 제10항에 있어서,
상기 제어부는 상기 판단부에서 판단된 서브 콘텐츠 개수만큼 디코딩모듈을 생성하고, 그 생성된 디코딩 모듈에 상기 추출부에서 추출한 각각의 서브 콘텐츠를 그 순서에 따라 지속적으로 할당하면서 시간 동기화시키며, 시간 동기화된 각 서브 콘텐츠가 화면상에 기 설정된 알고리즘에 따라 배치 및 표시되도록 각 디코딩모듈을 제어하는 것을 특징으로 하는 멀티미디어 콘텐츠 처리 장치.11. The method of claim 10,
The control unit generates a decoding module as many as the number of sub-contents determined by the determination unit, and time-synchronizes the sub-contents extracted by the extraction unit to the generated decoding module while continuously allocating the sub- And controls each decoding module so that each sub-content is arranged and displayed according to a predetermined algorithm on the screen. 제10항에 있어서,
상기 제어부는 상기 디코딩 모듈에 각각 할당된 서브 콘텐츠에 포함된 시간 정보가 모두 일치할 때까지 대기하도록 각 디코딩 모듈을 제어하고, 그 디코딩 모듈에 각각 할당된 서브 콘텐츠에 포함된 시간 정보가 모두 일치하는 경우 각 디코딩 모듈에서 디코딩된 각 서브 콘텐츠가 각 디코딩 모듈에 할당된 화면상의 영역에 표시되도록 제어하는 것을 특징으로 하는 멀티미디어 콘텐츠 처리 장치.11. The method of claim 10,
Wherein the control unit controls each decoding module to wait until all the time information included in the sub contents assigned to the decoding module are all coincident with each other, and when all the time information included in the sub contents allocated to the decoding module match The control unit controls each of the sub-contents decoded by each decoding module to be displayed in an area on the screen allocated to each decoding module. 제10항에 있어서,
상기 제어부는, 상기 판단부에서 판단한 서브 콘텐츠 개수만큼 디코딩 스레드를 생성하고, 그 생성된 디코딩 스레드에 상기 추출부에서 추출한 각각의 서브 콘텐츠를 그 순서에 따라 지속적으로 할당하면서 시간 동기화시키며, 그 시간 동기화된 각 서브 콘텐츠가 화면상에 배치 및 표시되도록 각 디코딩 스레드를 제어하는 것을 특징으로 하는 멀티미디어 콘텐츠 처리 장치.11. The method of claim 10,
The control unit generates a decoding thread as many times as the number of sub-contents determined by the determination unit, time-synchronizes the sub-contents extracted by the extraction unit to the generated decoding thread continuously in accordance with the order, And controls each of the decoding threads so that each of the sub-contents is arranged and displayed on the screen. 제9항에 있어서,
상기 수신부는 상기 콘텐츠 제공 서버로부터 적어도 하나의 서브 콘텐츠를 포함하는 통합 멀티미디어 콘텐츠를 하나의 콘텐츠 수신 채널을 통해 수신하는 것을 특징으로 하는 콘텐츠 처리 장치.10. The method of claim 9,
Wherein the receiving unit receives the integrated multimedia contents including at least one sub-content from the contents providing server through one content receiving channel.
KR1020180001908A 2018-01-05 2018-01-05 Apparatus and method for multimedia contents handling KR102012580B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180001908A KR102012580B1 (en) 2018-01-05 2018-01-05 Apparatus and method for multimedia contents handling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180001908A KR102012580B1 (en) 2018-01-05 2018-01-05 Apparatus and method for multimedia contents handling

Publications (2)

Publication Number Publication Date
KR20190083907A true KR20190083907A (en) 2019-07-15
KR102012580B1 KR102012580B1 (en) 2019-10-21

Family

ID=67257646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180001908A KR102012580B1 (en) 2018-01-05 2018-01-05 Apparatus and method for multimedia contents handling

Country Status (1)

Country Link
KR (1) KR102012580B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980030759A (en) * 1996-10-30 1998-07-25 배순훈 Image multi-processing device in single channel
KR19990035264A (en) * 1997-10-31 1999-05-15 윤종용 How to configure multi-angle screen selection menu
KR20080052850A (en) * 2006-12-08 2008-06-12 주식회사 알티캐스트 Screen compilation system of client base and method thereof
KR100974638B1 (en) 2009-06-23 2010-08-10 송지을 System and method for relay broadcast of baseball game
KR20120036398A (en) * 2010-10-08 2012-04-18 주식회사 엘지유플러스 Server, method, and recording medium for providing broadcasting service through a wireless or wired network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980030759A (en) * 1996-10-30 1998-07-25 배순훈 Image multi-processing device in single channel
KR19990035264A (en) * 1997-10-31 1999-05-15 윤종용 How to configure multi-angle screen selection menu
KR20080052850A (en) * 2006-12-08 2008-06-12 주식회사 알티캐스트 Screen compilation system of client base and method thereof
KR100974638B1 (en) 2009-06-23 2010-08-10 송지을 System and method for relay broadcast of baseball game
KR20120036398A (en) * 2010-10-08 2012-04-18 주식회사 엘지유플러스 Server, method, and recording medium for providing broadcasting service through a wireless or wired network

Also Published As

Publication number Publication date
KR102012580B1 (en) 2019-10-21

Similar Documents

Publication Publication Date Title
KR102025157B1 (en) System and method for transmitting a plurality of video image
US11627381B2 (en) Video assets having associated graphical descriptor data
US20140199053A1 (en) Systems and methods to modify playout or playback
CN111355966A (en) Surrounding free visual angle live broadcast method and system
CN101588488A (en) Multiple-position streaming media transmitting method as well as multiple-position streaming media broadcasting method and system
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
CN103119952B (en) Process the method and relevant device of media stream
US20210368215A1 (en) Managing a multi-view event comprising several streams, stream buffers, and rendering onto a single canvas
CN114079813A (en) Picture synchronization method, coding method, video playing device and video coding device
CN113014943A (en) Video playing method, video player and video live broadcasting system
KR102163695B1 (en) Method for providing real-time engaging streaming service over internet and apparatus therefor
JP2004312208A (en) Device, method and program for displaying video
JP5283914B2 (en) Display control apparatus and display control method
KR102026454B1 (en) System and method for transmitting a plurality of video image
KR102024437B1 (en) System and method for transmitting a plurality of video image
JP2003283450A (en) Contents transmission reception system, receiver, contents transmission system, program, and recording medium for the program
WO2019218741A1 (en) Information transmission method and device, storage medium, and electronic device
JP2013009359A (en) Broadcasting communication cooperation reception device
KR102012580B1 (en) Apparatus and method for multimedia contents handling
JP2012004991A (en) Broadcast receiving apparatus and control method for the same
CN112004100B (en) Driving method for integrating multiple audio and video sources into single audio and video source
CN112738609A (en) Multi-channel video stream transmission method and device and multi-channel video stream playing system
US10264241B2 (en) Complimentary video content
TWI822158B (en) System and method for immersive capture of streaming video and imaging
KR102279404B1 (en) Apparatus and method for receiving and playing contents

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant