KR101242478B1 - Real time personal broadcasting system using media jockey based on multi-angle - Google Patents
Real time personal broadcasting system using media jockey based on multi-angle Download PDFInfo
- Publication number
- KR101242478B1 KR101242478B1 KR1020110125985A KR20110125985A KR101242478B1 KR 101242478 B1 KR101242478 B1 KR 101242478B1 KR 1020110125985 A KR1020110125985 A KR 1020110125985A KR 20110125985 A KR20110125985 A KR 20110125985A KR 101242478 B1 KR101242478 B1 KR 101242478B1
- Authority
- KR
- South Korea
- Prior art keywords
- module
- media
- image
- client terminal
- jockey
- Prior art date
Links
- 230000003139 buffering effect Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 19
- 230000011218 segmentation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000005465 channeling Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
- H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4383—Accessing a communication channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 멀티 앵글 기반의 미디어 자키를 이용한 실시간 개인 방송 시스템에 관한 것으로, 더욱 상세하게는 복수의 클라이언트 단말에 각각 요청된 앵글의 영상을 제공하며, 앵글 변환 시 저해상도의 영상을 삽입하여 전송함으로써, 사용자로 하여금 채널 변환 시 느껴지는 이질감을 감소시킬 수 있는 개인 방송 시스템에 관한 것이다.The present invention relates to a real-time personal broadcasting system using a multi-angle-based media jockey, and more particularly, by providing images of the requested angles to a plurality of client terminals, and inserting and transmitting a low-resolution video when converting angles. The present invention relates to a personal broadcasting system capable of reducing the heterogeneity felt by a user during channel switching.
최근 소셜 TV, 개인 멀티미디어 서비스, 개인 방송 서비스와 같은 소셜 네트워크 서비스가 발전되고 있다. 소셜 TV는 소셜 네트워크 서비스와 함께 VOD 또는 실시간 비디오를 이용하여 경험을 공유하는 환경을 제공할 있다. 그러나, 개인화된 콘텐츠는 소셜 TV에서 지원되지 않는다. 개인 방송 서비스는 개인 콘텐츠 생성 및 개인 방송 채널을 제공할 수 있다. 그러나, 그들은 전통적인 멀티미디어 디스플레이 및 실시간으로 생성된 콘텐츠를 지원하지는 않는다.Recently, social network services such as social TV, personal multimedia services, and personal broadcast services have been developed. Social TV can provide an experience sharing experience using VOD or real-time video with social network services. However, personalized content is not supported on social TV. The personal broadcast service may generate personal content and provide a personal broadcast channel. However, they do not support traditional multimedia displays and real-time generated content.
따라서, 개인 방송 서비스는 복수의 콘텐츠 또는 멀티-앵글 미디어를 지원하지 않고 오직 미리 생성된 콘텐츠 또는 TV 쇼, 영화와 같은 전통 미디어만을 지원한다. Thus, personal broadcast services do not support multiple content or multi-angle media but only pre-generated content or traditional media such as TV shows and movies.
한국공개특허 제10-2006-0037721호의 경우에도 의뢰인 컴퓨터의 제작 요청에 따라 개인 콘텐츠를 제작하고, 제작된 콘텐츠를 제공하는 방송 서비스 시스템만 개시하고 있을 뿐, 멀티 영상을 제공하는 제공하는 것에 대해서는 개시하고 있지 않다.In the case of Korean Patent Publication No. 10-2006-0037721, only a broadcast service system for producing personal content and providing the produced content is disclosed in response to a request from a client computer. I'm not doing it.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 여러 미디어 소스로부터 수신된 영상을 기초로 멀티 앵글 기반 맞춤형 개인 방송 시스템을 제공하는 데 그 목적이 있다.The present invention has been made in view of the above-described problems, and an object thereof is to provide a multi-angle-based customized personal broadcasting system based on images received from various media sources.
이를 위해 본 발명의 일실시예에 따른 개인 방송 시스템은 동일한 이벤트에 관하여 복수의 미디어 소스로부터 수신된 영상을 처리하는 미디어 자키 모듈과, 상기 미디어 자키 모듈에서 처리된 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되, 상기 미디어 자키 모듈은 상기 복수의 미디어 소스로부터 수신된 영상을 가공 또는 편집하여 상기 클라이언트 단말에 제공하거나, 상기 복수의 미디어 소스로부터 수신된 영상 중 하나의 영상을 선택하여 상기 클라이언트 단말에 제공할 수 있다.To this end, a personal broadcast system according to an embodiment of the present invention includes a media jockey module for processing images received from a plurality of media sources with respect to the same event, and one or more clients for receiving and playing back the images processed by the media jockey module. And a terminal, wherein the media jockey module processes or edits images received from the plurality of media sources and provides them to the client terminal, or selects one image among images received from the plurality of media sources, and selects the client terminal. Can be provided to
상기 복수의 미디어 소스는 인터넷 매체, 방송 매체, 방송사 카메라, 저장용 서버 중 하나 이상을 포함할 수 있다.The plurality of media sources may include one or more of an internet medium, a broadcast medium, a broadcaster camera, and a storage server.
상기 복수의 미디어 소스로부터 수신된 영상은 멀티 앵글 영상을 포함할 수 있다.An image received from the plurality of media sources may include a multi angle image.
상기 미디어 자키 모듈은 상기 하나 이상의 미디어 소스로부터 수신된 영상을 저장하는 버퍼링 모듈과, 상기 버러핑 모듈로부터 수신된 영상을 디코딩하는 디코딩 모듈과, 상기 디코밍 모듈에서 디코딩된 영상을 수신하여 개인 방송을 제공하기 위한 인터페이스를 사용자에게 표시하고, 사용자의 제어 명령을 수신하는 사용자 인터페이스 모듈과, 상기 버퍼링 모듈로부터 수신된 영상을 상기 클라이언트 단말에 스트리밍 하는 스트리밍 모듈과, 상기 클라이언트 단말의 연결 요청을 관리하고, 상기 사용자 인터페이스 모듈 및 상기 스트리밍 모듈에 상기 클라이언트 단말의 정보를 제공하는 클라이언트 매니저 모듈을 포함할 수 있다.The media jockey module includes a buffering module for storing images received from the one or more media sources, a decoding module for decoding the images received from the buffering module, and a video decoded by the decoding module to receive a personal broadcast. A user interface module for displaying an interface for providing to a user, receiving a user's control command, a streaming module for streaming an image received from the buffering module to the client terminal, and managing a connection request of the client terminal; It may include a client manager module for providing information of the client terminal to the user interface module and the streaming module.
상기 클라이언트 단말은, 상기 미디어 자키 모듈로부터 수신된 영상을 저장하는 버퍼링 모듈과, 상기 버퍼링 모듈로부터 수신된 영상을 디코딩하는 디코딩 모듈과, 상기 디코딩 모듈에서 디코딩된 영상을 수신하여 상기 클라이언트 단말로의 재생을 위한 인터페이스를 사용자에게 표시하고, 사용자의 제어 명령을 수신하는 사용자 인터페이스 모듈을 포함할 수 있다.The client terminal may include: a buffering module for storing an image received from the media jockey module, a decoding module for decoding the image received from the buffering module, and a video decoded by the decoding module to be played back to the client terminal. It may include a user interface module for displaying an interface for the user, and receives a control command of the user.
또한, 상기 미디어 자키 모듈은, 상기 클라이언트에 제공하는 영상을 현재의 앵글과 다른 앵글의 영상을 변환하는 경우, 상기 다른 앵글의 영상이 재생되기 전의 지연 시간 동안에 미리 마련된 상기 변환될 앵글의 영상보다 저해상도의 영상을 삽입하여 상기 클라이언트 단말에 제공할 수 있다.The media jockey module, when converting an image provided to the client from an angle different from the current angle, has a lower resolution than the image of the converted angle prepared in advance during a delay time before the image of the other angle is reproduced. The video may be inserted into and provided to the client terminal.
또한, 상기 미디어 자키 모듈은, 상기 멀티 앵글 영상을 동일한 프레임율로 조정하고, 각 프레임마다 시퀀스 넘버를 부여하여 상기 멀티 앵글 영상의 재생 시점을 동기화할 수 있다.The media jockey module may adjust the multi-angle video at the same frame rate, and assign a sequence number to each frame to synchronize the reproduction time of the multi-angle video.
본 발명에 따른 개인 방송 시스템에 의하면, 미디어 자키 모듈을 활용하여 인터넷 중계 영상, 텔레비전 중계 영상, 방송사 카메라 영상, 컴퓨터 등에 저장되어 있는 동영상, 인터넷에서 찾을 수 잇는 다양한 동영상 등을 활용하여 개인 맞춤형 방송을 제공할 수 있다.According to the personal broadcasting system according to the present invention, the media jockey module is used to perform personalized broadcasting by using internet broadcast images, TV broadcast images, broadcaster camera images, videos stored in computers, and various videos found on the Internet. Can provide.
또한, 멀티 앵글 영상을 제공할 때에, 앵글 변환 시 지연 시간 동안에 변환할 앵글의 저해상도 영상을 삽입하여 제공함으로써 채널 잽핑 지연에 따른 이질감을 최소화할 수 있다.In addition, when providing a multi-angle image, by providing a low-resolution image of the angle to be converted during the delay time during the angle conversion, it is possible to minimize the heterogeneity caused by the delayed channel channeling.
도 1은 본 발명의 일실시예에 따른 개인 방송 시스템의 개략 구성도이다.
도 2는 본 발명의 일실시예에 따른 개인 방송 시스템의 미디어 자키의 개략 구성도이다.
도 3은 본 발명의 일실시예에 따른 개인 방송 시스템의 클라이언트 단말의 개략 구성도이다.
도 4는 기존 개인 방송 시스템의 채널 전환 방법을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 개인 방송 시스템의 채널 전환 방법을 나타내는 도면이다.
도 6은 본 발명의 다단계 세그먼트 기법을 설명하는 도면이다.
도 7은 기존 NAL의 구조를 나타내는 도면이다.
도 8는 본 발명의 세그먼테이션 방법에 따라 세그먼트된 NAL의 구조를 나타내는 도면이다.
도 9은 본 발명의 일실시예에 따른 개인 방송 시스템의 채널 변환의 예를 나타내는 도면이다.
도 10은 본 발명의 일실시예에 따른 개인 방송 시스템의 미디어 자키 모듈의 인터페이스의 구조를 나타내는 도면이다.1 is a schematic structural diagram of a personal broadcasting system according to an embodiment of the present invention.
2 is a schematic structural diagram of a media jockey of a personal broadcasting system according to an embodiment of the present invention.
3 is a schematic structural diagram of a client terminal of a personal broadcasting system according to an embodiment of the present invention.
4 is a diagram illustrating a channel switching method of an existing personal broadcasting system.
5 is a diagram illustrating a channel switching method of a personal broadcasting system according to an embodiment of the present invention.
6 is a diagram illustrating a multi-step segmentation technique of the present invention.
7 is a diagram illustrating a structure of an existing NAL.
8 is a diagram illustrating a structure of a segmented NAL according to the segmentation method of the present invention.
9 is a diagram illustrating an example of channel conversion of a personal broadcast system according to an embodiment of the present invention.
10 is a diagram showing the structure of an interface of a media jockey module of a personal broadcasting system according to an embodiment of the present invention.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 개인 방송 시스템의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 아래의 내용에 의해 한정되지 아니한다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. However, the accompanying drawings and the following description are only possible embodiments of the personal broadcasting system according to the present invention, and the technical idea of the present invention is not limited to the following.
도 1은 본 발명의 일실시예에 따른 개인 방송 시스템의 개략 구성도이다.1 is a schematic structural diagram of a personal broadcasting system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 개인 방송 시스템(1)은 미디어 자키 모듈(10)과 다수의 클라이언트 단말(20: 20a, 20b, 20c, 20d, 20e, 20f)을 포함하여 이루어진다.Referring to FIG. 1, a
미디어 자키 모듈(10)은 다수의 미디어 소스로부터 스트리밍 데이터를 수신하여 이를 처리하여 다수의 클라이언트 단말(20)로 전송하는 역할을 한다. 여기서 “미디어 자키(Media Jockey)”라 함은 개인 방송 시스템(1)을 구성하는 어느 특정 단말기가 여러 클라이언트 단말(20)로부터 수신된 미디어 데이터를 수신 및 가공하여 클라이언트 단말기(20)에 제공하는 역할을 하는 단말을 가리킨다. The
클라이언트 단말(20)은 도 1에서 볼 수 있듯이, 저장 장치(20a), 특정 카메라 소스(20b), 인터넷 소스(20c), 스마트 기기(20d), IPTV(20e), 노트북(20f) 등이 될 수 있다. 이때, 클라이언트 단말(20)은 저장 장치(20a)와 같이 외부에서 얻어진 데이터를 저장하는 기기이거나, 카메라 소스(20b)와 같이 실시간으로 데이터를 얻는 장치이거나, 스마트 기기(20d)와 같이 외부로부터 실시간으로 데이터를 얻거나 동시에 이를 저장할 수 있는 기기일 수 있다.As shown in FIG. 1, the
이때, 카메라 소스(20b)는 멀티 앵글을 지원하는 파노라마 카메라를 포함할 수 있다. 카메라 소스(20b)가 멀티 앵글 파노라마 카메라인 경우 또는 동일 채널에 대한 다양한 앵글의 카메라인 경우에, 개인 방송 시스템(1)은 후술하는 바와 같이 다양한 앵글의 영상을 클라이언트 단말(20)에 제공할 수 있다.In this case, the
여기서, “채널”이라고 함은 하나의 이벤트에 대하여 다양한 미디어 소스가 제공하는 영상을 의미한다. 즉, 야구 경기 중계 영상의 경우 동일한 야구 경기에 대한, 공중파 중계 영상, 인터넷 개인 방송의 영상, 경기장에 배치된 방송사의 카메라로부터 얻어지는 영상 등을 포함한다. 즉, 본 명세서에서는 하나의 야구 경기와 같은 동일 채널에 대한 다양한 멀티 앵글 영상이 획득된 경우를 기초로 설명하기로 한다.Here, the "channel" refers to an image provided by various media sources for one event. That is, in the case of the baseball game relay image, it includes an air wave relay image, an image of Internet personal broadcasting, an image obtained from a camera of a broadcaster arranged in a stadium, and the like for the same baseball game. That is, the present specification will be described based on the case where various multi-angle images of the same channel, such as one baseball game, are obtained.
이하, 도 1에서와 같이, 멀티 앵글 영상을 획득할 수 있는 미디어 자키 모듈(10) 및 미디어 자키 모듈(10)에 접속된 다수의 클라이언트 단말(20)이 있는 경우를 상정하여 설명하기로 한다.
Hereinafter, a case in which there is a
도 2는 본 발명의 일실시예에 따른 개인 방송 시스템의 미디어 자키 모듈의 개략 구성도이다.2 is a schematic structural diagram of a media jockey module of a personal broadcasting system according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 미디어 자키 모듈(10)은 버퍼링 모듈(11)과, 디코딩 모듈(13)과, 스트리밍 모듈(15)과, 클라이언트 매니저 모듈(17)과, 사용자 인터페이스 모듈(19)을 포함하여 이루어진다.2, a
버퍼링 모듈(11)은 미디어 소스로부터 수신된 영상을 일시적으로 저장하고, 이를 디코딩 모듈(13) 또는 스트리밍 모듈(15)로 전송하는 역할을 한다.The
디코딩 모듈(13)는 버퍼링 모듈(11)로부터 수신된 영상을 디코딩하고, 사용자 인터페이스 모듈(19)로부터 제어 메시지를 수신하여 버퍼링 모듈(11)에 전송하는 역할을 한다.The
사용자 인터페이스 모듈(19)는 디코딩 모듈(13)에서 디코딩된 영상을 수신하여 개인 방송을 제공하기 위한 인터페이스를 사용자에게 표시하고, 사용자의 제어 메시지(명령)을 수신하여, 이를 디코딩 모듈(13) 및 클라이언트 매니저 모듈(17)에 전송하는 역할을 한다.The
스트리밍 모듈(15)는 버퍼링 모듈(11)로부터 수신된 영상을 클라이언트 단말(20)에 스트리밍하는 역할을 한다.The
클라이언트 매니저 모듈(17)은 클라이언트 단말(20)의 연결 요청을 관리하고, 사용자 인터페이스 모듈(19) 및 스트리밍 모듈(15)에 클라이언트 단말(20)의 정보를 제공하는 역할을 한다.
The
도 3은 본 발명의 일실시예에 따른 개인 방송 시스템의 클라이언트 단말의 개략 구성도이다.3 is a schematic structural diagram of a client terminal of a personal broadcasting system according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일실시예에 따른 클라이언트 단말(20)은 버퍼링 모듈(21)과, 사용자 인터페이스 모듈(23)과 디코딩 모듈(25)을 포함하여 이루어진다.Referring to FIG. 3, the
버퍼링 모듈(21)은 미디어 자키 모듈(10)로부터 수신된 영상을 일시적으로 저장하는 역할을 한다.The
디코딩 모듈(25)는 버퍼링 모듈(21)로부터 수신된 영상을 디코딩하는 역할을 한다. 이때, 디코딩 모듈(25)은 버퍼링 모듈(21)에서 수신된 JAVA 형식의 데이터를 FFMPEG(C code) 형식으로 변환한다.The
사용자 인터페이스 모듈(23)은 디코딩 모듈(25)에서 디코딩된 영상을 수신하여 클라이언트 단말(20)로의 재생을 위한 인터페이스를 사용자에게 표시하고, 사용자의 제어 명령을 수신하는 역할을 한다. The
이러한 구성으로, 본 발명에 따른 개인 방송 시스템은 미디어 자키 모듈(10)에 접속한 다수의 클라이언트 단말(20)의 요청에 대응하여 각각 다른 앵글의 영상을 제공할 수 있다. With such a configuration, the personal broadcasting system according to the present invention may provide images of different angles in response to requests from the plurality of
하지만, 이렇게 사용자의 요청에 따라 다른 앵글의 영상을 제공하기 위하여 채널을 잽핑(zapping)하는 경우, 새로운 채널의 고해상도 영상이 도착하기까지의 지연 시간이 존재하게 되어 사용자는 매우 큰 이질감을 느끼게 된다. 기존의 공중파 방송에 익숙한 사용자에 이러한 이질감은 큰 불편을 야기한다. 따라서, 이러한 채널 잽핑 지연(channel zapping delay)을 제거할 필요가 있다. 이하, 기존의 채널 잽핑 지연에 대해서 간단히 살펴보고, 본 발명이 채택하고 있는 채널 잽핑 지연을 제거하는 방법을 설명한다.
However, in the case of zapping a channel in order to provide an image of another angle according to the user's request, there is a delay time until a high resolution image of a new channel arrives, and the user feels a great heterogeneity. This heterogeneity causes a great inconvenience for users who are used to the conventional air broadcasting. Therefore, there is a need to remove such channel zapping delay. The following briefly describes the existing channel chipping delays and describes a method for removing channel channeling delays adopted by the present invention.
도 4는 기존 개인 방송 시스템의 채널 전환 방법을 나타내는 도면이다.4 is a diagram illustrating a channel switching method of an existing personal broadcasting system.
도 4를 참조하면, 미디어 자키 모듈(43)이 저장된 스트리밍 데이터 베이스(41)에 저장된 스트림을 미디어 자키 인터페이스(45)를 통하여 사용자에게 제공하고 있음을 알 수 있다. 현재 스트림 1이 선택되어 재생되고 있는 상황이다. 즉, 미디어 자키 인터페이스(45) 상에서 왼쪽의 가장 큰 야구 재생 화면이 현재 재생되고 있는 화면이다. Referring to FIG. 4, it can be seen that the media jockey module 43 provides a user with a stream stored in the stored
이때, 사용자의 요청에 의해 미디어 자키 인터페이스(45)의 우측 썸네일 영상 중 하나의 다른 앵글의 화면이 요청되는 경우 미디어 자키 모듈(43)은 스트림 2의 재생 서비스를 새로이 시작할 수 있다. 하지만 도 4에서 볼 수 있듯이, 새로운 스트림 2의 영상이 도착할 때까지 지연 시간이 존재하게 된다.
In this case, when a screen of one other angle of the right thumbnail image of the
도 5는 본 발명의 일실시예에 따른 개인 방송 시스템의 채널 전환 방법을 나타내는 도면이다.5 is a diagram illustrating a channel switching method of a personal broadcasting system according to an embodiment of the present invention.
도 5를 참조하면, 미디어 자키 모듈(53)은 스트리밍 데이터 베이스(51)에 있는 스트리밍 데이터를 미디어 자키 인터페이스(55)를 통하여 사용자에게 제공하고 있다. Referring to FIG. 5, the
마찬가지로, 사용자의 요청에 의해 스트림 1 재생 중 스트림 2의 재생이 필요한 경우, 기존 방식과는 달리 요청된 스트림 2(고해상도) 보다 더 저해상도의 미리 저장된 영상을 지연 시간 동안 재생시킨다. Likewise, when
이때, 스트리밍 데이터 베이스(51)에는 일반적으로 사용자에게 제공되는 고해상도의 스트리밍 데이터와는 별도로 다운 샘플링된 저해상도의 데이터가 미리 저장되어 있다. 도 5에는 720p 해상도의 절반인 320p의 해상도로 저장되어 있다. 이에 대해서 도 6을 참조하여 더 상세히 살펴본다.At this time, the
도 6은 본 발명의 다단계 세그먼트 기법을 설명하는 도면이다.6 is a diagram illustrating a multi-step segmentation technique of the present invention.
도 6을 참조하면 도 5와 같이 세그먼트 들이 각각의 채널에서 존재하고 있는 경우에, 어떻게 재생 단계가 변화하는 지를 나타내고 있다. Referring to FIG. 6, when the segments exist in each channel, as shown in FIG. 5, the playback stage is changed.
즉, 해상도 720p 해상도의 채널 1의 스트림 1이 재생되는 도중 채널 2의 스트림 2의 재생 요청이 있는 경우 지연 시간 동안 해상도 320p 해상도의 세그먼트들을 재생하다가 해상도 720 픽셀의 스트림 2를 재생한다.
That is, when
도 7에서 볼 수 있는 바와 같이, H.264 표준 스트림은 NAL(Network Abstraction Layer) 유닛으로 이루어져 있다. 이때, 하나의 유닛은 각각 IDR(Instantaneous Decoding Refresh) 픽처(picture)로 독립적으로 디코딩된다. 이 IDR 픽처는 H.264 인코딩의 하나의 옵션이 될 수 있다. 만약에, NAL 유닛의 IDR 필처의 간격이 하나인 경우에는 잽핑 지연이 제로가 된다. 그러나, 각각의 NAL 유닛이 IPR 픽처가 되므로, 매우 큰 네트워크 대역폭이 요구된다.As can be seen in Figure 7, the H.264 standard stream is composed of a Network Abstraction Layer (NAL) unit. At this time, one unit is independently decoded into an Instantaneous Decoding Refresh (IDR) picture. This IDR picture may be one option of H.264 encoding. If the IDR filter interval of the NAL unit is one, the shopping delay is zero. However, since each NAL unit becomes an IPR picture, very large network bandwidth is required.
따라서, IDR 픽처는 상관 코딩(Correlation coding)으로 고려되지 않으며, IDR 픽처는 일반적인 NAL 유닛보다 더 크다. 다라서, IDR 픽처 사이의 최적 간격이 시스템 환경을 위해 고려되어야 한다. Thus, the IDR picture is not considered correlation coding, and the IDR picture is larger than a typical NAL unit. Therefore, the optimal spacing between IDR pictures should be considered for the system environment.
도 7에서, RBSP는 Raw Byte Sequence Paylode의 약자이고, SPS(Sequence parameter set)의 약자이고, PSS(Picture parameter set)의 약자이고, NAL은 NAL 유닛과 페이로드를 합한 것을 의미한다.
In FIG. 7, RBSP stands for Raw Byte Sequence Paylode, stands for Sequence Parameter Set (SPS), stands for Picture Parameter Set (PSS), and NAL means sum of NAL units and payload.
도 8는 본 발명의 세그먼테이션 방법에 따라 세그먼트된 NAL의 구조를 나타내는 도면이다.8 is a diagram illustrating a structure of a segmented NAL according to the segmentation method of the present invention.
본 발명의 도 8에 나타난 봐와 같이 각각의 세그먼트된 NAL의 구조의 스트림 데이터를 각각의 채널 데이터로 사용하며, 지연 시안 동안에 재생된 데이터는 저해상도의 스트림 데이터로 구성된다. As shown in FIG. 8 of the present invention, stream data having a structure of each segmented NAL is used as respective channel data, and data reproduced during delay cyan is composed of low resolution stream data.
이러한 방식으로 본 발명은, 각 멀티 앵글 영상을 동일한 프레임율오 조정하고, 각 프레임마다 시퀀스 넘버를 부여하고(도 8의 사전 정의부(81), 세그먼트1(83), 세그먼트 2(85), 세그먼트 3(87)), 기준 시점(야구 경기의 경우 경기 시작 시점)을 기초로 모든 멀티 앵글 영상의 시작 시점을 동일하게 맞추어 모든 멀티 앵글의 재생 시점을 동일하게 맞추는 재생 시각 동기화 기술을 사용한다. 이렇게 모든 멀티 앵글의 재생 시작 동기화를 하면서, 앵글 변환 시에는 지연 시간 동안 세그먼트된 NAL 구조를 이용하여 저해상도의 영상을 재생함으로써 지연 시간에 따른 이질감을 해소할 수 있다.
In this manner, the present invention adjusts each multi-angle video by the same frame rate, and assigns a sequence number to each frame (predefining
도 9은 본 발명의 일실시예에 따른 개인 방송 시스템의 앵글 변환의 예를 나타내는 도면이다.9 is a diagram illustrating an example of angle conversion of a personal broadcast system according to an embodiment of the present invention.
도 10에 도시되어 있는 바와 같이 본 발명에 따른 개인 방송 시스템(1)은 사용자의 요청에 따라 앵글 1(101)에서 앵글 2(103)으로, 앵글 2(103)에서 앵글 3(105)로 채널 잽핑 지연 없이 채널을 변환시킬 수 있다.
As shown in FIG. 10, the
도 10은 본 발명의 일실시예에 따른 개인 방송 시스템의 미디어 자키 모듈의 인터페이스의 구조를 나타내는 도면이다.10 is a diagram showing the structure of an interface of a media jockey module of a personal broadcasting system according to an embodiment of the present invention.
도 10의 전체화면(111), 화면편집(112), 단체응원시작(113), 모바일 앵글 요청 확인(114), 썸네일 영상 소스(115)로 구성될 수 있다.10, the
전체 화면(111)은 현재 전체 사용자에게 디폴트(default)로 제공되는 화면에 해당한다.The
화면 편집(112)는 미디어 자키가 사용자에게 제공할 화면을 편집할 수 있도록 하는 인터페이스부이다.The
단체응원시작(113)은 미디어 자키 모듈의 인터페이스에서 특정하게 설정된 지원 양식에 해당한다. 도 11과 같이 야구 게임 중계의 경우, 단체응원시작(113)을 활성화시키는 경우, 단체응원을 체감할 수 있는 인터페이스를 각 클라이언트 단말(20)에 제공할 수 있다.Group response start 113 corresponds to a support form specifically set in the interface of the media jockey module. In the case of relaying a baseball game as shown in FIG. 11, when activating the group response start 113, an interface for experiencing group response may be provided to each
모바일 앵글 요청 확인(114)은 클라이언트 단말(20)의 요청을 확인할 수 있는 인터페이스 부이다. 참가 클라이언트 단말(20)이 다수인 경우 각 참가자의 요청을 확인할 수 있다. 도 11의 경우, 각 참가자가 특정 앵글의 영상을 요청하고 있음을 알 수 있다.The mobile
썸네일 영상 소스(115: 115a, 115b, 115c, 115d, 115e)는 현재 수집되는 다양한 앵글의 경기 화면을 썸네일 영상으로 나타내는 인터페이스부이다. 도 11에서 볼 수 있듯이 각 썸네일 영상을 선택하는 경우 “전체화면으로 전송”, “화면 편집”, “모바일로 전송” 등의 선택이 가능하고, 특정 참가자에게만 적용할 수 있도록 하는 인터페이스가 제공된다.The thumbnail image sources 115: 115a, 115b, 115c, 115d, and 115e are interface units that display thumbnail images of game screens of various angles currently collected. As shown in FIG. 11, when selecting each thumbnail image, selections such as “send to full screen”, “edit screen”, “send to mobile”, and the like are provided, and an interface is provided that can be applied only to specific participants.
본 발명에 따른 개인 방송 시스템은, 이와 같이 멀티 앵글을 기반으로 다양한 클라이언트 단말에 맞춤형 영상 정보를 제공할 수 있다. The personal broadcasting system according to the present invention may provide customized image information to various client terminals based on the multi-angle.
1: 개인 방송 시스템 10: 미디어 자키 모듈
11: 버퍼링 모듈 13: 디코딩 모듈
15: 스트리밍 모듈 17: 클라이언트 매니저 모듈
19: 사용자 인터페이스 모듈 20: 클라이언트 단말
21: 버퍼링 모듈 23: 사용자 인터페이스 모듈
25: 디코딩 모듈1: personal broadcast system 10: media jockey module
11: buffering module 13: decoding module
15: streaming module 17: client manager module
19: user interface module 20: client terminal
21: Buffering Module 23: User Interface Module
25: decoding module
Claims (7)
상기 미디어 자키 모듈에서 처리된 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되,
상기 미디어 자키 모듈은 상기 복수의 미디어 소스로부터 수신된 영상을 가공 또는 편집하여 상기 클라이언트 단말에 제공하거나, 상기 복수의 미디어 소스로부터 수신된 영상 중 하나의 영상을 선택하여 상기 클라이언트 단말에 제공하고,
상기 복수의 미디어 소스는 인터넷 매체, 방송 매체, 방송사 카메라, 저장용 서버 중 하나 이상을 포함하고,
상기 복수의 미디어 소스로부터 수신된 영상은 멀티 앵글 영상을 포함하고,
상기 미디어 자키 모듈은,
상기 하나 이상의 미디어 소스로부터 수신된 영상을 저장하는 버퍼링 모듈;
상기 버퍼링 모듈로부터 수신된 영상을 디코딩하는 디코딩 모듈;
상기 디코딩 모듈에서 디코딩된 영상을 수신하여 개인 방송을 제공하기 위한 인터페이스를 사용자에게 표시하고, 사용자의 제어 명령을 수신하는 사용자 인터페이스 모듈;
상기 버퍼링 모듈로부터 수신된 영상을 상기 클라이언트 단말에 스트리밍 하는 스트리밍 모듈; 및
상기 클라이언트 단말의 연결 요청을 관리하고, 상기 사용자 인터페이스 모듈 및 상기 스트리밍 모듈에 상기 클라이언트 단말의 정보를 제공하는 클라이언트 매니저 모듈을 포함하는 것을 특징으로 하는 개인 방송 시스템.A media jockey module for processing images received from a plurality of media sources with respect to the same event; And
At least one client terminal for receiving and playing the image processed by the media jockey module,
The media jockey module processes or edits images received from the plurality of media sources and provides them to the client terminal, or selects one image among images received from the plurality of media sources and provides the image to the client terminal.
The plurality of media sources includes one or more of an internet medium, a broadcast medium, a broadcaster camera, and a storage server;
The images received from the plurality of media sources include multi-angle images,
The media jockey module,
A buffering module that stores an image received from the one or more media sources;
A decoding module for decoding an image received from the buffering module;
A user interface module which receives an image decoded by the decoding module, displays an interface for providing a personal broadcast to a user, and receives a user's control command;
A streaming module for streaming the image received from the buffering module to the client terminal; And
And a client manager module for managing a connection request of the client terminal and providing information of the client terminal to the user interface module and the streaming module.
상기 클라이언트 단말은,
상기 미디어 자키 모듈로부터 수신된 영상을 저장하는 버퍼링 모듈;
상기 버퍼링 모듈로부터 수신된 영상을 디코딩하는 디코딩 모듈; 및
상기 디코딩 모듈에서 디코딩된 영상을 수신하여 상기 클라이언트 단말로의 재생을 위한 인터페이스를 사용자에게 표시하고, 사용자의 제어 명령을 수신하는 사용자 인터페이스 모듈을 포함하는 것을 특징으로 하는 개인 방송 시스템.The method of claim 1,
The client terminal,
A buffering module that stores an image received from the media jockey module;
A decoding module for decoding an image received from the buffering module; And
And a user interface module for receiving an image decoded by the decoding module, displaying an interface for playback to the client terminal, and receiving a user's control command.
상기 미디어 자키 모듈에서 처리된 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되,
상기 미디어 자키 모듈은 상기 복수의 미디어 소스로부터 수신된 영상을 가공 또는 편집하여 상기 클라이언트 단말에 제공하거나, 상기 복수의 미디어 소스로부터 수신된 영상 중 하나의 영상을 선택하여 상기 클라이언트 단말에 제공하고,
상기 복수의 미디어 소스는 인터넷 매체, 방송 매체, 방송사 카메라, 저장용 서버 중 하나 이상을 포함하고,
상기 복수의 미디어 소스로부터 수신된 영상은 멀티 앵글 영상을 포함하고,
상기 미디어 자키 모듈은,
상기 클라이언트 단말에 제공하는 영상을 현재의 앵글과 다른 앵글의 영상으로 변환하는 경우, 상기 다른 앵글의 영상이 재생되기 전의 지연 시간 동안에 미리 마련된 상기 변환될 다른 앵글의 영상보다 저해상도의 영상을 삽입하여 상기 클라이언트 단말에 제공하는 것을 특징으로 하는 개인 방송 시스템. A media jockey module for processing images received from a plurality of media sources with respect to the same event; And
At least one client terminal for receiving and playing the image processed by the media jockey module,
The media jockey module processes or edits images received from the plurality of media sources and provides them to the client terminal, or selects one image among images received from the plurality of media sources and provides the image to the client terminal.
The plurality of media sources includes one or more of an internet medium, a broadcast medium, a broadcaster camera, and a storage server;
The images received from the plurality of media sources include multi-angle images,
The media jockey module,
When converting an image provided to the client terminal into an image of an angle different from the current angle, a lower resolution image is inserted by inserting a lower resolution image than the image of the other angle to be converted in advance during a delay time before the image of the other angle is reproduced. Personal broadcasting system, characterized in that provided to the client terminal.
상기 미디어 자키 모듈은,
상기 멀티 앵글 영상을 동일한 프레임율로 조정하고, 각 프레임마다 시퀀스 넘버를 부여하여 상기 멀티 앵글 영상의 재생 시점을 동기화하는 것을 특징으로 하는 개인 방송 시스템.The method according to claim 6,
The media jockey module,
And adjusting the multi-angle video at the same frame rate, and assigning a sequence number to each frame to synchronize the reproduction time of the multi-angle video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110125985A KR101242478B1 (en) | 2011-11-29 | 2011-11-29 | Real time personal broadcasting system using media jockey based on multi-angle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110125985A KR101242478B1 (en) | 2011-11-29 | 2011-11-29 | Real time personal broadcasting system using media jockey based on multi-angle |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101242478B1 true KR101242478B1 (en) | 2013-03-12 |
Family
ID=48181691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110125985A KR101242478B1 (en) | 2011-11-29 | 2011-11-29 | Real time personal broadcasting system using media jockey based on multi-angle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101242478B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110177293A (en) * | 2019-05-28 | 2019-08-27 | 南京南方电讯有限公司 | A kind of synchronization multicast and video retransmission method, system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090131891A (en) * | 2008-06-19 | 2009-12-30 | 서강대학교산학협력단 | System and method for providing video stream of multiple personal roi |
-
2011
- 2011-11-29 KR KR1020110125985A patent/KR101242478B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090131891A (en) * | 2008-06-19 | 2009-12-30 | 서강대학교산학협력단 | System and method for providing video stream of multiple personal roi |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110177293A (en) * | 2019-05-28 | 2019-08-27 | 南京南方电讯有限公司 | A kind of synchronization multicast and video retransmission method, system |
CN110177293B (en) * | 2019-05-28 | 2021-12-21 | 南京南方电讯有限公司 | Synchronous multicast and video forwarding method and system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11330311B2 (en) | Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service | |
US7644425B2 (en) | Picture-in-picture mosaic | |
US9756369B2 (en) | Method and apparatus for streaming media data segments of different lengths wherein the segment of different length comprising data not belonging to the actual segment and beginning with key frames or containing key frames only | |
US8607283B2 (en) | Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems | |
US10623816B2 (en) | Method and apparatus for extracting video from high resolution video | |
US20070266170A1 (en) | Interactive, rich-media delivery over an ip network using synchronized unicast and multicast | |
US20020194589A1 (en) | Technique for optimizing the delivery of advertisements and other programming segments by making bandwidth tradeoffs | |
US20140223502A1 (en) | Method of Operating an IP Client | |
US20140282787A1 (en) | System and method for multiscreen network digital video recording using on-demand transcoding | |
KR101528863B1 (en) | Method of synchronizing tiled image in a streaming service providing system of panoramic image | |
KR102361314B1 (en) | Method and apparatus for providing 360 degree virtual reality broadcasting services | |
CN105430451A (en) | Multi-cam HLS description method and multi-cam video direct broadcasting system based on HLS | |
KR102090070B1 (en) | Streaming server, client terminal and audio/video live streaming system using the same | |
EP3398346A1 (en) | Video streams | |
US10637904B2 (en) | Multimedia streaming service presentation method, related apparatus, and related system | |
US11470140B2 (en) | Method and system for multi-channel viewing | |
KR101242478B1 (en) | Real time personal broadcasting system using media jockey based on multi-angle | |
KR20170130883A (en) | Method and apparatus for virtual reality broadcasting service based on hybrid network | |
JP2019033362A (en) | Distribution apparatus, reception apparatus, and program | |
Prins et al. | A hybrid architecture for delivery of panoramic video | |
JP6324829B2 (en) | Video providing system and program | |
US11856242B1 (en) | Synchronization of content during live video stream | |
RU2583755C2 (en) | Method of capturing and displaying entertaining activities and user interface for realising said method | |
JP5581437B1 (en) | Video providing system and program | |
Niamut et al. | Towards scalable and interactive delivery of immersive media |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160302 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170302 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180221 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190305 Year of fee payment: 7 |