KR102126257B1 - 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치 - Google Patents

멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치 Download PDF

Info

Publication number
KR102126257B1
KR102126257B1 KR1020150022524A KR20150022524A KR102126257B1 KR 102126257 B1 KR102126257 B1 KR 102126257B1 KR 1020150022524 A KR1020150022524 A KR 1020150022524A KR 20150022524 A KR20150022524 A KR 20150022524A KR 102126257 B1 KR102126257 B1 KR 102126257B1
Authority
KR
South Korea
Prior art keywords
screen
streaming data
mmt
streaming
view
Prior art date
Application number
KR1020150022524A
Other languages
English (en)
Other versions
KR20160100047A (ko
Inventor
이종민
이경준
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020150022524A priority Critical patent/KR102126257B1/ko
Priority to PCT/KR2016/001457 priority patent/WO2016129963A1/ko
Priority to CN201680007284.4A priority patent/CN107211186B/zh
Priority to JP2017554229A priority patent/JP6427692B2/ja
Publication of KR20160100047A publication Critical patent/KR20160100047A/ko
Priority to US15/623,419 priority patent/US11228801B2/en
Application granted granted Critical
Publication of KR102126257B1 publication Critical patent/KR102126257B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 스트리밍 데이터 제공 방법에 관한 것으로, 더욱 상세하게는 제1 화면 및 제2 화면을 포함하는 멀티뷰 스트리밍 서비스 제공 방법에 있어서, 제1 화면 및 제2 화면의 스트리밍 데이터를 동기화시켜 재생할 수 있는 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치에 관한 것이다.
이를 위한 본 발명의 일 실시 예에 따른 멀티뷰 스트리밍 서비스를 지원하는 장치는 제1 화면에 대한 MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 스트리밍 데이터의 재생 처리를 지원하는 제1 화면 제어 모듈, 제2 화면에 대한 MPEG 미디어 트랜스포트 스트리밍 데이터의 재생 처리를 지원하는 제2 화면 제어 모듈 및 멀티뷰 스트리밍 재생 요청 시, 상기 제1 화면에 대한 스트리밍 데이터와 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛(MPU; Media Processing Unit)에 삽입된 재생 타임 정보를 확인한 후, 상기 재생 타임 정보에 따라 상기 제1 화면에 대한 스트리밍 데이터와 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛을 동기화시켜 재생되도록 상기 제1 화면 제어 모듈 및 상기 제2 화면 제어 모듈을 제어하는 재생 제어 모듈을 포함하여 구성될 수 있다.

Description

멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치{METHOD FOR PROVIDING OF MULTI-VIEW STREAMING SERVICE, AND APPARATUS THEREFOR}
본 발명은 스트리밍 데이터 제공 방법에 관한 것으로, 더욱 상세하게는 제1 화면 및 제2 화면을 포함하는 멀티뷰 스트리밍 서비스 제공 방법에 있어서, 제1 화면 및 제2 화면의 스트리밍 데이터를 동기화시켜 재생할 수 있는 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근의 인터넷 환경에서 다양한 동영상 서비스가 등장하면서 고화질 라이브 방송에 대한 수요가 점점 증가하고 있다. 더하여, 최근에는 라이브 스트리밍(live streaming) 서비스 방식에 따라 다양한 동영상 서비스를 제공하고자 하는 시도들이 이뤄지고 있다.
스트리밍 서비스는 인터넷과 같은 네트워크를 통해 서버에서 단말로 비디오 또는 오디오와 같은 컨텐츠를 전송하는 것을 의미한다. 전송되는 데이터가 마치 물이 흐르는 것처럼 처리된다고 해서 스트리밍이라고 한다. 서버는 비디오를 네트워크로 보낼 수 있도록 패킷으로 분리하며, 단말은 그 패킷들을 다시 모아서 원래 형태로 복원한 후에 재생한다. 이때, 재생과 패킷 수신은 동시에 일어나며, 연관된 일련의 패킷들을 스트림(stream)이라하며, 일련의 패킷들의 집합을 스트리밍 데이터라 한다.
최근의 스트리밍 서비스는 멀티뷰 기능을 지원할 수 있는데, 여기서 멀티뷰 서비스는 PIP(Picture In Picture) 서비스의 하나로, 주 화면이 표시되고 있는 상태에서, 부 화면이 표시되도록 처리되는 것을 의미한다. 그러나, 실시간으로 스트리밍 데이터를 전달받아 재생하는 스트리밍 서비스는 주 화면과 부 화면 각각에 독립적으로 스트리밍 데이터를 제공함으로써, 주 화면과 부 화면 간의 재생 시간 차이가 발생된다는 문제점이 있다.
한국공개특허 제2009-0106104호, 2009년 10월 8일 공개 (명칭: VOD 서비스와 실시간 스트리밍 서비스가 동시 구현 가능한 IPTV 방송 서비스 시스템 및 방법)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 특히 MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 기술을 이용하여 멀티뷰 스트리밍 서비스를 제공할 수 있는 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치를 제공하는 데 목적이 있다.
특히, 본 발명은 멀티뷰 스트리밍 서비스 재생 시 제1 화면과 제2 화면의 스트리밍 데이터를 동기화시켜 재생함으로써, 제1 화면과 제2 화면 간에 발생되는 시간 차이를 줄일 수 있는 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치를 제공하는 데 그 목적이 있다.
또한, 본 발명은 멀티뷰 스트리밍 서비스 제공 시, 제1 화면과 제2 화면 간의 스위칭 이벤트 또는 특정 화면의 크기 조절 이벤트 등 발생되는 다양한 이벤트 정보에 따라 적합한 스트리밍 데이터를 실시간으로 구성하여 단말로 전송할 수 있는 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치를 제공하는 데 그 목적이 있다.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스를 지원하는 장치는 제1 화면에 대한 MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 스트리밍 데이터의 재생 처리를 지원하는 제1 화면 제어 모듈; 제2 화면에 대한 MPEG 미디어 트랜스포트 스트리밍 데이터의 재생 처리를 지원하는 제2 화면 제어 모듈; 및 멀티뷰 스트리밍 재생 요청 시, 상기 제1 화면에 대한 스트리밍 데이터와 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛(MPU; Media Processing Unit)에 삽입된 재생 타임 정보를 확인한 후, 상기 재생 타임 정보에 따라 상기 제1 화면에 대한 스트리밍 데이터와 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛을 동기화시켜 재생되도록 상기 제1 화면 제어 모듈 및 상기 제2 화면 제어 모듈을 제어하는 재생 제어 모듈;을 포함하여 구성될 수 있다.
이때, 상기 재생 제어 모듈은 현재 장치 내의 타임 정보를 확인하고, 확인된 타임 정보와 각 스트리밍 데이터의 미디어 프로세싱 유닛마다 삽입된 재생 타임 정보 간 차이가 발생되는 경우, 각 스트리밍 데이터의 각 미디어 프로세싱 유닛을 동기화시켜 재생되도록 차이가 발생된 어느 하나의 스트리밍 데이터의 미디어 프로세싱 유닛의 재생 시점을 제어할 수 있다.
아울러, 상기 재생 제어 모듈은 제2 화면에 대한 크기 조절 이벤트가 발생되면, 상기 멀티뷰 서비스 서버로부터 상기 크기 조절 이벤트에 따라 변경된 제2 화면에 대한 스트리밍 데이터를 수신할 수 있다.
또한, 상기 재생 제어 모듈은 상기 제1 화면 제어 모듈 및 상기 제2 화면 제어 모듈간의 스위칭 이벤트가 발생되면, 상기 멀티뷰 서비스 서버로부터 상기 스위칭 이벤트에 따라 해상도가 변경된 제1 화면에 대한 스트리밍 데이터와 제2 화면에 대한 스트리밍 데이터를 수신할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법은 단말이 멀티뷰 서비스 서버로 제1 화면에 대한 MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 스트리밍 데이터와 제2 화면에 대한 MPEG 미디어 트랜스포트 스트리밍 데이터를 요청하는 단계; 상기 단말이 상기 멀티뷰 서비스 서버로부터 상기 제1 화면에 대한 스트리밍 데이터와 제2 화면에 대한 스트리밍 데이터가 수신됨에 따라, 상기 각 스트리밍 데이터의 각 미디어 프로세싱 유닛(MPU; Media Processing Unit)에 삽입된 재생 타임 정보를 확인하는 단계; 및 상기 단말이 상기 확인된 재생 타임 정보에 따라 상기 제1 화면에 대한 스트리밍 데이터와 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛을 동기화시켜 재생되도록 제어하는 단계;를 포함하여 이뤄질 수 있다.
이때, 상기 재생되도록 제어하는 단계는 상기 단말이 상기 제1 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛마다 삽입된 재생 타임 정보를 확인하는 단계; 상기 단말이 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛마다 삽입된 재생 타임 정보를 확인하는 단계; 및 상기 단말이 현재 타임 정보를 확인하여, 확인된 타임 정보와 각 스트리밍 데이터의 미디어 프로세싱 유닛마다 삽입된 재생 타임 정보 간 차이가 발생되는 경우, 각 스트리밍 데이터의 각 미디어 프로세싱 유닛을 동기화시켜 재생되도록 차이가 발생된 어느 하나의 스트리밍 데이터의 미디어 프로세싱 유닛의 재생 시점을 제어하는 단계;를 포함하여 이뤄질 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법은 멀티뷰 서비스 서버가 단말로부터 제1 화면에 대한 MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 스트리밍 데이터와 제2 화면에 대한 MPEG 미디어 트랜스포트 스트리밍 데이터의 요청을 수신하는 단계; 및 상기 멀티뷰 서비스 서버가 상기 제1 화면에 대한 스트리밍 데이터와 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛(MPU; Media Processing Unit)마다 재생 타임 정보를 삽입하여 상기 단말로 전송하는 단계;를 포함하여 이뤄질 수 있다.
이때, 상기 단말로 전송하는 단계는 상기 멀티뷰 서비스 서버가 상기 단말의 상황 정보에 따라 상기 미디어 프로세싱 유닛의 블록 크기를 가변적으로 조절하고, 가변적으로 조절된 각 미디어 프로세싱 유닛마다 재생 타임 정보를 삽입하여 상기 단말로 전송할 수 있다.
추가로 본 발명은 상술한 바와 같은 멀티뷰 스트리밍 서비스 지원 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
본 발명의 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치에 의하면, MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 기술을 이용하여 멀티뷰 스트리밍 서비스를 보다 효율적으로 단말로 제공할 수 있게 된다.
또한, 본 발명에 의하면, 멀티뷰 스트리밍 서비스 재생 시 제1 화면과 제2 화면의 스트리밍 데이터를 동기화시켜 재생함으로써, 제1 화면과 제2 화면 간에 발생되는 시간 차이를 현저하게 줄일 수 있어 사용자의 편의성이 향상될 수 있다.
또한, 본 발명에 의하면, 제1 화면과 제2 화면 간의 스위칭 이벤트 또는 제2 화면의 크기 조절 이벤트 등 발생되는 다양한 이벤트 정보에 따라 적합한 스트리밍 데이터를 실시간으로 수신하여 재생할 수 있으며, 또한 다양한 이벤트 정보가 발생되더라도, 주 화면과 제2 화면 간의 시간 차이 없이 멀티뷰 스트리밍 서비스를 이용할 수 있어 사용자의 편의성이 극대화될 수 있다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도 1 및 도 2는 본 발명에서 기술하는 MMT를 설명하기 위한 예시도이다.
도 3은 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법이 적용된 시스템의 구성을 개략적으로 도시한 구성도이다.
도 4는 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법을 설명하기 위한 단말 화면 예시도이다.
도 6은 본 발명의 실시 예에 따른 멀티뷰 서비스 서버의 주요 구성을 도시한 블록도이다.
도 7은 본 발명의 실시 예에 따른 MMT 스트리밍 데이터를 설명하기 위한 예시도이다.
도 8은 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법을 설명하기 위한 데이터 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법을 설명하기 위한 데이터 흐름도이다.
도 10은 본 발명의 다른 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법을 설명하기 위한 데이터 흐름도이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
이하의 설명 및 특허 청구 범위에서, "네트워크" 또는 "통신망"은 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.
아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서 실시될 수 있다.
본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.
본 발명의 실시 예를 설명하기에 앞서, 본 발명의 기술적 배경은 MPEG MMT(MPEG Media Transport) 기술인 것을 가정하여 설명하도록 한다. 그러나, 이는 설명의 편의를 위한 예시일 뿐, 본 발명이 반드시 MMT 기술에만 적용되는 것은 아니다.
이하 본 명세서에서 기술하는 용어의 의미는 다음과 같이 정의할 수 있다.
컨텐츠 컴포넌트(content component) 또는 미디어 컴포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.
컨텐츠(content)는 컨텐츠 컴포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.
하이브리드 전송(hybrid delievery)은 하나 또는 그 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되는 것으로 정의한다.
표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.
서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.
서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.
넌 타임드 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 넌 타임드 데이터는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가지지 않는 데이터다.
타임드 데이터(timed data)는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가는 데이터로, 디코딩 및 프리젠테이션되는 특정한 시간과 연관된 데이터 요소를 정의한다.
미디어 프래그먼트 유닛(Media Fragment Unit; MFU)는 어떠한 특정 코덱에도 독립된 일반적인 컨테이너로, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다. 액세스 유닛(AU)은 타임드 미디어 데이터를 위한 액세스 유닛(AU)의 전부 또는 일부와 같이 미디어 디코더에 의해 독립적으로 디코드 가능한 미디어 데이터 또는 넌타임드 미디어 데이터를 위한 하나의 파일을 포함한다. 이는 액세스 유닛(AU)보다 작거나 같은 크기를 가지고 트랜스포트 계층(Transport layer)에서 사용될 수 있는 정보를 수용한다.
MMT 개체(MMT entity)는 MMT 프로파일을 따르는 소프트웨어 또는 하드웨어의 구현이다.
MMT 패킷(MMT packet)은 MMT 프로토콜에 따라 생성 또는 소비되는 데이터의 형식화된 유닛(formatted unit)이다.
MMT 페이로드(MMT payload)는 패키지를 나르거나 MMT 프로토콜이나 인터넷 응용 계층 전송 프로토콜(예를 들어 RTP(Real-Time Transport Protocol)가 있다)을 사용하여 메시지를 시그널링하는 데이터의 형식화된 유닛이다.
MMT 프로토콜은 MMT 페이로드를 IP 네트워크를 통해 전달하기 위한 응용 계층 전송 프로토콜이다.
MMT 페이로드 포맷(MMT payload format)은 MMT 프로토콜 또는 인터넷 응용 계층 프로토콜(예를 들면, RTP)에 의해 전달될 MMT 패키지 또는 MMT 시그널링 메시지의 페이로드를 위한 포맷이다.
아울러, 본 발명의 실시 예를 설명하기에 앞서, 본 명세서에서 기술하는 MMT 패키지 구성에 대해 도 1 및 도 2를 참조하여 보다 구체적으로 설명하도록 한다.
도 1 및 도 2는 본 발명에서 기술하는 MMT를 설명하기 위한 예시도이다.
도 1을 참조하면, MMT 패키지(500)는 MMT 기능 영역에서 정의하는 데이터 모델 중 논리적으로 구조화된 가장 큰 MMT 개체(entity)로서 영화 한편과 같은 하나의 독립적인 콘텐츠를 의미한다. 스트리밍 데이터 서비스를 제공하는 라이브 스트리밍 제공 서버는 이러한 MMT 패키지를 생성하여 단말로 제공할 수 있는 데, MMT 패키지(500)는 도 1에 도시된 바와 같이 여러 개체들의 모음으로 구성되는 논리적으로 구조화된 컬렉션이 될 수 있다. 이러한 MMT 패키지(500)는 하나 이상의 애셋(505), 구성 정보(502), 전송 특성(503) 및 설명적인(descriptive) 정보, 즉 패키지 정보(501)를 포함할 수 있다.
이 중, 구성 정보(Composition Information, 502)는 MMT 애셋(505)들 사이의 관계(relationship), 즉 공간적 및 시간적 관계에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다.
전송 특성(ADC; Asset Delivery Characteristics, 503)은 애셋(505)의 전달을 위한 QoS(Quality of Service) 요구 및 통계를 나타낸다. 복수의 애셋(505)은 하나의 전송 특성(503)에 관련될 수 있다. 이때의 전송 특성(503)은 애셋(505)의 효과적인 전달을 위해 패키지를 캡슐화하는 개체에 의해 MMT 페이로드 및 MMT 프로토콜의 파라미터를 설정하는데 사용될 수 있다. 또한 전송 특성(503)은 MMT 애셋(505) 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전달 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. 이러한 전달 특성 정보는 통신망 환경에 무관한 파라미터 형태로 표현될 수 있다.
애셋(505)은 타임드 또는 넌 타임드 성질을 가진 오디오, 비디오 또는 웹페이지 데이터와 같은 부호화된 미디어 데이터를 캡슐화하는 패키지의 요소를 의미하는 것으로 가장 큰 논리적 데이터 단위를 의미한다. 이러한 애셋(505)은 동일한 전달 특성으로 데이터를 포함하는 데이터 개체를 의미한다. 예컨대, MMT 패키지(500)는 MMT 기능 영역에서 정의하는 데이터 모델 중 가장 큰 개체(entity)로서 영화 한편과 같은 하나의 독립적인 콘텐츠를 의미한다면, 애셋(505)은 오디오 데이터, 비디오 데이터, 스크립트 데이터와 같은 MMT 패키지(500)를 구성하는 데이터 단위를 의미한다.
이러한 본 발명의 애셋(505)에 대해 도 2를 참조하여 보다 더 구체적으로 설명하면, 본 발명의 애셋(505)은 적어도 하나 이상의 MPU(506)로 구성될 수 있다. 여기서, MPU(506)는 미디어 프로세싱 유닛(MPU; Media Processing Unit, 이하 MPU로 지칭하도록 함)을 의미하며, 논리적인 데이터 객체로, 하나의 애셋(505)을 구성하는 복수의 MPU(506)는 동일한 애셋 ID를 포함한다.
또한, MPU(506)는 어떠한 특정 미디어 코덱에도 독립된, 타임드 또는 넌 타임드 데이터에 대한 포괄적인 컨테이너일 수 있다. 이러한 MPU(506)은 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터로, MPU의 프로세싱은 패키지로의 인캡슐레이션 또는 전달을 위한 패킷화를 의미할 수 있다. 이러한, MPU(506)는 타임드 데이터를 위한 하나 이상의 액세스 유닛들을 포함할 수 있다. 여기서 액세스 유닛(AU; Access Unit)은 시간 정보를 가질 수 있는 가장 작은 데이터 개체이다. 또한 MPU(506)은 넌 타임드 데이터를 위한 액세스 유닛 경계들이 없는 데이터의 부분을 포함하여 구성될 수 있다. 이러한 MPU(506)는 완전하고 독립적으로 처리될 수 있는 코드된 미디어 데이터 유닛으로, 헤더(507)와 코드된 데이터(508)로 구성될 수 있다. 아울러, 본 발명의 MPU(506)는 미디어 프래그먼트 유닛(MFU; Media Fragment Unit)으로 더 구성될 수 있다.
이러한 본 발명의 MMT 패키지(500)는 MPU 기반으로 적용되고 동작될 수 있으며, 이하의 설명에서는 MMT 스트리밍 데이터의 미디어 프로세싱 유닛 단위로 처리가 이뤄지는 것을 중심으로 설명하도록 하나, 이에 한정되는 것은 시스템 구현 방식에 따라 미디어 프래그먼트 유닛 단위로 본 발명의 처리가 이뤄질 수도 있다.
이하, 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법이 적용된 전체 시스템의 구조에 대해 먼저 설명하도록 한다.
도 3은 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법이 적용된 시스템의 구성을 개략적으로 도시한 구성도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 시스템(100)은 다수의 단말(10)과 통신망(50)을 거쳐 다수의 단말(10)로 스트리밍 데이터 서비스를 제공하는 멀티뷰 서비스 서버(20)를 포함하여 구성될 수 있다.
각 구성 요소에 대해 보다 구체적으로 설명하면, 먼저, 단말(10)은 사용자의 조작에 따라 통신망(50)을 거쳐 멀티뷰 서비스 서버(20)와 정보를 송수신할 수 있는 사용자의 장치를 의미한다. 이러한 단말(10)은 통신망(50)을 통해 음성 또는 데이터 통신을 수행할 수 있다. 이를 위한 본 발명의 단말(10)은 정보의 송수신을 위한 브라우저, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다. 특히, 본 발명의 실시 예에 따른 단말(10)은 멀티뷰 서비스 서버(20)로부터 전달되는 MPEG 미디어 트랜스포트 스트리밍 데이터(이하, 'MMT 스트리밍 데이터'로 지칭하도록 함)를 재생하고 처리할 수 있으며, 특히, 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터를 PIP 형식으로 표시되는 과정을 지원할 수 있다.
이러한 본 발명의 실시 예에 따른 단말(10)은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말(10)은 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수도 있다.
이러한 본 발명의 단말(10)은 디지털 기기의 컨버전스(convergence) 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 유닛들과 동등한 수준의 유닛이 본 발명에 따른 단말(10)로 적용될 수 있으며, 특히, 통신망(50)을 거쳐 멀티뷰 서비스 서버(20)로부터 MMT 스트리밍 데이터를 수신하고 이를 처리할 수 있는 장치라면, 그 어떠한 장치도 본 발명의 실시 예에 따른 단말(10)로 이용될 수 있다.
멀티뷰 서비스 서버(20)는 본 발명의 실시 예에 따른 MMT 스트리밍 데이터를 단말(10)의 요청에 따라 단말(10)로 전달하는 역할을 수행한다. 여기서, MMT 스트리밍 데이터는 전술한 바와 같이 MMT 패킷 형태로 단말(10)로 전달될 수 있는 스트리밍 데이터를 의미한다. 이러한 멀티뷰 서비스 서버(20)는 단말(10)로 MMT 스트리밍 데이터 형식에 따라 예컨대 방송 서비스를 제공할 수 있다. 특히, 본 발명의 실시 예에 따른 멀티뷰 서비스 서버(20)는 단말(10)로 MMT 스트리밍 데이터 전송 시, 단말(10)의 멀티뷰 스트리밍 재생 요청에 따라, 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터를 순차적으로 전송할 수 있다.
아울러, 멀티뷰 서비스 서버(20)는 컨텐츠 제공 서버(30)와 연동하며, 컨텐츠 제공 서버(30)로부터 전달되는 데이터를 MMT 스트리밍 데이터로 변환 처리하여 단말(10)로 전달할 수도 있다.
상술한 바와 같은 단말(10) 및 멀티뷰 서비스 서버(20)는 통신망(50)을 통해 다양한 정보를 송수신하게 된다. 본 발명의 실시 예에 따른 통신망(50)은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용하는 것이 바람직하나, 이에 한정되는 것은 아니며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있다.
이러한 본 발명의 실시 예에 따른 통신망(50)은 예컨대, 접속망(미도시), 코어망(미도시) 및 인터넷망(미도시)을 포함하여 구성될 수 있다.
여기서, 접속망(미도시)은 단말(10)의 코어망(미도시)으로의 접근을 지원하는 것으로, 유무선 통신 방식에 따라 단말(10)의 코어망(미도시) 접근을 지원할 수 있다. 이러한 접속망(미도시)은 복수의 기지국을 포함한다. 여기서, 기지국은 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국을 포함하는 개념이 될 수 있으며, 기지국과 BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기 모두를 포함하는 개념이 될 수 있다. 또한, 기지국은 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함과 무선 유니트(Radio Unit, 이하 RU라 함)으로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU(미도시)를 집중화된 DU(미도시)와 연결하여 구성할 수도 있다.
접속망(미도시)과 함께 통신망(미도시)을 구성하는 코어망(미도시)은 접속망(미도시)과 외부 망, 예컨대, 인터넷망(미도시)을 연결하는 역할을 수행한다.
이러한 코어망(미도시)은 앞서 설명한 바와 같이, 접속망(미도시) 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 네트워크 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망(미도시)은 주파수간 이동성을 관리하고, 접속망(미도시) 및 코어망(미도시) 내의 트래픽 및 다른 네트워크, 예컨대 인터넷망(미도시)과의 연동을 위한 역할을 수행할 수도 있다. 이러한 코어망(미도시)은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.
또한, 인터넷망(미도시)은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미하는 것으로, 멀티뷰 서비스 서버(20)와 연결되며, 멀티뷰 서비스 서버(20)로부터 단말(10)로 전달되는 MMT 스트리밍 데이터를 코어망(미도시) 및 접속망(미도시)을 거쳐 단말(10)로 제공되도록 지원하는 역할을 수행할 수 있다.
반면, 단말(10)은 접속망(미도시) 및 코어망(미도시) 그리고 인터넷망(미도시)을 거쳐 멀티뷰 서비스 서버(20)로 MMT 스트리밍 데이터 수신을 위한 각종 명령을 전송할 수 있다. 그러나, 이에 한정되는 것은 아니며, 멀티뷰 서비스 서버(20)는 코어망(미도시) 내에 위치할 수 있으며, 코어망(미도시)을 운용하는 사업자와 동일한 사업자 또는 서로 다른 사업자에 의해 운용될 수도 있다.
또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
상술한 바와 같은 본 발명을 구성하는 단말(10) 및 멀티뷰 서비스 서버(20)의 주요 구성 및 보다 구체적인 동작 방법에 대해서는 후술하여 설명하도록 하며, 본 발명의 실시 예에 따른 각 장치에 탑재되는 프로세서는 본 발명에 따른 방법을 실행하기 위한 프로그램 명령을 처리할 수 있다. 일 구현 예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현 예에서 본 프로세서는 멀티 쓰레드(Multithreaded) 프로세서일 수 있다. 나아가 본 프로세서는 메모리 혹은 저장 장치 상에 저장된 명령을 처리하는 것이 가능하다.
이하, 본 발명의 실시 예에 따른 단말(10)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.
도 4는 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.
도 3 및 도 4를 참조하면, 본 발명의 실시 예에 따른 단말(10)은 통신부(11), 입력부(12), 제어부(13), 저장부(14) 및 표시부(15)를 포함하여 구성될 수 있다.
각 구성 요소에 대해 보다 구체적으로 설명하면, 먼저, 통신부(11)는 코어망(미도시) 접속을 위해, 인근의 접속망(미도시)에 접속되는 과정을 지원할 수 있다. 예컨대 통신부(11)는 일정 반경 내 위치하는 기지국(미도시)을 탐색하고, 탐색된 기지국(미도시)의 접속 요청을 하여, 기지국(미도시)과 접속되는 과정을 지원함으로써 접속망(미도시)에 접속될 수 있다. 여기서, 단말(10)의 통신부(11)가 접속망(미도시)의 기지국(미도시)에 접속되는 과정은 공지된 다양한 구성을 채용할 수 있으므로, 구체적인 설명은 생략하도록 한다. 아울러, 통신부(11)가 기지국(미도시)과 통신 절차를 수행 시 사용자 정보를 전송할 수 있다. 기본적으로 IMSI(International Mobile Subscriber Identity) 등과 같은 단말 식별번호 등을 기지국(미도시)에 전송할 수 있으며, 기지국(미도시)이 코어망(미도시)과의 접속 절차를 수행하는 동안, 단말 식별번호 등을 이용하여 가입자 정보를 확인할 수 있게 된다.
아울러, 본 발명의 실시 예에 따른 통신부(11)은 통신망(50)을 통해 멀티뷰 서비스 서버(20)로 MMT 스트리밍 데이터 전송을 요청하고, 전달되는 MMT 스트리밍 데이터를 제어부(13)로 전달하는 역할을 수행하게 된다.
입력부(12)는 사용자로부터 입력되는 숫자 및 문자 정보 등의 다양한 정보, 각종 기능 설정 및 단말(10)의 기능 제어와 관련하여 입력되는 신호를 제어부(13)로 전달한다. 특히, 본 발명의 입력부(12)는 MMT 스트리밍 데이터 전송 요청을 위한 사용자 입력을 지원할 수 있다. 예컨대, 사용자로부터 MMT 스트리밍 데이터를 재생할 수 있는 어플리케이션의 실행 입력을 지원하고, 어플리케이션을 통해 특정 채널에 대한 선택 명령 정보의 입력을 지원할 수 있다. 또한, 본 발명의 입력부(12)는 멀티뷰 스트리밍 재생 요청에 대한 사용자 입력을 지원할 수 있다. 여기서 멀티뷰 스트리밍 재생 요청은 예를 들어, MMT 스트리밍 데이터를 재생할 수 있는 특정 어플리케이션에서 MMT 스트리밍 데이터 재생 중에 특정 메뉴의 선택 입력, 특정 버튼의 선택 입력에 따라 발생될 수 있으며, 이를 통해 해당 어플리케이션은 복수의 화면이 동시에 재생될 수 있는 멀티뷰 스트리밍 기능으로 전환될 수 있다.
이러한 입력부(12)는 상술한 바와 같이, 키보드나 키패드와 같은 키 입력 수단, 터치센서나 터치 패드와 같은 터치 입력 수단, 음성 입력 수단, 자이로 센서, 지자기 센서, 가속도 센서와 근접 센서, 그리고 카메라 중 적어도 하나 이상을 포함하여 이루어지는 제스처 입력 수단을 포함할 수도 있다.
이 외에도 현재 개발 중이거나 향후 개발될 수 있는 모든 형태의 입력 수단이 포함될 수 있다.
제어부(13)는 단말(10)의 전반적인 제어를 수행하는 것으로, 하드웨어적으로 CPU(Central Processing Unit)/MPU(Micro Processing Unit)를 포함하는 적어도 하나 이상의 프로세서와 적어도 하나 이상의 메모리 로딩 데이터가 로딩되는 실행 메모리(예컨대, 레지스터 및/또는 RAM(Random Access Memory)) 및 상기 프로세서와 메모리로 적어도 하나 이상의 데이터들을 입출력하는 버스(BUS)를 포함하여 이루어질 수 있다. 또한 소프트웨어적으로 단말(10)에 정의된 기능을 수행하기 위해 소정의 기록매체로부터 상기 실행 메모리로 로딩되어 상기 프로세서에 의해 연산 처리되는 소정의 프로그램 루틴(Routine) 또는 프로그램 데이터를 포함하여 이루어질 수 있다. 다시 말해, 본 발명의 실시 예에 따른 멀티뷰 서비스 서버(20)로 MMT 스트리밍 데이터를 요청하고 수신하며, 멀티뷰 기능을 통해 MMT 스트리밍 데이터를 처리하기 위해 단말(10)에 구비되는 기능 중 소프트웨어적으로 처리가 가능한 구성 요소를 제어부(13)의 기능으로 판단할 수 있다.
이러한, 본 발명의 제어부(13)는 본 발명의 실시 예에 따른 스트리밍 데이터 처리를 위해 구비되는 적어도 하나 이상의 구성 요소와 기능적으로 연결된다. 즉, 제어부(13)는 통신부(11), 입력부(12), 저장부(14) 및 표시부(15)와 기능적으로 연결되며, 상기 각 구성 요소에 전원 공급 및 기능 수행을 위한 신호의 흐름을 제어하게 된다.
특히, 본 발명의 실시 예에 따른 제어부(13)는 MPEG 미디어 트랜스포트 스트리밍 데이터를 처리할 수 있는 MPEG-2 TS 처리 기능을 지원할 수 있다. 예컨대, 멀티뷰 서비스 서버(20)로부터 전달되는 복수의 MPU로 구성되는 MMT 스트리밍 데이터를 수신할 수 있으며, 스트리밍 데이터가 복수의 애셋으로 구성되는 경우, 복수의 애셋을 타임 정보에 따라 동기화하여 재생하여 출력하는 기능을 수행할 수 있다. 아울러, 본 발명의 제어부(13)는 MMT 프로토콜에서 정의하는 다양한 동작 수행을 위한 기능들을 처리할 수 있다. 이러한 본 발명의 제어부(13)는 멀티뷰 스트리밍 서비스 기능을 지원하기 위해, 제1 화면 제어 모듈(13a), 제2 화면 제어 모듈(13b), 재생 제어 모듈(13c) 및 타임 생성 모듈(13d)을 포함하여 구성될 수 있다. 여기서, 본 발명의 제어부(13)가 상기 제1 화면 제어 모듈(13a) 및 제2 화면 제어 모듈(13b)만을 포함하는 것을 예로 들어 설명하나, 이에 한정되는 것은 아니며, 본 발명의 제어부(13)는 복수의 화면 제어 모듈로 구성되며, 복수의 화면으로 구성되는 멀티뷰 스트리밍 서비스 기능을 지원할 수 있다. 즉, 주 화면인 제1 화면이 표시되고 있는 상태에서, 부 화면인 제2 화면 및 제3 화면을 동시에 표시할 수도 있으며, 이를 위한 각각의 화면 제어 모듈을 포함하여 구성될 수 있다. 아울러, 상술한 기능은 하나의 모듈을 통해 동작될 수도 있다.
이하에서는 설명의 편의를 위해, 주 화면인 제1 화면 제어 모듈(13a) 및 부 화면인 제2 화면 제어 모듈(13b)을 중심으로 설명하도록 한다.
제1 화면 제어 모듈(13a)은 제1 화면에 대한 MMT 스트리밍 데이터의 재생 처리를 지원한다. 여기서, 제1 화면은 전체 화면을 통해 표시되는 주 화면이 될 수 있다. 그리고 제2 화면 제어 모듈(13b)은 제2 화면에 대한 MMT 스트리밍 데이터의 재생 처리를 지원한다. 여기서, 제2 화면은 제1 화면 상에 표시되며, 제1 화면의 표시 크기보다 작게 표시될 수 있는 부 화면을 의미할 수 있다.
제1 화면 제어 모듈(13a) 및 제2 화면 제어 모듈(13b) 간의 MMT 스트리밍 데이터 재생의 제어는 재생 제어 모듈(13c)을 통해 이뤄질 수 있다. 즉, 재생 제어 모듈(13c)은 상기 제1 화면 제어 모듈(13a)을 통해 제1 화면에 대한 MMT 스트리밍 데이터가 재생되고 있는 상태에서 입력부(12)를 통해 멀티뷰 스트리밍 재생 요청이 입력되면, 상기 제2 화면 제어 모듈(13b)을 구동시켜 부 화면인 제2 화면이 활성화되도록 제어하고, MMT 스트리밍 데이터가 제2 화면을 통해 표시되도록 제2 화면 제어 모듈(13b)을 제어할 수 있다. 이때, 제2 화면 제어 모듈(13b)을 통해 표시되는 제2 화면에 대한 MMT 스트리밍 데이터는 제1 화면 제어 모듈(13a)을 통해 표시되는 제1 화면에 대한 MMT 스트리밍 데이터와 동일할 수 있으며, 다른 장면, 다른 채널 등과 같이, 서로 다른 MMT 스트리밍 데이터 일 수 있다.
즉, 도 5에 도시되고 있는 것과 같이, MMT 스트리밍 데이터를 재생할 수 있는 어플리케이션이(600)이 실행되고 있는 상태에서, 주 화면인 제1 화면(610)을 통해 MMT 스트리밍 데이터가 재생될 수 있다. 이때, 특정 메뉴 또는 명령 버튼을 통해 멀티뷰 서비스 기능이 활성화되면, 부 화면인 제2 화면(620)이 활성화되어 표시될 수 있으며, 제1 화면(610)과 제2 화면(620)은 동일한 MMT 스트리밍 데이터를 재생할 수도 있으며, 서로 다른 채널, 또는 서로 다른 MMT 스트리밍 데이터를 재생할 수도 있다. 동일한 MMT 스트리밍 데이터의 경우 제1 화면(610)을 통해 표시되는 MMT 스트리밍 데이터의 일 영역을 확대한 MMT 스트리밍 데이터를 포함할 수 있다.
종래의 스트리밍 서비스에서의 멀티뷰 기능의 경우, 제1 화면(610)과 제2 화면(620) 간에 표시되는 스트리밍 데이터의 재생 시점에 차이가 발생된다는 문제점이 있다. 즉, 동일한 스트리밍 데이터를 재생하고 있더라도, 제1 화면(610)과 제2 화면(620) 간의 동기가 이뤄지지 않아 제1 화면(610)보다 제1 화면(620)을 통해 출력되는 스트리밍 데이터가 지연되어 출력되거나 제1 화면(610)을 통해 출력되는 스트리밍 데이터가 지연되어 출력될 수 있다는 문제점이 있다.
본 발명은 이러한 문제점을 개선하기 위한 것으로, 도 4의 도시된 본 발명의 재생 제어 모듈(13c)은 제1 화면에 대한 스트리밍 데이터와 제2 화면에 대한 스트리밍 데이터를 재생하기 이전에, 각 MPU 마다 삽입된 재생 타임 정보를 확인한 후, 확인된 재생 타임 정보에 따라 제1 화면에 대한 스트리밍 데이터와 제2 화면에 대한 스트리밍 데이터의 각 MPU를 동기화시켜 재생되도록 제어할 수 있다. 예를 들어, 멀티뷰 서비스 서버(20)로부터 수신된 제1 화면 제어 모듈(13a)이 요청한 제1 화면에 대한 MMT 스트리밍 데이터의 MPU에 삽입된 재생 타임 정보가 '10:10:10.3'이고, 제2 화면 제어 모듈(13b)이 요청한 제2 화면에 대한 MMT 스트리밍 데이터의 MPU에 삽입된 재생 타임 정보가 '10:10:10.3'라 가정한다. 그리고, 제1 화면에 대한 MMT 스트리밍 데이터의 MPU가 제1 화면 제어 모듈(13a)로 전달된 시점이 '10:10:10.0'이고, 제2 화면에 대한 MMT 스트리밍 데이터의 MPU가 제2 화면 제어 모듈(13b)로 전달된 시점이 '10:10:10.3'로 가정한다. 이때, 상기 제1 화면 제어 모듈(13a) 및 제2 화면 제어 모듈(13b)이 각 스트리밍 데이터가 수신되자 마자 수신된 스트리밍 데이터를 재생할 경우, 제1 화면과 제2 화면 간의 재생 시점이 서로 다르다는 문제점이 발생되는 데 본 발명의 재생 제어 모듈(13c)은 제1 화면에 대한 MMT 스트리밍 데이터의 MPU와 제2 화면에 대한 MMT 스트리밍 데이터의 MPU는 서로 동일한 시간의 재생 타임 정보를 포함하고 있으므로, 수신된 즉시 각 제어 모듈을 통해 출력되도록 제어하는 것이 아니라, 재생 타임 정보에 따라 어느 하나, 전술한 예에서 제1 화면에 대한 MMT 스트리밍 데이터의 이전 MPU를 소정 시간 늘리거나, 수신된 현재 MPU를 소정 시간 지연시켜, 10:10:10.3초에 수신된 각 현재 MPU가 동일한 시점에 재생되도록 제어할 수 있다.
또 다른 예를 들어, 제1 화면에 대한 MMT 스트리밍 데이터의 MPU가 제1 화면 제어 모듈(13a)로 전달된 시점이 '10:10:10.5'이고, 제2 화면에 대한 MMT 스트리밍 데이터의 MPU가 제2 화면 제어 모듈(13b)로 전달된 시점이 '10:10:10.3'일 경우, 즉, 제1 화면에 대한 MMT 스트리밍 데이터의 MPU가 삽입된 재생 타임 정보보다 뒤 늦게 수신된 경우, 재생 제어 모듈(13c)은 즉시 스트리밍 데이터가 재생되도록 제어하는 것이 아니라, 제2 화면 제어 모듈(13b)을 제어하여, 제2 화면에 대한 MMT 스트리밍 데이터가 10:10:10.5초에 제1 화면에 대한 MMT 스트리밍 데이터의 MPU와 동시에 재생되도록 제어할 수 있다. 다시 말해, 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터에서 재생 타임 정보가 동일한 MPU는 동시에 재생되도록 제어하는 것으로, 이때, 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터의 MPU 중 어느 하나는 삽입된 재생 타임 정보보다 늦게 재생되거나 빨리 재생될 수 있다.
아울러, 본 발명의 실시 예에 따른 제1 화면 제어 모듈(13a) 및 제2 화면 제어 모듈(13b)은 각각 제1 화면 및 제2 화면에 대한 각종 이벤트 명령을 처리할 수 있다. 예를 들어, 제2 화면에 대한 크기 조절 이벤트가 발생되면, 제2 화면 제어 모듈(13b)은 멀티뷰 서비스 서버(20)로 이에 대해 안내한다. 여기서, 크기 조절 이벤트는 예컨대, 제2 화면 영역에 대한 멀티 터치 입력에 따라 발생될 수 있다. 제2 화면 제어 모듈(13b)은 이러한 크기 조절 이벤트가 발생되면, 제2 화면에 대한 이전 크기 정보, 변경된 현재 크기 정보, 제2 화면의 위치 정보 등을 멀티뷰 서비스 서버(20)로 안내할 수 있다. 아울러, 스위칭 이벤트가 발생되면, 다시 말해, 제2 화면과 제1 화면간의 스위칭 이벤트가 발생되면, 제1 화면 제어 모듈(13a) 또는 제2 화면 제어 모듈(13b) 둘 중 어느 하나가 멀티뷰 서비스 서버(20)로 이에 대해 안내할 수 있다. 이때도 마찬가지로 필요한 정보를 포함하여 멀티뷰 서비스 서버(20)로 안내할 수 있다.
타임 생성 모듈(13d)은 단말(10)에 구비된 각종 자원을 이용하여 현재 단말의 시간 정보를 확인하게 된다. 예컨대, 단말(10)에 구비된 GPS를 통해 현재 단말의 시간 정보를 확인할 수 있다.
저장부(14)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 그 응용 프로그램 실행 중에 발생되는 다양한 데이터를 일시적으로 저장할 수 있다. 특히, 본 발명의 실시 예에 따른 저장부(14)는 본 발명의 실시 예에 따른 MMT 스트리밍 데이터 처리를 위한 다양한 명령들을 저장할 수 있다.
이러한 저장부(14)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 프로그램 영역은 단말(10)을 부팅시키는 운영체제(OS)와 같은 단말(10) 구동을 위한 관련된 정보들을 저장한다. 데이터 영역은 단말(10)의 사용에 따라 발생되는 데이터가 저장되는 영역으로, 상술한 바와 같이 스트리밍 데이터 처리를 위한 다양한 명령들이 저장될 수 있다. 이러한, 저장부(14)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로(multimedia card micro) 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(RAM), 롬(ROM) 등의 저장매체를 포함하여 구성될 수 있다.
표시부(15)는 단말(10)의 기능 수행 중에 발생하는 일련의 동작 상태 및 동작 결과 등에 대한 정보를 표시한다. 특히, 본 발명의 표시부(15)는 멀티뷰 서비스 서버(20)로부터 스트리밍 데이터를 재생함으로써 발생되는 정보를 표시할 수 있다. 특히, 제1 화면과 제2 화면에 대응하는 영역에 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터가 출력되어 표시되는 과정을 지원할 수 있다. 아울러, 본 발명의 표시부(15)는 제1 화면 및 제2 화면 이외의 복수 개의 화면 영역을 더 구성하여 출력할 수도 있다.
이러한, 표시부(15)는 상술한 바와 같이 입력부(12)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구현될 수도 있으며, 상기 입력부(12)와 함께 구현되는 경우, 사용자의 터치 동작에 따라 발생되는 다양한 정보들을 표시할 수 있다.
또한, 상술한 바와 같은 본 발명의 표시부(15)는 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있다. 또한 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 TOLED(Transparant OLED)를 포함하는 투명 디스플레이 형태로 구성될 수 있다.
이와 같이, 도 4를 통해 단말(10)의 주요 구성요소에 대해 설명하였다. 그러나 도 4를 통해 도시된 구성요소가 모두 필수 구성요소인 것은 아니며, 도시된 구성요소보다 많은 구성 요소에 의해 단말(10)이 구현될 수도 있고, 그 보다 적은 구성요소에 의해 단말(10)이 구현될 수도 있다. 예컨대, 단말(10)은 전기적인 신호인 음원을 아날로그 신호로 변환하여 출력하는 음원 출력부(미도시)를 더 포함하여 구성될 수 있으며, 이러한 음원 출력부(미도시)는 멀티뷰 서비스 서버(20)로부터 전달된 MMT 스트리밍 데이터의 재생 시 발생되는 다양한 정보를 출력할 수 있다.
또한, 도 4를 통해 도시된 단말(10)의 주요 구성요소의 위치는 얼마든지 편의상 또는 다른 이유로 바뀔 수 있음이 물론이다. 또한, 제어부(13)를 구성하는 모듈은 제1 화면 제어 모듈(13a), 제2 화면 제어 모듈(13b), 재생 제어 모듈(13c) 및 타임 생성 모듈(13d)만을 도시하였으나, 이에 한정되는 것은 아니며, 다양한 기능을 수행하는 다양한 모듈로 제어부(13)가 구성될 수도 있다. 또한, 설명의 편의를 위해 제1 화면 제어 모듈(13a) 및 제2 화면 제어 모듈(13b)을 통해 제1 화면 MMT 스트리밍 데이터와 제2 화면 MMT 스트리밍 데이터가 처리되는 것을 예로 들어 설명하였으나, 하나의 모듈을 통해 제1 화면 MMT 스트리밍 데이터와 제2 화면 MMT 스트리밍 데이터가 처리될 수도 있다.
또한, 본 발명에서는 설명의 편의를 위해 주 화면인 제1 화면 및 부 화면인 제2 화면만을 예로 들어 설명하였으나, 부 화면은 복수 개 생성될 수 있으며, 각각의 부 화면은 MMT 스트리밍 데이터를 수신하여 출력할 수 있다.
이하, 본 발명의 실시 예에 따른 멀티뷰 서비스 서버(20)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.
도 6은 본 발명의 실시 예에 따른 멀티뷰 서비스 서버의 주요 구성을 도시한 블록도이다.
도 3 및 도 6을 참조하면, 본 발명의 실시 예에 따른 멀티뷰 서비스 서버(20)는 서버 통신부(21), 서버 제어부(22) 및 서버 저장부(23)를 포함하여 구성될 수 있다.
서버 통신부(21)는 단말(10)과 정보의 송수신을 지원하는 역할을 수행한다. 예컨대, 서버 통신부(21)는 단말(10)로부터 MMT 스트리밍 데이터의 전송 요청을 수신할 수 있으며, 단말(10)로 MMT 스트리밍 데이터를 전송할 수 있다. 여기서, MMT 스트리밍 데이터는 하나 이상의 애셋으로 구성될 수 있으며, 하나의 애셋은 복수 개의 MPU로 구성될 수 있다. 서버 통신부(21)는 복수 개의 MPU로 구성되는 복수의 애셋을 스트리밍 방식에 따라 순차적으로 하나의 채널을 통해 단말(10)로 전달할 수 있다. 또한, 본 발명의 서버 통신부(21)는 단말(10)의 요청에 따라 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터를 순차적으로 단말(10)로 전달할 수 있으며, 이때의 MMT 스트리밍 데이터는 동일한 애셋 ID를 포함하거나, 서로 다른 애셋 ID를 포함할 수 있다. 또한, 동일한 채널을 통해 단말(10)로 전달되거나 서로 다른 채널을 통해 단말(10)로 전달될 수도 있다.
아울러, 서버 통신부(21)가 컨텐츠 제공 서버(30)와 정보를 송수신하는 경우, 서버 통신부(21)는 특정 컨텐츠의 제공 요청을 컨텐츠 제공 서버(30)로 전송하고, 컨텐츠 제공 서버(30)로부터 전달되는 컨텐츠를 수신할 수도 있다. 이때, 본 발명의 서버 통신부(21)는 서버 제어부(22)의 제어에 따라 컨텐츠 제공 서버(30)로부터 제1 화면 및 제2 화면 스트리밍 데이터 생성을 위해 필요한 컨텐츠를 미리 요청하여, 단말(10)의 멀티뷰 스트리밍 서비스 요청 이전에 해당 컨텐츠를 수신할 수 있다.
서버 제어부(22)는 본 발명의 실시 예에 따른 멀티뷰 서비스 서버(20)의 전반적인 제어를 수행하는 구성으로, 스트리밍 데이터 생성 모듈(22a) 및 스트리밍 데이터 전송 모듈(22b)을 포함하여 구성될 수 있다.
여기서, 스트리밍 데이터 생성 모듈(22a)은 MMT 스트리밍 데이터를 생성하는 역할을 수행할 수 있다. 예컨대, 컨텐츠 제공 서버(30)로부터 전달되는 컨텐츠를 MMT 프로토콜을 지원하는 스트리밍 데이터 형태로 변환 처리하는 과정을 지원할 수 있다. 이때, 스트리밍 데이터 생성 모듈(22a)은 MMT 스트리밍 데이터 변환 시, MPU의 블록 크기를 결정하고, 결정된 MPU의 블록 크기에 따라 각 MPU를 구성하여 MMT 스트리밍 데이터를 생성할 수 있다. 여기서, MPU의 블록 크기는 단말(10)의 상황 정보에 따라, 단말(10)에 연결된 통신망(50)의 상황에 따라 가변적으로 조절될 수 있다. 또한, 본 발명의 스트리밍 데이터 생성 모듈(22a)은 각 MPU별로 재생 타임 정보를 삽입하여, 단말(10)이 이를 동기화하여 재생되도록 필요한 과정을 수행할 수 있다. 예컨대, 도 7에 도시된 바와 같이, MMT 스트리밍 데이터는 복수 개의 MPU로 구성될 수 있으며, 복수 개의 MPU가 순차적으로 단말(10)로 전달될 수 있다. 이때, 각 MPU는 도 2를 참조하여 설명한 바와 같이 헤더 정보(507)을 포함할 수 있으며, 각 헤더 정보(507)는 MPU ID, UTC(Universal Time Clock) 등의 데이터 처리에 필요한 정보를 포함할 수 있다. 여기서, UTC는 재생 타임 정보를 의미한다.
특히, 본 발명의 실시 예에 따른 스트리밍 데이터 생성 모듈(22a)은 단말(10)의 요청에 따라 제1 화면에 대한 MMT 스트리밍 데이터를 생성할 수 있으며, 제2 화면에 대한 MMT 스트리밍 데이터를 생성할 수 있다. 이때, 스트리밍 데이터 생성 모듈(22a)은 단말(10)의 제1 화면의 지원 해상도에 맞춰 제1 화면에 대한 MMT 스트리밍 데이터의 해상도 및 프레임수를 조절하여 생성할 수 있으며, 제2 화면의 지원 해상도에 맞춰 제2 화면에 대한 MMT 스트리밍 데이터의 해상도 및 프레임수를 조절하여 생성할 수 있다. 즉, 본 발명의 실시 예에 따른 스트리밍 데이터 생성 모듈(22a)은 MMT 방식에 따라 스트리밍 데이터를 생성함으로써, 복잡한 인코딩 절차 없이 제1 화면에 대한 MMT 스트리밍 데이터 및 제2 화면에 대한 MMT 스트리밍 데이터를 생성할 수 있으며, 이로 인해 단말(10)의 요청에 따라 보다 신속하게 해상도 및 프레임수를 조절하여 MMT 스트리밍 데이터의 제공이 가능하게 된다.
또한, 본 발명의 스트리밍 데이터 생성 모듈(22a)은 단말(10)의 멀티뷰 스트리밍 서비스 요청 이전에, 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터 생성을 위해 필요한 정보들을 컨텐츠 제공 서버(30)로 요청하여 미리 수신할 수 있다. 예컨대, 단말(10)로 제1 화면에 대한 MMT 스트리밍 데이터를 제공하는 있는 경우, 스트리밍 데이터 생성 모듈(22a)은 해당 단말(10)의 멀티뷰 스트리밍 서비스 요청에 대기하여, 미리 제2 화면에 대한 MMT 스트리밍 데이터 생성을 위한 정보를 컨텐츠 제공 서버(30)로 요청하여 수신할 수 있다. 이에 따라, 단말(10)로부터 멀티뷰 스트리밍 서비스 제공 요청시, 스트리밍 데이터 생성 모듈(22a)은 즉시 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터를 단말(10)로 신속하게 제공할 수 있게 된다.
아울러, 본 발명의 실시 예에 따른 스트리밍 데이터 생성 모듈(22a)은 단말(10)로부터의 멀티뷰 스트리밍 서비스와 관련된 다양한 이벤트 정보를 처리할 수 있다. 예컨대, 단말(10)로부터 제2 화면에 대한 크기 조절 이벤트와 관련된 정보가 수신되면, 스트리밍 데이터 생성 모듈(22a)은 상기 단말(10)의 크기 조절 이벤트에 따라 제2 화면에 대한 MMT 스트리밍 데이터의 해상도 및 프레임수를 변경하여, 변경된 제2 화면에 대한 MMT 스트리밍 데이터를 제공할 수 있다. 또한, 단말(10)로부터 스위칭 이벤트에 대한 정보가 수신되면, 스트리밍 데이터 생성 모듈(22a)은 상기 단말(10)의 스위칭 이벤트에 따라 제1 화면 및 제2 화면에 대한 MMT 스트리밍 데이터의 해상도 및 프레임수를 변경하여, 변경된 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터를 제공할 수 있다. 즉, 전술한 바와 같이 MMT 방식에 따라 각 스트리밍 데이터를 제공함으로써, 단말(10)에서 발생되는 다양한 이벤트 정보에 따라, 신속하게 제1 화면 및 제2 화면에 대한 MMT 스트리밍 데이터의 해상도 및 프레임수를 변경하여 제공할 수 있게 된다.
그리고, 스트리밍 데이터 전송 모듈(22b)은 MMT 스트리밍 데이터를 요청한 단말(10)로 해당 MMT 스트리밍 데이터를 전송하는 역할을 수행할 수 있다. 이때, 단말(10)이 요청한 MMT 스트리밍 데이터가 복수의 MPU로 구성되는 복수의 애셋을 포함하는 경우, 이를 순차적으로 단말(10)이 수신하도록 제어하는 역할을 수행할 수 있다. 아울러, 본 발명의 스트리밍 데이터 전송 모듈(22b)은 단말(10)로부터 전달되는 이벤트 정보에 따라, 스트리밍 데이터 생성 모듈(22a)에 요청하여 해당하는 MMT 스트리밍 데이터가 생성되도록 지원할 수도 있다.
추가적으로 본 발명의 서버 제어부(22)는 MMT 스트리밍 데이터를 요청한 단말(10)에 대한 정보를 저장하고 관리할 수 있다. 이때, 어느 하나의 단말(10)이 MMT 스트리밍 데이터를 요청한 경우, 해당 단말(10)이 자신이 제공하는 멀티뷰 스트리밍 서비스에 가입된 사용자인지 여부를 확인할 수 있으며, 자신이 제공하는 멀티뷰 스트리밍 서비스에 가입된 사용자인 경우에만, MMT 스트리밍 데이터가 제공되도록 제어할 수도 있다.
서버 저장부(73)는 본 발명의 실시 예에 따른 멀티뷰 서비스 서버(20)의 동작 수행에 필요한 각종 정보를 저장하고 관리하는 역할을 수행할 수 있다.
이상으로 본 발명의 실시 예에 따른 멀티뷰 서비스 서버(20)의 주요 구성 및 동작 방법에 대해 설명하였다.
본 발명의 실시 예에 따른 멀티뷰 서비스 서버(20)는 하드웨어적으로는 통상적인 웹서버(Web Server) 또는 네트워크 서버와 동일한 구성을 하고 있다. 그러나, 소프트웨어적으로는 C, C++, Java, Visual Basic, Visual C 등과 같은 언어를 통하여 구현되는 프로그램 모듈(Module)을 포함한다.
한편, 본 발명의 각 장치에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
아울러, 본 발명의 실시 예에서 사용되는 '~모듈'이라는 용어는 소프트웨어 구성요소를 의미하며, '~모듈'은 어떤 역할들을 수행한다. 일 예로서 '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 또한, 구성요소들과 '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~모듈'들로 결합되거나 추가적인 구성요소들과 '~모듈'들로 더 분리될 수 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
이하, 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법에 대해 설명하도록 한다.
도 8은 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법을 설명하기 위한 데이터 흐름도이다.
도 8을 참조하면, 단말(10)은 멀티뷰 스트리밍 재생 요청에 따라, 멀티뷰 서비스 서버(20)로 제1 화면에 대한 MMT 스트리밍 데이터 및 제2 화면에 대한 MMT 스트리밍 데이터를 요청할 수 있다(S101 ~ S103). 상기 과정은 동시에 이뤄질 수 있다. 또한, 제1 화면에 대한 MMT 스트리밍 데이터가 재생되고 있는 상태에서, 멀티뷰 스트리밍 재생 요청이 발생되면, 제2 화면에 대한 MMT 스트리밍 데이터를 요청할 수도 있다.
이에 따라, 멀티뷰 서비스 서버(20)는 각 MMT 스트리밍 데이터를 생성하게 된다(S105). 이때, 각 스트리밍 데이터의 MPU 유닛에 재생 타임 정보를 삽입하여 단말(10)로 제1 화면에 대한 스트리밍 데이터 및 제2 화면에 대한 스트리밍 데이터를 전송하게 된다(S107 ~ S109).
이를 수신한 단말(10)은 각 MPU의 재생 타임 정보를 확인하고, 단말(10) 자신의 현재 타임 정보를 확인하게 된다(S111). 그리고, 단말(10)은 확인된 재생 타임 정보에 따라 각 스트리밍 데이터의 MPU를 동기화하여 재생할 수 있다(S113).
예를 들어, 멀티뷰 서비스 서버(20)로부터 수신된 제1 화면에 대한 MMT 스트리밍 데이터의 MPU에 삽입된 재생 타임 정보와 제2 화면에 대한 MMT 스트리밍 데이터의 MPU에 삽입된 재생 타임 정보가 '10:10:10.3'라 가정한다. 그리고, 제1 화면에 대한 MMT 스트리밍 데이터의 MPU가 단말(10)로 수신된 시점이 '10:10:10.0'이고, 제2 화면에 대한 MMT 스트리밍 데이터의 MPU가 단말(10)로 수신된 시점이 '10:10:10.3'로 가정한다. 이 경우, 단말(10)은 재생 타임 정보에 따라 제1 화면에 대한 MMT 스트리밍 데이터의 이전 MPU의 재생을 소정 시간 늘리거나, 수신된 현재 MPU를 소정 시간 지연시켜, 10:10:10.3초에 수신된 각 현재 MPU가 동일한 시점에 재생되도록 제어할 수 있다.
또 다른 예를 들어, 제1 화면에 대한 MMT 스트리밍 데이터의 MPU가 단말(10)에 수신된 시점이 '10:10:10.5'이고, 제2 화면에 대한 MMT 스트리밍 데이터의 MPU가 단말(10)에 수신된 시점이 '10:10:10.3'일 경우, 단말(10)은 제2 화면에 대한 MMT 스트리밍 데이터의 이전 MPU를 일정 시간 동안 지연시켜 재생되도록 한 후 10:10:10.5초에 제1 화면에 대한 MMT 스트리밍 데이터의 MPU와 동시에 재생되도록 제어할 수 있다.
다시 말해, 본 발명은 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터에서 재생 타임 정보가 동일한 MPU는 동시에 재생되도록 제어하는 것으로, 이때, 제1 화면에 대한 MMT 스트리밍 데이터와 제2 화면에 대한 MMT 스트리밍 데이터의 MPU 중 어느 하나는 삽입된 재생 타임 정보보다 늦게 재생되거나 빨리 재생될 수 있다.
아울러, 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스는 단말(10)에서 발생되는 다양한 이벤트 정보에 따라 대응하는 멀티뷰 스트리밍 서비스를 제공할 수 있다.
이에 대해 도 9 및 도 10을 참조하여 설명하도록 한다.
도 9는 본 발명의 일 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법을 설명하기 위한 데이터 흐름도이다.
도 9를 참조하면, 단말(10)은 멀티뷰 스트리밍 재생 요청에 따라, 멀티뷰 서비스 서버(20)로 제1 화면에 대한 MMT 스트리밍 데이터 및 제2 화면에 대한 MMT 스트리밍 데이터를 요청하고, 이를 수신할 수 있다(S201 ~ S203). 이때 멀티뷰 서비스 서버(20)는 제1 화면에 대한 MMT 스트리밍 데이터는 예컨대, 초당 30프레임(30frame/sec)으로 구현하여 단말(10)로 전송할 수 있으며, 제2 화면에 대한 MMT 스트리밍 데이터는 예컨대, 초당 20프레임(20frame/sec)으로 구현하여 단말(10)로 전송할 수 있다. 여기서, 상기 수신되는 과정은 동시에 이뤄질 수 있다.
단말(10)은 수신된 각 스트리밍 데이터를 재생 타임 정보에 따라 동기화하여 재생하고 있는 상태에서, 제2 화면에 대한 크기 조절 이벤트가 발생되는 지를 판단한다(S205). 상기 판단 결과, 제2 화면에 대한 크기 조절 이벤트가 발생되면, 단말(10)은 멀티뷰 서비스 서버(20)로 이를 안내하게 된다. 이때, 단말(10)은 제2 화면에 대한 이전 크기 정보, 변경된 현재 크기 정보, 제2 화면의 위치 정보 등을 포함하여 멀티뷰 서비스 서버(20)로 안내할 수 있다.
이를 수신한 멀티뷰 서비스 서버(20)는 크기 조절 이벤트에 따라 제2 화면에 대한 스트리밍 데이터 해상도를 변경한다(S209). 예컨대, 단말(10)의 제2 화면 해상도가 320x128인 상태에서, 크기 조절 이벤트에 따라 제2 화면 영역이 640x480으로 확대된 경우, 이에 대한 정보를 확인한 멀티뷰 서비스 서버(20)는 상기 변경된 해상도에 따라 그 이후에 발생되는 제2 화면에 대한 MMT 스트리밍 데이터의 각 MPU를 변경할 수 있다. 이때, 멀티뷰 서비스 서버(20)는 변경된 해상도에 따라 프레임수를 조절할 수 있으며, 조절된 프레임 수에 맞춰 각 MPU를 조절할 수 있다.
그리고, 멀티뷰 서비스 서버(20)는 재구성된 제2 화면에 대한 MMT 스트리밍 데이터의 각 MPU에 재생 타임 정보를 삽입하고(S211), 제1 화면에 대한 MMT 스트리밍 데이터의 각 MPU에도 재생 타임 정보를 삽입한 후 각 MMT 스트리밍 데이터를 단말(10)로 전송할 수 있다(S213 ~ S215).
이를 수신한 단말(10)은 각 MPU의 재생 타임 정보를 확인하고, 단말(10) 자신의 현재 타임 정보를 확인하게 된다(S217). 그리고, 단말(10)은 확인된 재생 타임 정보에 따라 각 스트리밍 데이터의 MPU를 동기화하여 재생할 수 있다(S219).
도 10은 본 발명의 다른 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법을 설명하기 위한 데이터 흐름도이다.
도 10을 참조하면, 단말(10)은 멀티뷰 스트리밍 재생 요청에 따라, 멀티뷰 서비스 서버(20)로 제1 화면에 대한 MMT 스트리밍 데이터 및 제2 화면에 대한 MMT 스트리밍 데이터를 요청하고, 이를 수신할 수 있다(S301 ~ S303). 상기 수신되는 과정은 동시에 이뤄질 수 있다.
단말(10)은 수신된 각 스트리밍 데이터를 재생 타임 정보에 따라 동기화하여 재생하고 있는 상태에서, 스위칭 이벤트가 발생되는 지를 판단한다(S305). 상기 판단 결과, 제2 화면과 제1 화면 간의 스위칭 이벤트가 발생되면, 단말(10)은 멀티뷰 서비스 서버(20)로 이를 안내하게 된다. 여기서, 스위칭 이벤트는 제2 화면에서 표시되고 있는 영상과 제1 화면에서 표시되는 영상을 서로 전환하여 표시하기 위한 사용자 요청 이벤트를 의미한다.
아울러, 단말(10)은 멀티뷰 서비스 서버(20)에서 스위칭 이벤트 처리를 위해 필요한 정보를 포함하여 멀티뷰 서비스 서버(20)로 안내할 수 있다.
이를 수신한 멀티뷰 서비스 서버(20)는 스위칭 이벤트에 따라 제1 화면 및 제2 화면을 스위칭하기 위해, 각 MMT 스트리밍 데이터의 해상도 및 프레임을 조절한다(S309). 그리고, 멀티뷰 서비스 서버(20)는 해상도 및 프레임수가 조절된 각 MMT 스트리밍 데이터의 MPU마다 재생 타임 정보를 삽입하고(S311), 각 MMT 스트리밍 데이터를 단말(10)로 전송할 수 있다(S313 ~ S315).
이를 수신한 단말(10)은 각 MPU의 재생 타임 정보를 확인하고, 단말(10) 자신의 현재 타임 정보를 확인하게 된다(S317). 그리고, 단말(10)은 확인된 재생 타임 정보에 따라 각 스트리밍 데이터의 MPU를 동기화하여 재생할 수 있다(S319).
이상으로 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법에 대해 설명하였다.
상술한 바와 같은 본 발명의 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 본 발명의 일 실시 예에 따른 멀티뷰 스트리밍 서비스 지원 방법을 구현하기 위한 기록매체에 기록되는 프로그램은 단말이 멀티뷰 서비스 서버로 제1 화면에 대한 MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 스트리밍 데이터와 제2 화면에 대한 MPEG 미디어 트랜스포트 스트리밍 데이터를 요청하는 단계, 상기 단말이 상기 멀티뷰 서비스 서버로부터 상기 제1 화면에 대한 스트리밍 데이터와 제2 화면에 대한 스트리밍 데이터가 수신됨에 따라, 상기 각 스트리밍 데이터의 각 미디어 프로세싱 유닛(MPU; Media Processing Unit)에 삽입된 재생 타임 정보를 확인하는 단계 및 상기 단말이 상기 확인된 재생 타임 정보에 따라 상기 제1 화면에 대한 스트리밍 데이터와 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛을 동기화시켜 재생되도록 제어하는 단계 등을 실행할 수 있다.
이때, 기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 기능들을 실행할 수 있다.
여기서, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다. 또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다. 또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이러한, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
본 발명은 스트리밍 데이터 제공 방법에 관한 것으로, 더욱 상세하게는 제1 화면 및 제2 화면을 포함하는 멀티뷰 스트리밍 서비스 제공 방법에 있어서, 제1 화면 및 제2 화면의 스트리밍 데이터를 동기화시켜 재생할 수 있는 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치에 관한 것이다.
본 발명에 의하면, 멀티뷰 스트리밍 서비스 재생 시 제1 화면과 제2 화면의 스트리밍 데이터를 동기화시켜 재생함으로써, 제1 화면과 제2 화면 간에 발생되는 시간 차이를 현저하게 줄일 수 있어 사용자의 편의성이 향상될 수 있으며, 이를 통해 스트리밍 서비스 산업의 발전에 이바지할 수 있다.
더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.
10: 단말 11: 통신부 12: 입력부
13: 제어부 13a: 제1 화면 제어 모듈
13b: 제2 화면 제어 모듈 13c: 재생 제어 모듈
13d: 타임 생성 모듈 14: 저장부 15: 표시부
20: 멀티뷰 서비스 서버 21: 서버 통신부 22: 서버 제어부
22a: 스트리밍 데이터 생성 모듈 22b: 스트리밍 데이터 전송 모듈
23: 서버 저장부 23a: 재생 타임 정보
30: 컨텐츠 제공 서버 50: 통신망

Claims (9)

  1. 제1 화면에 대한 MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 스트리밍 데이터의 재생 처리를 지원하는 제1 화면 제어 모듈;
    제2 화면에 대한 MPEG 미디어 트랜스포트 스트리밍 데이터의 재생 처리를 지원하는 제2 화면 제어 모듈; 및
    멀티뷰 스트리밍 재생 요청 시, 상기 제1 화면에 대한 스트리밍 데이터와 상기 제2 화면에 대한 스트리밍 데이터의 각 미디어 프로세싱 유닛(MPU; Media Processing Unit)에 삽입된 재생 타임 정보를 확인한 후, 재생 타임 정보가 동일한 제1 및 제2 스트리밍 데이터의 각 미디어 프로세싱 유닛이 상기 제1 및 제2 화면 제어 모듈에 전달된 시점이 다를 경우, 두 시점 중에서 늦은 시점에 상기 제1 및 제2 스트리밍 데이터의 미디어 프로세싱 유닛이 동시에 재생되도록 상기 제1 화면 제어 모듈 및 상기 제2 화면 제어 모듈을 제어하는 재생 제어 모듈;
    을 포함하는 것을 특징으로 하는 멀티뷰 스트리밍 서비스를 지원하는 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 재생 제어 모듈은
    제2 화면에 대한 크기 조절 이벤트가 발생되면, 멀티뷰 서비스 서버로부터 상기 크기 조절 이벤트에 따라 변경된 제2 화면에 대한 스트리밍 데이터를 수신하는 것을 특징으로 하는 멀티뷰 스트리밍 서비스를 지원하는 장치.
  4. 제1항에 있어서,
    상기 재생 제어 모듈은
    상기 제1 화면 제어 모듈 및 상기 제2 화면 제어 모듈간의 스위칭 이벤트가 발생되면, 멀티뷰 서비스 서버로부터 상기 스위칭 이벤트에 따라 해상도가 변경된 제1 화면에 대한 스트리밍 데이터와 제2 화면에 대한 스트리밍 데이터를 수신하는 것을 특징으로 하는 멀티뷰 스트리밍 서비스를 지원하는 장치.
  5. 단말이 멀티뷰 서비스 서버로 제1 화면에 대한 MPEG 미디어 트랜스포트(MMT; MPEG Media Transport) 스트리밍 데이터와 제2 화면에 대한 MPEG 미디어 트랜스포트 스트리밍 데이터를 요청하는 단계;
    상기 단말이 상기 멀티뷰 서비스 서버로부터 상기 제1 화면에 대한 스트리밍 데이터와 제2 화면에 대한 스트리밍 데이터가 수신됨에 따라, 상기 각 스트리밍 데이터의 각 미디어 프로세싱 유닛(MPU; Media Processing Unit)에 삽입된 재생 타임 정보를 확인하는 단계; 및
    상기 단말이 재생 타임 정보가 동일한 제1 및 제2 스트리밍 데이터의 각 미디어 프로세싱 유닛이 상기 제1 및 제2 화면 제어 모듈에 전달된 시점이 다를 경우, 두 시점 중에서 늦은 시점에 상기 제1 및 제2 스트리밍 데이터의 미디어 프로세싱 유닛이 동시에 재생되도록 제어하는 단계;
    를 포함하는 것을 특징으로 하는 멀티뷰 스트리밍 서비스 지원 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제5항에 기재된 멀티뷰 스트리밍 서비스 지원 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020150022524A 2015-02-13 2015-02-13 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치 KR102126257B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150022524A KR102126257B1 (ko) 2015-02-13 2015-02-13 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
PCT/KR2016/001457 WO2016129963A1 (ko) 2015-02-13 2016-02-13 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
CN201680007284.4A CN107211186B (zh) 2015-02-13 2016-02-13 用于提供多视图流媒体服务的方法和设备
JP2017554229A JP6427692B2 (ja) 2015-02-13 2016-02-13 マルチビューストリーミングサービス提供方法及び装置
US15/623,419 US11228801B2 (en) 2015-02-13 2017-06-15 Method and apparatus for providing multi-view streaming service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150022524A KR102126257B1 (ko) 2015-02-13 2015-02-13 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치

Publications (2)

Publication Number Publication Date
KR20160100047A KR20160100047A (ko) 2016-08-23
KR102126257B1 true KR102126257B1 (ko) 2020-06-24

Family

ID=56615411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150022524A KR102126257B1 (ko) 2015-02-13 2015-02-13 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치

Country Status (5)

Country Link
US (1) US11228801B2 (ko)
JP (1) JP6427692B2 (ko)
KR (1) KR102126257B1 (ko)
CN (1) CN107211186B (ko)
WO (1) WO2016129963A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080866A1 (ko) * 2020-10-13 2022-04-21 삼성전자 주식회사 전자 장치 및 그 동작 방법
KR20240087353A (ko) 2022-12-12 2024-06-19 소셜라이브(주) 다중영상을 녹화 및 동기화 재생하는 방법 및 이를 구현하기 위한 미디어 서버
KR20240087352A (ko) 2022-12-12 2024-06-19 소셜라이브(주) 다중영상 녹화 컨텐츠를 활용한 실시간 참여형 라이브 서비스 제공방법 및 이를 구현하는 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170142172A1 (en) * 2015-11-13 2017-05-18 Le Holdings (Beijing) Co., Ltd. Video Player for Multiple Cameras, Playing System and Playing Method
DE102018115737B4 (de) * 2018-06-29 2021-10-21 Exaring Ag Verfahren zum automatisierten Ausspielen von Videos, Recheneinheit und Computerprogrammprodukt
CN110225384A (zh) * 2019-06-18 2019-09-10 北京字节跳动网络技术有限公司 状态消息的推送方法、交互内容的切换方法、装置及设备
US11350138B2 (en) 2020-05-20 2022-05-31 Sony Corporation Managing a multi-view event comprising several streams, stream buffers, and rendering onto a single canvas
CN111680065B (zh) * 2020-05-25 2023-11-10 泰康保险集团股份有限公司 流式计算中迟滞数据的处理系统、设备以及方法
KR20220032938A (ko) * 2020-09-08 2022-03-15 삼성전자주식회사 전자 장치 및 그 동작 방법
US11800179B2 (en) * 2020-12-03 2023-10-24 Alcacruz Inc. Multiview video with one window based on another
KR102603220B1 (ko) * 2021-12-01 2023-11-16 주식회사 엘지유플러스 타일 기반 멀티뷰 영상을 재생하는 방법 및 이를 위한 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093605A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782363B2 (en) * 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
KR101130368B1 (ko) * 2003-06-02 2012-03-27 디즈니엔터프라이지즈,인크. 소비자용 비디오 플레이어를 위한 프로그램된 윈도우 제어 시스템 및 방법
CN1826572A (zh) * 2003-06-02 2006-08-30 迪斯尼实业公司 消费者视频播放器的编程窗口控制的系统和方法
CN100515079C (zh) * 2006-12-13 2009-07-15 北京大学 一种在iptv中实现画中画的方法
EP2043323A1 (en) * 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
JP5335354B2 (ja) * 2008-10-03 2013-11-06 キヤノン株式会社 情報送信装置、情報送信装置の制御方法及びコンピュータプログラム
US8505054B1 (en) * 2009-12-18 2013-08-06 Joseph F. Kirley System, device, and method for distributing audio signals for an audio/video presentation
CN101814269A (zh) * 2010-04-16 2010-08-25 深圳市创凯电子有限公司 全彩led点阵上同时显示实时多画面的方法及装置
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
KR101920051B1 (ko) * 2011-07-12 2018-11-29 한국전자통신연구원 Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof
EP2830318A4 (en) * 2012-03-23 2015-12-02 Humax Holdings Co Ltd TRANSMISSION METHOD AND HYBRID RECEPTION METHOD FOR SVC VIDEO CONTENT EMPTYED IN MMT
KR101249279B1 (ko) * 2012-07-03 2013-04-02 알서포트 주식회사 동영상 생성 방법 및 장치
WO2014010830A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
KR20140008237A (ko) * 2012-07-10 2014-01-21 한국전자통신연구원 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
US9226011B2 (en) * 2012-09-11 2015-12-29 Comcast Cable Communications, Llc Synchronizing program presentation
US9843845B2 (en) * 2012-11-28 2017-12-12 Sinclair Broadcast Group, Inc. Terrestrial broadcast market exchange network platform and broadcast augmentation channels for hybrid broadcasting in the internet age
JP6122626B2 (ja) * 2012-12-06 2017-04-26 日本放送協会 復号装置およびプログラム
CN103338340B (zh) * 2013-06-18 2016-06-22 北京汉博信息技术有限公司 实现多视频流帧画面自定义组合的画中画模块和方法
JP6616064B2 (ja) * 2013-07-25 2019-12-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、及び、受信装置
WO2015049810A1 (ja) * 2013-10-01 2015-04-09 株式会社電通 多視点動画配置システム
US9930086B2 (en) * 2013-10-28 2018-03-27 Samsung Electronics Co., Ltd. Content presentation for MPEG media transport
KR102378107B1 (ko) * 2015-02-13 2022-03-25 상하이 지아오통 유니버시티 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093605A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080866A1 (ko) * 2020-10-13 2022-04-21 삼성전자 주식회사 전자 장치 및 그 동작 방법
KR20240087353A (ko) 2022-12-12 2024-06-19 소셜라이브(주) 다중영상을 녹화 및 동기화 재생하는 방법 및 이를 구현하기 위한 미디어 서버
KR20240087352A (ko) 2022-12-12 2024-06-19 소셜라이브(주) 다중영상 녹화 컨텐츠를 활용한 실시간 참여형 라이브 서비스 제공방법 및 이를 구현하는 시스템

Also Published As

Publication number Publication date
US20170289588A1 (en) 2017-10-05
WO2016129963A1 (ko) 2016-08-18
CN107211186B (zh) 2020-03-03
JP2018509110A (ja) 2018-03-29
KR20160100047A (ko) 2016-08-23
CN107211186A (zh) 2017-09-26
JP6427692B2 (ja) 2018-11-21
US11228801B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
KR102126257B1 (ko) 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
KR102072344B1 (ko) 적응형 스트리밍 서비스 제공 방법 및 이를 위한 장치
US9826015B2 (en) Dynamic and automatic control of latency buffering for audio/video streaming
US10148725B2 (en) Apparatus and computer-readable recording medium having program recorded therein for providing low-latency real-time broadcast content
US20130242189A1 (en) Method and system for providing synchronized playback of media streams and corresponding closed captions
KR20180069576A (ko) 영상제공장치, 그의 제어 방법 및 영상제공시스템
KR102050735B1 (ko) 클라우드 스트리밍 서비스를 위한 프락시 서버, 이를 이용한 클라우드 스트리밍 시스템 및 클라우드 스트리밍 서비스 제공 방법
US10291943B2 (en) Node interworking with base station and method for providing streaming data through the node
US10165311B2 (en) Non-transitory computer-readable recording medium having program recorded therein for providing network-adaptive content and apparatus for providing network-adaptive content
KR102281217B1 (ko) 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치
KR102209782B1 (ko) 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR20170097547A (ko) 광고 제공 방법 및 이를 위한 장치
KR102209784B1 (ko) Mmt 패킷 캐싱 처리 방법 및 이를 위한 장치, 캐싱 처리를 위한 mmt 패킷 생성 방법 및 이를 위한 장치
KR20170018603A (ko) 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR102174360B1 (ko) 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR102209785B1 (ko) Mmt 패킷 캐싱 처리 방법 및 이를 위한 장치, 캐싱 처리를 위한 mmt 패킷 생성 방법 및 이를 위한 장치
KR102210407B1 (ko) 복수 통신망을 이용한 컨텐츠 전송 방법 및 장치
KR20170009195A (ko) 동영상 컨텐츠 제공 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant