KR101535809B1 - 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치 - Google Patents
클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치 Download PDFInfo
- Publication number
- KR101535809B1 KR101535809B1 KR1020140009146A KR20140009146A KR101535809B1 KR 101535809 B1 KR101535809 B1 KR 101535809B1 KR 1020140009146 A KR1020140009146 A KR 1020140009146A KR 20140009146 A KR20140009146 A KR 20140009146A KR 101535809 B1 KR101535809 B1 KR 101535809B1
- Authority
- KR
- South Korea
- Prior art keywords
- video data
- content
- cloud
- service
- streaming
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 70
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000002156 mixing Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 발명은 클라우드 스트리밍 서비스를 제공하는데 있어서, VOD(Video On Demand), 실시간 방송, 어플리케이션, GUI 등 서로 다른 종류의 컨텐츠 들을 융합하여 제공할 수 있는 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치에 관한 것으로서, 화면 가상화 기술을 통해 사용자의 입력에 따라서 소정의 어플리케이션을 실행하거나 컨텐츠를 재생하고 그 실행 화면을 캡처하여 상기 사용자의 입력에 대응하는 응답으로 사용자 장치로 출력하는 클라우드 스트리밍 서비스를 제공하는데 있어서, 제1 컨텐츠에 대응하는 제1 스트리밍 데이터를 수신하여 디코딩하여 제1 컨텐츠의 실행 화면인 제1 비디오 데이터를 획득하고, 이를 캡처한 소정의 어플리케이션의 실행 화면과 합성함으로써 다양한 클라우드 스트리밍 서비스를 제공할 수 있도록 한다.
Description
본 발명은 클라우드 스트리밍 서비스에 관한 것으로서, 더욱 상세하게는 VOD(Video On Demand), 실시간 방송, 어플리케이션, GUI 등 서로 다른 종류의 컨텐츠 들을 융합하여 제공할 수 있는 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치에 관한 것이다.
이동통신망의 발달과 단말기 사양의 발전에 따라 종래의 단순한 통신장치 또는 정보 제공 장치의 범주를 벗어나 이동통신단말기는 현대인의 필수 소지품이 되었고, 토탈 엔터테인먼트 기기로 진화해 가고 있는 추세에 있다.
아울러, 사용자가 이용하는 어플리케이션의 수 및 종류가 증대되고 있으며, 이러한 어플리케이션 구동에 필요한 단말의 사양 또한 급속히 발전하고 있다.
그러나, 사용자들은 3D 게임 등과 같이 고사양의 어플리케이션을 구동하기 위해서는 자신이 이용하고자 하는 단말이 고사양의 어플리케이션 구동에 적합한 단말인지 여부를 사전에 확인해야 하며, 만일 사용자의 단말이 고사양의 어플리케이션을 구동하기에 부족한 사양일 경우, 사용자들은 어플리케이션 자체를 이용할 수 없다는 불편함이 있다.
이에, 통신망을 통해 연결된 클라우드 서버(Cloud server)를 통해 소프트웨어, 하드웨어 등의 자원을 제공함으로써 사용자측 단말의 사양에 관계없이 어플리케이션을 이용할 수 있도록 하는 클라우드 컴퓨팅(Cloud computing) 기술이 주목 받고 있다.
특히, 클라우드 컴퓨팅 기술을 기반으로, 게임, VOD, 실시간 방송 컨텐츠 등을 서버 측에서 실행한 후, 그 실행 화면을 스트리밍 방식으로 사용자 장치로 전송하여, 사용자 장치에서는 입력 및 출력만 이루어지게 함으로써, 사용자 장치의 사양 및 성능에 관계없이 사용자가 원하는 컨텐츠를 이용할 수 있도록 하는 것을 클라우드 스트리밍 서비스라 한다.
본 발명은 클라우드 스트리밍 서비스를 제공하는데 있어서, VOD(Video On Demand), 실시간 방송, 어플리케이션, GUI 등 서로 다른 종류의 컨텐츠 들을 융합하여 제공할 수 있는 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치를 제공하고자 한다.
특히, 본 발명은 화면 가상화 기술을 통해 사용자의 입력에 따라서 소정의 어플리케이션을 실행하거나 컨텐츠를 재생하고 그 실행 화면을 캡처하여 상기 사용자의 입력에 대응하는 응답으로 사용자 장치로 출력하는 클라우드 스트리밍 서비스를 제공하는데 있어서, 제1 컨텐츠에 대응하는 제1 스트리밍 데이터를 수신하여 디코딩하여 제1 컨텐츠의 실행 화면인 제1 비디오 데이터를 획득하고, 이를 캡처한 소정의 어플리케이션의 실행 화면과 합성함으로써 다양한 클라우드 스트리밍 서비스를 제공할 수 있도록 하는 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치를 제공하고자 한다.
상술한 과제의 해결 수단으로서, 본 발명은 통신망을 통해 사용자 장치와 데이터를 송수신하는 서비스 통신부; 컨텐츠 제공 장치로부터 제1 컨텐츠에 대한 제1 스트리밍 데이터를 수신하여 디코딩하여 제1 컨텐츠의 실행 화면인 제1 비디오 데이터를 획득하는 컨텐츠 수신부; 및 서비스 통신부를 통해 사용자 장치로부터의 서비스 요청에 따라서, 컨텐츠 수신부를 통해 제1 컨텐츠에 대응하는 제1 비디오 데이터를 획득하면서, 제2 컨텐츠를 실행하고 그 실행 화면을 캡처하여 제2 컨텐츠에 대응하는 제2 비디오 데이터를 실시간으로 생성하고, 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 서로 다른 컨텐츠가 융합된 제3 비디오 데이터를 실시간으로 생성하여 사용자 장치로 제공하는 클라우드 서비스부를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 장치를 제공한다.
본 발명에 따른 클라우드 스트리밍 서비스 장치에 있어서, 클라우드 서비스부는 PIP(Picture in Picture) 또는 알파블렌딩 기술을 통해 제1 비디오 데이터와 제2 비디오 데이터를 픽셀 단위로 결합하여 합성할 수 있다.
아울러, 상기 클라우드 서비스부는, 제1 컨텐츠와 제2 컨텐츠 간의 관계, 사용자 상태, 우선순위 중 어느 하나를 기준으로, 제1 비디오 데이터와 제2 비디오 데이터의 합성 조건을 결정할 수 있다.
더하여, 본 발명에 따른 클라우드 스트리밍 서비스 장치는, 클라우드 서비스부에서 실시간으로 생성되는 제3 비디오 데이터를 인코딩하여 서비스 통신부를 통해서 스트리밍 방식으로 전송하는 스트리밍 서비스부를 더 포함할 수 있다.
더하여, 본 발명은 상술한 과제를 해결하기 위한 다른 수단으로서, 통신망을 통해 컨텐츠 제공 장치 및 클라우드 스트리밍 서비스 장치와 데이터를 송수신하는 통신부; 및 통신부를 통해 컨텐츠 제공 장치로부터 수신되는 제1 스트리밍 데이터를 디코딩하여 제1 비디오 데이터를 획득하는 제1 디코딩 모듈과, 통신부를 통해 클라우드 스트리밍 서비스 장치로부터 수신되는 제2 스트리밍 데이터를 디코딩하여 제2 비디오 데이터를 획득하는 제2 디코딩 모듈과, 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 제3 비디오 데이터를 생성하는 제어부를 포함하는 것을 특징으로 하는 사용자 장치를 제공한다.
본 발명에 따른 사용자 장치는, 제어부에서 생성된 제3 비디오 데이터를 랜더링하여 표시하는 출력부 또는 영상 출력 장치와 연결되어, 제어부에서 생성된 제3 비디오 데이터를 영상 출력 장치로 출력하는 접속 인터페이스부를 더 포함할 수 있다.
더하여, 본 발명에 따른 사용자 장치는, 사용자의 조작에 따른 사용자 입력 신호를 생성하여 상기 제어부로 전달하는 입력부를 더 포함하고, 제어부는 사용자 입력 신호에 따른 서비스 요청을 컨텐츠 제공 장치 및 클라우드 스트리밍 서비스 장치 중 하나 이상으로 전송하고, 서비스 요청에 대한 응답으로 제1 스트리밍 데이터 및 제2 스트리밍 데이터를 수신할 수 있다.
더하여, 본 발명에 의한 사용자 장치에 있어서, 제어부는 제1 스트리밍 데이터 및 제2 스트리밍 데이터 중 하나 이상으로부터 동기화 정보를 추출하고, 추출한 동기화 정보를 기준으로 합성 시점을 제어할 수 있다.
더하여, 본 발명은 제1 컨텐츠를 스트리밍 방식으로 전송하는 컨텐츠 제공 장치; 제2 컨텐츠를 실행하고, 그 실행 화면을 캡처하여 스트리밍 방식으로 전송하는 클라우드 스트리밍 서비스 장치; 및 컨텐츠 제공 장치 및 클라우드 스트리밍 서비스 장치로부터 전송된 제1,2 스트리밍 데이터를 각각 수신하여 디코딩함으로써, 제1,2 비디오 데이터를 획득하고, 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 제3 비디오 데이터를 생성하여 출력하는 사용자 장치를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 제공 시스템을 제공한다.
또한, 본 발명은 제1 컨텐츠를 스트리밍 방식으로 전송하는 컨텐츠 제공 장치; 컨텐츠 제공 장치로부터 전송된 제1 스트리밍 데이터를 수신하여 디코딩하여 제1 비디오 데이터를 획득하면서, 제2 컨텐츠를 실행하고 그 실행 화면을 캡처하여 제2 컨텐츠에 대응하는 제2 비디오 데이터를 실시간으로 생성하고, 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 서로 다른 컨텐츠가 융합된 제3 비디오 데이터를 실시간으로 생성하여 사용자 장치에 스트리밍 방식으로 전송하는 클라우드 스트리밍 서비스 장치; 및 클라우드 스트리밍 서비스 장치로부터 전송된 제3 스트리밍 데이터를 수신하여 디코딩하여 제1 컨텐츠 및 제2 컨텐츠가 융합된 제3 비디오 데이터를 복원하여 출력하는 사용자 장치를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 제공 시스템을 제공한다.
더하여 본 발명은 클라우드 스트리밍 서비스 장치가 컨텐츠 제공 장치로부터 제1 컨텐츠에 대한 제1 스트리밍 데이터를 수신하고 디코딩하여 상기 제1 컨텐츠의 실행 화면인 제1 비디오 데이터를 획득하는 단계; 상기 클라우드 스트리밍 서비스 장치가 제2 컨텐츠를 실행하고 그 실행 화면을 캡처하여 제2 컨텐츠에 대응하는 제2 비디오 데이터를 실시간으로 생성하는 단계; 상기 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 서로 다른 컨텐츠가 융합된 제3 비디오 데이터를 실시간으로 생성하는 단계를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 제공 방법을 제공한다.
또한, 본 발명은 사용자 장치가 컨텐츠 제공 장치로부터 수신되는 제1 스트리밍 데이터를 디코딩하여 제1 비디오 데이터를 획득하는 단계; 상기 사용자 장치가 클라우드 스트리밍 서비스 장치로부터 수신되는 제2 스트리밍 데이터를 디코딩하여 제2 비디오 데이터를 획득하는 단계; 상기 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 제3 비디오 데이터를 생성하는 단계; 상기 제3 비디오 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 제공 방법을 제공한다.
더하여 본 발명은 상술한 클라우드 스트리밍 서비스 제공 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
본 발명에 의하면, 화면 가상화 기술을 통해 사용자의 입력에 따라서 소정의 어플리케이션을 실행하거나 컨텐츠를 재생하고 그 실행 화면을 캡처하여 상기 사용자의 입력에 대응하는 응답으로 사용자 장치로 출력하는 클라우드 스트리밍 서비스를 제공하는데 있어서, VOD, 실시간 방송, 게임이나 GUI와 같은 소정 기능을 수행하는 어플리케이션 등과 같은 다양한 컨텐츠를 실시간으로 융합하여 제공할 수 있다.
예를 들어, 본 발명은 IPTV와 같은 실시간 방송 서비스나 VOD와 같은 동영상 서비스 화면에, 화면 가상화 기술을 통해 생성한 GUI 어플리케이션 등과 같은 다른 컨텐츠의 실행 화면을 실시간으로 융합하여 사용자 편의를 향상시키거나 새로운 서비스를 제공할 수 있게 된다.
도 1은 본 발명에 따른 클라우드 스트리밍 서비스 제공 시스템을 나타낸 블럭도이다.
도 2는 본 발명의 제1 실시 예에 따른 클라우드 스트리밍 서비스 제공 시스템의 연동 구조를 설명하기 위한 블럭도이다.
도 3은 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 제공 시스템의 연동 구조를 설명하기 위한 블럭도이다.
도 4는 본 발명의 제1 실시 예에 따른 클라우드 스트리밍 서비스를 위한 사용자 장치의 구성을 나타낸 블럭도이다.
도 5는 본 발명의 제1 실시 예에 따른 사용자 장치에 의한 클라우드 스트리밍 서비스 제공 방법을 나타낸 순서도이다.
도 6은 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 장치의 구성을 나타낸 블럭도이다.
도 7은 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 장치에 의한 클라우드 스트리밍 서비스 제공 방법을 나타낸 순서도이다.
도 8은 본 발명에 따른 클라우드 스트리밍 서비스 화면의 예시도이다.
도 2는 본 발명의 제1 실시 예에 따른 클라우드 스트리밍 서비스 제공 시스템의 연동 구조를 설명하기 위한 블럭도이다.
도 3은 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 제공 시스템의 연동 구조를 설명하기 위한 블럭도이다.
도 4는 본 발명의 제1 실시 예에 따른 클라우드 스트리밍 서비스를 위한 사용자 장치의 구성을 나타낸 블럭도이다.
도 5는 본 발명의 제1 실시 예에 따른 사용자 장치에 의한 클라우드 스트리밍 서비스 제공 방법을 나타낸 순서도이다.
도 6은 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 장치의 구성을 나타낸 블럭도이다.
도 7은 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 장치에 의한 클라우드 스트리밍 서비스 제공 방법을 나타낸 순서도이다.
도 8은 본 발명에 따른 클라우드 스트리밍 서비스 화면의 예시도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 클라우드 컴퓨팅 환경을 기반으로 화면 가상화를 통해 사용자가 단말의 성능에 관계 없이 소정의 서비스 혹은 기능을 이용할 수 있도록 하는 클라우드 스트리밍 서비스에 관한 것이다. 특히, 본 발명은 서로 다른 종류의 컨텐츠를 융합하여 클라우드 스트리밍을 통해 서비스를 제공하고자 한다. 본 발명에 적용되는 컨텐츠는 실시간 방송, VOD, 게임이나 GUI(Graphic User Interface) 등 다양한 기능을 제공하는 어플리케이션을 포함할 수 있다.
도 1은 본 발명에 따른 클라우드 스트리밍 서비스 제공 시스템을 나타낸 블럭도이다.
도 1을 참조하면, 본 발명에 따른 클라우드 스트리밍 서비스 제공 시스템은, 통신망(400)을 통해 상호 간에 데이터 송수신이 가능한 사용자 장치(100)와, 클라우드 스트리밍 서비스 장치(200)와, 컨텐츠 제공 장치(300)를 포함하여 이루어질 수 있다. 여기서, 통신망(400)은, 사용자 장치(100)와 클라우드 스트리밍 서비스 장치(200), 사용자 장치(100)와 컨텐츠 제공 장치(300), 클라우드 스트리밍 서비스 장치(200)와 컨텐츠 제공 장치(300) 사이를 연결하여 데이터를 전달하기 위한 구성으로서, 현재 이용중인 통신망 및 현재 개발 중이거나 향후 이용 가능성이 있는 통신망이 될 수 있다. 예를 들어, 상기 통신망(400)은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax)와 같은 무선 통신, HSDPA(High Speed Downlink Packet Access), CDMA, LTE(Long Term Evolution) 등과 같은 이동통신, 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식 중 적어도 하나에 따른 통신망 들의 결합으로 이루어질 수 있다.
이때, 상기 사용자 장치(100)와 클라우드 스트리밍 서비스 장치(200), 사용자 장치(100)와 컨텐츠 제공 장치(300), 클라우드 스트리밍 서비스 장치(200)와 컨텐츠 제공 장치(300) 각각은 서로 다른 통신매체 혹은 통신 방식으로 연결될 수 있다. 예를 들어, 사용자 장치(100)와 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300)는 공용 통신망으로 연결되고, 상기 컨텐츠 제공 장치(300)와 클라우드 스트리밍 서비스 장치(300)는 전용 통신망을 통해 연결될 수 있다.
그리고, 상기 사용자 장치(100)는 사용자가 클라우드 스트리밍 서비스를 위해 이용하는 장치로서, 통신망(400)을 통해서 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300) 중 하나 이상에 접속하여, 데이터를 송수신할 수 있는 장치라면 어떠한 장치라도 적용될 수 있다. 다만, 이때, 상기 사용자 장치(100)는 디스플레이 기능을 보유한 장치와, 디스플레이 기능을 보유하지 않은 장치로 구분될 수 있으며, 상기 디스플레이 기능을 보유하지 않은 장치는, TV, 모니터, 프로젝터와 같은 다른 영상 출력 장치(도시생략)과 연결되어, 상기 영상 출력 장치로 데이터를 전송함으로써, 상기 영상 출력 장치를 통해서 서비스 화면을 출력할 수 있다.
이러한 사용자 장치(100)는 예를 들어, 휴대폰, 스마트폰과 같은 이동통신단말기뿐만 아니라, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 데스크톱PC(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 방송 수신 기능과 함께 통신망(400)을 통한 통신 기능을 갖는 스마트 TV, 및 TV와 연결되어 방송 신호의 수신 및 재생 기능을 갖는 셋탑박스가 될 수도 있다.
상기 사용자 장치(100)는 사용자의 조작에 따라서 상기 클라우드 서비스 장치(200) 및 컨텐츠 제공 장치(300) 중 하나 이상으로 소정의 서비스 혹은 기능을 요청하고, 이에 대응하여 상기 클라우드 스트리밍 서비스 장치(200) 및 상기 클라우드 스트리밍 서비스 장치(200) 중 하나 이상으로부터 스트리밍 데이터를 수신하여, 재생한 후 출력한다. 따라서, 상기 사용자 장치(100)는 기본적으로 스트리밍 데이터를 수신하여 디코딩하는 기능을 구비할 수 있으며, 여기에 더하여 디코딩된 비디오 데이터를 랜더링하여 출력하는 기능을 더 포함할 수 있다.
클라우드 스트리밍 서비스 장치(200)는 클라우드 스트리밍 서비스를 제공하는 구성으로서, 화면 가상화 기능을 통해 상기 사용자 장치(100)에서 요청된 서비스 혹은 기능을 사용자에게 제공한다. 여기서, 화면 가상화는 사용자 장치(100)에서 실행된 것과 같이 특정 어플리케이션의 실행 화면을 통신망(400)을 통해 연결된 서버 측, 즉, 클라우드 스트리밍 서비스 장치(200)에서 구현하여 사용자 장치(100)에 제공하는 것을 의미한다. 이를 위하여, 상기 클라우드 스트리밍 서비스 장치(200)는 자신이 보유한 자원, 예를 들어, 게임 어플리케이션, GUI 어플리케이션를 실행하고, 그 실행 화면을 인코딩하여, 스트리밍 방식으로 상기 사용자 장치(100)로 전송한다. 이때, 상기 클라우드 스트리밍 서비스 장치(200)는 상기 어플리케이션을 사용자 장치(100)로부터 전송되는 사용자 입력에 따라서 구동시키며, 변경된 실행 화면을 상기 스트리밍 방식으로 사용자 장치(100)로 전송함으로써, 사용자가 사용자 장치(100)를 통해서 상기 어플리케이션을 실행하는 것과 같은 사용자 경험을 제공받을 수 있도록 한다.
마지막으로, 컨텐츠 제공 장치(300)는 상기 클라우드 스트리밍 서비스 장치(200)와는 별도로 소정의 컨텐츠를 제공하는 장치로서, 구체적으로, 스트리밍 방식으로 소정의 컨텐츠를 전송한다. 상기 컨텐츠 제공 장치(300)에서 제공하는 컨텐츠는 예를 들어, 실시간 방송 혹은 VOD와 같은 동영상으로 이루어진 컨텐츠이다. 이러한 컨텐츠 제공 장치(300)는 상기 클라우드 스트리밍 서비스 장치(200)와는 다른 주체(서비스 제공자)에 의해서 운영될 수 있다. 구체적으로, 상기 컨텐츠 제공 장치(300)는 IPTV Head-End system 또는 케이블 TV의 QAM Transmitter 등이 될 수 있다.
본 발명은 상술한 사용자 장치(100)와 클라우드 스트리밍 서비스 장치(200)와 컨텐츠 제공 장치(300)와의 연동을 통해서, 상기 컨텐츠 제공 장치(300)에서 제공되는 컨텐츠와 클라우드 스트리밍 서비스 장치(200)에서 제공하는 컨텐츠를 융합하여 사용자 장치(100)로 제공하고자 하는 것이다. 컨텐츠 간의 융합은, 예를 들어, 실시간 방송 또는 VOD의 비디오 영상에 사용자 조작을 위한 GUI(Graphic User Interface) 어플리케이션의 실행 화면을 오버랩하거나, 실시간 방송 또는 VOD와 게임 어플리케이션을 융합하여 제공하거나, 실시간 방송 또는 VOD 영상과 채팅 어플리케이션을 융합하는 방식으로 제공될 수 있다. 물론 이들은 단순한 예시에 불과하며, 본 발명에 따른 클라우드 스트리밍 서비스에 따르면 다양한 종류의 서로 다른 컨텐츠 간의 융합이 가능해진다.
이를 위하여, 본 발명에 따른 클라우드 스트리밍 서비스 제공 시스템은, 도 2 또는 도 3과 같은 연동 구조를 가질 수 있다.
먼저, 도 2는 본 발명의 제1 실시 예에 따른 클라우드 스트리밍 서비스 제공 시스템의 연동 구조를 설명하기 위한 블럭도이다.
도 2를 참조하면, 본 발명의 제1 실시 예에 따른 클라우드 스트리밍 서비스 시스템에서, 상기 컨텐츠 간의 융합은 사용자 장치(100)를 통해서 이루어질 수 있다.
이를 위해, 상기 사용자 장치(100)는 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300)와 각각 연결되어, 상기 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300) 각각으로 서비스 요청을 전송한다.
이에 의하여, 상기 컨텐츠 제공 장치(300)는 사용자 장치(100)에서 요청한 제1 컨텐츠를 스트리밍 방식으로 사용자 장치(100)에 전송하고, 또한, 상기 클라우드 스트리밍 서비스 장치(200)는 상기 서비스 요청에 따라서, 사용자 장치(100)에서 요청한 제2 컨텐츠를 실행하고, 그 실행 화면을 실시간으로 캡쳐하여 제2 비디오 데이터를 획득하고, 이를 인코딩하여 스트리밍 방식으로 사용자 장치(100)에 전송한다.
이때, 상기 사용자 장치(100)는, 컨텐츠 제공 장치(300)로부터 수신되는 제1 스트리밍 데이터와 클라우드 스트리밍 서비스 장치(200)로부터 수신되는 제2 스트리밍 데이터를 각각 디코딩함으로써 제1,2 컨텐츠의 실행 화면인 제1,2 비디오 데이터를 각각 획득하고, 이어서 상기 제1,2 비디오 데이터를 PIP(Picture In Picture), 알파블렌딩(Alphablend) 기술을 통해 합성하여, 두 컨텐츠가 융합된 제3 비디오 데이터를 실시간으로 생성한다.
그리고, 상기 사용자 장치(100)는 생성된 제3 비디오 데이터를 랜더링하여 디스플레이하거나, 외부에 연결된 영상 출력 장치(도시생략)으로 출력함으로써, 사용자에게 서로 다른 두 컨텐츠가 융합된 화면을 제공한다.
이에, 사용자 장치(100)는 사용자 요청에 대한 응답으로서, 상기 클라우드 스트리밍 서비스 장치(200)로부터 제3 비디오 데이터를 수신하게 되며, 수신된 제3 비디오 데이터를 디코딩하여 다른 영상 출력 장치(도시 생략)로 출력하거나, 상기 디코딩한 제3 비디오 데이터를 랜더링하여 디스플레이 함으로써, 사용자에게 실시간으로 스트리밍 서비스되는 두 컨텐츠가 융합된 실행 화면을 제공할 수 있다.
이때, 상기 사용자 장치(100)는 상기 두 컨텐츠가 융합된 실행 화면을 제공하기 위하여, 상기 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300)로 각각 서비스 요청을 전송하는데, 이때, 상기 서비스 요청은 두 컨텐츠를 연관지을 수 있는 관련 정보를 포함하는 것이 바람직하다. 예를 들어, 클라우드 스트리밍 서비스 장치(200)로 전송되는 서비스 요청에는 상기 컨텐츠 제공 장치(300)로 전송된 서비스 요청과 관련된 관련 정보(예를 들어, 컨텐츠 명 등)가 포함되고, 상기 클라우드 스트리밍 서비스 장치(200)는 상기 관련 정보를 참조하여 해당 컨텐츠와 융합될 컨텐츠를 선택하게 된다. 이를 위해 상기 클라우드 스트리밍 서비스 장치(200)는 상기 컨텐츠 제공 장치(300)에서 제공되는 컨텐츠와 자신이 제공할 컨텐츠 간의 매핑 정보를 관리할 수 있다.
아울러, 상기 사용자 장치(100)가 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300)로부터 전송된 제1,2 스트리밍 데이터를 수신하고 디코딩하여 융합하는데 있어서, 그 융합 시점의 정확한 동기화를 위하여, 상기 제1,2 스트리밍 데이터에 동기화 정보를 포함할 수도 있다.
다음으로, 도 3은 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 제공 시스템의 연동 구조를 설명하기 위한 블럭도이다.
도 3을 참조하면, 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 시스템에서, 상기 컨텐츠 간의 융합은 클라우드 스트리밍 서비스 장치(200)를 통해서 이루어진다.
이를 위해, 상기 클라우드 스트리밍 서비스 장치(200)는 컨텐츠 제공 장치(300)와 연결되어, 상기 컨텐츠 제공 장치(300)로부터 출력되는 제1 컨텐츠에 대한 제1 스트리밍 데이터를 수신하고, 수신한 제1 스트리밍 데이터를 디코딩하여 제1 컨텐츠의 실행 화면에 대응하는 제1 비디오 데이터를 실시간으로 획득한다. 아울러, 상기 클라우드 스트리밍 서비스 장치(200)는 상기 사용자 장치(200)와 연결되어, 상기 사용자 장치(200)로부터 서비스 요청을 수신하고, 수신된 서비스 요청에 따라서 소정의 어플리케이션을 실행하고, 그 실행 화면을 캡쳐하여, 상기 어플리케이션의 실행 화면에 대응하는 제2 비디오 데이터를 실시간으로 획득한다.
그리고, 상기 클라우드 스트리밍 서비스 장치(200)는 획득한 상기 제1 비디오 데이터와 제2 비디오 데이터를 PIP(Picture In Picture), 알파블렌딩(Alphablend) 기술을 통해 합성하여, 두 컨텐츠가 융합된 제3 비디오 데이터를 실시간으로 생성한다.
그리고, 상기 클라우드 스트리밍 서비스 장치(300)는 상기 생성한 제3 비디오 데이터를 인코딩하여 스트리밍 방식으로 사용자 장치(100)로 전송한다.
이에, 사용자 장치(100)는 사용자 요청에 대한 응답으로서, 상기 클라우드 스트리밍 서비스 장치(200)로부터 제3 비디오 데이터를 수신하게 되며, 수신된 제3 비디오 데이터를 디코딩하여 다른 영상 출력 장치(도시 생략)로 출력하거나, 상기 디코딩한 제3 비디오 데이터를 랜더링하여 디스플레이함으로써, 사용자에게 실시간으로 스트리밍 서비스되는 두 컨텐츠가 융합된 실행 화면을 제공할 수 있다.
이때, 상기 사용자 장치(100)의 사용자 요청은 클라우드 스트리밍 서비스 장치(200)로 전송되며, 클라우드 스트리밍 서비스 장치(200)에서 상기 사용자 요청을 해석하여 컨텐츠 제공 장치(300)로 제1 컨텐츠의 전송과 관련된 요청을 전송할 수 있다.
이하, 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스를 위한 사용자 장치(100) 및 클라우드 스트리밍 서비스 장치(200)의 구성 및 동작을 더 구체적으로 설명한다.
도 4는 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스를 위한 사용자 장치(100)의 구성을 나타낸 블럭도이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스를 위한 사용자 장치(100)는, 통신부(110)와, 제어부(120)와, 저장부(130)와, 입력부(140)와, 출력부(150)와, 접속 인터페이스부(160)를 포함하여 이루어질 수 있다.
이 중, 상기 통신부(110)는 통신망(400)을 통해 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300) 중 하나 이상에 접속하여, 클라우드 스트리밍 서비스와 관련된 데이터를 송수신하기 위한 구성이다. 보다 구체적으로, 본 발명의 제1 실시 예의 경우, 상기 통신부(110)는 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300)에 동시 접속하여, 각각 서비스 요청을 전송하고, 그에 대한 응답으로 융합할 두 컨텐츠와 관련된 스트리밍 데이터를 수신한다. 반면, 본 발명의 제2 실시 예의 경우, 상기 통신부(110)는 상기 클라우드 스트리밍 서비스 장치(200)에 접속하여, 상기 클라우드 스트리밍 서비스 장치(200)로 서비스 요청을 전송하고 그에 대응하여 두 컨텐츠가 융합된 스트리밍 데이터를 수신한다. 여기서 스트리밍 데이터는 해당 컨텐츠의 실행 화면에 대응하는 비디오 데이터를 포함한다.
이러한 통신부(110)는 사용자 장치(100)가 접속한 통신망(400)의 종류에 대응하여 데이터를 송수신할 수 있도록 다양한 방식의 통신 모듈로 구현될 수 있다. 예를 들어, 통신부(110)는 WCDMA, LTE, LTE-A 등의 이동통신망에 접속하여 데이터를 송수신하기 위한 이동통신 모듈, TCP/IP 기반의 유선 인터넷과 같은 유선 통신망과 접속하여 유선 통신망을 통해서 데이터를 송수신하기 위한 유선 통신 모듈, Wi-Fi 등의 무선 통신 기술을 통해 통신망(400)에 접속하여 데이터를 송수신하기 위한 무선 통신 모듈, 블루투스나 NFC(Near Field Commucation)과 같은 근거리 통신 기술을 통해서 데이터를 송수신하는 근거리 통신 모듈 등 하나 이상의 서로 다른 통신 모듈을 포함할 수 있다. 상기 통신부(110)는 이러한 하나 이상의 통신 모듈을 구비함으로써, 상기 클라우드 스트리밍 서비스 장치(200)와 컨텐츠 제공 장치(300)에 대하여 서로 다른 경로를 통해서 데이터를 송수신할 수 있다.
제어부(120)는 본 발명에 따른 사용자 장치(100)의 동작 전반을 제어하기 위한 것으로서, 기본적으로, 상기 사용자 장치(100)를 구성하는 각 구성 요소의 전원 공급 및 기능 수행을 위한 제어를 수행한다. 이때 제어부(120)는 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치, 예컨대, 중앙처리장치(CPU, Central Processing Unit)를 결합으로 구현될 수 있다. 즉, 제어부(120)는 사용자 장치(100)의 전원 온 시, OS 프로그램을 로딩하여 실행함으로써, 다양한 응용 프로그램들의 실행을 위한 운영체제를 구축하고, 이를 기반으로 하나 이상의 응용 프로그램을 실행하거나, 구성 요소들의 기능을 제어할 수 있다.
특히, 본 발명에 따른 사용자 장치(100)의 제어부(120)는 클라우드 스트리밍 서비스와 관련된 사용자 요청에 대응하여 상기 통신부(110)를 통해서 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300) 중 하나 이상에 접속하여 서비스를 요청한다. 구체적으로, 본 발명의 제1 실시 예에 따르면, 상기 제어부(120)는 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300)로 동시에 서비스를 요청한 후, 상기 클라우드 스트리밍 서비스 장치(200) 및 컨텐츠 제공 장치(300)로부터 각각 제1,2 스트리밍 데이터가 수신되면, 이를 디코딩하여 제1,2 비디오 데이터를 복원하고, 상기 복원된 제1,2 비디오 데이터를 합성하여, 두 컨텐츠가 융합된 제3 비디오 데이터를 생성한다. 그리고, 상기 제어부(120)는 생성된 제3 비디오 데이터를 접속 인터페이스부(160)를 통해 외부의 영상 출력 장치(도시생략)로 출력하거나, 상기 제3 비디오 데이터를 랜더링 처리하여 출력부(150)를 통해서 출력한다.
이를 위하여, 상기 제어부(120)는 제1 디코딩 모듈(121)과, 제2 디코딩 모듈(122)과, 믹싱 모듈(123)을 포함할 수 있다.
상기 제1 디코딩 모듈(121)은 컨텐츠 제공 장치(300)로부터 수신된 제1 스트리밍 데이터를 디코딩하여 제1 비디오 데이터를 복원하며, 제2 디코딩 모듈(122)은 클라우드 스트리밍 서비스 장치(200)로부터 수신된 제2 스트리밍 데이터를 디코딩하여 제2 비디오 데이터를 복원하고, 믹싱 모듈(123)은 상기 제1 디코딩 모듈(121)로부터 출력되는 제1 비디오 데이터와 제2 디코딩 모듈(122)로부터 출력되는 제2 비디오 데이터를 믹싱하여 서로 다른 두 컨텐츠가 융합된 제3 비디오 데이터를 생성한다. 이때, 상기 제어부(120)는 제1 스트리밍 데이터 및 제2 스트리밍 데이터에 포함된 동기화 정보를 참조하여, 상기 믹싱 모듈(123)에 의한 융합 시점을 제어할 수 있다.
한편, 본 발명의 제2 실시 예의 경우, 제어부(120)는 클라우드 스트리밍 서비스 장치(200)에 접속하여 서비스를 요청하고, 상기 클라우드 스트리밍 서비스 장치(200)로부터 전송되는 서로 다른 두 컨텐츠가 융합된 제3 스트리밍 데이터를 수신하고, 이를 디코딩하여 상기 제3 비디오 데이터를 복원하게 된다.
다음으로, 저장부(130)는 본 발명의 실시 예에 따른 사용자 장치(100)의 동작에 필요한 프로그램 및 데이터를 저장한다. 구체적으로, 상기 저장부(130)은 상기 제어부(120)에 의해 로딩되어 실행될 OS 프로그램 및 하나 이상의 응용 프로그램을 저장하고, 아울러, 상기 하나 이상의 응용 프로그램에 의해 생성되거나 이용될 데이터를 더 저장할 수 있다. 이러한, 저장부(130)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로(multimedia card micro) 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(RAM), 롬(ROM) 등의 저장매체를 포함하여 구성될 수 있다.
입력부(140)는 사용자로부터 숫자 및 문자 정보 등의 다양한 정보를 입력 받기 위한 것으로서, 사용자 조작에 따라서 사용자 장치(100)에 대한 각종 기능을 설정 및 제어와 관련된 사용자 입력 신호를 생성하여 제어부(120)로 전달한다. 특히, 본 발명의 입력부(140)는 사용자가 클라우드 스트리밍 서비스를 요청할 수 있도록 지원한다.
이러한, 입력부(140)는 키보드나 키패드와 같은 키 입력 수단, 터치센서나 터치 패드와 같은 터치 입력 수단, 자이로 센서, 지자기 센서, 가속도 센서와 근접 센서, 그리고 카메라 중 적어도 하나 이상을 포함하여 이루어지는 제스처 입력 수단 또는 음성 입력 수단 중 하나 이상을 포함하여 구현될 수 있다. 상기 입력부(140)에는 이 외에도 현재 개발 중이거나 향후 개발될 수 있는 모든 형태의 입력 수단이 포함될 수 있다. 이때, 입력부(140)가 터치스크린의 형태로 구성될 경우, 입력 기능과 표시 기능을 동시에 수행할 수 있다.
출력부(150)는 사용자 장치(100)의 기능 수행 중에 발생하는 일련의 동작 상태 및 동작 결과 등에 대한 정보를 표시한다. 특히, 본 발명의 출력부(150)는 상기 제어부(120)의 제어에 따라서 두 컨텐츠가 융합된 제3 비디오 데이터를 디스플레이할 수 있다. 이러한 출력부(150)는 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구현될 수 있다
마지막으로, 접속 인터페이스부(160)는 사용자 장치(100)와 외부의 다른 장치를 연결하여 신호를 전달할 수 있도록 하는 구성으로서, 구체적으로, TV, 모니터, 프로젝터와 같은 영상 출력 장치(도시 생략)와 접속되어 영상 및 음성 신호 및 제어 신호를 입출력할 수 있도록 한다. 예를 들어, 상기 접속 인터페이스부(160)는 HDMI(High-Definition Multimedia Interface: 고선명 멀티미디어 인터페이스)를 포함하는 다양한 AV 인터페이스가 될 수 있다.
참고로, 본 발명에 따른 사용자 장치(100)는 상기 출력부(150)와 접속 인터페이스부(160) 중 어느 하나를 선택적으로 구비할 수 있다. 예를 들어, 셋탑박스의 경우, 접속 인터페이스부(160) 가 구비되며, 스마트 폰이 태블릿 PC의 경우 출력부(150)가 구비된다.
상술한 바와 같이 구성된 사용자 장치(100)의 동작을 도 5를 참조하여 설명한다. 도 5는 본 발명의 제1 실시 예에 따른 사용자 장치에 의한 클라우드 스트리밍 서비스 제공 방법을 나타낸 순서도이다.
도 5를 참조하면, 본 발명에 따른 사용자 장치(100)는 컨텐츠 제공 장치(300)로부터 제1 스트리밍 데이터를 수신하여 디코딩함으로써 제1 컨텐츠에 대응하는 제1 비디오 데이터를 획득하고(S105, S110), 클라우드 스트리밍 서비스 장치(200)로부터 제2 스트리밍 데이터를 수신하여 디코딩함으로써 제2 컨텐츠에 대응하는 제2 비디오 데이터를 획득할 수 있다(S115, S120). 상기 과정은 사용자 장치(100)가 컨텐츠 제공 장치(300) 및 클라우드 스트리밍 서비스 장치(200)에 각각 접속하여 서비스 요청을 전송함에 의해 실행될 수 있다. 상기 서비스 요청은, 특정 컨텐츠에 대한 전송, 실행, 조작에 대한 구동을 요청하는 것으로서, 사용자 입력 신호에 대응하여 발생될 수 있다. 이때, 상기 사용자 장치(100)는 융합할 두 컨텐츠 간의 매핑 정보를 저장부(130)에 저장하고, 이러한 매핑 정보를 참조하여 상기 컨텐츠 제공 장치(300) 및 클라우드 스트리밍 서비스 장치(200)로 필요한 서비스 요청을 전송할 수 있다. 예를 들어, 사용자 장치(100)는 컨텐츠 제공 장치(200)로 특정 VOD의 재생을 요청하여, 상기 VOD를 스트리밍 전송받아 재생하여 출력하는 중에, VOD의 재생과 관련된 제어를 위한 GUI를 클라우드 스트리밍 서비스 장치(200)로 요청하여, 상기 GUI의 실행 화면에 대응하는 제2 비디오 데이터를 스트리밍 받을 수 있다.
참고로, 상기 S105~S110 단계와, S115~S120 단계는 동시에 수행될 수 도 있고, 교대로 수행될 수 도 있다.
그리고, 상기 사용자 장치(100)는 상기 획득한 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 서로 다른 두 컨텐츠가 융합된 제3 비디오 데이터를 생성한다(S125). 이때, 상기 제1 비디오 데이터와 제2 비디오 데이터의 합성 기준은, 디폴트로 설정되거나 컨텐츠별로 변경되어 적용될 수 있다. 특히, 제1 비디오 데이터에 대응하는 제1 컨텐츠와 제2 비디오 데이터에 대응하는 제2 컨텐츠의 관계, 현재 사용자 상태, 우선 순위에 따라서 달라질 수 있다
예를 들어, 제1 비디오 데이터 위에 상기 제2 비디오 데이터가 픽셀 단위로 오버레이되는데, 상기 제2 비디오 데이터의 투명도를 조정함으로써, 제1 비디오 데이터가 제1 비디오 데이터 뒤로 비쳐 보일 수 있도록 합성할 수 있다.
더 구체적으로, 도 8에 도시된 바와 같이, 컨텐츠 제공 장치(300)로부터 전송된 VOD와 같은 제1 컨텐츠(81)를 재생하는 중에, 사용자 요청에 따라서 상기 제1 컨텐츠(81)의 재생 관련된 GUI 어플리케이션인 제2 컨텐츠(82)가 요청된 경우, 상기 제2 컨텐츠(82)의 실행 화면의 투명도를 조정하여, 상기 제1 컨텐츠(81)의 재생 화면 위에 오버레이하여 표시할 수 있다.
상술한 S105 내지 S130 단계는 서비스가 계속되는 동안 일정 주기, 더 구체적으로 비디오 프레임의 재생 주기에 맞추어 반복하여 이루어질 수 있다.
다음으로, 도 6은 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 장치(200)의 구성을 나타낸 블럭도이다.
도 6을 참조하면, 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 장치(200)는, 서비스 통신부(210)와, 클라우드 서비스부(220)와, 컨텐츠 수신부(230)와, 스트리밍 서비스부(240)를 포함할 수 있다.
상기 서비스 통신부(210)는 통신망(400)을 통해 하나 이상의 사용자 장치(100)와 통신하기 위한 구성이다. 이러한 서비스 통신부(210)는 하나 이상의 전송 프로토콜을 기반으로 데이터를 송수신할 수 있다.
구체적으로 상기 서비스 통신부(210)는 서비스를 요청한 사용자 장치(100)와 통신 채널을 형성하고, 상기 형성된 통신 채널을 통해서 요청된 컨텐츠의 스트리밍 데이터를 전송한다. 특히, 본 발명의 제2 실시 예의 경우, 상기 서비스 통신부(210)는 사용자 장치(100)로부터 서비스 요청을 수신하고, 그에 대응하는 응답으로서 서로 다른 두 컨텐츠가 융합된 제3 비디오 데이터에 대응하는 제3 스트리밍 데이터를 사용자 장치(100)로 전송한다.
클라우드 서비스부(220)는 클라우드 컴퓨팅 기술을 기반으로 사용자 장치(100)로 소정의 컨텐츠를 서비스하기 위한 것으로서, 클라우드 컴퓨팅 기반의 화면 가상화를 구현하기 위한 구성이다. 이러한 클라우드 서비스부(220)는 상기 서비스 통신부(210)를 통해 수신된 사용자 장치(100)의 서비스 요청에 대응하여, 컨텐츠를 사용자 장치(100)를 대신하여 실행하거나 재생한 후, 그의 실행 화면을 캡쳐하여 사용자 장치(100)로 서비스할 비디오 데이터(제2 비디오 데이터)를 획득한다. 아울러, 상기 사용자 장치(100)의 서비스 요청이 서로 다른 두 종류의 컨텐츠의 융합을 필요로 하는 경우, 상기 클라우드 서비스부(220)는 컨텐츠 수신부(230)를 통해서 획득한 제1 컨텐츠의 제1 비디오 데이터를 전달받아, 상기 제1 비디오 데이터와 상기 제2 비디오 데이터를 믹싱하여, 두 컨텐츠가 융합된 제3 비디오 데이터를 생성한다. 이는 비디오 프레임 주기에 맞추어 실시간으로 실행됨으로써, 사용자 장치(100)에서 출력된 연속된 제3 비디오 데이터를 생성할 수 있다.
이때, 상기 컨텐츠 수신부(230)는 클라우드 스트리밍 서비스 장치(200)에서 융합될 컨텐츠를 외부로부터 수신하기 위한 구성으로서, 구체적으로 상기 컨텐츠 수신부(230)는 컨텐츠 제공 장치(300)로부터 전송되는 소정 컨텐츠에 대한 제1 스트리밍 데이터를 수신하여, 이를 디코딩함으로써 상기 제1 비디오 데이터를 획득하여 클라우드 서비스부(220)로 제공한다. 이때, 상기 컨텐츠 수신부(230)는 클라우드 서비스부(220)의 제어에 따라서 융합할 컨텐츠를 수신하기 위하여 상기 컨텐츠 제공 장치(300)로 소정의 서비스 요청 및 제어 신호를 전송할 수 있다.
다음으로, 스트리밍 서비스부(240)는 클라우드 스트리밍 서비스에 있어서, 스트리밍 방식의 전송 처리를 수행하기 위한 구성이다. 구체적으로 상기 스트리밍 서비스부(240)는 상기 클라우드 서비스부(220)에서 생성된 제3 비디오 데이터를 인코딩하여 상기 서비스 통신부(210)를 통해서 스트리밍 방식으로 전송되도록 제어한다. 여기서, 상기 스트리밍 서비스부(240)의 제어에 의하여 서비스 통신부(210)를 통해 사용자 장치(100)로 전송되는 데이터를 제3 스트리밍 데이터라 한다.
상기에 의하여 사용자 장치(100)로 전송된 제3 스트리밍 데이터는 서로 다른 두 종류의 컨텐츠의 실행 화면이 융합된 비디오 데이터를 스트리밍 방식으로 실시간 전송하는 것으로서, 사용자 장치(100)는 상기 제3 스트리밍 데이터를 수신하여, 단순히 디코딩을 통해 출력하면, 사용자에게 융합된 컨텐츠를 제공할 수 있게 된다.
상술한 바와 같이 구성된 도 7에 도시된 바와 같이 동작할 수 있다. 도 7은 본 발명의 제2 실시 예에 따른 클라우드 스트리밍 서비스 장치(200)에 의한 클라우드 스트리밍 서비스 제공 방법을 나타낸 순서도이다.
도 7을 참조하면, 본 발명에 따른 클라우드 스트리밍 서비스 장치(200)는 서비스 통신부(210)를 통해서 사용자 장치(100)로부터 소정의 서비스 요청을 수신할 수 있다(S205).
이때, 상기 클라우드 서비스부(220)는 상기 사용자 장치(100)의 서비스 요청을 분석하여, 서로 다른 종류의 컨텐츠의 융합이 필요한 경우, 융합할 컨텐츠의 데이터를 획득하기 위한 과정을 수행한다.
구체적으로, 상기 클라우드 서비스부(220)는 컨텐츠 수신부(230)로 소정 컨텐츠의 수신을 지시하고, 이에 상기 컨텐츠 수신부(230)는 컨텐츠 제공 장치(300)에 요청하여 제1 컨텐츠의 제1 스트리밍 데이터를 수신한다(S210).
그리고, 상기 컨텐츠 수신부(230)는 수신된 제1 스트리밍 데이터를 디코딩하여, 상기 제1 컨텐츠의 실행 화면에 대응하는 제1 비디오 데이터를 획득한다(S215).
아울러, 상기 클라우드 서비스부(220)는 융합할 제2 컨텐츠의 실행 화면을 획득하기 위하여, 우선 수신된 서비스 요청과 관련된 소정 어플리케이션을 실행한다(S220). 이때, 상기 클라우드 서비스부(220)는 서비스 통신부(210)를 통해서 사용자 장치(100)로부터 전송된 상기 어플리케이션에 대한 사용자 입력 신호를 수신하고, 상기 사용자 입력 신호에 따라서 상기 어플리케이션을 구동하게 된다.
이렇게 소정의 어플리케이션을 실행하면서, 상기 클라우드 서비스부(220)는 소정 주기(예를 들어, 비디오 프레임 생성 주기)로 상기 어플리케이션의 실행 화면을 캡쳐하여 제2 비디오 데이터를 생성한다(S225).
이어서, 상기 클라우드 서비스부(220)는 상기 S215 단계에서 획득한 제1 비디오 데이터와 제2 비디오 데이터를 소정 기준에 따라서 융합하여 제3 비디오 데이터를 생성한다(S230). 이때, 상기 융합을 위한 기준은, 상기 제1 비디오 데이터에 대응하는 제1 컨텐츠와 와 제2 비디오 데이터에 대응하는 제2 컨텐츠(즉, 어플리케이션) 간의 관계, 현재 사용자 상태, 우선 순위에 따라서 달라질 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 제1 컨텐츠(81)가 VOD 혹은 실시간 방송 컨텐츠이고, 제2 컨텐츠(82)는 제1 컨텐츠의 조작을 위한 GUI 어플리케이션인 경우, 제1 컨텐츠(81)를 메인으로 하여 그 위에 제2 컨텐츠(82)의 투명도를 조작하여 오버레이하는 형태로 이루어질 수 있다.
이와 달리, 제1 컨텐츠와 제2 컨텐츠가 서로 무관하거나 대등관계에 있는 경우, 예를 들어, 제1 컨텐츠가 쇼핑과 관련된 방송 컨텐츠이고, 제2 컨텐츠는 주문 및 결제를 어플리케이션이 경우, PIP 방식으로 제1 컨텐츠에 제2 컨텐츠를 결합할 수 있다. 이때, 상기 제1 컨텐츠와 제2 컨텐츠의 화면 비율은 사용자 선택에 따라서 가변적으로 적용될 수 있다.
상기 클라우드 스트리밍부(220)에서 생성된 제3 비디오 데이터는 스트리밍 서비스부(240)를 통해 인코딩되고, 상기 서비스 통신부(210)를 통해 사용자 장치(100)에 스트리밍 방식으로 전송된다. 이렇게 전송되는 데이터를 제3 스트리밍 데이터라 한다.
따라서, 사용자 장치(100)는 수신된 제3 스트리밍 데이터를 디코딩하여 출력함으로써, 사용자에게 서로 다른 두 종류의 컨텐츠가 융합된 소정의 출력 화면을 제공할 수 있게 된다.
본 발명에 따른 클라우드 스트리밍 서비스 제공 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
본 발명에 따른 사용자 장치(100)나 클라우드 스트리밍 서비스 장치(200)는 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
아울러, 본 발명에 있어서 "시스템"이라는 용어는 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.
본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명에 의하면, 화면 가상화 기술을 통해 사용자의 입력에 따라서 소정의 어플리케이션을 실행하거나 컨텐츠를 재생하고 그 실행 화면을 캡처하여 상기 사용자의 입력에 대응하는 응답으로 사용자 장치로 출력하는 클라우드 스트리밍 서비스를 제공하는데 있어서, VOD, 실시간 방송, 게임이나 GUI와 같은 소정 기능을 수행하는 어플리케이션 등과 같은 다양한 컨텐츠를 실시간으로 융합하여 제공할 수 있다.
예를 들어, 본 발명은 IPTV와 같은 실시간 방송 서비스나 VOD와 같은 동영상 서비스 화면에, 화면 가상화 기술을 통해 생성한 GUI 어플리케이션 등과 같은 다른 컨텐츠의 실행 화면을 실시간으로 융합하여 사용자 편의를 향상시키거나 새로운 서비스를 제공할 수 있게 된다.
100: 사용자 장치
200: 클라우드 스트리밍 서비스 장치
300: 컨텐츠 제공 장치
400: 통신망
200: 클라우드 스트리밍 서비스 장치
300: 컨텐츠 제공 장치
400: 통신망
Claims (17)
- 클라우드 컴퓨팅 환경을 기반으로 화면 가상화를 구현하는 클라우드 스트리밍 서비스 장치에 있어서,
통신망을 통해 사용자 장치와 데이터를 송수신하는 서비스 통신부;
컨텐츠 제공 장치로부터 전송된 제1 컨텐츠에 대한 제1 스트리밍 데이터를 수신하여 디코딩하여 상기 제1 컨텐츠의 실행 화면인 제1 비디오 데이터를 획득하는 컨텐츠 수신부;
상기 서비스 통신부를 통한 상기 사용자 장치로부터의 서비스 요청에 따라서, 화면 가상화를 통해 제2 컨텐츠를 실행하고 그 실행 화면을 캡처하여 제2 비디오 데이터를 실시간으로 생성하면서, 상기 컨텐츠 수신부를 통해 획득한 제1 비디오 데이터와 상기 제2 비디오 데이터를 동기화 정보에 맞춰 합성하여, 서로 다른 컨텐츠가 융합된 제3 비디오 데이터를 실시간으로 생성하는 클라우드 서비스부; 및
상기 클라우드 서비스부에서 실시간으로 생성되는 제3 비디오 데이터를 인코딩하여 상기 서비스 통신부를 통해서 상기 사용자 장치에 스트리밍 방식으로 전송하는 스트리밍 서비스부;
를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 장치. - 제1항에 있어서, 상기 클라우드 서비스부는
PIP(Picture in Picture) 또는 알파블렌딩 기술을 통해 제1 비디오 데이터와 제2 비디오 데이터를 픽셀 단위로 결합하여 합성하는 것을 특징으로 하는 클라우드 스트리밍 서비스 장치. - 제1항에 있어서, 상기 클라우드 서비스부는
상기 제1 컨텐츠와 제2 컨텐츠 간의 관계, 사용자 상태, 우선순위 중 어느 하나를 기준으로, 상기 제1 비디오 데이터와 제2 비디오 데이터의 합성 조건을 결정하는 것을 특징으로 하는 클라우드 스트리밍 서비스 장치. - 삭제
- 클라우드 컴퓨팅 환경을 기반으로 화면 가상화를 구현하는 클라우드 스트리밍 서비스 장치와 연동하는 사용자 장치에 있어서,
통신망을 통해 컨텐츠 제공 장치 및 클라우드 스트리밍 서비스 장치와 데이터를 송수신하는 통신부; 및
상기 컨텐츠 제공 장치로부터 제공된 제1 컨텐츠의 제1 비디오 데이터와 상기 클라우드 스트리밍 서비스 장치를 제공되는 제2 컨텐츠의 실행 화면인 제2 비디오 데이터를 합성하는 제어부를 포함하되,
상기 제어부는
상기 컨텐츠 제공 장치로부터 전송된 제1 스트리밍 데이터를 디코딩하여 상기 제1 컨텐츠의 실행 화면인 제1 비디오 데이터를 획득하는 제1 디코딩 모듈과,
상기 클라우드 스트리밍 서비스 장치로부터 전송된 제2 스트리밍 데이터를 디코딩하여 상기 화면 가상화를 통해 생성된 제2 컨텐츠의 실행 화면인 제2 비디오 데이터를 획득하는 제2 디코딩 모듈과,
상기 제1,2 스트리밍 데이터에 포함된 동기화 정보를 기반으로 상기 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 제3 비디오 데이터를 생성하는 믹싱 모듈을 포함하는 것을 특징으로 하는 사용자 장치. - 제5항에 있어서,
상기 제어부에서 생성된 제3 비디오 데이터를 랜더링하여 표시하는 출력부를 더 포함하는 것을 특징으로 하는 사용자 장치. - 제5항에 있어서,
영상 출력 장치와 연결되어, 상기 제어부에서 생성된 제3 비디오 데이터를 영상 출력 장치로 출력하는 접속 인터페이스부를 더 포함하는 것을 특징으로 하는 사용자 장치. - 제5항에 있어서,
사용자의 조작에 따른 사용자 입력 신호를 생성하여 상기 제어부로 전달하는 입력부를 더 포함하고,
상기 제어부는 상기 사용자 입력 신호에 따른 서비스 요청을 상기 컨텐츠 제공 장치 및 클라우드 스트리밍 서비스 장치 중 하나 이상으로 전송하고, 상기 서비스 요청에 대한 응답으로 상기 제1 스트리밍 데이터 및 제2 스트리밍 데이터를 수신하는 것을 특징으로 하는 사용자 장치. - 삭제
- 클라우드 컴퓨팅 환경을 기반으로 화면 가상화를 구현하는 클라우드 스트리밍 서비스 제공 시스템에 있어서,
제1 컨텐츠를 스트리밍 방식으로 전송하는 컨텐츠 제공 장치;
상기 화면 가상화를 통해, 제2 컨텐츠를 실행하고 그 실행 화면을 실시간으로 캡처하여 스트리밍 방식으로 전송하는 클라우드 스트리밍 서비스 장치; 및
상기 컨텐츠 제공 장치 및 클라우드 스트리밍 서비스 장치로부터 전송된 제1,2 스트리밍 데이터를 각각 수신하여 디코딩함으로써, 제1,2 컨텐츠의 실행 화면인 제1,2 비디오 데이터를 획득하고, 상기 제1 비디오 데이터와 제2 비디오 데이터를 상기 제1,2 스트리밍 데이터에 포함된 동기화 정보를 기반으로 합성하여 제3 비디오 데이터를 생성하여 출력하는 사용자 장치를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 제공 시스템. - 클라우드 컴퓨팅 환경을 기반으로 화면 가상화를 구현하는 클라우드 스트리밍 서비스 제공 시스템에 있어서,
제1 컨텐츠를 스트리밍 방식으로 전송하는 컨텐츠 제공 장치;
상기 컨텐츠 제공 장치로부터 전송된 제1 스트리밍 데이터를 수신하여 디코딩하여 제1 컨텐츠의 제1 비디오 데이터를 획득하면서, 상기 화면 가상화를 통해 제2 컨텐츠를 실행하고 그 실행 화면을 캡처하여 제2 컨텐츠의 실행 화면에 대응하는 제2 비디오 데이터를 실시간으로 생성하고, 상기 제1 비디오 데이터와 제2 비디오 데이터를 동기화 정보에 맞춰 합성하여 서로 다른 컨텐츠가 융합된 제3 비디오 데이터를 실시간으로 생성하여 사용자 장치에 스트리밍 방식으로 전송하는 클라우드 스트리밍 서비스 장치; 및
상기 클라우드 스트리밍 서비스 장치로부터 전송된 제3 스트리밍 데이터를 수신하여 디코딩하여 제1 컨텐츠 및 제2 컨텐츠가 융합된 제3 비디오 데이터를 복원하여 출력하는 사용자 장치를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 제공 시스템. - 클라우드 컴퓨팅 환경을 기반으로 화면 가상화를 구현하는 클라우드 스트리밍 서비스 제공 방법에 있어서,
클라우드 스트리밍 서비스 장치가 컨텐츠 제공 장치로부터 제1 컨텐츠에 대한 제1 스트리밍 데이터를 수신하고 디코딩하여 상기 제1 컨텐츠의 실행 화면인 제1 비디오 데이터를 획득하는 단계;
상기 클라우드 스트리밍 서비스 장치가 화면 가상화 기술을 통해 제2 컨텐츠를 실행하고 그 실행 화면을 캡처하여, 제2 비디오 데이터를 실시간으로 생성하는 단계;
상기 클라우드 스트리밍 서비스 장치가 상기 제1 비디오 데이터와 제2 비디오 데이터를 동기화 정보에 따라 합성하여 서로 다른 컨텐츠가 융합된 제3 비디오 데이터를 실시간으로 생성하는 단계;
상기 클라우드 스트리밍 서비스 장치가 상기 제3 비디오 데이터를 스트리밍 방식으로 사용자 장치에 전송하는 단계를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 제공 방법. - 삭제
- 클라우드 컴퓨팅 환경을 기반으로 화면 가상화를 구현하는 클라우드 스트리밍 서비스 제공 방법에 있어서,
사용자 장치가 컨텐츠 제공 장치로부터 수신되는 제1 스트리밍 데이터를 디코딩하여 제1 비디오 데이터를 획득하는 단계;
상기 사용자 장치가 클라우드 스트리밍 서비스 장치로부터 수신되는 제2 스트리밍 데이터를 디코딩하여, 상기 클라우드 스트리밍 서비스 장치에서 상기 화면 가상화를 통해 생성된 제2 컨텐츠의 실행 화면에 대응하는 제2 비디오 데이터를 획득하는 단계;
상기 제1 스트리밍 데이터 및 제2 스트리밍 데이터 중 하나 이상으로부터 동기화 정보를 추출하고, 상기 추출한 동기화 정보를 기준으로, 상기 제1 비디오 데이터와 제2 비디오 데이터를 합성하여 제3 비디오 데이터를 생성하는 단계;
상기 제3 비디오 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 제공 방법. - 삭제
- 삭제
- 제12항 또는 제14항에 기재된 클라우드 스트리밍 서비스 제공 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140009146A KR101535809B1 (ko) | 2014-01-24 | 2014-01-24 | 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140009146A KR101535809B1 (ko) | 2014-01-24 | 2014-01-24 | 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101535809B1 true KR101535809B1 (ko) | 2015-07-13 |
Family
ID=53793041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140009146A KR101535809B1 (ko) | 2014-01-24 | 2014-01-24 | 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101535809B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101714998B1 (ko) * | 2016-09-28 | 2017-03-09 | 주식회사 은하 | 동영상을 이용한 전자상거래에서 동영상 결합 및 재생 장치 |
| KR20180017908A (ko) * | 2016-08-11 | 2018-02-21 | 주식회사 씨오티커넥티드 | 콘텐츠 재생 제어 장치 |
| KR102078576B1 (ko) * | 2018-08-22 | 2020-02-19 | 에스케이플래닛 주식회사 | 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| KR102110195B1 (ko) * | 2019-08-09 | 2020-05-14 | 주식회사 볼트홀 | 응용 프로그램의 스트리밍 영상 제공 장치 및 방법 |
| KR102339449B1 (ko) * | 2020-12-04 | 2021-12-14 | 동의대학교 산학협력단 | 클라우드 기반의 실시간 인터랙티브 트랜스미디어 제작을 통한 콘텐츠를 생성 및 배급하는 장치 및 방법 |
| KR20220150038A (ko) * | 2021-05-03 | 2022-11-10 | 주식회사 엘지유플러스 | 화면 제공을 위한 서비스 서버 및 그 동작 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120096909A (ko) * | 2011-02-23 | 2012-08-31 | 브로드콤 코포레이션 | 서비스되는 클라이언트 디바이스로의 전달을 위한 게이트웨이/셋톱박스 이미지 병합 |
| KR20130066432A (ko) * | 2011-12-12 | 2013-06-20 | 한국전자통신연구원 | 클라우드 기반의 ｉｐｔｖ 서비스 제공 방법 및 장치 |
-
2014
- 2014-01-24 KR KR1020140009146A patent/KR101535809B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120096909A (ko) * | 2011-02-23 | 2012-08-31 | 브로드콤 코포레이션 | 서비스되는 클라이언트 디바이스로의 전달을 위한 게이트웨이/셋톱박스 이미지 병합 |
| KR20130066432A (ko) * | 2011-12-12 | 2013-06-20 | 한국전자통신연구원 | 클라우드 기반의 ｉｐｔｖ 서비스 제공 방법 및 장치 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180017908A (ko) * | 2016-08-11 | 2018-02-21 | 주식회사 씨오티커넥티드 | 콘텐츠 재생 제어 장치 |
| KR101933031B1 (ko) * | 2016-08-11 | 2018-12-27 | 주식회사 씨오티커넥티드 | 콘텐츠 재생 제어 장치 |
| KR101714998B1 (ko) * | 2016-09-28 | 2017-03-09 | 주식회사 은하 | 동영상을 이용한 전자상거래에서 동영상 결합 및 재생 장치 |
| KR102078576B1 (ko) * | 2018-08-22 | 2020-02-19 | 에스케이플래닛 주식회사 | 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| KR102110195B1 (ko) * | 2019-08-09 | 2020-05-14 | 주식회사 볼트홀 | 응용 프로그램의 스트리밍 영상 제공 장치 및 방법 |
| WO2021029756A1 (ko) * | 2019-08-09 | 2021-02-18 | 주식회사 볼트홀 | 응용 프로그램의 스트리밍 영상 제공 장치 및 방법 |
| CN113226501A (zh) * | 2019-08-09 | 2021-08-06 | 沃特霍有限公司 | 应用程序的流媒体影像提供装置及方法 |
| KR102339449B1 (ko) * | 2020-12-04 | 2021-12-14 | 동의대학교 산학협력단 | 클라우드 기반의 실시간 인터랙티브 트랜스미디어 제작을 통한 콘텐츠를 생성 및 배급하는 장치 및 방법 |
| KR20220150038A (ko) * | 2021-05-03 | 2022-11-10 | 주식회사 엘지유플러스 | 화면 제공을 위한 서비스 서버 및 그 동작 방법 |
| KR102566263B1 (ko) | 2021-05-03 | 2023-08-11 | 주식회사 엘지유플러스 | 화면 제공을 위한 서비스 서버 및 그 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101535809B1 (ko) | 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치 | |
| US10963147B2 (en) | Media-aware interface | |
| US9532103B2 (en) | Multi-user support for set top boxes and game consoles | |
| US8554938B2 (en) | Web browser proxy-client video system and method | |
| US20120254929A1 (en) | Content Extraction for Television Display | |
| US20140253803A1 (en) | Method, Apparatus, and System for Displaying Interactive Message | |
| US9276997B2 (en) | Web browser proxy—client video system and method | |
| KR101593780B1 (ko) | 상이한 디바이스들에 걸친 콘텐츠의 끊김 없는 네비게이션을 위한 방법 및 시스템 | |
| KR20130138263A (ko) | 케이블 텔레비전 시스템을 이용하는 비디오 장치들 간의 디지털 비디오의 스트리밍 | |
| TW201246849A (en) | Method for operating at least one communication interface and processing circuit Gateway, gateway, Method for the operation at least one ommunication interfaces and processing circuit cloud server and cloud server. | |
| WO2015139547A1 (zh) | 一种设置应用场景的方法、设备和系统 | |
| WO2017028655A1 (zh) | 一种截屏方法、终端及机顶盒 | |
| KR101942269B1 (ko) | 웹 브라우저에서 미디어를 재생하고 탐색하는 장치 및 방법 | |
| US11425466B2 (en) | Data transmission method and device | |
| WO2015180446A1 (zh) | 一种多设备联动服务中的连接通道维护系统及方法 | |
| US8332897B1 (en) | Remote rendering of webpages on television | |
| JP6420355B2 (ja) | クラウドストリーミング基盤の映像データ提供方法、そのための装置及びシステム | |
| JP6600764B1 (ja) | 複数デバイスのメディアスワップ | |
| KR102086731B1 (ko) | 클라우드 스트리밍 서비스 제공 방법, 이를 위한 장치 및 시스템, 그리고 이를 위한 클라우드 스트리밍용 스크립트 코드를 기록한 컴퓨터 판독 가능한 기록매체 | |
| WO2015012795A1 (en) | Coordinated content distribution to multiple display receivers | |
| KR101231821B1 (ko) | 컨텐츠 이어보기 서비스 제공 방법 및 장치 | |
| KR20150073573A (ko) | 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치 | |
| CN114071169B (zh) | 一种媒体内容共享方法和装置 | |
| KR102407477B1 (ko) | 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 알파 값을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| WO2021217467A1 (zh) | 一种智能摄像头的测试方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190619 Year of fee payment: 5 |