KR20170017100A - 미디어 데이터 스트리밍 방법 및 장치 - Google Patents

미디어 데이터 스트리밍 방법 및 장치 Download PDF

Info

Publication number
KR20170017100A
KR20170017100A KR1020150110484A KR20150110484A KR20170017100A KR 20170017100 A KR20170017100 A KR 20170017100A KR 1020150110484 A KR1020150110484 A KR 1020150110484A KR 20150110484 A KR20150110484 A KR 20150110484A KR 20170017100 A KR20170017100 A KR 20170017100A
Authority
KR
South Korea
Prior art keywords
data
video data
use state
streaming
media
Prior art date
Application number
KR1020150110484A
Other languages
English (en)
Other versions
KR102374484B1 (ko
Inventor
이배근
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020150110484A priority Critical patent/KR102374484B1/ko
Publication of KR20170017100A publication Critical patent/KR20170017100A/ko
Application granted granted Critical
Publication of KR102374484B1 publication Critical patent/KR102374484B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Abstract

본 발명에 따른 미디어 스트리밍 장치는 비디오 데이터와 오디오 데이터를 포함한 미디어 데이터를 저장하는 데이터 저장부, 단말기로부터 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하는 서버 통신부 및 상기 사용 상태의 변경에 관한 정보에 기초하여 상기 미디어 데이터의 스트리밍을 변경하는 데이터 제어부를 포함하는 것을 특징으로 한다.

Description

미디어 데이터 스트리밍 방법 및 장치{A METHOD AND AN APPARATUS FOR STREAMING MEDIA DATA}
본 발명은 미디어 데이터를 스트리밍하는 방법 및 장치에 관한 것이다.
모바일이나 테블릿 등에서 비디오, 오디오 데이터의 사용이 폭발적으로 중가하고 있다. 스트리밍 서비스를 이용하여 음악, 영화 감상하는 사용자들이 증가하고 있다. 통신 사업자들은 증가하는 데이터 사용량을 맞추어 고품질 서비스를 제고하기 위해 많은 시설 투자를 수행하고 있다.
애플리케이션의 사용 상태에 기초하여 사용자의 사용 환경을 특정하고, 이를 바탕으로 스트리밍 데이터의 전송량을 최적화하는 방법을 제공하고자 한다.
모바일 환경에서 사용자의 특정 데이터의 사용 패턴을 분석하거나, 모바일 내의 애플리케이션의 특정 상태를 모니터링하여 스트리밍 데이터를 최적화하는 방법을 제공하고자 한다.
본 발명에 따른 미디어 데이터 스트리밍 장치는, 비디오 데이터와 오디오 데이터를 포함한 미디어 데이터를 저장하는 데이터 저장부, 단말기로부터 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하는 서버 통신부 및 상기 사용 상태의 변경에 관한 정보에 기초하여 상기 미디어 데이터의 스트리밍을 변경하는 데이터 제어부를 포함한다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 데이터 저장부는 비디오 데이터 저장부와 오디오 데이터 저장부를 포함하고, 상기 비디오 데이터 저장부는 상기 오디오 데이터가 포함되지 않은 비디오 데이터를 저장하고, 상기 오디오 데이터 저장부는 상기 비디오 데이터로부터 분리된 오디오 데이터를 저장한다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함한다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 복수의 비디오 데이터는 서로 분리되어 각각 저장된다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 데이터 제어부는, 상기 사용 상태의 변경에 관한 정보에 따라 상기 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 상기 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 상기 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경한다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 제1 사용 상태는 메인(main) 상태를, 상기 제2 사용 상태는 아이들(idle) 상태를 각각 의미한다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 제1 미디어 데이터는 소정의 해상도를 가진 비디오 데이터를 의미하고, 상기 제2 미디어 데이터는 오디오 데이터 또는 기-설정된 비디오 데이터를 의미한다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 소정의 해상도를 가진 비디오 데이터는 사용자 지정의 비디오 데이터이고, 상기 기-설정된 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터이다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 제1 미디어 데이터와 상기 제2 미디어 데이터 각각은 복수의 서브-파일로 분할하여 부호화되고, 각 서브-파일로의 개별적 액세스를 위한 메타 데이터가 상기 각 서브-파일 별로 할당된다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 데이터 제어부는 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터만을 선택적으로 스트리밍한다.
본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터는 상기 제1 미디어 데이터와 상기 제2 미디어 데이터에 각각 할당되는 메타 데이터의 재생 시간 정보에 기초하여 결정된다.
본 발명에 따른 미디어 데이터 스트리밍 방법은, 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하고, 상기 사용 상태의 변경에 관한 정보에 기초하여 미디어 데이터의 스트리밍을 변경하는 것을 특징으로 한다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 미디어 데이터는 비디오 데이터와 오디오 데이터를 포함하고, 상기 오디오 데이터는 상기 비디오 데이터로부터 분리되어 저장된다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함한다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 복수의 비디오 데이터는 서로 분리되어 각각 저장된다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 변경하는 단계에서는, 상기 사용 상태의 변경에 관한 정보에 따라 상기 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 상기 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 상기 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경한다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 제1 사용 상태는 메인(main) 상태를, 상기 제2 사용 상태는 아이들(idle) 상태를 각각 의미한다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 제1 미디어 데이터는 소정의 해상도를 가진 비디오 데이터를 의미하고, 상기 제2 미디어 데이터는 오디오 데이터 또는 기-설정된 비디오 데이터를 의미한다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 소정의 해상도를 가진 비디오 데이터는 사용자 지정의 비디오 데이터이고, 상기 기-설정된 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터이다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 제1 미디어 데이터와 상기 제2 미디어 데이터 각각은 복수의 서브-파일로 분할하여 부호화되고, 각 서브-파일로의 개별적 액세스를 위한 메타 데이터가 상기 각 서브-파일 별로 할당된다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 변경하는 단계에서는, 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터만을 선택적으로 스트리밍한다.
본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터는 상기 제1 미디어 데이터와 상기 제2 미디어 데이터에 각각 할당되는 메타 데이터의 재생 시간 정보에 기초하여 결정된다.
애플리케이션의 사용 상태에 기초하여 사용자의 사용 환경을 특정하고, 이를 바탕으로 스트리밍 데이터의 전송량을 최적화할 수 있다.
모바일 환경에서 사용자의 특정 데이터의 사용 패턴을 분석하거나, 모바일 내의 애플리케이션의 특정 상태를 모니터링하여 스트리밍 데이터를 최적화할 수 있다.
도 1은 본 발명이 적용되는 일실시예로서, 비디오 데이터에서 오디오 데이터를 스트리밍하는 방법을 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 모바일 애플리케이션의 사용 상태에 따라 선택적으로 스트리밍을 수행하기 위한 시스템을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 비디오 데이터 스트리밍에서 오디오 데이터 스트리밍으로 변경하는 경우에 메타 데이터에 기반하여 오디오 데이터를 선택적으로 전송하는 방법을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 모바일 애플리케이션의 사용 상태에 따라 선택적으로 스트리밍을 수행하는 방법을 도시한 것이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명이 적용되는 일실시예로서, 비디오 데이터에서 오디오 데이터를 스트리밍하는 방법을 도시한 것이다.
도 1을 참조하면, 단말기(100)와 미디어 스트리밍 장치(200)는 유/무선 네트워크로 연결될 수 있다. 단말기(100)는 스트리밍 모드에 따라 전송되는 비디오 또는 오디오 데이터를 복호화하고 이를 재생하는 장치일 수 있다. 예를 들어, 단말기(100)에는 스마트폰, 테블릿 PC, 노트북, personal PC 등이 포함될 수 있다. 본 발명의 스트리밍 모드에는 비디오 스트리밍 모드와 오디오 스트리밍 모드 중 적어도 하나가 포함될 수 있다. 여기서, 비디오 스트리밍 모드는 공간적, 시간적, 화질적 해상도 별로 세분화된 복수의 비디오 스트리밍 모드로 구성될 수도 있다. 단말기(100)의 스트리밍 모드는 사용자 지정에 의해서 결정될 수도 있고, 기-설정된 소정의 스트리밍 모드로 결정될 수도 있다.
미디어 스트리밍 장치(200)는 단말기(100)에 설정된 스트리밍 모드에 대응하여 비디오 데이터 또는 오디오 데이터를 선택적으로 단말기(100)에 전송할 수 있다. 여기서, 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터로 구성될 수도 있다.
단말기(100)에서 비디오 스트리밍 모드가 설정된 경우, 미디어 스트리밍 장치(200)는 설정된 비디오 스트리밍 모드에 대응하는 비디오 데이터를 전송할 수 있다. 예를 들어, 사용자에 의해 1080p 비디오 스트리밍 모드가 설정된 경우, 미디어 스트리밍 장치(200)는 1080p 비디오 데이터를 단말기(100)로 전송할 수 있다.
단말기(100)에서 오디오 스트리밍 모드가 설정된 경우, 미디어 스트리밍 장치(200)는 상기 설정된 오디오 스트리밍 모드에 대응하여 오디오 데이터를 전송할 수 있다.
예를 들어, 단말기(100)에 설정된 오디오 스트리밍 모드에 대응하여 미디어 스트리밍 장치(100)는 비디오 데이터에서 오디오 데이터를 추출하고, 추출된 오디오 데이터를 전송할 수 있다. 또는, 미디어 스트리밍 장치(100)는 비디오 데이터 저장부(미도시)와 오디오 데이터 저장부(미도시)를 포함할 수 있다. 비디오 데이터 저장부는 오디오 데이터가 포함되지 않은 비디오 데이터를 저장할 수 있고, 오디오 데이터 저장부는 비디오 데이터로부터 분리된 오디오 데이터만을 별도로 저장할 수 있다. 이러한 경우, 사용자가 오디오 스트리밍 모드를 선택할 경우, 미디어 스트리밍 장치(200)에서는 비디오 데이터와 분리되어 저장된 오디오 데이터를 지연(delay)없이 전송할 수 있게 된다.
단말기(100)에서는 사용자 지정 또는 네트워크 상태 변경 등에 의해서 제1 스트리밍 모드에서 제2 스트리밍 모드로 전환이 발생할 수 있다. 여기서, 제1 스트리밍 모드는 상술한 비디오 스트리밍 모드와 오디오 스트리밍 모드 중 어느 하나를 의미할 수 있고, 비디오 스트리밍 모드는 공간적, 시간적, 화질적 해상도 별로 세분화된 복수의 비디오 스트리밍 모드로 구성될 수도 있다. 제2 스트리밍 모드도 비디오 스트리밍 모드와 오디오 스트리밍 모드 중 어느 하나이고, 제1 스트리밍 모드와 상이한 스트리밍 모드를 의미할 수 있다. 예를 들어, 고해상도 비디오 스트리밍 모드에서 저해상도 비디오 스트리밍 모드로 전환될 수도 있고, 소정의 해상도를 가진 비디오 스트리밍 모드에서 오디오 스트리밍 모드로 전환될 수도 있다. 이와 같이, 단말기(100)에서 스트리밍 모드 간의 전환이 발생하는 경우, 미디어 스트리밍 장치(200)는 제1 스트리밍 모드에 대응하는 비디오 또는 오디오 데이터를 제2 스트리밍 모드에 대응하는 비디오 또는 오디오 데이터로 전환하여 전송할 수 있다. 이하, 비디오 스트리밍 모드에서 오디오 스트리밍 모드로 전환이 발생하는 경우에 미디어 스트리밍 장치(200)에서 데이터를 스트리밍하는 방법에 대해서 살펴 보기로 한다.
사용자 지정 또는 네트워크 상태 변경 등에 의해서 단말기(100)의 스트리밍 모드가 비디오 스트리밍 모드에서 오디오 스트리밍 모드로 전환된 경우, 미디어 스트리밍 장치(200)는 비디오 스트리밍 모드에 대응하는 비디오 데이터의 전송을 중단하고, 오디오 스트리밍 모드에 대응하는 오디오 데이터를 전송할 수 있다.
다만, 미디어 스트리밍 장치(200) 내에 비디오 데이터와 오디오 데이터가 서로 분리된 구조로 저장된 경우, 스트리밍 모드의 전환 시점까지 전송된 또는 재생된 비디오 데이터의 위치를 특정하기 어려울 수 있고, 따라서 기-전송된 또는 재생된 비디오 데이터와 싱크(sync)를 맞춰서 오디오 데이터를 전송하는 것이 어려울 수 있다.
이를 극복하기 위해서 미디어 스트리밍 장치(200)는 오디오 스트리밍 모드에 대응하는 오디오 데이터를 전송할 뿐만 아니라 미디어 스트리밍 장치(200)에 기-저장된 비디오 데이터 중 소정의 해상도를 가진 비디오 데이터를 동시에 전송할 수도 있다. 여기서, 소정의 해상도를 가진 비디오 데이터라 함은 공간적, 시간적, 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터를 의미할 수 있다. 오디오 데이터와 함께 전송되는 비디오 데이터는 단말기(100)의 화면에서 선택적으로 재생되도록 제어될 수도 있다.
또는, 미디어 스트리밍 장치(200)는 비디오 스트리밍 모드에 대응하여 전송되는 비디오 데이터에서 오디오 데이터만을 추출하여 이를 전송할 수도 있다. 또는, 미디어 스트리밍 장치(200)에 기-저장된 비디오 데이터 중 소정의 해상도를 가진 비디오 데이터에서 오디오 데이터만을 추출하여 이를 전송할 수도 있다.
도 2는 본 발명이 적용되는 일실시예로서, 모바일 애플리케이션의 사용 상태에 따라 선택적으로 스트리밍을 수행하기 위한 시스템을 도시한 것이다.
본 발명의 시스템은 단말기(100)와 미디어 스트리밍 장치(200)을 포함할 수 있고, 단말기(100)와 미디어 스트리밍 장치(200)는 유/무선 네트워크를 통해 데이터를 상호 송수신할 수 있다.
도 2를 참조하면, 단말기(100)는 애플리케이션 상태 모니터링부(110), 애플리케이션 상태 업데이트부(120), 단말 통신부(130) 또는 재생부(140) 중 적어도 하나를 포함할 수 있다.
애플리케이션 상태 모니터링부(110)는 단말기(100)에서 구동되는 애플리케이션의 사용 상태를 판단할 수 있다. 여기서, 애플리케이션의 사용 상태는 아이들(idle) 상태와 메인(main) 상태로 분류될 수 있다. 아이들 상태라 함은 구동 중인 애플리케이션이 메인 화면에 활성화된 애플리케이션이 아닌 경우, 애플리케이션이 백그라운드에서 재생되고 있는 경우, 플로팅 앱을 사용하고 있는 경우(예를 들어, 단말기의 전체 화면을 사용하지 않고 일부 화면만을 사용하는 경우) 등이 이에 해당할 수 있다. 반면, 메인 상태라 함은 애플리케이션이 아이들 상태에 해당하지 않는 경우가 이에 해당하며, 애플리케이션이 메인 화면에서 활성화되고 있는 상태를 의미할 수 있다. 이하, 아이들 상태 또는 메인 상태 중 어느 하나를 제1 사용 상태라 부르고, 다른 하나를 제2 사용 상태라 부르기로 한다.
애플리케이션 상태 모니터링부(110)는 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 애플리케이션의 사용 상태의 변경에 관한 정보를 생성할 수도 있다. 여기서, 사용 상태의 변경에 관한 정보라 함은 애플리케이션의 사용 상태가 변경되는 이벤트가 발생하는지 여부를 나타낼 수도 있고, 변경된 사용 상태가 아이들 상태인지 아니면 메인 상태인지를 식별할 수도 있다.
한편, 애플리케이션 상태 모니터링부(110)는 애플리케이션의 사용 상태가 변경되는지 여부를 판단하기 위해 소정의 시간 간격으로 구동 중인 애플리케이션의 사용 상태를 모니터링할 수도 있다. 여기서, 소정의 시간 간격은 단말기(100)에 기-설정된 값일 수도 있고, 사용자 지정에 의해서 가변적으로 설정된 값일 수도 있다.
또한, 애플리케이션 상태 모니터링부(110)는 단말기(100)에서 구동 중인 애플리케이션의 개수 및/또는 유형에 기초하여 적응적으로 동작할 수도 있다. 예를 들어, 구동 중인 애플리케이션의 개수가 1개인 경우에는 애플리케이션 상태 모니터링부(110)는 동작하지 않고, 복수개의 애플리케이션이 구동 중인 경우에 동작하도록 제한할 수 있다. 복수개의 애플리케이션이 구동 중인 경우라도 해당 애플리케이션이 비디오/오디오 데이터 스트리밍을 요구하지 않는 경우에는 애플리케이션 상태 모니터링부(110)가 동작하지 않고, 비디오/오디오 데이터 스트리밍을 요구하는 적어도 하나의 애플리케이션이 구동 중인 경우에 한하여 애플리케이션 상태 모니터링부(110)가 동작하도록 제한할 수도 있다.
애플리케이션 상태 업데이트부(120)는 애플리케이션 상태 모니터링부(110)에서 결정된 애플리케이션의 사용 상태를 기반으로 해당 애플리케이션의 사용 상태를 업데이트할 수 있다. 또한, 애플리케이션 상태 업데이트부(120)는 애플리케이션의 사용 상태가 변경된 경우, 사용 상태의 변경에 관한 정보를 저장할 수도 있다. 저장된 사용 상태의 변경에 관한 정보는 애플리케이션 상태 모니터링부(110)에서 해당 애플리케이션의 사용 상태가 변경되는지를 판단하는데 이용될 수 있다.
단말 통신부(130)는 애플리케이션 상태 모니터링부(110)에서 생성된 애플리케이션의 사용 상태의 변경에 관한 정보를 미디어 스트리밍 장치(200)로 송신할 수 있다. 통신부(130)는 사용 상태의 변경에 관한 정보에 대응하여 미디어 스트리밍 장치(200)로부터 전송되는 비디오 또는 오디오 데이터를 수신할 수 있다.
재생부(140)는 미디어 스트리밍 장치(200)로부터 전송되는 비디오 또는 오디오 데이터를 복호화하고, 복호화된 데이터가 화면을 통해 재생되도록 제어할 수 있다.
도 2에 도시된 미디어 스트리밍 장치(200)는 단말기(100)에서 애플리케이션의 사용 상태의 변경에 대응하여 비디오 또는 오디오 데이터를 선택적으로 전송할 수 있다. 이는 애플리케이션의 사용 상태에 따라 스트리밍되는 데이터 전송량을 최적화하기 위한 것으로서, 이를 위해 미디어 스트리밍 장치(200)는 데이터 저장부(210), 데이터 제어부(220) 또는 서버 통신부(230) 중 적어도 하나를 포함할 수 있다.
데이터 저장부(210)는 비디오 데이터와 오디오 데이터를 포함한 미디어 데이터를 저장할 수 있다. 비디오 데이터는 공간적, 시간적, 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함하며, 복수의 비디오 데이터는 각각 분리되어 저장될 수 있다. 또한, 도 1에서 상술한 바와 같이 데이터 저장부는(210)는 비디오 데이터 저장부(미도시)와 오디오 데이터 저장부(미도시)를 각각 포함하도록 설계될 수 있다. 이 경우, 비디오 데이터 저장부는 오디오 데이터가 포함되지 않은 비디오 데이터를 저장하고, 오디오 데이터 저장부는 비디오 데이터로부터 분리된 오디오 데이터만을 별도로 저장할 수 있다.
데이터 제어부(220)는 단말기(100)로부터 전송되는 애플리케이션의 사용 상태의 변경에 관한 정보에 기초하여 미디어 데이터의 스트리밍을 변경할 수 있다. 구체적으로, 상기 애플리케이션의 사용 상태의 변경에 관한 정보에 따라 해당 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경될 수 있다.
이하, 현재 메인 상태에서 소정의 해상도를 가진 비디오 데이터가 스트리밍되는 경우를 가정하고, 데이터 제어부(220)에서 애플리케이션의 사용 상태의 변경이 발생한 경우에 데이터 스트리밍을 선택적으로 제어하는 방법을 살펴 보기로 한다.
애플리케이션의 사용 상태의 변경에 관한 정보에 따라 애플리케이션의 사용 상태가 메인 상태에서 아이들 상태로 변경된 경우, 데이터 제어부(220)는 메인 상태에서 전송되는 소정의 해상도를 가진 비디오 데이터를 스트리밍하지 않고, 오디오 데이터를 스트리밍하거나 기-설정된 비디오 데이터를 스트리밍하도록 제어할 수 있다. 여기서, 기-설정된 비디오 데이터는 공간적, 시간적, 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터를 의미할 수 있다. 예를 들어, 최소 크기의 비디오 데이터가 스트리밍될 수도 있고, 최소 프레임 레이트를 가진 비디오 데이터가 스트리밍될 수도 있으며, 최저화질의 비디오 데이터가 스트리밍될 수도 있다.
반대로, 애플리케이션의 사용 상태의 변경에 관한 정보에 따라 애플리케이션의 사용 상태가 아이들 상태에서 메인 상태로 변경된 경우, 데이터 제어부(220)는 아이들 상태에서 전송되는 오디오 데이터 또는 기-설정된 비디오 데이터를 스트리밍하지 않고, 메인 상태에서 설정된 소정의 비디오 데이터를 스트리밍하도록 제어할 수 있다.
한편, 데이터 제어부(220)는 비디오 데이터에서 오디오 데이터로 스트리밍을 변경하는 경우에 애플리케이션의 사용 상태가 변경되는 시점 이후의 오디오 데이터만이 스트리밍되도록 제어할 수도 있다. 즉, 메인 상태에서 아이들 상태로 변경되기 직전까지 전송된 비디오 데이터의 재생 시간 Tv을 측정하고, 처음부터 재생 시간 Tv까지의 오디오 데이터는 전송하지 않고 재생 시간 Tv 이후의 오디오 데이터만을 전송할 수 있으며, 이는 도 3을 참조하여 자세히 살펴 보도록 한다.
서버 통신부(230)는 단말기(100)로부터 애플리케이션의 사용 상태의 변경에 관한 정보를 수신할 수도 있고, 데이터 저장부(210)에 저장된 비디오 또는 오디오 데이터를 단말기(100)로 송신할 수도 있다.
도 3은 본 발명이 적용되는 일실시예로서, 비디오 데이터 스트리밍에서 오디오 데이터 스트리밍으로 변경하는 경우에 메타 데이터에 기반하여 오디오 데이터를 선택적으로 전송하는 방법을 도시한 것이다.
도 3을 참조하면, 비디오 데이터에 관한 메타 데이터를 이용하여 비디오 데이터의 재생 시간(Tv)을 유추할 수 있다(S300).
미디어 데이터(예를 들어, 비디오 데이터, 오디오 데이터)는 하나의 파일로 부호화될 수도 있고, 적응적인 스트리밍을 위해 복수의 서브-파일로 분할하여 부호화될 수도 있다. 하나의 미디어 데이터가 복수의 서브-파일로 부호화된 경우, 각 서브-파일로의 개별적 액세스(access)를 위한 메타 데이터가 각 서브-파일 별로 할당될 수 있다. 각 서브-파일 별로 할당되는 메타 데이터는 해당 미디어 데이터와 별개로 생성될 수도 있고, 해당 미디어 데이터에 포함된 것일 수도 있다.
비디오 데이터의 최초 전송 시점부터 애플리케이션의 사용 상태가 변경되는 시점까지 전송된 서브-파일에 관한 메타 데이터로부터 각 서브-파일의 재생 시간 정보를 획득할 수 있다. 획득된 각 서브-파일의 재생 시간 정보를 합하여 애플리케이션의 사용 상태가 변경되는 시점까지 전송된 비디오 데이터의 재생 시간 Tv을 산출할 수 있다.
오디오 데이터에 관한 메타 데이터에서 N번째 서브-파일의 재생 시간 정보를 획득할 수 있다(S310).
첫번째 서브-파일부터 N번째 서브-파일까지 획득된 재생 시간 정보의 합(Ta)과 S300 단계에서 유추된 비디오 데이터의 재생 시간(Tv)을 비교할 수 있다(S320).
S320 단계의 비교 결과, Ta가 Tv보다 작은 경우, 이는 N번째 서브-파일에 대응하는 오디오 데이터는 기-전송된 비디오 데이터의 재생 시간 내에 위치하는 것을 의미한다. 따라서, 이러한 경우에는 N+1번째 서브-파일의 재생 시간 정보를 추가적으로 파싱하여 Ta를 업데이트하고, 업데이트된 Ta를 이용하여 상술한 S320 단계를 다시 수행할 수 있다.
반면, S320 단계의 비교 결과, Ta가 Tv보다 큰 경우, 이는 N번째 서브-파일에 대응하는 오디오 데이터는 애플리케이션의 사용 상태가 변경된 시점 이후에 위치하는 것을 의미한다. 따라서, 이러한 경우에는 N+1번째 서브-파일의 재생 시간 정보를 파싱하는 것을 중단하고, N번째 서브-파일에 대응하는 오디오 데이터부터 단말기(100)로 전송할 수 있다(S330).
본 실시예에서는 비디오 데이터 스트리밍에서 오디오 데이터 스트리밍으로 변경하는 경우를 설명하였으나, 이에 한정되지 아니하며, 오디오 데이터 스트리밍에서 비디오 데이터 스트리밍으로 변경하는 경우에도 동일한 과정으로 미디어 데이터 간의 싱크(sync)를 맞추어 전송할 수 있음은 물론이다.
도 4는 본 발명이 적용되는 일실시예로서, 모바일 애플리케이션의 사용 상태에 따라 선택적으로 스트리밍을 수행하는 방법을 도시한 것이다.
도 4를 참조하면, 단말기(100)는 애플리케이션의 제1 사용 상태에 대응하는 제1 미디어 데이터를 요청할 수 있다(S400).
미디어 스트리밍 장치(200)는 S400 단계의 요청에 대응하여 제1 미디어 데이터를 단말기(100)에 전송할 수 있다(S410).
단말기(100)는 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 애플리케이션의 사용 상태의 변경에 관한 정보(이하, 상태 변경 정보라 함)를 생성할 수 있다(S420).
예를 들어, 제1 사용 상태는 메인 상태를, 제2 사용 상태는 아이들 상태를 각각 의미할 수 있다. 이 경우 상기 상태 변경 정보는 애플리케이션의 사용 상태가 변경되는 이벤트가 발생했음을 나타낼 수도 있고, 메인 상태에서 아이들 상태로 사용 상태가 변경되었음을 나타낼 수도 있다.
단말기(100)는 생성된 상태 변경 정보를 미디어 스트리밍 장치(200)로 전송할 수 있다(S430).
전송된 상태 변경 정보가 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경됨을 나타내는 경우, 미디어 스트리밍 장치(200)는 제2 사용 상태에 대응하는 제2 미디어 데이터를 결정할 수 있다(S440).
예를 들어, 미디어 스트리밍 장치(200)는 메인 상태에서 전송되는 소정의 해상도를 가진 비디오 데이터 대신에, 오디오 데이터 또는 기-설정된 비디오 데이터를 아이들 상태에 대응하는 제2 미디어 데이터로 결정할 수 있다. 여기서, 기-설정된 비디오 데이터는 공간적, 시간적, 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터를 의미할 수 있다.
제1 사용 상태에서 전송된 제1 미디어 데이터의 재생 시간을 고려하여 S440 단계에서 결정된 제2 미디어 데이터 중 단말기(100)로 전송될 제2 미디어 데이터를 결정할 수 있다(S450).
예를 들어, 제1 사용 상태에서 제2 사용 상태로 변경되기 직전까지 전송된 제1 미디어 데이터의 재생 시간을 측정하고, 측정된 재생 시간 이후의 제2 미디어 데이터를 단말기(100)로 전송할 제2 미디어 데이터로 결정할 수 있으며, 이는 도 3에서 자세히 살펴 보았는바, 여기서 자세한 설명은 생략하기로 한다.
S450 단계에서 결정된 제2 미디어 데이터를 단말기(100)로 전송할 수 있다(S460).

Claims (22)

  1. 비디오 데이터와 오디오 데이터를 포함한 미디어 데이터를 저장하는 데이터 저장부;
    단말기로부터 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하는 서버 통신부; 및
    상기 사용 상태의 변경에 관한 정보에 기초하여 상기 미디어 데이터의 스트리밍을 변경하는 데이터 제어부를 포함하는 미디어 스트리밍 장치.
  2. 제1항에 있어서,
    상기 데이터 저장부는 비디오 데이터 저장부와 오디오 데이터 저장부를 포함하고,
    상기 비디오 데이터 저장부는 상기 오디오 데이터가 포함되지 않은 비디오 데이터를 저장하고, 상기 오디오 데이터 저장부는 상기 비디오 데이터로부터 분리된 오디오 데이터를 저장하는 미디어 스트리밍 장치.
  3. 제2항에 있어서,
    상기 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함하는 미디어 스트리밍 장치.
  4. 제3항에 있어서,
    상기 복수의 비디오 데이터는 서로 분리되어 각각 저장되는 미디어 스트리밍 장치.
  5. 제1항에 있어서, 상기 데이터 제어부는,
    상기 사용 상태의 변경에 관한 정보에 따라 상기 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 상기 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 상기 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경하는 미디어 스트리밍 장치.
  6. 제5항에 있어서,
    상기 제1 사용 상태는 메인(main) 상태를, 상기 제2 사용 상태는 아이들(idle) 상태를 각각 의미하는 미디어 스트리밍 장치.
  7. 제6항에 있어서,
    상기 제1 미디어 데이터는 소정의 해상도를 가진 비디오 데이터를 의미하고,
    상기 제2 미디어 데이터는 오디오 데이터 또는 기-설정된 비디오 데이터를 의미하는 미디어 스트리밍 장치.
  8. 제7항에 있어서,
    상기 소정의 해상도를 가진 비디오 데이터는 사용자 지정의 비디오 데이터이고,
    상기 기-설정된 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터인 미디어 스트리밍 장치.
  9. 제8항에 있어서,
    상기 제1 미디어 데이터와 상기 제2 미디어 데이터 각각은 복수의 서브-파일로 분할하여 부호화되고,
    각 서브-파일로의 개별적 액세스를 위한 메타 데이터가 상기 각 서브-파일 별로 할당되는 미디어 스트리밍 장치.
  10. 제9항에 있어서,
    상기 데이터 제어부는 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터만을 선택적으로 스트리밍하는 미디어 스트리밍 장치.
  11. 제10항에 있어서,
    상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터는 상기 제1 미디어 데이터와 상기 제2 미디어 데이터에 각각 할당되는 메타 데이터의 재생 시간 정보에 기초하여 결정되는 미디어 스트리밍 장치.
  12. 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하는 단계; 및
    상기 사용 상태의 변경에 관한 정보에 기초하여 미디어 데이터의 스트리밍을 변경하는 단계를 포함하는 미디어 스트리밍 방법.
  13. 제12항에 있어서,
    상기 미디어 데이터는 비디오 데이터와 오디오 데이터를 포함하고,
    상기 오디오 데이터는 상기 비디오 데이터로부터 분리되어 저장되는 미디어 스트리밍 방법.
  14. 제13항에 있어서,
    상기 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함하는 미디어 스트리밍 방법.
  15. 제14항에 있어서,
    상기 복수의 비디오 데이터는 서로 분리되어 각각 저장되는 미디어 스트리밍 방법.
  16. 제12항에 있어서, 상기 변경하는 단계에서는,
    상기 사용 상태의 변경에 관한 정보에 따라 상기 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 상기 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 상기 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경하는 미디어 스트리밍 방법.
  17. 제16항에 있어서,
    상기 제1 사용 상태는 메인(main) 상태를, 상기 제2 사용 상태는 아이들(idle) 상태를 각각 의미하는 미디어 스트리밍 방법.
  18. 제17항에 있어서,
    상기 제1 미디어 데이터는 소정의 해상도를 가진 비디오 데이터를 의미하고,
    상기 제2 미디어 데이터는 오디오 데이터 또는 기-설정된 비디오 데이터를 의미하는 미디어 스트리밍 방법.
  19. 제18항에 있어서,
    상기 소정의 해상도를 가진 비디오 데이터는 사용자 지정의 비디오 데이터이고,
    상기 기-설정된 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터인 미디어 스트리밍 방법.
  20. 제19항에 있어서,
    상기 제1 미디어 데이터와 상기 제2 미디어 데이터 각각은 복수의 서브-파일로 분할하여 부호화되고,
    각 서브-파일로의 개별적 액세스를 위한 메타 데이터가 상기 각 서브-파일 별로 할당되는 미디어 스트리밍 방법.
  21. 제20항에 있어서, 상기 변경하는 단계에서는,
    상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터만을 선택적으로 스트리밍하는 미디어 스트리밍 방법.
  22. 제21항에 있어서,
    상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터는 상기 제1 미디어 데이터와 상기 제2 미디어 데이터에 각각 할당되는 메타 데이터의 재생 시간 정보에 기초하여 결정되는 미디어 스트리밍 방법.
KR1020150110484A 2015-08-05 2015-08-05 미디어 데이터 스트리밍 방법 및 장치 KR102374484B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150110484A KR102374484B1 (ko) 2015-08-05 2015-08-05 미디어 데이터 스트리밍 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150110484A KR102374484B1 (ko) 2015-08-05 2015-08-05 미디어 데이터 스트리밍 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170017100A true KR20170017100A (ko) 2017-02-15
KR102374484B1 KR102374484B1 (ko) 2022-03-14

Family

ID=58111971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150110484A KR102374484B1 (ko) 2015-08-05 2015-08-05 미디어 데이터 스트리밍 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102374484B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110307623A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Smooth streaming client component
KR20160062417A (ko) * 2014-11-25 2016-06-02 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110307623A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Smooth streaming client component
KR20160062417A (ko) * 2014-11-25 2016-06-02 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
KR102374484B1 (ko) 2022-03-14

Similar Documents

Publication Publication Date Title
US10567812B2 (en) Method and apparatus for streaming multimedia data with access point positioning information
CN105814900B (zh) 用于在自适应流播环境中管理相邻频道的系统和方法
CN106464925B (zh) 建立事件的流传输呈现
US7743161B2 (en) Digital content buffer for adaptive streaming
US10834296B2 (en) Dynamically adjusting video to improve synchronization with audio
US11611788B2 (en) Adaptive switching in a whole home entertainment system
KR20150065069A (ko) 디스플레이 장치, 디스플레이 장치의 영상 표시 방법 및 컴퓨터 판독가능 기록매체
CN111669645B (zh) 视频的播放方法、装置、电子设备及存储介质
KR101472032B1 (ko) Ｈｔｔｐ 스트리밍에서 표현 스위칭시 처리 방법
US9832422B2 (en) Selective recording of high quality media in a videoconference
US9872054B2 (en) Presentation of a multi-frame segment of video content
KR20150102749A (ko) 통신 시스템에서 멀티미디어 콘텐츠 재생 방법 및 장치
US20230010754A1 (en) Non-television experience triggers
KR20140117889A (ko) 클라이언트 장치, 서버 장치, 멀티미디어 리디렉션 시스템 및 그 방법
US20160057468A1 (en) Server device, content providing method, and computer program
KR20170017100A (ko) 미디어 데이터 스트리밍 방법 및 장치
US20160173551A1 (en) System and method for session mobility for adaptive bitrate streaming
US11647063B2 (en) Method and apparatus for presentation of video content
KR20140086801A (ko) 실시간 콘텐츠 트랜스코딩 방법, 장치 및 시스템, 및 실시간 콘텐츠 수신 장치 및 방법
KR20140115819A (ko) 선택적 영상 전송 시스템
KR20210037304A (ko) 디스플레이 영상 제공 장치
Gajanayaka et al. Research Directions for Network Based Video Streaming with Emphasis for Live Screen Mirroring

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant