KR102374484B1 - A method and an apparatus for streaming media data - Google Patents

A method and an apparatus for streaming media data Download PDF

Info

Publication number
KR102374484B1
KR102374484B1 KR1020150110484A KR20150110484A KR102374484B1 KR 102374484 B1 KR102374484 B1 KR 102374484B1 KR 1020150110484 A KR1020150110484 A KR 1020150110484A KR 20150110484 A KR20150110484 A KR 20150110484A KR 102374484 B1 KR102374484 B1 KR 102374484B1
Authority
KR
South Korea
Prior art keywords
data
streaming
media
video data
use state
Prior art date
Application number
KR1020150110484A
Other languages
Korean (ko)
Other versions
KR20170017100A (en
Inventor
이배근
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020150110484A priority Critical patent/KR102374484B1/en
Publication of KR20170017100A publication Critical patent/KR20170017100A/en
Application granted granted Critical
Publication of KR102374484B1 publication Critical patent/KR102374484B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 따른 미디어 스트리밍 장치는 비디오 데이터와 오디오 데이터를 포함한 미디어 데이터를 저장하는 데이터 저장부, 단말기로부터 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하는 서버 통신부 및 상기 사용 상태의 변경에 관한 정보에 기초하여 상기 미디어 데이터의 스트리밍을 변경하는 데이터 제어부를 포함하는 것을 특징으로 한다.A media streaming device according to the present invention includes a data storage unit for storing media data including video data and audio data, a server communication unit for receiving information about a change in the usage state of an application from a terminal, and information about a change in the usage status. It characterized in that it comprises a data control unit for changing the streaming of the media data based on the.

Description

미디어 데이터 스트리밍 방법 및 장치{A METHOD AND AN APPARATUS FOR STREAMING MEDIA DATA}METHOD AND AN APPARATUS FOR STREAMING MEDIA DATA

본 발명은 미디어 데이터를 스트리밍하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for streaming media data.

모바일이나 테블릿 등에서 비디오, 오디오 데이터의 사용이 폭발적으로 중가하고 있다. 스트리밍 서비스를 이용하여 음악, 영화 감상하는 사용자들이 증가하고 있다. 통신 사업자들은 증가하는 데이터 사용량을 맞추어 고품질 서비스를 제고하기 위해 많은 시설 투자를 수행하고 있다.The use of video and audio data on mobile devices and tablets is increasing explosively. The number of users who use streaming services to enjoy music and movies is increasing. Telecommunication operators are making large investments in facilities to improve high-quality services to meet the increasing data usage.

애플리케이션의 사용 상태에 기초하여 사용자의 사용 환경을 특정하고, 이를 바탕으로 스트리밍 데이터의 전송량을 최적화하는 방법을 제공하고자 한다.An object of the present invention is to provide a method of specifying the user's usage environment based on the usage status of the application, and optimizing the transmission amount of streaming data based on this.

모바일 환경에서 사용자의 특정 데이터의 사용 패턴을 분석하거나, 모바일 내의 애플리케이션의 특정 상태를 모니터링하여 스트리밍 데이터를 최적화하는 방법을 제공하고자 한다.An object of the present invention is to provide a method for optimizing streaming data by analyzing a usage pattern of a user's specific data in a mobile environment or monitoring a specific state of an application in a mobile environment.

본 발명에 따른 미디어 데이터 스트리밍 장치는, 비디오 데이터와 오디오 데이터를 포함한 미디어 데이터를 저장하는 데이터 저장부, 단말기로부터 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하는 서버 통신부 및 상기 사용 상태의 변경에 관한 정보에 기초하여 상기 미디어 데이터의 스트리밍을 변경하는 데이터 제어부를 포함한다.A media data streaming apparatus according to the present invention includes a data storage unit for storing media data including video data and audio data, a server communication unit for receiving information about a change in a usage state of an application from a terminal, and a change in the usage state and a data control unit for changing the streaming of the media data based on the information.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 데이터 저장부는 비디오 데이터 저장부와 오디오 데이터 저장부를 포함하고, 상기 비디오 데이터 저장부는 상기 오디오 데이터가 포함되지 않은 비디오 데이터를 저장하고, 상기 오디오 데이터 저장부는 상기 비디오 데이터로부터 분리된 오디오 데이터를 저장한다.In the media data streaming apparatus according to the present invention, the data storage unit includes a video data storage unit and an audio data storage unit, the video data storage unit stores video data that does not include the audio data, and the audio data storage unit Audio data separated from the video data is stored.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함한다.In the media data streaming apparatus according to the present invention, the video data includes a plurality of video data having different resolutions in at least one of spatial, temporal, and picture quality.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 복수의 비디오 데이터는 서로 분리되어 각각 저장된다.In the media data streaming apparatus according to the present invention, the plurality of video data is stored separately from each other.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 데이터 제어부는, 상기 사용 상태의 변경에 관한 정보에 따라 상기 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 상기 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 상기 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경한다.In the media data streaming apparatus according to the present invention, the data controller is configured to: When the use state of the application is changed from the first use state to the second use state according to the information about the change of the use state, the first use state Changes from streaming of first media data according to , to streaming of second media data according to the second usage state.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 제1 사용 상태는 메인(main) 상태를, 상기 제2 사용 상태는 아이들(idle) 상태를 각각 의미한다.In the media data streaming apparatus according to the present invention, the first use state refers to a main state, and the second use state refers to an idle state, respectively.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 제1 미디어 데이터는 소정의 해상도를 가진 비디오 데이터를 의미하고, 상기 제2 미디어 데이터는 오디오 데이터 또는 기-설정된 비디오 데이터를 의미한다.In the media data streaming apparatus according to the present invention, the first media data means video data having a predetermined resolution, and the second media data means audio data or preset video data.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 소정의 해상도를 가진 비디오 데이터는 사용자 지정의 비디오 데이터이고, 상기 기-설정된 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터이다.In the media data streaming apparatus according to the present invention, the video data having a predetermined resolution is user-specified video data, and the preset video data is a plurality of video data having different resolutions in at least one of spatial, temporal, and picture quality. It is video data with the lowest resolution among them.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 제1 미디어 데이터와 상기 제2 미디어 데이터 각각은 복수의 서브-파일로 분할하여 부호화되고, 각 서브-파일로의 개별적 액세스를 위한 메타 데이터가 상기 각 서브-파일 별로 할당된다.In the media data streaming apparatus according to the present invention, each of the first media data and the second media data is divided into a plurality of sub-files and encoded, and metadata for individual access to each sub-file is provided in each of the sub-files. It is allocated per sub-file.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 데이터 제어부는 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터만을 선택적으로 스트리밍한다.In the media data streaming apparatus according to the present invention, the data control unit selectively streams only the second media data after the point in time when the use state of the application is changed.

본 발명에 따른 미디어 데이터 스트리밍 장치에 있어서, 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터는 상기 제1 미디어 데이터와 상기 제2 미디어 데이터에 각각 할당되는 메타 데이터의 재생 시간 정보에 기초하여 결정된다.In the media data streaming apparatus according to the present invention, the second media data after the point in time when the use state of the application is changed is based on playback time information of metadata allocated to the first media data and the second media data, respectively is decided by

본 발명에 따른 미디어 데이터 스트리밍 방법은, 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하고, 상기 사용 상태의 변경에 관한 정보에 기초하여 미디어 데이터의 스트리밍을 변경하는 것을 특징으로 한다.The media data streaming method according to the present invention is characterized in that the information on the change of the usage state of the application is received, and the streaming of the media data is changed based on the information about the change of the use state.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 미디어 데이터는 비디오 데이터와 오디오 데이터를 포함하고, 상기 오디오 데이터는 상기 비디오 데이터로부터 분리되어 저장된다.In the media data streaming method according to the present invention, the media data includes video data and audio data, and the audio data is stored separately from the video data.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함한다.In the media data streaming method according to the present invention, the video data includes a plurality of video data having different resolutions in at least one of spatial, temporal, and picture quality.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 복수의 비디오 데이터는 서로 분리되어 각각 저장된다.In the media data streaming method according to the present invention, the plurality of video data is stored separately from each other.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 변경하는 단계에서는, 상기 사용 상태의 변경에 관한 정보에 따라 상기 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 상기 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 상기 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경한다.In the media data streaming method according to the present invention, in the changing step, when the use state of the application is changed from the first use state to the second use state according to the information on the change of the use state, the first use The streaming of the first media data according to the state is changed to the streaming of the second media data according to the second use state.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 제1 사용 상태는 메인(main) 상태를, 상기 제2 사용 상태는 아이들(idle) 상태를 각각 의미한다.In the media data streaming method according to the present invention, the first use state means a main state, and the second use state means an idle state, respectively.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 제1 미디어 데이터는 소정의 해상도를 가진 비디오 데이터를 의미하고, 상기 제2 미디어 데이터는 오디오 데이터 또는 기-설정된 비디오 데이터를 의미한다.In the media data streaming method according to the present invention, the first media data means video data having a predetermined resolution, and the second media data means audio data or preset video data.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 소정의 해상도를 가진 비디오 데이터는 사용자 지정의 비디오 데이터이고, 상기 기-설정된 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터이다.In the media data streaming method according to the present invention, the video data having a predetermined resolution is user-specified video data, and the preset video data is a plurality of video data having different resolutions in at least one of spatial, temporal and image quality. It is video data with the lowest resolution among them.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 제1 미디어 데이터와 상기 제2 미디어 데이터 각각은 복수의 서브-파일로 분할하여 부호화되고, 각 서브-파일로의 개별적 액세스를 위한 메타 데이터가 상기 각 서브-파일 별로 할당된다.In the media data streaming method according to the present invention, each of the first media data and the second media data is divided into a plurality of sub-files and encoded, and metadata for individual access to each sub-file is provided in each of the sub-files. It is allocated per sub-file.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 변경하는 단계에서는, 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터만을 선택적으로 스트리밍한다.In the media data streaming method according to the present invention, in the changing step, only the second media data after the point in time when the usage state of the application is changed is selectively streamed.

본 발명에 따른 미디어 데이터 스트리밍 방법에 있어서, 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터는 상기 제1 미디어 데이터와 상기 제2 미디어 데이터에 각각 할당되는 메타 데이터의 재생 시간 정보에 기초하여 결정된다.In the media data streaming method according to the present invention, the second media data after the point in time when the use state of the application is changed is based on playback time information of metadata allocated to the first media data and the second media data, respectively is decided by

애플리케이션의 사용 상태에 기초하여 사용자의 사용 환경을 특정하고, 이를 바탕으로 스트리밍 데이터의 전송량을 최적화할 수 있다.Based on the usage state of the application, the user's usage environment can be specified, and the amount of streaming data transmission can be optimized based on this.

모바일 환경에서 사용자의 특정 데이터의 사용 패턴을 분석하거나, 모바일 내의 애플리케이션의 특정 상태를 모니터링하여 스트리밍 데이터를 최적화할 수 있다.Streaming data can be optimized by analyzing a user's usage pattern of specific data in a mobile environment, or monitoring a specific state of an application in the mobile.

도 1은 본 발명이 적용되는 일실시예로서, 비디오 데이터에서 오디오 데이터를 스트리밍하는 방법을 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 모바일 애플리케이션의 사용 상태에 따라 선택적으로 스트리밍을 수행하기 위한 시스템을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 비디오 데이터 스트리밍에서 오디오 데이터 스트리밍으로 변경하는 경우에 메타 데이터에 기반하여 오디오 데이터를 선택적으로 전송하는 방법을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 모바일 애플리케이션의 사용 상태에 따라 선택적으로 스트리밍을 수행하는 방법을 도시한 것이다.1 illustrates a method of streaming audio data from video data as an embodiment to which the present invention is applied.
2 illustrates a system for selectively performing streaming according to a usage state of a mobile application as an embodiment to which the present invention is applied.
3 illustrates a method of selectively transmitting audio data based on metadata when changing from video data streaming to audio data streaming as an embodiment to which the present invention is applied.
4 illustrates a method of selectively performing streaming according to a usage state of a mobile application as an embodiment to which the present invention is applied.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, the terms or words used in the present specification and claims should not be construed as being limited to conventional or dictionary meanings, and the inventor should properly understand the concept of the term in order to best describe his invention. Based on the principle that it can be defined, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention and do not represent all the technical spirit of the present invention, so at the time of the present application, various It should be understood that there may be equivalents and variations.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.In this specification, when a component is referred to as being “connected” or “connected” to another component, it may mean that it is directly connected or connected to the other component, or another component in the middle. It can also mean that the element is present. In addition, the description of “including” a specific configuration in the present specification does not exclude configurations other than the corresponding configuration, and it means that additional configurations may be included in the practice of the present invention or the scope of the technical spirit of the present invention.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.Terms such as first, second, etc. may be used to describe various components, but the components are not limited by the terms. The terms are used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first configuration may be named as a second configuration, and similarly, a second configuration may also be called a first configuration.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.In addition, the components shown in the embodiment of the present invention are independently shown to represent different characteristic functions, and it does not mean that each component is made of separate hardware or a single software component. That is, each component is listed as each component for convenience of description, and at least two components among each component may form one component, or one component may be divided into a plurality of components to perform a function. Integrated embodiments and separate embodiments of each component are also included in the scope of the present invention without departing from the essence of the present invention.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
In addition, some of the components are not essential components for performing essential functions in the present invention, but may be optional components for merely improving performance. The present invention can be implemented by including only essential components to implement the essence of the present invention, except for components used for performance improvement, and a structure including only essential components excluding optional components used for performance improvement Also included in the scope of the present invention.

도 1은 본 발명이 적용되는 일실시예로서, 비디오 데이터에서 오디오 데이터를 스트리밍하는 방법을 도시한 것이다.1 illustrates a method of streaming audio data from video data as an embodiment to which the present invention is applied.

도 1을 참조하면, 단말기(100)와 미디어 스트리밍 장치(200)는 유/무선 네트워크로 연결될 수 있다. 단말기(100)는 스트리밍 모드에 따라 전송되는 비디오 또는 오디오 데이터를 복호화하고 이를 재생하는 장치일 수 있다. 예를 들어, 단말기(100)에는 스마트폰, 테블릿 PC, 노트북, personal PC 등이 포함될 수 있다. 본 발명의 스트리밍 모드에는 비디오 스트리밍 모드와 오디오 스트리밍 모드 중 적어도 하나가 포함될 수 있다. 여기서, 비디오 스트리밍 모드는 공간적, 시간적, 화질적 해상도 별로 세분화된 복수의 비디오 스트리밍 모드로 구성될 수도 있다. 단말기(100)의 스트리밍 모드는 사용자 지정에 의해서 결정될 수도 있고, 기-설정된 소정의 스트리밍 모드로 결정될 수도 있다. Referring to FIG. 1 , the terminal 100 and the media streaming device 200 may be connected through a wired/wireless network. The terminal 100 may be a device that decodes and reproduces video or audio data transmitted according to a streaming mode. For example, the terminal 100 may include a smartphone, a tablet PC, a notebook computer, a personal PC, and the like. The streaming mode of the present invention may include at least one of a video streaming mode and an audio streaming mode. Here, the video streaming mode may be composed of a plurality of video streaming modes subdivided for each spatial, temporal, and picture quality resolution. The streaming mode of the terminal 100 may be determined by a user designation, or may be determined by a predetermined predetermined streaming mode.

미디어 스트리밍 장치(200)는 단말기(100)에 설정된 스트리밍 모드에 대응하여 비디오 데이터 또는 오디오 데이터를 선택적으로 단말기(100)에 전송할 수 있다. 여기서, 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터로 구성될 수도 있다. The media streaming apparatus 200 may selectively transmit video data or audio data to the terminal 100 in response to the streaming mode set in the terminal 100 . Here, the video data may be composed of a plurality of video data having different at least one of spatial, temporal, and picture quality resolutions.

단말기(100)에서 비디오 스트리밍 모드가 설정된 경우, 미디어 스트리밍 장치(200)는 설정된 비디오 스트리밍 모드에 대응하는 비디오 데이터를 전송할 수 있다. 예를 들어, 사용자에 의해 1080p 비디오 스트리밍 모드가 설정된 경우, 미디어 스트리밍 장치(200)는 1080p 비디오 데이터를 단말기(100)로 전송할 수 있다.When the video streaming mode is set in the terminal 100, the media streaming apparatus 200 may transmit video data corresponding to the set video streaming mode. For example, when a 1080p video streaming mode is set by the user, the media streaming apparatus 200 may transmit 1080p video data to the terminal 100 .

단말기(100)에서 오디오 스트리밍 모드가 설정된 경우, 미디어 스트리밍 장치(200)는 상기 설정된 오디오 스트리밍 모드에 대응하여 오디오 데이터를 전송할 수 있다. When the audio streaming mode is set in the terminal 100, the media streaming apparatus 200 may transmit audio data corresponding to the set audio streaming mode.

예를 들어, 단말기(100)에 설정된 오디오 스트리밍 모드에 대응하여 미디어 스트리밍 장치(100)는 비디오 데이터에서 오디오 데이터를 추출하고, 추출된 오디오 데이터를 전송할 수 있다. 또는, 미디어 스트리밍 장치(100)는 비디오 데이터 저장부(미도시)와 오디오 데이터 저장부(미도시)를 포함할 수 있다. 비디오 데이터 저장부는 오디오 데이터가 포함되지 않은 비디오 데이터를 저장할 수 있고, 오디오 데이터 저장부는 비디오 데이터로부터 분리된 오디오 데이터만을 별도로 저장할 수 있다. 이러한 경우, 사용자가 오디오 스트리밍 모드를 선택할 경우, 미디어 스트리밍 장치(200)에서는 비디오 데이터와 분리되어 저장된 오디오 데이터를 지연(delay)없이 전송할 수 있게 된다.For example, in response to the audio streaming mode set in the terminal 100 , the media streaming apparatus 100 may extract audio data from video data and transmit the extracted audio data. Alternatively, the media streaming apparatus 100 may include a video data storage unit (not shown) and an audio data storage unit (not shown). The video data storage unit may store video data that does not include audio data, and the audio data storage unit may separately store only audio data separated from the video data. In this case, when the user selects the audio streaming mode, the media streaming apparatus 200 can transmit the audio data stored separately from the video data without delay.

단말기(100)에서는 사용자 지정 또는 네트워크 상태 변경 등에 의해서 제1 스트리밍 모드에서 제2 스트리밍 모드로 전환이 발생할 수 있다. 여기서, 제1 스트리밍 모드는 상술한 비디오 스트리밍 모드와 오디오 스트리밍 모드 중 어느 하나를 의미할 수 있고, 비디오 스트리밍 모드는 공간적, 시간적, 화질적 해상도 별로 세분화된 복수의 비디오 스트리밍 모드로 구성될 수도 있다. 제2 스트리밍 모드도 비디오 스트리밍 모드와 오디오 스트리밍 모드 중 어느 하나이고, 제1 스트리밍 모드와 상이한 스트리밍 모드를 의미할 수 있다. 예를 들어, 고해상도 비디오 스트리밍 모드에서 저해상도 비디오 스트리밍 모드로 전환될 수도 있고, 소정의 해상도를 가진 비디오 스트리밍 모드에서 오디오 스트리밍 모드로 전환될 수도 있다. 이와 같이, 단말기(100)에서 스트리밍 모드 간의 전환이 발생하는 경우, 미디어 스트리밍 장치(200)는 제1 스트리밍 모드에 대응하는 비디오 또는 오디오 데이터를 제2 스트리밍 모드에 대응하는 비디오 또는 오디오 데이터로 전환하여 전송할 수 있다. 이하, 비디오 스트리밍 모드에서 오디오 스트리밍 모드로 전환이 발생하는 경우에 미디어 스트리밍 장치(200)에서 데이터를 스트리밍하는 방법에 대해서 살펴 보기로 한다.In the terminal 100, switching from the first streaming mode to the second streaming mode may occur due to user designation or network state change. Here, the first streaming mode may mean any one of the above-described video streaming mode and audio streaming mode, and the video streaming mode may be composed of a plurality of video streaming modes subdivided by spatial, temporal, and picture quality resolutions. The second streaming mode is also any one of a video streaming mode and an audio streaming mode, and may mean a streaming mode different from the first streaming mode. For example, a high-resolution video streaming mode may be switched to a low-resolution video streaming mode, or a video streaming mode having a predetermined resolution may be switched to an audio streaming mode. As such, when switching between streaming modes occurs in the terminal 100, the media streaming device 200 converts video or audio data corresponding to the first streaming mode to video or audio data corresponding to the second streaming mode, can be transmitted Hereinafter, a method of streaming data in the media streaming device 200 when a transition from the video streaming mode to the audio streaming mode occurs will be described.

사용자 지정 또는 네트워크 상태 변경 등에 의해서 단말기(100)의 스트리밍 모드가 비디오 스트리밍 모드에서 오디오 스트리밍 모드로 전환된 경우, 미디어 스트리밍 장치(200)는 비디오 스트리밍 모드에 대응하는 비디오 데이터의 전송을 중단하고, 오디오 스트리밍 모드에 대응하는 오디오 데이터를 전송할 수 있다. When the streaming mode of the terminal 100 is switched from the video streaming mode to the audio streaming mode due to user designation or network state change, etc., the media streaming device 200 stops the transmission of video data corresponding to the video streaming mode, and Audio data corresponding to the streaming mode may be transmitted.

다만, 미디어 스트리밍 장치(200) 내에 비디오 데이터와 오디오 데이터가 서로 분리된 구조로 저장된 경우, 스트리밍 모드의 전환 시점까지 전송된 또는 재생된 비디오 데이터의 위치를 특정하기 어려울 수 있고, 따라서 기-전송된 또는 재생된 비디오 데이터와 싱크(sync)를 맞춰서 오디오 데이터를 전송하는 것이 어려울 수 있다. However, if the video data and the audio data are stored in a structure separated from each other in the media streaming device 200, it may be difficult to specify the location of the video data transmitted or reproduced until the switching point of the streaming mode, and thus the pre-transmitted Alternatively, it may be difficult to transmit audio data by synchronizing with the reproduced video data.

이를 극복하기 위해서 미디어 스트리밍 장치(200)는 오디오 스트리밍 모드에 대응하는 오디오 데이터를 전송할 뿐만 아니라 미디어 스트리밍 장치(200)에 기-저장된 비디오 데이터 중 소정의 해상도를 가진 비디오 데이터를 동시에 전송할 수도 있다. 여기서, 소정의 해상도를 가진 비디오 데이터라 함은 공간적, 시간적, 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터를 의미할 수 있다. 오디오 데이터와 함께 전송되는 비디오 데이터는 단말기(100)의 화면에서 선택적으로 재생되도록 제어될 수도 있다.In order to overcome this, the media streaming device 200 may not only transmit audio data corresponding to the audio streaming mode, but also simultaneously transmit video data having a predetermined resolution among video data pre-stored in the media streaming device 200 . Here, the video data having a predetermined resolution may mean video data having the lowest resolution among a plurality of video data having different at least one of spatial, temporal, and picture quality resolutions. Video data transmitted together with audio data may be controlled to be selectively reproduced on the screen of the terminal 100 .

또는, 미디어 스트리밍 장치(200)는 비디오 스트리밍 모드에 대응하여 전송되는 비디오 데이터에서 오디오 데이터만을 추출하여 이를 전송할 수도 있다. 또는, 미디어 스트리밍 장치(200)에 기-저장된 비디오 데이터 중 소정의 해상도를 가진 비디오 데이터에서 오디오 데이터만을 추출하여 이를 전송할 수도 있다.
Alternatively, the media streaming apparatus 200 may extract only audio data from video data transmitted corresponding to the video streaming mode and transmit it. Alternatively, only audio data may be extracted from video data having a predetermined resolution among video data pre-stored in the media streaming device 200 and transmitted.

도 2는 본 발명이 적용되는 일실시예로서, 모바일 애플리케이션의 사용 상태에 따라 선택적으로 스트리밍을 수행하기 위한 시스템을 도시한 것이다.2 illustrates a system for selectively performing streaming according to a usage state of a mobile application as an embodiment to which the present invention is applied.

본 발명의 시스템은 단말기(100)와 미디어 스트리밍 장치(200)을 포함할 수 있고, 단말기(100)와 미디어 스트리밍 장치(200)는 유/무선 네트워크를 통해 데이터를 상호 송수신할 수 있다. The system of the present invention may include the terminal 100 and the media streaming device 200, and the terminal 100 and the media streaming device 200 may mutually transmit and receive data through a wired/wireless network.

도 2를 참조하면, 단말기(100)는 애플리케이션 상태 모니터링부(110), 애플리케이션 상태 업데이트부(120), 단말 통신부(130) 또는 재생부(140) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 2 , the terminal 100 may include at least one of an application status monitoring unit 110 , an application status updating unit 120 , a terminal communication unit 130 , and a playback unit 140 .

애플리케이션 상태 모니터링부(110)는 단말기(100)에서 구동되는 애플리케이션의 사용 상태를 판단할 수 있다. 여기서, 애플리케이션의 사용 상태는 아이들(idle) 상태와 메인(main) 상태로 분류될 수 있다. 아이들 상태라 함은 구동 중인 애플리케이션이 메인 화면에 활성화된 애플리케이션이 아닌 경우, 애플리케이션이 백그라운드에서 재생되고 있는 경우, 플로팅 앱을 사용하고 있는 경우(예를 들어, 단말기의 전체 화면을 사용하지 않고 일부 화면만을 사용하는 경우) 등이 이에 해당할 수 있다. 반면, 메인 상태라 함은 애플리케이션이 아이들 상태에 해당하지 않는 경우가 이에 해당하며, 애플리케이션이 메인 화면에서 활성화되고 있는 상태를 의미할 수 있다. 이하, 아이들 상태 또는 메인 상태 중 어느 하나를 제1 사용 상태라 부르고, 다른 하나를 제2 사용 상태라 부르기로 한다.The application status monitoring unit 110 may determine the usage status of the application running in the terminal 100 . Here, the use state of the application may be classified into an idle state and a main state. The idle state means when the running application is not an active application on the main screen, when the application is playing in the background, or when using a floating app (for example, some screens without using the entire screen of the terminal) only), etc., may correspond to this. On the other hand, the main state corresponds to a case in which the application does not correspond to the idle state, and may mean a state in which the application is activated on the main screen. Hereinafter, any one of the idle state and the main state will be referred to as a first use state, and the other one will be referred to as a second use state.

애플리케이션 상태 모니터링부(110)는 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 애플리케이션의 사용 상태의 변경에 관한 정보를 생성할 수도 있다. 여기서, 사용 상태의 변경에 관한 정보라 함은 애플리케이션의 사용 상태가 변경되는 이벤트가 발생하는지 여부를 나타낼 수도 있고, 변경된 사용 상태가 아이들 상태인지 아니면 메인 상태인지를 식별할 수도 있다. The application state monitoring unit 110 may generate information about a change in the use state of the application when the use state of the application is changed from the first use state to the second use state. Here, the information on the change of the use state may indicate whether an event in which the use state of the application is changed occurs, and may identify whether the changed use state is an idle state or a main state.

한편, 애플리케이션 상태 모니터링부(110)는 애플리케이션의 사용 상태가 변경되는지 여부를 판단하기 위해 소정의 시간 간격으로 구동 중인 애플리케이션의 사용 상태를 모니터링할 수도 있다. 여기서, 소정의 시간 간격은 단말기(100)에 기-설정된 값일 수도 있고, 사용자 지정에 의해서 가변적으로 설정된 값일 수도 있다. Meanwhile, the application status monitoring unit 110 may monitor the usage status of the running application at predetermined time intervals to determine whether the usage status of the application is changed. Here, the predetermined time interval may be a value pre-set in the terminal 100 or a value variably set by a user designation.

또한, 애플리케이션 상태 모니터링부(110)는 단말기(100)에서 구동 중인 애플리케이션의 개수 및/또는 유형에 기초하여 적응적으로 동작할 수도 있다. 예를 들어, 구동 중인 애플리케이션의 개수가 1개인 경우에는 애플리케이션 상태 모니터링부(110)는 동작하지 않고, 복수개의 애플리케이션이 구동 중인 경우에 동작하도록 제한할 수 있다. 복수개의 애플리케이션이 구동 중인 경우라도 해당 애플리케이션이 비디오/오디오 데이터 스트리밍을 요구하지 않는 경우에는 애플리케이션 상태 모니터링부(110)가 동작하지 않고, 비디오/오디오 데이터 스트리밍을 요구하는 적어도 하나의 애플리케이션이 구동 중인 경우에 한하여 애플리케이션 상태 모니터링부(110)가 동작하도록 제한할 수도 있다.In addition, the application status monitoring unit 110 may operate adaptively based on the number and/or type of applications running in the terminal 100 . For example, when the number of running applications is one, the application state monitoring unit 110 does not operate, and it may be limited to operate when a plurality of applications are running. Even when a plurality of applications are running, if the application does not request video/audio data streaming, the application status monitoring unit 110 does not operate, and at least one application that requests video/audio data streaming is running In this case, the operation of the application state monitoring unit 110 may be limited.

애플리케이션 상태 업데이트부(120)는 애플리케이션 상태 모니터링부(110)에서 결정된 애플리케이션의 사용 상태를 기반으로 해당 애플리케이션의 사용 상태를 업데이트할 수 있다. 또한, 애플리케이션 상태 업데이트부(120)는 애플리케이션의 사용 상태가 변경된 경우, 사용 상태의 변경에 관한 정보를 저장할 수도 있다. 저장된 사용 상태의 변경에 관한 정보는 애플리케이션 상태 모니터링부(110)에서 해당 애플리케이션의 사용 상태가 변경되는지를 판단하는데 이용될 수 있다.The application status updater 120 may update the usage status of the corresponding application based on the usage status of the application determined by the application status monitoring unit 110 . Also, when the use state of the application is changed, the application state update unit 120 may store information about the change of the use state. The stored information about the change in the use state may be used by the application state monitoring unit 110 to determine whether the use state of the corresponding application is changed.

단말 통신부(130)는 애플리케이션 상태 모니터링부(110)에서 생성된 애플리케이션의 사용 상태의 변경에 관한 정보를 미디어 스트리밍 장치(200)로 송신할 수 있다. 통신부(130)는 사용 상태의 변경에 관한 정보에 대응하여 미디어 스트리밍 장치(200)로부터 전송되는 비디오 또는 오디오 데이터를 수신할 수 있다.The terminal communication unit 130 may transmit information about a change in the usage state of the application generated by the application state monitoring unit 110 to the media streaming device 200 . The communication unit 130 may receive video or audio data transmitted from the media streaming apparatus 200 in response to information about a change in a usage state.

재생부(140)는 미디어 스트리밍 장치(200)로부터 전송되는 비디오 또는 오디오 데이터를 복호화하고, 복호화된 데이터가 화면을 통해 재생되도록 제어할 수 있다.The playback unit 140 may decode video or audio data transmitted from the media streaming device 200 and control the decoded data to be played through a screen.

도 2에 도시된 미디어 스트리밍 장치(200)는 단말기(100)에서 애플리케이션의 사용 상태의 변경에 대응하여 비디오 또는 오디오 데이터를 선택적으로 전송할 수 있다. 이는 애플리케이션의 사용 상태에 따라 스트리밍되는 데이터 전송량을 최적화하기 위한 것으로서, 이를 위해 미디어 스트리밍 장치(200)는 데이터 저장부(210), 데이터 제어부(220) 또는 서버 통신부(230) 중 적어도 하나를 포함할 수 있다.The media streaming device 200 shown in FIG. 2 may selectively transmit video or audio data in response to a change in the usage state of the application in the terminal 100 . This is to optimize the data transmission amount to be streamed according to the usage state of the application, and for this purpose, the media streaming device 200 includes at least one of a data storage unit 210 , a data control unit 220 or a server communication unit 230 . can

데이터 저장부(210)는 비디오 데이터와 오디오 데이터를 포함한 미디어 데이터를 저장할 수 있다. 비디오 데이터는 공간적, 시간적, 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함하며, 복수의 비디오 데이터는 각각 분리되어 저장될 수 있다. 또한, 도 1에서 상술한 바와 같이 데이터 저장부는(210)는 비디오 데이터 저장부(미도시)와 오디오 데이터 저장부(미도시)를 각각 포함하도록 설계될 수 있다. 이 경우, 비디오 데이터 저장부는 오디오 데이터가 포함되지 않은 비디오 데이터를 저장하고, 오디오 데이터 저장부는 비디오 데이터로부터 분리된 오디오 데이터만을 별도로 저장할 수 있다.The data storage unit 210 may store media data including video data and audio data. The video data includes a plurality of video data having different at least one of spatial, temporal, and image resolution, and the plurality of video data may be stored separately. Also, as described above with reference to FIG. 1 , the data storage unit 210 may be designed to include a video data storage unit (not shown) and an audio data storage unit (not shown), respectively. In this case, the video data storage unit may store video data that does not include audio data, and the audio data storage unit may separately store only audio data separated from the video data.

데이터 제어부(220)는 단말기(100)로부터 전송되는 애플리케이션의 사용 상태의 변경에 관한 정보에 기초하여 미디어 데이터의 스트리밍을 변경할 수 있다. 구체적으로, 상기 애플리케이션의 사용 상태의 변경에 관한 정보에 따라 해당 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경될 수 있다. The data controller 220 may change the streaming of media data based on the information about the change of the usage state of the application transmitted from the terminal 100 . Specifically, when the use state of the corresponding application is changed from the first use state to the second use state according to the information on the change of the use state of the application, the second use in the streaming of the first media data according to the first use state It may be changed to streaming of the second media data according to the state.

이하, 현재 메인 상태에서 소정의 해상도를 가진 비디오 데이터가 스트리밍되는 경우를 가정하고, 데이터 제어부(220)에서 애플리케이션의 사용 상태의 변경이 발생한 경우에 데이터 스트리밍을 선택적으로 제어하는 방법을 살펴 보기로 한다.Hereinafter, it is assumed that video data having a predetermined resolution is streamed in the current main state, and a method of selectively controlling data streaming when a change in the use state of an application occurs in the data controller 220 will be described. .

애플리케이션의 사용 상태의 변경에 관한 정보에 따라 애플리케이션의 사용 상태가 메인 상태에서 아이들 상태로 변경된 경우, 데이터 제어부(220)는 메인 상태에서 전송되는 소정의 해상도를 가진 비디오 데이터를 스트리밍하지 않고, 오디오 데이터를 스트리밍하거나 기-설정된 비디오 데이터를 스트리밍하도록 제어할 수 있다. 여기서, 기-설정된 비디오 데이터는 공간적, 시간적, 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터를 의미할 수 있다. 예를 들어, 최소 크기의 비디오 데이터가 스트리밍될 수도 있고, 최소 프레임 레이트를 가진 비디오 데이터가 스트리밍될 수도 있으며, 최저화질의 비디오 데이터가 스트리밍될 수도 있다. When the use state of the application is changed from the main state to the idle state according to the information about the change of the use state of the application, the data controller 220 does not stream video data having a predetermined resolution transmitted in the main state, but audio data can be controlled to stream or stream pre-set video data. Here, the preset video data may mean video data having the lowest resolution among a plurality of video data having different at least one of spatial, temporal, and image resolution. For example, video data of a minimum size may be streamed, video data having a minimum frame rate may be streamed, and video data of the lowest quality may be streamed.

반대로, 애플리케이션의 사용 상태의 변경에 관한 정보에 따라 애플리케이션의 사용 상태가 아이들 상태에서 메인 상태로 변경된 경우, 데이터 제어부(220)는 아이들 상태에서 전송되는 오디오 데이터 또는 기-설정된 비디오 데이터를 스트리밍하지 않고, 메인 상태에서 설정된 소정의 비디오 데이터를 스트리밍하도록 제어할 수 있다.Conversely, when the use state of the application is changed from the idle state to the main state according to the information about the change of the use state of the application, the data control unit 220 does not stream audio data or preset video data transmitted in the idle state. , it is possible to control to stream predetermined video data set in the main state.

한편, 데이터 제어부(220)는 비디오 데이터에서 오디오 데이터로 스트리밍을 변경하는 경우에 애플리케이션의 사용 상태가 변경되는 시점 이후의 오디오 데이터만이 스트리밍되도록 제어할 수도 있다. 즉, 메인 상태에서 아이들 상태로 변경되기 직전까지 전송된 비디오 데이터의 재생 시간 Tv을 측정하고, 처음부터 재생 시간 Tv까지의 오디오 데이터는 전송하지 않고 재생 시간 Tv 이후의 오디오 데이터만을 전송할 수 있으며, 이는 도 3을 참조하여 자세히 살펴 보도록 한다.Meanwhile, when streaming is changed from video data to audio data, the data controller 220 may control only audio data after the point in time when the usage state of the application is changed to be streamed. That is, the playback time Tv of the video data transmitted just before the change from the main state to the idle state is measured, and audio data from the beginning to the playback time Tv is not transmitted, and only the audio data after the playback time Tv can be transmitted. Let's take a closer look with reference to FIG. 3 .

서버 통신부(230)는 단말기(100)로부터 애플리케이션의 사용 상태의 변경에 관한 정보를 수신할 수도 있고, 데이터 저장부(210)에 저장된 비디오 또는 오디오 데이터를 단말기(100)로 송신할 수도 있다.
The server communication unit 230 may receive information about a change in the usage state of the application from the terminal 100 , and may transmit video or audio data stored in the data storage unit 210 to the terminal 100 .

도 3은 본 발명이 적용되는 일실시예로서, 비디오 데이터 스트리밍에서 오디오 데이터 스트리밍으로 변경하는 경우에 메타 데이터에 기반하여 오디오 데이터를 선택적으로 전송하는 방법을 도시한 것이다.3 illustrates a method of selectively transmitting audio data based on metadata when changing from video data streaming to audio data streaming as an embodiment to which the present invention is applied.

도 3을 참조하면, 비디오 데이터에 관한 메타 데이터를 이용하여 비디오 데이터의 재생 시간(Tv)을 유추할 수 있다(S300).Referring to FIG. 3 , a reproduction time Tv of video data may be inferred using metadata related to the video data ( S300 ).

미디어 데이터(예를 들어, 비디오 데이터, 오디오 데이터)는 하나의 파일로 부호화될 수도 있고, 적응적인 스트리밍을 위해 복수의 서브-파일로 분할하여 부호화될 수도 있다. 하나의 미디어 데이터가 복수의 서브-파일로 부호화된 경우, 각 서브-파일로의 개별적 액세스(access)를 위한 메타 데이터가 각 서브-파일 별로 할당될 수 있다. 각 서브-파일 별로 할당되는 메타 데이터는 해당 미디어 데이터와 별개로 생성될 수도 있고, 해당 미디어 데이터에 포함된 것일 수도 있다.Media data (eg, video data, audio data) may be encoded as one file, or may be encoded by dividing it into a plurality of sub-files for adaptive streaming. When one media data is encoded into a plurality of sub-files, metadata for individual access to each sub-file may be allocated to each sub-file. Meta data allocated to each sub-file may be generated separately from the corresponding media data or may be included in the corresponding media data.

비디오 데이터의 최초 전송 시점부터 애플리케이션의 사용 상태가 변경되는 시점까지 전송된 서브-파일에 관한 메타 데이터로부터 각 서브-파일의 재생 시간 정보를 획득할 수 있다. 획득된 각 서브-파일의 재생 시간 정보를 합하여 애플리케이션의 사용 상태가 변경되는 시점까지 전송된 비디오 데이터의 재생 시간 Tv을 산출할 수 있다.Playback time information of each sub-file may be obtained from metadata about the transmitted sub-file from the time of initial transmission of video data to the time when the usage state of the application is changed. By summing the obtained reproduction time information of each sub-file, the reproduction time Tv of the video data transmitted up to the point in time when the usage state of the application is changed may be calculated.

오디오 데이터에 관한 메타 데이터에서 N번째 서브-파일의 재생 시간 정보를 획득할 수 있다(S310). Playback time information of the N-th sub-file may be obtained from metadata related to audio data ( S310 ).

첫번째 서브-파일부터 N번째 서브-파일까지 획득된 재생 시간 정보의 합(Ta)과 S300 단계에서 유추된 비디오 데이터의 재생 시간(Tv)을 비교할 수 있다(S320).The sum (Ta) of reproduction time information obtained from the first sub-file to the N-th sub-file may be compared with the reproduction time (Tv) of the video data inferred in step S300 ( S320 ).

S320 단계의 비교 결과, Ta가 Tv보다 작은 경우, 이는 N번째 서브-파일에 대응하는 오디오 데이터는 기-전송된 비디오 데이터의 재생 시간 내에 위치하는 것을 의미한다. 따라서, 이러한 경우에는 N+1번째 서브-파일의 재생 시간 정보를 추가적으로 파싱하여 Ta를 업데이트하고, 업데이트된 Ta를 이용하여 상술한 S320 단계를 다시 수행할 수 있다. As a result of the comparison in step S320, if Ta is less than Tv, this means that the audio data corresponding to the Nth sub-file is located within the reproduction time of the pre-transmitted video data. Accordingly, in this case, the reproduction time information of the N+1-th sub-file is additionally parsed to update Ta, and the above-described step S320 may be performed again using the updated Ta.

반면, S320 단계의 비교 결과, Ta가 Tv보다 큰 경우, 이는 N번째 서브-파일에 대응하는 오디오 데이터는 애플리케이션의 사용 상태가 변경된 시점 이후에 위치하는 것을 의미한다. 따라서, 이러한 경우에는 N+1번째 서브-파일의 재생 시간 정보를 파싱하는 것을 중단하고, N번째 서브-파일에 대응하는 오디오 데이터부터 단말기(100)로 전송할 수 있다(S330). On the other hand, when Ta is greater than Tv as a result of the comparison in step S320, this means that the audio data corresponding to the N-th sub-file is located after the point in time when the use state of the application is changed. Accordingly, in this case, parsing of the reproduction time information of the N+1th sub-file may be stopped, and audio data corresponding to the Nth sub-file may be transmitted to the terminal 100 (S330).

본 실시예에서는 비디오 데이터 스트리밍에서 오디오 데이터 스트리밍으로 변경하는 경우를 설명하였으나, 이에 한정되지 아니하며, 오디오 데이터 스트리밍에서 비디오 데이터 스트리밍으로 변경하는 경우에도 동일한 과정으로 미디어 데이터 간의 싱크(sync)를 맞추어 전송할 수 있음은 물론이다.
In the present embodiment, the case of changing from video data streaming to audio data streaming has been described, but it is not limited thereto, and even when changing from audio data streaming to video data streaming, it is possible to synchronize between media data and transmit the same in the same process. of course there is

도 4는 본 발명이 적용되는 일실시예로서, 모바일 애플리케이션의 사용 상태에 따라 선택적으로 스트리밍을 수행하는 방법을 도시한 것이다.4 illustrates a method of selectively performing streaming according to a usage state of a mobile application as an embodiment to which the present invention is applied.

도 4를 참조하면, 단말기(100)는 애플리케이션의 제1 사용 상태에 대응하는 제1 미디어 데이터를 요청할 수 있다(S400).Referring to FIG. 4 , the terminal 100 may request the first media data corresponding to the first usage state of the application ( S400 ).

미디어 스트리밍 장치(200)는 S400 단계의 요청에 대응하여 제1 미디어 데이터를 단말기(100)에 전송할 수 있다(S410).The media streaming apparatus 200 may transmit the first media data to the terminal 100 in response to the request in step S400 (S410).

단말기(100)는 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 애플리케이션의 사용 상태의 변경에 관한 정보(이하, 상태 변경 정보라 함)를 생성할 수 있다(S420).When the use state of the application is changed from the first use state to the second use state, the terminal 100 may generate information about the change of the use state of the application (hereinafter, referred to as state change information) (S420).

예를 들어, 제1 사용 상태는 메인 상태를, 제2 사용 상태는 아이들 상태를 각각 의미할 수 있다. 이 경우 상기 상태 변경 정보는 애플리케이션의 사용 상태가 변경되는 이벤트가 발생했음을 나타낼 수도 있고, 메인 상태에서 아이들 상태로 사용 상태가 변경되었음을 나타낼 수도 있다.For example, the first use state may mean a main state, and the second use state may mean an idle state, respectively. In this case, the state change information may indicate that an event for changing the use state of the application has occurred, or may indicate that the use state is changed from the main state to the idle state.

단말기(100)는 생성된 상태 변경 정보를 미디어 스트리밍 장치(200)로 전송할 수 있다(S430).The terminal 100 may transmit the generated state change information to the media streaming device 200 (S430).

전송된 상태 변경 정보가 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경됨을 나타내는 경우, 미디어 스트리밍 장치(200)는 제2 사용 상태에 대응하는 제2 미디어 데이터를 결정할 수 있다(S440).When the transmitted state change information indicates that the use state of the application is changed from the first use state to the second use state, the media streaming apparatus 200 may determine second media data corresponding to the second use state (S440) ).

예를 들어, 미디어 스트리밍 장치(200)는 메인 상태에서 전송되는 소정의 해상도를 가진 비디오 데이터 대신에, 오디오 데이터 또는 기-설정된 비디오 데이터를 아이들 상태에 대응하는 제2 미디어 데이터로 결정할 수 있다. 여기서, 기-설정된 비디오 데이터는 공간적, 시간적, 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터를 의미할 수 있다.For example, the media streaming apparatus 200 may determine, as the second media data corresponding to the idle state, audio data or preset video data, instead of video data having a predetermined resolution transmitted in the main state. Here, the preset video data may mean video data having the lowest resolution among a plurality of video data having different at least one of spatial, temporal, and image resolution.

제1 사용 상태에서 전송된 제1 미디어 데이터의 재생 시간을 고려하여 S440 단계에서 결정된 제2 미디어 데이터 중 단말기(100)로 전송될 제2 미디어 데이터를 결정할 수 있다(S450).In consideration of the reproduction time of the first media data transmitted in the first use state, the second media data to be transmitted to the terminal 100 among the second media data determined in step S440 may be determined ( S450 ).

예를 들어, 제1 사용 상태에서 제2 사용 상태로 변경되기 직전까지 전송된 제1 미디어 데이터의 재생 시간을 측정하고, 측정된 재생 시간 이후의 제2 미디어 데이터를 단말기(100)로 전송할 제2 미디어 데이터로 결정할 수 있으며, 이는 도 3에서 자세히 살펴 보았는바, 여기서 자세한 설명은 생략하기로 한다. For example, the playback time of the first media data transmitted immediately before the change from the first use state to the second use state is measured, and the second media data transmitted after the measured playback time is transmitted to the terminal 100 . It can be determined as media data, which has been described in detail with reference to FIG. 3 , and a detailed description thereof will be omitted herein.

S450 단계에서 결정된 제2 미디어 데이터를 단말기(100)로 전송할 수 있다(S460).The second media data determined in step S450 may be transmitted to the terminal 100 (S460).

Claims (22)

비디오 데이터와 오디오 데이터를 포함한 미디어 데이터를 저장하는 데이터 저장부;
단말기로부터 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하는 서버 통신부; 및
상기 사용 상태의 변경에 관한 정보에 기초하여 상기 미디어 데이터의 스트리밍을 변경하되,
스트리밍 변경 전 전송되는 제1 미디어 데이터와 스트리밍 변경 후 전송되는 제2 미디어 데이터 각각은 복수의 서브-파일로 분할하여 부호화하되, 각 서브-파일로의 개별적 액세스를 위한 메타 데이터가 상기 각 서브-파일 별로 할당되며,
상기 스트리밍 변경 후 전송되는 제2 미디어 데이터는, 상기 제1 미디어 데이터와 상기 제2 미디어 데이터에 각각 할당되는 메타 데이터로부터 유도한 재생 시간 정보에 기초하여 결정되는 데이터 제어부를 포함하는 미디어 스트리밍 장치.a data storage unit for storing media data including video data and audio data;
a server communication unit for receiving information about a change in the usage state of the application from the terminal; and
Change the streaming of the media data based on the information about the change of the usage state,
Each of the first media data transmitted before the streaming change and the second media data transmitted after the streaming change is divided into a plurality of sub-files and encoded, wherein metadata for individual access to each sub-file is included in each sub-file is allocated by
The second media data transmitted after the streaming change includes a data controller that is determined based on playback time information derived from metadata allocated to the first media data and the second media data, respectively. 제1항에 있어서,
상기 데이터 저장부는 비디오 데이터 저장부와 오디오 데이터 저장부를 포함하고,
상기 비디오 데이터 저장부는 상기 오디오 데이터가 포함되지 않은 비디오 데이터를 저장하고, 상기 오디오 데이터 저장부는 상기 비디오 데이터로부터 분리된 오디오 데이터를 저장하는 미디어 스트리밍 장치.According to claim 1,
The data storage unit includes a video data storage unit and an audio data storage unit,
The video data storage unit stores video data that does not include the audio data, and the audio data storage unit stores audio data separated from the video data. 제2항에 있어서,
상기 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함하는 미디어 스트리밍 장치.3. The method of claim 2,
The video data is a media streaming apparatus including a plurality of video data different from at least one of spatial, temporal, and picture quality resolution. 제3항에 있어서,
상기 복수의 비디오 데이터는 서로 분리되어 각각 저장되는 미디어 스트리밍 장치.4. The method of claim 3,
The plurality of video data is a media streaming device that is stored separately from each other. 제1항에 있어서, 상기 데이터 제어부는,
상기 사용 상태의 변경에 관한 정보에 따라 상기 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 상기 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 상기 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경하는 미디어 스트리밍 장치.According to claim 1, wherein the data control unit,
When the use state of the application is changed from the first use state to the second use state according to the information on the change of the use state, in the streaming of the first media data according to the first use state, according to the second use state A media streaming device that changes to streaming of the second media data. 제5항에 있어서,
상기 제1 사용 상태는 메인(main) 상태를, 상기 제2 사용 상태는 아이들(idle) 상태를 각각 의미하는 미디어 스트리밍 장치.6. The method of claim 5,
The first use state means a main state, and the second use state means an idle state, respectively. 제6항에 있어서,
상기 제1 미디어 데이터는 소정의 해상도를 가진 비디오 데이터를 의미하고,
상기 제2 미디어 데이터는 오디오 데이터 또는 기-설정된 비디오 데이터를 의미하는 미디어 스트리밍 장치.7. The method of claim 6,
The first media data means video data having a predetermined resolution,
The second media data means audio data or pre-set video data. 제7항에 있어서,
상기 소정의 해상도를 가진 비디오 데이터는 사용자 지정의 비디오 데이터이고,
상기 기-설정된 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터인 미디어 스트리밍 장치.8. The method of claim 7,
The video data having the predetermined resolution is user-specified video data,
The pre-set video data is video data having the lowest resolution among a plurality of video data different in at least one of spatial, temporal or picture quality resolution. 삭제delete 제1항에 있어서,
상기 데이터 제어부는 상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터만을 선택적으로 스트리밍하는 미디어 스트리밍 장치.According to claim 1,
The data controller is a media streaming device for selectively streaming only the second media data after the point in time when the use state of the application is changed. 삭제delete 애플리케이션의 사용 상태의 변경에 관한 정보를 수신하는 단계; 및
상기 사용 상태의 변경에 관한 정보에 기초하여 미디어 데이터의 스트리밍을 변경하는 단계를 포함하되,
스트리밍 변경 전 전송되는 제1 미디어 데이터와 스트리밍 변경 후 전송되는 제2 미디어 데이터 각각은 복수의 서브-파일로 분할하여 부호화하되, 각 서브-파일로의 개별적 액세스를 위한 메타 데이터가 상기 각 서브-파일 별로 할당되며,
상기 스트리밍 변경 후 전송되는 제2 미디어 데이터는, 상기 제1 미디어 데이터와 상기 제2 미디어 데이터에 각각 할당되는 메타 데이터로부터 유도한 재생 시간 정보에 기초하여 결정되는 미디어 스트리밍 방법.Receiving information about a change in the usage state of the application; and
changing the streaming of media data based on the information about the change of the usage state,
Each of the first media data transmitted before the streaming change and the second media data transmitted after the streaming change is divided into a plurality of sub-files and encoded, wherein metadata for individual access to each sub-file is included in each sub-file is allocated by
The second media data to be transmitted after the streaming change is determined based on playback time information derived from metadata allocated to the first media data and the second media data, respectively. 제12항에 있어서,
상기 미디어 데이터는 비디오 데이터와 오디오 데이터를 포함하고,
상기 오디오 데이터는 상기 비디오 데이터로부터 분리되어 저장되는 미디어 스트리밍 방법.13. The method of claim 12,
The media data includes video data and audio data,
wherein the audio data is stored separately from the video data. 제13항에 있어서,
상기 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터를 포함하는 미디어 스트리밍 방법.14. The method of claim 13,
The video data is a media streaming method comprising a plurality of video data different from at least one of spatial, temporal, and picture quality resolution. 제14항에 있어서,
상기 복수의 비디오 데이터는 서로 분리되어 각각 저장되는 미디어 스트리밍 방법.15. The method of claim 14,
wherein the plurality of video data are stored separately from each other. 제12항에 있어서, 상기 변경하는 단계에서는,
상기 사용 상태의 변경에 관한 정보에 따라 상기 애플리케이션의 사용 상태가 제1 사용 상태에서 제2 사용 상태로 변경된 경우, 상기 제1 사용 상태에 따른 제1 미디어 데이터의 스트리밍에서 상기 제2 사용 상태에 따른 제2 미디어 데이터의 스트리밍으로 변경하는 미디어 스트리밍 방법.The method of claim 12, wherein in the changing step,
When the use state of the application is changed from the first use state to the second use state according to the information on the change of the use state, in the streaming of the first media data according to the first use state, according to the second use state A media streaming method for changing to streaming of the second media data. 제16항에 있어서,
상기 제1 사용 상태는 메인(main) 상태를, 상기 제2 사용 상태는 아이들(idle) 상태를 각각 의미하는 미디어 스트리밍 방법.17. The method of claim 16,
The first use state means a main state, and the second use state means an idle state, respectively. 제17항에 있어서,
상기 제1 미디어 데이터는 소정의 해상도를 가진 비디오 데이터를 의미하고,
상기 제2 미디어 데이터는 오디오 데이터 또는 기-설정된 비디오 데이터를 의미하는 미디어 스트리밍 방법.18. The method of claim 17,
The first media data means video data having a predetermined resolution,
The second media data means audio data or preset video data. 제18항에 있어서,
상기 소정의 해상도를 가진 비디오 데이터는 사용자 지정의 비디오 데이터이고,
상기 기-설정된 비디오 데이터는 공간적, 시간적 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 비디오 데이터 중 가장 낮은 해상도를 가진 비디오 데이터인 미디어 스트리밍 방법.19. The method of claim 18,
The video data having the predetermined resolution is user-specified video data,
The pre-set video data is video data having a lowest resolution among a plurality of video data different in at least one of spatial, temporal, or picture quality resolution. 삭제delete 제12항에 있어서, 상기 변경하는 단계에서는,
상기 애플리케이션의 사용 상태가 변경되는 시점 이후의 제2 미디어 데이터만을 선택적으로 스트리밍하는 미디어 스트리밍 방법.The method of claim 12, wherein in the changing step,
A media streaming method for selectively streaming only the second media data after the point in time when the use state of the application is changed. 삭제delete
KR1020150110484A 2015-08-05 2015-08-05 A method and an apparatus for streaming media data KR102374484B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150110484A KR102374484B1 (en) 2015-08-05 2015-08-05 A method and an apparatus for streaming media data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150110484A KR102374484B1 (en) 2015-08-05 2015-08-05 A method and an apparatus for streaming media data

Publications (2)

Publication Number Publication Date
KR20170017100A KR20170017100A (en) 2017-02-15
KR102374484B1 true KR102374484B1 (en) 2022-03-14

Family

ID=58111971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150110484A KR102374484B1 (en) 2015-08-05 2015-08-05 A method and an apparatus for streaming media data

Country Status (1)

Country Link
KR (1) KR102374484B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110307623A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Smooth streaming client component

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102288087B1 (en) * 2014-11-25 2021-08-10 엘지전자 주식회사 Multimedia device and method for controlling the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110307623A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Smooth streaming client component

Also Published As

Publication number Publication date
KR20170017100A (en) 2017-02-15

Similar Documents

Publication Publication Date Title
US9979768B2 (en) System and method for transitioning between receiving different compressed media streams
CN105814900B (en) System and method for managing adjacent channel in adaptive streaming environment
US9473548B1 (en) Latency reduction in streamed content consumption
US20160249108A1 (en) Method and apparatus for providing a customized viewing experience
US11303688B2 (en) Methods and apparatuses for dynamic adaptive streaming over HTTP
US11356739B2 (en) Video playback method, terminal apparatus, and storage medium
US10708667B1 (en) Combining fragments with different encodings
WO2021030294A1 (en) Prediction-based dropped frame handling logic in video playback
CA2802264C (en) Remote viewing of media content using layered video encoding
US10715776B2 (en) Packed I-frames
US10237195B1 (en) IP video playback
US9872054B2 (en) Presentation of a multi-frame segment of video content
US10002644B1 (en) Restructuring video streams to support random access playback
Pang et al. Classx mobile: region-of-interest video streaming to mobile devices with multi-touch interaction
KR20130099515A (en) Apparatas and method of displaying a contents using for key frame in a terminal
KR20140117889A (en) Client apparatus, server apparatus, multimedia redirection system and the method thereof
KR102374484B1 (en) A method and an apparatus for streaming media data
JP6987567B2 (en) Distribution device, receiver and program
JP2012222399A (en) Video playback system, video playback method, and video playback device and program
US11647063B2 (en) Method and apparatus for presentation of video content
KR102051985B1 (en) Synchronization of Media Rendering in Heterogeneous Networking Environments
JP6324829B2 (en) Video providing system and program
JP5581437B1 (en) Video providing system and program
KR102597653B1 (en) Wireless streaming method
KR20210037304A (en) Display video providing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant