KR101810883B1 - 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트 - Google Patents

라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트 Download PDF

Info

Publication number
KR101810883B1
KR101810883B1 KR1020170016973A KR20170016973A KR101810883B1 KR 101810883 B1 KR101810883 B1 KR 101810883B1 KR 1020170016973 A KR1020170016973 A KR 1020170016973A KR 20170016973 A KR20170016973 A KR 20170016973A KR 101810883 B1 KR101810883 B1 KR 101810883B1
Authority
KR
South Korea
Prior art keywords
streaming
data
streaming data
channel
asset
Prior art date
Application number
KR1020170016973A
Other languages
English (en)
Inventor
최성일
Original Assignee
주식회사 헤카스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 헤카스 filed Critical 주식회사 헤카스
Application granted granted Critical
Publication of KR101810883B1 publication Critical patent/KR101810883B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/2842—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 다채널에 대한 데이터 스트림을 라이브 스트리밍하는 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트를 개시하며, 라이브 스트리밍 시스템은 복수의 스트리밍 소스로부터 다채널을 통하여 스트리밍 데이터들을 수신하고, 상기 스트리밍 데이터들을 어셋(Asset)으로 어셈블리(Assembly)하며, 상기 스트리밍 데이터들에 유니버셜 타임 클럭을 부여한 상기 어셋을 패킷으로 구성한 데이터 스트림을 통신망으로 라이브 스트리밍하는 스트리밍 서버 및 상기 통신망을 통하여 상기 데이터 스트림을 수신하고, 상기 어셋의 상기 스트리밍 데이터들을 디-어셈블리(de-assembly)하며, 디-어셈블리된 상기 스트리밍 데이터들을 상기 유니버셜 타임 클럭을 기준으로 재생 속도를 제어하여서 렌더링(Rendering)하는 스트리밍 클라이언트;를 포함할 수 있다.

Description

라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트{LIVE STREAMING SYSTEM AND STREAMING CLIENT THEREOF}
본 발명은 라이브 스트리밍 시스템에 관한 것으로서, 보다 상세하게는 다채널에 대한 데이터 스트림을 라이브 스트리밍하는 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트에 관한 것이다.
인터넷 환경에서 다양한 동영상 서비스가 구현되고 있으며, 최근에는 다양한 컨텐츠를 라이브 스트리밍(Live Streaming)하는 서비스가 제공되고 있다.
예시적으로, 복수의 스트리밍 소스(Streaming Source)를 이용하여 운동 경기나 공연에 대한 라이브 스트리밍을 수행하는 경우, 복수의 스트리밍 소스는 동일한 대상을 여러 위치에서 촬영하거나 녹음하여 스트리밍 데이터를 생성한다. 이와 같이 생성되는 복수의 스트리밍 소스의 스트리밍 데이터들은 다채널을 통하여 스트리밍 서버에 라이브 스트리밍되며, 스트리밍 서버는 다채널의 스트리밍 데이터들을 스트리밍 클라이언트(Streaming Client)에 전송한다.
종래의 라이브 스트리밍 방식에 의하면, 스트리밍 소스 간의 동기화가 이루어지지 않고 채널 간의 지연차가 해소되지 않아서 스트리밍 클라이언트가 라이브 스트리밍되는 컨텐츠를 양질로 재생하는데 어려움이 있다.
즉, 각 채널의 스트리밍 데이터들은 스트리밍 소스 간의 시간 차 및 라이브 스트리밍 과정의 지연 차 등의 이유로 스트리밍 클라이언트에서 재생되는 시간이 일치되지 않을 수 있다.
상기와 같이 재생 시간이 일치되지 않는 경우, 스트리밍 클라이언트에서 재생되는 서로 다른 채널의 동영상들 또는 오디오(Audio)들이 부자연스럽게 연결되거나, 스트리밍 클라이언트에서 재생되는 서로 다른 채널의 동영상과 오디오가 부자연스럽게 동기화되거나, 스트리밍 클라이언트에서 재생되는 서로 다른 채널의 동영상 또는 오디오와 텍스트(Text)가 부자연스럽게 동기화될 수 있다.
본 발명은 다채널로 전송되는 스트리밍 데이터들이 스트리밍 클라이언트에서 재생될 때 연결이나 동기화가 자연스럽도록 스트리밍 데이터들의 재생을 제어할 수 있는 라이브 스트리밍 시스템을 제공함을 목적으로 한다.
본 발명은 모바일(Mobile) 라이브 스트리밍 시스템을 구현하며, 유니버셜 타임 클럭(Universal Time Clock)을 이용하여 스트리밍 데이터들이 재생되는 것을 제어함으로써 서로 다른 채널의 스트리밍 데이터들 간의 연결 재생이나 동기화를 자연스럽게 함을 다른 목적으로 한다.
상기한 과제를 해결하기 위한 본 발명의 라이브 스트리밍 시스템은, 복수의 스트리밍 소스로부터 다채널을 통하여 스트리밍 데이터들을 수신하고, 상기 스트리밍 데이터들을 어셋(Asset)으로 어셈블리(Assembly)하며, 상기 스트리밍 데이터에 유니버셜 타임 클럭(Universal Time Clock)을 부여한 상기 어셋을 패킷으로 구성한 데이터 스트림을 통신망으로 라이브 스트리밍하는 스트리밍 서버; 및 상기 통신망을 통하여 상기 데이터 스트림을 수신하고, 상기 어셋의 상기 스트리밍 데이터들을 디-어셈블리(De-assembly)하며, 디-어셈블리된 상기 스트리밍 데이터들을 상기 유니버셜 타임 클럭을 기준으로 재생 속도를 제어하여서 렌더링(Rendering)하는 스트리밍 클라이언트;를 포함함을 특징으로 한다.
여기에서, 상기 복수의 스트리밍 소스 및 스트리밍 클라이언트는 모바일 디바이스로 구성될 수 있으며, 상기 스트리밍 서버는 상기 복수의 스트리밍 소스와 상기 스트리밍 클라이언트 간의 모바일 라이브 스트리밍을 중계함이 바람직하다.
또한, 상기한 과제를 해결하기 위한 본 발명의 라이브 스트리밍 시스템은, 복수의 스트리밍 소스에 대응한 다채널의 스트리밍 데이터들이 어셋으로 어셈블리되며 상기 스트리밍 데이터에 유니버셜 타임 클럭을 부여하여 라이브 스트리밍되는 데이터 스트림의 패킷을 저장하는 패킷 버퍼; 상기 데이터 스트림의 상기 어셋에 포함된 상기 스트리밍 데이터들을 디-어셈블리하는 디-어셈블러; 디-어셈블리된 상기 스트리밍 데이터들을 채널 별로 분리하여 저장하는 채널 버퍼; 상기 채널 버퍼의 상기 스트리밍 데이터들에 대한 렌더링을 수행하는 렌더링부; 및 상기 채널 버퍼의 상기 스트리밍 데이터들의 유니버셜 타임 클럭을 이용하여 상기 렌더링부에 렌더링을 위하여 재생되는 상기 스트리밍 데이터들의 재생 속도를 조절하는 재생 제어부;를 포함함을 특징으로 한다.
본 발명은 다채널의 스트림 데이터들을 재생하는 경우 유니버셜 타임 클럭을 기준으로 스트림 데이터들의 재생 속도를 제어함에 따라 서로 다른 채널의 스트림 데이터들 간의 연결 재생이나 동기화를 자연스럽게 구현할 수 있는 효과가 있으며, 모바일 라이브 스트림을 구현할 수 있다.
도 1은 본 발명의 라이브 스트리밍 시스템을 예시한 블록도.
도 2는 도 1의 스트리밍 서버를 예시한 블록도.
도 3은 데이터 스트림을 예시한 도면.
도 4는 스트리밍 클라이언트를 예시한 블록도.
도 5는 본 발명에 의한 재생 속도를 제어하는 방법을 예시한 도면.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 본 명세서 및 특허청구범위에 사용된 용어는 통상적이거나 사전적 의미로 한정되어 해석되지 아니하며, 본 발명의 기술적 사항에 부합하는 의미와 개념으로 해석되어야 한다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예이며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있다.
도 1을 참조하면, 스트리밍 시스템은 복수의 스트리밍 소스(MS1~MSn)로부터 다채널을 통하여 스트리밍 데이터들을 수신하는 스트리밍 서버(100)와 통신망(200)을 통하여 패킷으로 구성된 데이터 스트림을 수신하는 스트리밍 클라이언트(300)를 포함하도록 구성된다.
먼저, 복수의 스트리밍 소스(Ms1~Msn)는 이미지, 동영상, 오디오 및 텍스트 등의 다양한 컨텐츠를 개별적으로 또는 복합적으로 스트리밍 데이터로서 전송할 수 있는 디바이스로 구성될 수 있으며 동일 대상에 대하여 다른 위치에 배치될 수 있다. 예시적으로, 스마트폰과 같은 모바일 디바이스가 복수의 스트리밍 소스(Ms1~Msn)의 일부 또는 전체로 이용될 수 있다.
복수의 스트리밍 소스(Ms1~Msn) 중 일부는 운동 경기나 공연과 같은 대상의 동영상을 촬영하여 라이브 스트리밍할 수 있고 다른 일부는 동일 대상에 대한 오디오를 녹음하여 라이브 스트리밍 할 수 있다. 그리고, 복수의 스트리밍 소스(Ms1~Msn) 중 또다른 일부는 동일 대상에 대한 텍스트를 라이브 스트리밍 할 수 있다.
복수의 스트리밍 소스(Ms1~Msn)는 유무선 공중망 또는 유무선 인터넷망(도시되지 않음)을 통하여 스트리밍 서버(100)에 접속될 수 있으며, 스트리밍 서버(100)는 복수의 스트리밍 소스(Ms1~Msn)와 접속을 위한 다채널을 제공하고, 스트리밍 소스(Ms1~Msn)에서 라이브 스트리밍되는 채널 별 스트리밍 데이터를 수신할 수 있다.
각 스트리밍 소스(Ms1~Msn)는 디바이스의 시간 정보를 포함하도록 스트리밍 데이터를 제공할 수 있으며, 이때 시간 정보는 디바이스 자체에 설정된 시간 또는 외부에서 제공되는 시간을 이용하여 제공될 수 있다.
스트리밍 서버(100)는 복수의 스트리밍 소스(Ms1~Msn)로부터 스트리밍 데이터를 수신하기 위한 다채널을 구비하며, 다채널을 통하여 수신되는 스트리밍 데이터들을 어셋(Asset)으로 어셈블리(Assembly)하고, 스트리밍 데이터들에 유니버셜 타임 클럭(Universal Time Clock : 이하, “UTC”라 함)을 부여한 어셋을 패킷으로 구성한 데이터 스트림(Data Stream)을 통신망(200)으로 라이브 스트리밍한다. 상기 부여는 데이터들의 조합을 의미한다.
어셋은 유니크(Unique)한 멀티미디어 데이터 엔티티(Multimedia data entity)를 의미하며 미리 설정된 단위량(일례, 패킷의 크기)의 다채널의 스트리밍 데이터들이 세그멘테이션(Segmentation) 가능하도록 어셈블리된 것을 의미한다. 즉, 어셋은 미리 정해진 규격으로 다채널의 스트리밍 데이터가 어셈블리된 구조를 갖는다.
UTC는 표준 시간에 기초한 클럭을 의미하며 스트리밍 데이터들의 동기화를 위한 시간 정보로 이용된다. 여기에서, 표준 시간은 인터넷을 통해 제공되는 세계 표준 시간이 이용되거나 스트리밍 서버(100)에서 다채널의 동기화를 위하여 자체적으로 설정된 기준 시간이 이용될 수 있다.
UTC는 시간 정보의 정확도와 표현하고자 하는 시간 범위에 따라 총 비트 수가 결정될 수 있다. 예시적으로, UTC가 64 비트로 구성되는 경우, UTC는 정수 단위의 초 시간을 표현하는 32비트와 소수 단위의 초 시간을 표현하는 32 비트로 구분될 수 있다.
스트리밍 서버(100)는 어셋에 UTC를 조합하거나, 어셋의 채널 별 스트리밍 데이터에 UTC를 조합할 수 있다. 채널 별 스트리밍 데이터에 UTC를 조합하는 경우, UTC는 각 채널 별로 동일하거나 다르게 조합될 수 있다.
스트리밍 서버(100)는 상기와 같이 어셋으로 어셈블리된 스트리밍 데이터들에 UTC를 부여하고 어셋을 패킷으로 구성한 후 데이터 스트림을 형성하고, 통신망(200)을 통하여 다채널의 스트리밍 데이터들을 포함하는 데이터 스트림을 라이브 스트리밍한다. 여기에서, 데이터 스트림은 정해진 포맷을 사용하여 바이트 형식으로 전송되는 데이터의 흐름을 의미한다.
스트리밍 서버(100)는 다채널의 스트리밍 데이터를 다양한 프로토콜을 이용하여 어셋과 패킷을 구성할 수 있으며, UTC는 정해진 프로토콜에 따라 어셋 단위 또는 스트리밍 데이터 단위로 조합될 수 있다.
스트리밍 서버(100)의 패킷은 상기한 어셋, 구성 정보(Composition Information), 전송 특성(ADC; Asset Delivery Characteristics) 정보 및 설명(descriptive) 정보 등을 포함할 수 있다.
이 중, 구성 정보는 어셋들 사이의 관계(relationship), 즉 공간적 및 시간적 관계에 대한 정보를 포함하며, 전송 특성 정보는 어셋의 전달을 위한 QoS(Quality of Service)와 어셋을 결정하기 위한 정보를 포함할 수 있고, 설명 정보는 패킷이나 스트리밍 데이터들에 관련한 부가 정보 등을 포함할 수 있다.
한편, 스트리밍 서버(100)의 패킷을 스트리밍 클라이언트(300)에 전달하기 위한 통신망(200)은 유무선 공중망 또는 유무선 인터넷망(도시되지 않음)이 이용될 수 있으며, 스트리밍 클라이언트(300)가 무선 디바이스인 경우 무선 공중망 또는 무선 인터넷망이 이용될 수 있다.
한편, 스트리밍 클라이언트(300)는 통신망(200)을 통하여 패킷으로 전달되는 데이터 스트림을 수신하고, 어셋의 스트리밍 데이터들을 디-어셈블리(de-assembly)한다. 그리고, 스트리밍 클라이언트(300)는 디-어셈블리된 스트리밍 데이터들을 UTC를 기준으로 재생 속도를 제어하여서 렌더링(Rendering)한다.
상술한 라이브 스트리밍 시스템은 복수의 스트리밍 소스(MS1~MSn) 및 스트리밍 클라이언트(300)를 모바일 디바이스로 구성할 수 있으며, 스트리밍 서버(100)는 복수의 스트리밍 소스(MS1~MSn)와 스트리밍 클라이언트(300) 간의 모바일 라이브 스트리밍을 중계하는 역할을 하도록 구성될 수 있다.
상기한 구성에서, 스트리밍 서버(100)의 상세한 구성은 도 2를 참조하여 설명한다.
스트리밍 서버(100)는 어셈블러(110)와 데이터 스트림 생성부(120) 및 UTC 제공부(130)를 포함한다.
어셈블러(110)는 복수의 스트리밍 소스(MS1~MSn)로부터 다채널을 통하여 스트리밍 데이터들을 수신하고, 스트리밍 데이터들을 어셋으로 어셈블리하도록 구성된다.
즉, 어셈블러(110)는 복수의 스트리밍 소스(MS1~MSn)로부터 다채널을 통하여 스트리밍 데이터들을 세그멘테이션 가능하도록 어셋으로 조합함으로써 스트리밍 데이터들을 어셋으로 어셈블리한다.
그리고, UTC 제공부(130)는 UTC를 데이터 스트림 셍성부(120)에 제공하도록 구성된다.
그리고, 데이터 스트림 생성부(120)는 스트리밍 데이터들에 UTC를 부여한 어셋을 패킷으로 구성한 데이터 스트림을 생성하고, 데이터 스트림을 통신망(200)으로 라이브 스트리밍하도록 구성된다.
데이터 스트림 생성부(120)는 어셋에 UTC를 조합하거나, 어셋의 채널 별 스트리밍 데이터에 동일하거나 다른 UTC를 조합할 수 있다.
데이터 스트림 생성부(120)는 정해진 포맷으로 어셋과 UTC를 조합한 패킷을 구성할 수 있으며, 패킷을 데이터 스트림으로 변환하여 라이브 스트리밍을 수행한다.
도 3은 다채널의 스트리밍 데이터들을 포함한 어셋이 표현된 데이터 스트림을 예시한다. 어셋은 채널 별로 세그멘테이션된 어셋 단위들(CMS1~CMSn)을 포함하며, 어셋 단위들(CMS1~CMSn)은 각각 스트리밍 데이터(SMS1~SMSn)이 UTC와 조합된 구성을 갖는다.
한편, 스트리밍 클라이언트(300)의 상세한 구성은 도 4를 참조하여 설명한다.
스트리밍 클라이언트(300)는 통신부(310), 패킷 버퍼(320), 디-어셈블러(330), 채널 버퍼(340), 재생 제어부(350), 렌더링부(360) 및 출력부(370)를 포함한다.
통신부(310)는 통신망(200)과 유선 또는 무선으로 접속되며 양방향 통신을 수행하는 모뎀으로 이해될 수 있다.
패킷 버퍼(320)는 통신부(310)를 통하여 라이브 스트리밍되는 데이터 스트림의 패킷을 임시로 저장한다. 패킷 버퍼(320)의 버퍼링 용량은 디-어셈블리할 어셋을 고려하여 결정될 수 있다.
디-어셈블러(330)는 패킷 버퍼(320)에 저장된 패킷의 어셋을 수신하고, 데이터 스트림의 어셋에 포함된 스트리밍 데이터들을 채널 별로 디-어셈블리한다.
채널 버퍼(340)는 디-어셈블러(330)에서 디-어셈블리된 스트리밍 데이터들을 채널 별로 분리하여 저장한다.
이때, UTC는 디-어셈블러(330)에서 채널 별 스트리밍 데이터들과 같이 디-어셈블리될 수 있으며, 채널 버퍼(340)에 스트리밍 데이터들과 같이 채널 별로 저장될 수 있다.
채널 버퍼(340)에 저장된 채널 별 스트리밍 데이터들은 복수의 스트리밍 소스(Ms1~Msn)에서 라이브 스트리밍한 운동 경기나 공연과 같은 대상의 이미지, 동영상, 오디오, 텍스트 또는 이들의 조합을 표현하기 위한 것일 수 있다.
그리고, 채널 버퍼(340)에 저장된 채널 별 스트리밍 데이터들은 복수의 스트리밍 소스(Ms1~Msn) 간의 시간 차 및 라이브 스트리밍 과정의 지연 차 등의 이유로 서로 다른 지연 시간을 가질 수 있다.
렌더링부(360)는 채널 버퍼(340)에서 제공되는 각 채널 별 스트리밍 데이터들에 대한 렌더링을 수행한다. 렌더링은 스트리밍 데이터를 사람이 인지 가능한 영상 등의 정보로 변환하는 과정을 의미하는 것이며, 채널 별 스트리밍 데이터를 변환 및 혼합하여 양질의 컨텐츠를 표현할 수 있다. 렌더링부(360)가 채널 별 스트리밍 데이터를 변환 및 혼합하여 출력하는 정보는 렌더링 정보라 정의할 수 있다.
그리고, 재생 제어부(350)는 채널 별 UTC를 채널 버퍼(340)에서 수신하고, UTC를 이용하여 채널 버퍼(340)에서 렌더링부(360)로 렌더링을 위하여 재생되는 채널 별 스트리밍 데이터들의 재생 속도를 조절한다.
그리고, 출력부(370)는 렌더링부(360)에서 출력되는 렌더링 정보를 사용자가 감상할 수 있도록 영상 또는 오디오로 출력할 수 있다. 이를 위하여, 출력부(370)는 디스플레이 장치와 오디오 장치 등을 포함할 수 있다.
상기한 구성에서 재생 제어부(350)에 의한 제어 동작을 보다 구체적으로 설명한다.
채널 버퍼(340)의 각 채널 별 스트리밍 데이터는 스트리밍 서버(100)에서 부여한 UTC를 각각 갖는다.
예시적으로, 재생 제어부(350)는 UTC를 이용하여 재생 시점이 가장 느린 채널을 확인한다. 이후, 재생 시점이 가장 느린 채널의 스트리밍 데이터의 UTC를 기준으로 앞서 채널 버퍼(340)에 저장된 다른 채널들의 스트리밍 데이터의 재생 속도를 제어하여 재생 시점을 동기화 시킨다. 이때, 이때 각 채널의 스트리밍 데이터에 대한 UTC는 스트리밍 서버(100)에서 서로 다르게 부여된 것으로 가정할 수 있고, 재생 제어부(350)는 재생 시점이 가장 느린 채널의 UTC와 각 채널의 UTC 간의 시간 차를 계산하여 스트리밍 데이터의 재생 속도를 각 채널 별로 다르게 조절할 수 있다.
도 5를 참조하면, 스트리밍 데이터(SMS1~SMSn) 중 스트리밍 데이터(SMS2)의 재생 시점이 가장 느린 채널로 가정할 수 있다. 도 5는 재생 제어부(350)가 스트리밍 데이터(SMS2)의 UTC를 기준으로 다른 채널들의 스트리밍 데이터들의 UTC 간의 시간 차를 계산하여 재생 속도를 채널 별로 다르게 조절하는 것을 예시한 것이다.
상술한 바와 같이 본 발명은 채널 별 스트리밍 데이터들의 재생 속도를 조절함으로써 채널 간의 지연 차가 해소됨으로써 스트리밍 데이터들 간의 동기화가 이루어지고 서로 다른 동영상들이나 오디오들을 자연스럽게 연결해서 재생할 수 있다.
또한, 상술한 바와 같이 본 발명은 채널 별 스트리밍 데이터들의 재생 속도를 조절함으로써 렌더링에 의해 같이 출력되는 두 채널의 스트리밍 데이터들 간의 동기화가 자연스럽게 이루어질 수 있다.
한편, 디-어셈블리되어 채널 버퍼(340)에 저장된 스트리밍 데이터들 중 동영상을 포함하는 스트리밍 데이터의 UTC를 기준으로 다른 스트리밍 데이터의 재생 속도를 조절할 수 있다.
스트리밍 데이터(SMS1)가 동영상을 포함하는 것으로 가정하고, 스트리밍 데이터(SMS2)는 오디오를 포함하는 것으로 가정하고, 스트리밍 데이터(SMSn)는 텍스트를 포함하는 것으로 가정한다. 이 경우, 재생 제어부(350)는 스트리밍 데이터(SMS1)의 UTC를 기준으로 다른 채널들의 스트리밍 데이터들(SMS2, SMSn)의 UTC 간의 시간 차를 계산하여 재생 속도를 채널 별로 다르게 조절할 수 있다.
구체적으로, 도 5의 경우 재생 제어부(350)는 스트리밍 데이터(SMS1)의 UTC를 기준으로 스트리밍 데이터(SMS2)의 재생 속도를 빠르게 하고 스트리밍 데이터(SMSn)의 재생 속도를 느리게 제어할 수 있다. 그러므로, 재생 제어부(350)는 동영상인 스트리밍 데이터(SMS1)를 기준으로 스트리밍 데이터들(SMS2, SMSn)을 동기화할 수 있다.
본 발명은 상술한 바와 같이 다채널의 스트리밍 데이터들의 동기화를 구현할수 있으며, 스트리밍 클라이언트(300)는 서로 다른 채널의 동영상들 또는 오디오(Audio)들을 자연스럽게 연결하여 재생하거나, 서로 다른 채널의 동영상과 오디오를 자연스럽게 동기화하여 재생하거나, 서로 다른 채널의 동영상 또는 오디오와 텍스트(Text)를 자연스럽게 동기화하여 재생할 수 있다.

Claims (16)

  1. 복수의 스트리밍 소스로부터 이미지, 동영상, 오디오, 텍스트 및 이들의 복합 중 적어도 둘 이상에 대한 스트리밍 데이터들을 다채널을 통하여 수신하고, 상기 스트리밍 데이터들을 어셋(Asset)으로 어셈블리(Assembly)하며, 상기 스트리밍 데이터들에 유니버셜 타임 클럭을 부여한 상기 어셋을 패킷으로 구성한 데이터 스트림을 통신망으로 라이브 스트리밍하는 스트리밍 서버; 및
    상기 통신망을 통하여 상기 데이터 스트림을 수신하고, 상기 어셋의 상기 스트리밍 데이터들을 디-어셈블리(de-assembly)하며, 디-어셈블리된 상기 스트리밍 데이터들의 상기 유니버셜 타임 클럭 간의 시간 차를 계산하고, 미리 설정된 제1 스트리밍 데이터의 상기 유니버셜 타임 클럭을 기준으로 상기 시간 차에 따라 채널 별로 재생 속도가 다르게 상기 스트리밍 데이터들을 제어하여서 렌더링(Rendering)하는 스트리밍 클라이언트;를 포함함을 특징으로 하는 라이브 스트리밍 시스템.
  2. 제1 항에 있어서,
    상기 복수의 스트리밍 소스 및 스트리밍 클라이언트는 모바일 디바이스로 구성되며,
    상기 스트리밍 서버는 상기 복수의 스트리밍 소스와 상기 스트리밍 클라이언트 간의 모바일 라이브 스트리밍을 중계하는 라이브 스트리밍 시스템.
  3. 제1 항에 있어서,
    각각의 상기 스트리밍 소스는 이미지, 동영상, 오디오 및 텍스트를 개별적 또는 복합적으로 구성한 상기 스트리밍 데이터를 자신에 할당된 채널을 통하여 상기 스트리밍 서버에 라이브 스트리밍하는 라이브 스트리밍 시스템.
  4. 삭제
  5. 제1 항에 있어서, 상기 스트리밍 서버는,
    상기 복수의 스트리밍 소스로부터 상기 다채널을 통하여 상기 스트리밍 데이터들을 수신하고, 상기 스트리밍 데이터들을 상기 어셋으로 어셈블리하는 어셈블러;
    상기 유니버셜 타임 클럭을 제공하는 유니버셜 타임 클럭 제공부; 및
    상기 스트리밍 데이터들에 상기 유니버셜 타임 클럭을 부여한 상기 어셋을 상기 패킷으로 구성한 상기 데이터 스트림을 생성하고, 상기 데이터 스트림을 상기 통신망으로 라이브 스트리밍하는 데이터 스트림 생성부;를 포함하는 라이브 스트리밍 시스템.
  6. 제5 항에 있어서,
    상기 데이터 스트림 생성부는 상기 어셋의 상기 스트리밍 데이터들에 공통으로 적용하는 상기 유니버셜 타임 클럭을 조합하는 라이브 스트리밍 시스템.
  7. 제5 항에 있어서,
    상기 데이터 스트림 생성부는 상기 어셋의 상기 스트리밍 데이터 별로 상이한 상기 유니버셜 타임 클럭을 조합하는 라이브 스트리밍 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제1 항에 있어서, 상기 스트리밍 클라이언트는,
    상기 통신망을 통하여 라이브 스트리밍되는 상기 데이터 스트림의 상기 패킷을 저장하는 패킷 버퍼;
    상기 패킷의 상기 어셋에 포함된 상기 스트리밍 데이터들을 디-어셈블리하는 디-어셈블러;
    디-어셈블리된 상기 스트리밍 데이터들을 채널 별로 분리하여 저장하는 채널 버퍼;
    상기 채널 버퍼의 상기 스트리밍 데이터들에 대한 렌더링을 수행하는 렌더링부; 및
    디-어셈블리된 상기 스트리밍 데이터들의 상기 유니버셜 타임 클럭 간의 시간 차를 계산하고, 미리 설정된 상기 제1 스트리밍 데이터의 상기 유니버셜 타임 클럭을 기준으로 상기 시간 차에 따라 채널 별로 재생 속도가 다르게 렌더링을 제어하는 재생 제어부;를 포함하는 라이브 스트리밍 시스템.
  12. 삭제
  13. 삭제
  14. 복수의 스트리밍 소스에 대응하며 이미지, 동영상, 오디오, 텍스트 및 이들의 복합 중 적어도 둘 이상에 대한 다채널의 스트리밍 데이터들이 어셋(Asset)으로 어셈블리(Assembly)되며 상기 스트리밍 데이터에 유니버셜 타임 클럭을 부여하여 라이브 스트리밍되는 데이터 스트림의 패킷을 저장하는 패킷 버퍼;
    상기 패킷의 상기 어셋에 포함된 상기 스트리밍 데이터들을 디-어셈블리하는 디-어셈블러;
    디-어셈블리된 상기 스트리밍 데이터들을 채널 별로 분리하여 저장하는 채널 버퍼;
    상기 채널 버퍼의 상기 스트리밍 데이터들에 대한 렌더링을 수행하는 렌더링부; 및
    디-어셈블리된 상기 스트리밍 데이터들의 상기 유니버셜 타임 클럭 간의 시간 차를 계산하고, 미리 설정된 제1 스트리밍 데이터의 상기 유니버셜 타임 클럭을 기준으로 상기 시간 차에 따라 채널 별로 재생 속도가 다르게 렌더링을 제어하는 재생 제어부;를 포함함을 특징으로 하는 라이브 스트리밍 시스템의 스트리밍 클라이언트.
  15. 삭제
  16. 삭제
KR1020170016973A 2016-09-09 2017-02-07 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트 KR101810883B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160116275 2016-09-09
KR20160116275 2016-09-09

Publications (1)

Publication Number Publication Date
KR101810883B1 true KR101810883B1 (ko) 2017-12-20

Family

ID=60931167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170016973A KR101810883B1 (ko) 2016-09-09 2017-02-07 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트

Country Status (1)

Country Link
KR (1) KR101810883B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101487491B1 (ko) 2014-07-22 2015-02-04 주식회사 에세텔 다중 채널의 무선 백홀 장치에서 동기 신호 수신 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101487491B1 (ko) 2014-07-22 2015-02-04 주식회사 에세텔 다중 채널의 무선 백홀 장치에서 동기 신호 수신 시스템 및 방법

Similar Documents

Publication Publication Date Title
US8477950B2 (en) Home theater component for a virtualized home theater system
JP4990762B2 (ja) インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持
US11095929B2 (en) Video distribution synchronization
US10341672B2 (en) Method and system for media synchronization
US20160373789A1 (en) Transmission device, transmission method, receiving device, and receiving method
KR101934200B1 (ko) 미디어 동기화 방법 및 시스템
CN105491393A (zh) 多人视频直播业务的实现方法
JP2012520648A (ja) 変更されたストリーム同期
JP2004525545A (ja) 複数の独立したメディア・ストリームを時間軸で同期するウェブキャスト方法及びシステム
US10334293B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
JP5841715B2 (ja) 映像音声出力装置、および映像音声出力システム、およびマスタ装置
JPWO2015064383A1 (ja) 送信装置、送信方法、受信装置、及び、受信方法
WO2016008131A1 (en) Techniques for separately playing audio and video data in local networks
JP2015070460A (ja) 映像音声配信システム、音声映像配信方法及びプログラム
Tang et al. Audio and video mixing method to enhance WebRTC
KR102090070B1 (ko) 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템
WO2015146647A1 (ja) 送信装置、送信方法、受信装置、受信方法、及び、プログラム
WO2021111988A1 (ja) 動画再生装置、動画再生システム、および動画再生方法
KR101748382B1 (ko) 비디오 스트리밍 제공 방법 및 시스템
JP2009081654A (ja) ストリーム同期再生システム及び方法
KR101810883B1 (ko) 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트
JP2002369163A (ja) マルチストリーム出力時刻制御方法及びその制御装置
KR101920051B1 (ko) Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법
JP2008016894A (ja) 送信装置及び受信装置
KR20200053178A (ko) 미디어 서비스 채널 전환 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant