KR102090070B1 - 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템 - Google Patents

스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템 Download PDF

Info

Publication number
KR102090070B1
KR102090070B1 KR1020180131698A KR20180131698A KR102090070B1 KR 102090070 B1 KR102090070 B1 KR 102090070B1 KR 1020180131698 A KR1020180131698 A KR 1020180131698A KR 20180131698 A KR20180131698 A KR 20180131698A KR 102090070 B1 KR102090070 B1 KR 102090070B1
Authority
KR
South Korea
Prior art keywords
files
piece
client terminal
channel
fragment
Prior art date
Application number
KR1020180131698A
Other languages
English (en)
Inventor
송기석
정희재
황영훈
Original Assignee
카테노이드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 카테노이드 주식회사 filed Critical 카테노이드 주식회사
Priority to KR1020180131698A priority Critical patent/KR102090070B1/ko
Application granted granted Critical
Publication of KR102090070B1 publication Critical patent/KR102090070B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

일 실시 예에 의한 클라이언트 단말과 통신 프로토콜에 의해 연동하는 스트리밍 서버는, 오디오 데이터 및 복수의 비디오 데이터 각각을 인코딩하는 인코더; 상기 인코딩된 오디오 데이터를 특정 시간 단위로 분할하여 다수의 제1 조각 파일을 생성하는 오디오 스트림 세그멘터; 상기 인코딩된 복수의 비디오 데이터 각각을 상기 특정 시간 단위로 분할하여 다수의 제2 조각 파일을 생성하는 비디오 스트림 세그멘터; 및 상기 오디오 스트림 세그멘터 및 상기 비디오 스트림 세그멘터 각각에 상기 특정 시간 단위로 동일한 생성 시점을 나타내는 타임 스탬프를 제공하여 상기 다수의 제1 및 제2 조각 파일 중 서로 대응되는 조각 파일의 시작 시점을 서로 동기화하는 타임 스탬프 동기화 모듈;을 포함할 수 있다.

Description

스트리밍 서버, 클라이언트 단말 및 이를 이용한 AV 라이브 스트리밍 시스템{STREAMING SERVER, CLIENT TERMINAL AND AUDIO/VIDEO LIVE STREAMING SYSTEM USING THE SAME}
본 발명은 스트리밍 서버, 클라이언트 단말 및 이를 이용한 AV 라이브 스트리밍 시스템에 관한 것이다.
네트워크 기술의 발전과 다양한 사용자 단말기의 보급에 의해 여러 형태의 멀티미디어 서비스가 제작 및 소비되고 있다. 또한, 3G, 4G, 그리고 Wi-Fi 등의 통신 기술의 발전으로 데이터 전송 속도가 빨라짐에 따라 멀티미디어 콘텐츠의 수요가 증가하고 있다.
스포츠 중계뿐 아니라, 게임 방송과 같이 여러 명이 참여하는 프로그램을 방송할 때 시청자들은 종종 자신이 원하는 플레이어를 집중적으로 보기 원하지만, 기존의 텔레비전 방송 서비스는 방송사가 선택한 편집화면을 하나의 채널을 통해 제공한다.
이 같은 점을 개선하기 위해 최근 단순한 소비형태의 비디오 스트리밍 서비스뿐만 아니라 다시점 비디오 서비스(multi-view video service)와 같은 대화형 서비스에 대한 관심이 급증하고 있다. 다시점 비디오 서비스는 2대 이상의 카메라를 사용하여 여러 시점에서 촬영한 영상을 다수의 채널을 통하여 사용자가 선택한 영상으로 제공하는 것이 가능한 형태의 비디오 스트리밍 서비스이다.
그러나, 사용자가 재생 중인 채널을 변경하여 다양한 시점에서 촬영된 영상을 제공 받고자 하는 경우 채널 전환에 따른 소정의 지연 시간이 발생되고, 이에 따라 영상 및 음성 전환의 버퍼링 시간이 존재하게 된다. 따라서 사용자는 채널 전환 시 일정 시간을 기다려야 하므로 끊김이 없는 음성을 제공받기 어려운 문제점이 있다.
이에, 실시 예는 복수의 채널을 통해 전송되는 다시점(multi-view point) 비디오 서비스에 있어서, 사용자가 실시간으로 채널을 변경하여 시점(view point)을 전환하더라도 끊김이 없는 심리스(seamless)한 오디오 데이터를 제공하기 위한 스트리밍 서버, 클라이언트 단말 및 이를 이용한 AV 라이브 스트리밍 시스템을 제공하기 위한 것이다.
실시 예에서 해결하고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제는 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
실시 예는, 클라이언트 단말과 통신 프로토콜에 의해 연동하는 스트리밍 서버에 있어서, 오디오 데이터 및 복수의 비디오 데이터 각각을 인코딩하는 인코더; 상기 인코딩된 오디오 데이터를 특정 시간 단위로 분할하여 다수의 제1 조각 파일을 생성하는 오디오 스트림 세그멘터; 상기 인코딩된 복수의 비디오 데이터 각각을 상기 특정 시간 단위로 분할하여 다수의 제2 조각 파일을 생성하는 비디오 스트림 세그멘터; 및 상기 오디오 스트림 세그멘터 및 상기 비디오 스트림 세그멘터 각각에 상기 특정 시간 단위로 동일한 생성 시점을 나타내는 타임 스탬프를 제공하여 상기 다수의 제1 및 제2 조각 파일 중 서로 대응되는 조각 파일의 시작 시점을 서로 동기화하는 타임 스탬프 동기화 모듈;을 포함하는 스트리밍 서버를 제공한다.
다른 실시 예는, 스트리밍 서버와 통신 프로토콜에 의해 연동하는 클라이언트 단말에 있어서, 복수의 채널을 선택적으로 재생 또는 변경하기 위한 소정의 입력을 수신하는 입력부; 오디오 데이터에 대응되는 다수의 제1 조각 파일 및 상기 복수의 채널로부터 수신한 복수의 비디오 데이터 각각에 대응되는 다수의 제2 조각 파일을, 상기 스트리밍 서버로부터 수신하는 통신부; 상기 입력부로부터 특정 채널의 재생 요청을 수신하면, 상기 다수의 제1 조각 파일과 상기 특정 채널에 대응되는 다수의 제2 조각 파일을 서로 동기화시키는 제어부; 및 상기 제어부로부터 동기화된 다수의 제1 및 제2 조각 파일을 합성하여 실시간 오디오/비디오(AV; Audio/Video)를 출력하는 출력부;를 포함하고, 상기 제어부는, 상기 입력부로부터 채널 변경 요청을 수신하면 상기 다수의 제1 조각 파일과 변경 채널에 대응되는 다수의 제2 조각 파일을 서로 동기화시키고, 상기 다수의 제1 및 제2 조각 파일 중 서로 대응되는 조각 파일은 타임 스탬프를 통하여 서로 동기화되는, 클라이언트 단말을 제공한다.
이때, 상기 통신 프로토콜은, 대시(DASH; Dynamic Adaptive Streaming over HTTP) 및 에이치엘에스(HLS; HTTP Live Streaming) 중 적어도 하나를 포함할 수 있다.
또한, 상기 복수의 비디오 데이터 각각은, 360도 카메라로 촬영된 영상 데이터를 포함할 수 있다.
본 발명의 적어도 일 실시 예에 의하면, 오디오 데이터의 재생을 연속적으로 유지한 채, 채널 변경 요청 당시 식별된 타임 스탬프에 기초하여 변경된 채널의 비디오 데이터를 서로 동기화(또는 정합)시킴에 따라, 사용자가 실시간으로 채널을 변경하더라도 끊김이 없는 심리스(seamless)한 오디오 데이터를 제공할 수 있다.
본 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과는 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른, AV 라이브 스트리밍 시스템의 개략도이다.
도 2는 본 발명의 일 실시 예에 따른 스트리밍 서버의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 스트리밍 서버에 다시점 비디오 데이터를 제공하기 위한 비디오 카메라를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 스트리밍 서버에 있어서 오디오 데이터 및 복수의 비디오 데이터를 다수의 조각 파일로 동기화하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 클라이언트 단말의 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 클라이언트 단말에 있어서 채널 변경 시, 오디오 데이터 및 복수의 비디오 데이터를 동기화하여 출력하는 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 실시 예를 상세히 설명한다. 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 실시 예의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
"제1", "제2" 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 이러한 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용된다. 또한, 실시 예의 구성 및 작용을 고려하여 특별히 정의된 용어들은 실시 예를 설명하기 위한 것일 뿐이고, 실시 예의 범위를 한정하는 것이 아니다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시 예에 의한 스트리밍 서버 및 클라이언트 단말에 대하여 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 1은 본 발명의 일 실시 예에 따른, AV 라이브 스트리밍 시스템의 개략도이다.
도 1을 참조하면, 본 발명에 따른 AV 라이브 스트리밍(Audio/Video Live Streaming) 시스템은 스트리밍 서버(100) 및 클라이언트 단말(200)을 포함할 수 있다.
본 발명에서 설명하는 클라이언트 단말(200)은 통신망을 통하여 라이브 스트리밍되는 출력 데이터를 수신하고 이를 재생할 수 있는 장치로 구성될 수 있으며, 예시적으로 스마트폰과 같은 이동 단말기, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 태블릿 컴퓨터(Tablet PC), 노트북 및 TV 등 다양한 장치가 이용될 수 있다.
스트리밍 서버(100)는 통신망을 통하여 클라이언트 단말(200)과 연동되며, 통신망은 다양한 형태로 구현될 수 있다. 여기서, 통신망은 라이브 스트리밍(Live Streaming)을 지원하는 통신 프로토콜을 이용할 수 있다. 본 발명에 따른 AV 라이브 스트리밍 시스템을 구성하는 각 장치에 대해 설명하기에 앞서, 스트리밍 서버(100)와 클라이언트 단말(200) 사이의 통신 프로토콜 방식에 대해 보다 상세히 설명하기로 한다.
라이브 스트리밍이란 스트리밍 대상 컨텐츠를 실시간으로 클라이언트 단말(200)로 보내 재생하도록 하는 방식을 말한다. 온 디맨드 스트리밍(On-Demand Streaming) 방식에서는 동영상의 촬영과 편집을 거쳐 동영상 파일을 제작한 다음 클라이언트 단말의 요청이 있을 때, 상기 제작한 동영상을 클라이언트 단말로 제공하게 되지만, 라이브 스트리밍 방식에서는 비디오와 오디오를 실시간으로 인코딩하여 다수의 클라이언트 단말(200)로 동시에 전송할 수 있는 환경이 구성되어야 한다.
종래 라이브 스트리밍을 위해서 UDP(User Datagram Protocol) 또는 UDP/RDP(Remote Desktop Protocol) 등 저레벨(Low-Level) 프로토콜이 사용되어 왔다. 저레벨 프로토콜을 사용하는 종래의 스트리밍 서버는 영상 데이터의 전송에 부가하여, 동영상의 정보 분석, 동영상 파일을 전송 규격에 맞도록 변형하는 기능 등을 더욱 구비하여야 한다. 이에 따라, 저레벨 프로토콜을 사용하는 스트리밍 서버의 도입 비용은 상대적으로 높다는 문제점이 있다.
그리고, 저레벨 프로토콜을 사용하는 스트리밍 서버는 방화벽이나 네트워크 주소 변환기(Network Address Translation, NAT)가 이용되는 환경에서는 서비스 품질의 저하가 발생한다는 문제점이 있다.
이와 같은 종래 라이브 스트리밍의 문제점을 해결하기 위해, 본 발명의 일 실시 예에 따른 통신 프로토콜은 DASH(Dynamic Adaptive Streaming over HTTP) 및 HLS(HTTP Live Streaming) 중 적어도 하나를 포함할 수 있다.
DASH(Dynamic Adaptive Streaming over HTTP)는 인터넷 프로토콜(HTTP)을 이용하여 클라이언트 단말에서 사용자의 네트워크 상황을 직접 예측하여, 스트리밍 서버에 적절한 품질의 컨텐츠를 요청함으로써 적응적 스트리밍을 할 수 있는 서비스이다.
HLS(http Live Streaming)는 Apple 사에서 제안한 HTTP(Hyper Text Transfer Protocol) 기반, 고레벨(High-Level) 프로토콜을 이용한 전송 프로토콜을 말한다. HTTP는 방화벽 환경에서, HTTP 서버로의 요청만 통과시키면 되기 때문에, 방화벽 설정을 단순화 할 수 있다는 이점을 가지며, 스트리밍 서버(100)에 대한 요청 및 응답이 1:1로 대응될 수 있어, 네트워크 주소 변환기가 사용되는 환경에서도 스트리밍 서버(100)와 손쉽게 통신할 수 있다.
상술한 설명을 기초로 본 발명에 따른 AV 라이브 스트리밍 시스템에 대해 상세히 살펴보기로 한다.
도 2는 본 발명의 일 실시 예에 따른 스트리밍 서버의 블록도이다.
도 2를 참조하면, 본 발명에 따른 스트리밍 서버(100)는 인코더(110), 스트림 세그멘터(120), 타임 스탬프 동기화 모듈(130), 저장부(140) 및 통신부(150)를 포함할 수 있다.
인코더(110)는 적어도 하나의 마이크(310)로부터 입력되는 오디오 데이터를 수신하는 오디오 인코더(112) 및 복수의 비디오 카메라(320_1, 320_2, 320_n)에 의해 촬영된 복수의 비디오 데이터 각각을 복수의 채널(330_1, 330_2, 330_n)을 통하여 수신하는 비디오 인코더(114)를 포함할 수 있다.
여기서, 복수의 비디오 카메라(320_1, 320_2, 320_n)는 대화형(Interactive) 비디오 스트리밍 서비스 및/또는 가상 현실(VR; Virtual Reality) 콘텐츠 제공 서비스에 적용될 수 있도록, 다수의 시점(multi-view point)에서 촬영될 수 있다. 이에 대하여 도 3을 참조하여 먼저 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 스트리밍 서버에 다시점 비디오 데이터를 제공하기 위한 비디오 카메라를 설명하기 위한 도면이다.
도 3에 도시된 복수의 비디오 카메라(320)는 야구 경기를 실시간으로 스트리밍하기 위해 야구 경기장에 설치될 수 있다. 다만, 이는 이해를 돕기 위한 예시적인 것으로, 복수의 비디오 카메라가 설치되는 위치 내지 공간은 이에 한정되지 아니한다.
도 3을 참조하면, 복수의 비디오 카메라(320) 중 제1 카메라(320_1)는 야구 경기장의 전체 화면을 잡기 위해 포수 뒤쪽의 관중석 상단에 설치되고, 제2 및 제3 카메라(320_2, 320_3) 각각은 외야 관중석의 좌, 우측에 설치되며, 제4 카메라(320_4)는 1루측 관중석에 설치될 수 있으며, 복수의 비디오 카메라(320)는 다수의 시점(multi-view point)에서 촬영된 비디오 데이터를 제공할 수 있다. 여기서, 복수의 비디오 카메라(320) 각각은 360도 VR 카메라를 포함할 수 있다.
상술한 바와 같이, 본 발명의 AV 라이브 스트리밍 시스템에 적용되는 복수의 비디오 카메라(320)는 대화형(Interactive) 비디오 스트리밍 서비스 및/또는 가상 현실(VR; Virtual Reality) 콘텐츠 제공 서비스에 적용될 수 있도록 다수의 시점(multi-view point)에서 촬영될 수 있으며, 촬영된 복수의 비디오 데이터를 복수의 채널을 통하여 실시간으로 전송할 수 있다.
이때, 사용자가 재생 중인 채널을 변경하여 다양한 시점(view point)에서 촬영된 비디오 데이터를 제공 받고자 하는 경우, 오디오 데이터의 끊김 현상이 발생할 수 있다. 그 이유는, 복수의 비디오 카메라(320)는 서로 다른 URL 주소를 가지는 채널을 통하여 음성 및 영상이 합성된 데이터를 송출하며, 채널이 변경될 경우 소정의 지연 시간이 발생하기 때문이다. 이에, 본 발명의 AV 라이브 스트리밍 시스템은, 채널이 변경되더라도 오디오 데이터의 끊김을 방지할 수 있는 방법을 제시하고자 한다.
다시 도 2로 돌아와서, 인코더(110, encoder)는 실시간 비디오 카메라(320_1, 320_2, 320_n)에 의해 촬영된 비디오 데이터 및/또는 마이크(310)로부터 입력되는 오디오 데이터를 압축하여 부호화하는 인코딩(encoding) 기능을 수행할 수 있다. 인코더(110)에 의한 인코딩 규격은, MPEG4, MPEG2 등을 따를 수 있으나, 반드시 특정 코덱 형식으로 이루어져야 하는 것은 아니며 임의의 코덱 형식으로 인코딩하는 것도 가능하다.
한편, 인코더(110)로 전송되는 복수의 비디오 데이터 각각은, 도 3에서 전술한 바와 같이 360도 카메라로 촬영된 영상 데이터를 포함할 수 있다.
스트림 세그멘터(120)는 인코더(110)로부터 인코딩된 데이터를 특정 시간 단위로 분할 또는 패킷타이징(packetizing)하여 다수의 조각 파일-예컨대, 청크(chunk) 파일-을 생성하고, 타임 스탬프 동기화 모듈(130)로부터 분할된 다수의 조각 파일 단위로 생성된 타임 스탬프(time stamp)를 제공 받을 수 있다. 패킷타이징(packetizing)이란 인코딩된 데이터를 통신망을 통해 전송하는 것이 용이하도록 적당한 길이로 분할하거나 또는 데이터가 짧은 경우 적당한 길이로 일괄하여 그 각각에 수신되어야 할 주소 등의 제어 정보를 부여하는 것을 뜻한다.
또한, 스트림 세그멘터(120)는 실시간으로 입력되는 오디오 및/또는 비디오 데이터에 대응하는 다수의 조각 파일을 실시간으로 갱신할 수 있다.
스트림 세그멘터(120)는 오디오 스트림 세그멘터(122) 및 비디오 스트림 세그멘터(124)를 각각 포함할 수 있다. 오디오 스트림 세그멘터(122)는 인코딩된 오디오 데이터를 특정 시간 단위로 분할하여 다수의 제1 조각 파일을 생성하고, 비디오 스트림 세그멘터(124)는 인코딩된 복수의 비디오 데이터 각각을 상기 특정 시간 단위로 분할하여 다수의 제2 조각 파일을 생성할 수 있다.
여기서, 다수의 제1 및 제2 조각 파일은 타임 스탬프 동기화 모듈(130)을 통해 제공되는 타임 스탬프에 의하여 특정 시간 단위로 서로 동기화될 수 있으며, 다수의 제2 조각 파일은 복수의 채널(330_1, 330_2, 330_n) 별로 생성될 수 있다.
타임 스탬프 동기화 모듈(130)은 오디오 스트림 세그멘터(122) 및 비디오 스트림 세그멘터(124) 각각에 특정 시간 단위로 동일한 생성 시점을 나타내는 타임 스탬프(time stamp)를 제공하여, 다수의 제1 및 제2 조각 파일 중 서로 대응되는 조각 파일의 시작 시점을 서로 동기화할 수 있다.
저장부(140)는 스트림 세그멘트(120)에 의해 분할된 다수의 제1 및 제2 조각 파일을 소정 시간 동안 저장할 수 있다. 여기서, 소정 시간은 클라이언트 단말(200)에서 출력될 수 있는 실시간 오디오/비디오(AV) 분량과 대응될 수 있다. 또한, 저장부(140)의 저장 용량은 복수의 채널 개수 및 소정 시간에 따라 적절히 선택될 수 있다.
통신부(150)는 클라이언트 단말(200)로 실시간 오디오/비디오(AV)의 재생에 필요한 다수의 제1 및 제2 조각 파일을 전송할 수 있다.
이하에서는 도 4를 참조하여 오디오 데이터 및 복수의 비디오 데이터를 다수의 조각 파일로 동기화시키는 방법을 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따른 스트리밍 서버에 있어서 오디오 데이터 및 복수의 비디오 데이터를 다수의 조각 파일로 동기화하는 방법을 설명하기 위한 도면이다.
도 2 및 도 4를 함께 참조하면, 오디오 스트림 세그멘터(122)는 인코딩된 오디오 데이터(A)를 소정의 단위로 분할하여, m개의 제1 조각 파일(AC1, AC2, AC3, ACm)을 생성할 수 있다. 여기서 m은 1 보다 큰 정수일 수 있다.
m개의 제1 조각 파일(AC1, AC2, AC3, ACm)은 오디오 데이터(A)의 최소 데이터 단위로 구분될 수 있으며, 데이터 단위는 마이크(310)에 의해 다양한 포맷으로 정의 및 구성될 수 있다. 이때, 데이터 단위는 예시적으로 특정 시간 단위, 프레임 단위 또는 데이터 양 단위로 구분될 수 있으나, 본 발명의 범주는 이에 한정되지 아니한다.
또한, 오디오 스트림 세그멘터(122)는 타임 스탬프 동기화 모듈(130)로부터 타임 스탬프(time stamp)를 제공 받을 수 있으며, 타임 스탬프를 통해 오디오 데이터(A)를 시작 시점(t1)으로부터 순차적으로 연속되는 m개의 제1 조각 파일(AC1, AC2, AC3, ACm)로 분할할 수 있다.
여기서, 타임 스탬프는 어느 시점에 적어도 하나의 제1 조각 파일이 존재했거나 수신되었다는 사실을 증명하기 위하여 특정 위치에 표시되는 시각 정보이며, 시간의 시점을 표시하는 시간 변위 매개 변수로 이해될 수 있다.
비디오 스트림 세그멘터(124)는 타임 스탬프 동기화 모듈(130)로부터 타임 스탬프를 제공 받을 수 있으며, 인코딩된 복수의 비디오 데이터(V1, V2, Vn) 각각을 상기 타임 스탬프에 기초하여 시작 시점(t1)으로부터 순차적으로 연속되는 m개의 제2 조각 파일(VC1, VC2, VC3, VCm)로 분할할 수 있다.
이때, 타임 스탬프 동기화 모듈(130)은 상기 소정의 단위로 동일한 생성 시점을 나타내는 타임 스탬프를 통하여 m개의 제1 조각 파일(AC1, AC2, AC3, ACm)과 m개의 제2 조각 파일(VC1, VC2, VC3, VCm) 중 서로 대응되는 조각 파일의 시작 시점을 서로 동기화할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 타임 스탬프 동기화 모듈(130)은 m개의 제1 조각 파일(AC1, AC2, AC3, ACm) 각각과 대응되는 m개의 제2 조각 파일(VC1, VC2, VC3, VCm) 각각의 시작 시점(t1, t2, t3, tm)을 일치시킴에 따라 동기화를 수행할 수 있다.
그리고, m개의 제2 조각 파일 각각은 복수의 채널(330_1, 330_2, 330_n) 별로 생성될 수 있으며, 복수의 채널(330_1, 330_2, 330_n)에 대응되는 수로 구성될 수 있다. 예를 들어, n개의 채널(330_1, 330_2, 330_n)을 통해 전송되는 n개의 비디오 데이터(V1, V2, Vn) 각각은 m개의 제2 조각 파일로 구성될 수 있다. 여기서, n은 1 보다 큰 정수이고, n과 m은 서로 동일하거나 상이할 수 있다.
상술한 바와 같이, 하나의 오디오 데이터 및 복수의 비디오 데이터를 다수의 조각 파일로 분할하고, 각 조각 파일의 시작 시점을 동기화시키는 이유는, 사용자가 실시간 채널 변경을 통해 비디오 데이터(V1, V2, Vn)의 시점(view point)을 전환하더라도 끊김이 없는 심리스(seamless)한 오디오 데이터를 제공하기 위함이다.
이하에서는 도 5를 참조하여 채널 변경에 따른 심리스한 오디오 데이터를 제공할 수 있는 클라이언트 단말의 구성을 설명하기로 한다.
도 5는 본 발명의 일 실시 예에 따른 클라이언트 단말의 블록도이다.
도 5를 참조하면, 클라이언트 단말(200)은 통신부(210), 디코더(220), 저장부(230), 입력부(240), 출력부(250) 및 제어부(260)를 포함할 수 있다.
통신부(210)는 오디오 데이터에 대응되는 다수의 제1 조각 파일 및 복수의 채널(330_1, 330_2, 330_n)로부터 수신한 복수의 비디오 데이터 각각에 대응되는 다수의 제2 조각 파일을, 상기 스트리밍 서버(100)로부터 수신할 수 있다.
디코더(220, decoder)는 통신부(210)가 수신한 다수의 제1 및 제2 조각 파일을 디패킷타이징(Depacketizing)하고, 인코딩된 데이터의 압축 및 부호화를 해제하는 디코딩(decoding) 기능을 수행할 수 있다. 여기서, 디패킷타이징 (Depacketizing)이란 분할된 다수의 제1 및 제2 조각 파일 각각을 이어 붙여 패킷타이징(Packetizing) 이전의 상태로 데이터를 복원해주는 것을 뜻한다. 또한, 디코딩은 반드시 특정 코덱 형식으로 이루어져야 하는 것은 아니며 임의의 코덱 형식으로 디코딩하는 것도 가능하다.
저장부(230)는 클라이언트 단말(200)에서 입출력되는 데이터를 임시로 저장할 수 있으며, 비휘발성 메모리(non-volatile memory)로 구현될 수 있다. 또한, 저장부(230)는 제어부(260)를 제어하기 위한 프로그램을 저장할 수도 있다.
입력부(240)는 복수의 채널(330_1, 330_2, 330_n)을 선택적으로 재생 또는 변경하기 위하여 외부로부터 사용자 입력을 수신하는 역할을 수행할 수 있다. 사용자는 복수의 채널(330_1, 330_2, 330_n)을 통해 전송되는 서로 다른 시점(VP; View Point)의 영상(또는 객체) 중에서 특정 시점(VP)의 영상을 제공받고자 하는 경우, 입력부(240)를 통하여 현재 재생 중인 채널의 변경을 요청할 수 있다.
입력부(240)는 리모컨으로부터 사용자 입력을 수신하기 위해 적외선 수신 모듈을 구비하거나, 버튼 또는 터치 방식으로 사용자 입력을 수신하기 위해 버튼 또는 터치 수신 장치 등을 구비할 수도 있다. 또한, 입력부(240)는 출력부(250)와 터치스크린으로 일원화 될 수도 있다. 이 경우, 터치스크린은 사용자로부터 터치 입력을 수신하기 위한 입력 장치의 역할을 수행함과 동시에 정보를 출력하는 표시 장치의 역할을 수행할 수도 있다.
출력부(250)는 동기화된 다수의 제1 및 제2 조가 파일을 합성 또는 병합하여 실시간 오디오/비디오(AV)를 출력할 수 있다.
여기서, 출력부(250)는 디스플레이 모듈(예컨대, 액정 표시 장치)일 수도 있으나, 다양한 형태로 구현 가능한 장치와 연결되기 위한 인터페이스 모듈일 수도 있다.
제어부(260)는 입력부(240)로부터 복수의 채널 중 제1 채널(330_1)의 재생 요청을 수신하면, 오디오 데이터와 대응하는 다수의 제1 조각 파일과 제1 채널(330_1)을 통해 전송되는 제1 비디오 데이터와 대응하는 다수의 제2 조각 파일을 서로 동기화시킬 수 있다.
또한, 제어부(260)는 입력부(240)로부터 제1 채널(330_1)에서 제2 채널(330_2)로의 채널 변경 요청을 수신하면, 제어부(260)는 오디오 데이터와 대응하는 다수의 제1 조각 파일과 제2 채널(330_2)을 통해 전송되는 제2 비디오 데이터와 대응하는 다수의 제2 조각 파일을 서로 동기화시킬 수 있다. 그리고, 제어부(260)는 현재 재생 중인 제1 조각 파일의 타임 스탬프(ITS; Identified Time Stamp)를 식별하고, 제1 채널(330_1)에 대응되는 다수의 제2 조각 파일 중 식별된 타임 스탬프(ITS)에 대응되는 조각 파일의 동기화를 종료할 수 있다.
이때, 제어부(260)는 입력부(240)로부터 채널 변경 요청을 수신하더라도 오디오 데이터에 대응하는 다수의 제1 조각 파일을 출력부(250)로 연속적으로 전송할 수 있다.
상술한 바와 같이, 본 발명에 따른 클라이언트 단말(200)은 오디오 데이터의 재생을 연속적으로 유지한 채, 채널 변경 요청 당시 식별된 타임 스탬프(ITS)에 기초하여 변경된 채널의 비디오 데이터를 서로 동기화(또는 정합)시킴에 따라, 사용자가 실시간으로 채널을 변경하더라도 끊김이 없는 심리스한 오디오 데이터를 제공할 수 있다. 이하에서는 도 6을 참조하여 클라이언트 단말의 전반적인 동작을 설명하기로 한다.
도 6은 본 발명의 일 실시 예에 따른 클라이언트 단말에 있어서 채널 변경 시, 오디오 데이터 및 복수의 비디오 데이터를 동기화하여 출력하는 방법을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 클라이언트 단말(200)은 스트리밍 서버(100)로부터 10개의 조각 파일로 각각 분할된 오디오 데이터(A) 및 제1 내지 제3 비디오 데이터(V1, V2, V3)를 수신하는 것으로 가정하기로 한다. 다만, 이는 설명의 편의를 돕기 위한 예시적인 것에 불과하고, 채널의 수, 비디오 데이터의 수 및 분할된 조각 파일의 수는 이에 한정되지 아니함은 통상의 기술자에게 자명하다.
도 6을 참조하면, 클라이언트 단말(200)은 사용자로부터 제1 채널의 재생 요청을 수신하면, 오디오 데이터(A)의 제1 조각 파일(AC1, AC2, … , AC10)과 제1 채널을 통해 전송되는 제1 비디오 데이터(V1)의 제2 조각 파일(VC1_1, VC2_1, … , VC10_1)을 서로 동기화시킬 수 있다.
이때, 시간 t3에 사용자로부터 제2 채널로의 채널 변경 요청이 수신되면 클라이언트 단말(200)은 현재 재생 중인 제1 조각 파일(AC3)의 타임 스탬프(ITS) 정보를 식별하고, 식별된 타임 스탬프(ITS)에 대응되는 제1 비디오 데이터(V1)의 제2 조각 파일(VC3_1)을 수신하고 나면 제1 채널과의 동기화를 종료하고 변경 요청된 제2 채널과의 동기화를 진행할 수 있다.
구체적으로, 클라이언트 단말(200)은 제2 채널을 통해 전송되는 제2 비디오 데이터(V2)의 제2 조각 파일(VC1_2, VC2_2, … , VC10_2) 중 상기 식별된 타임 스탬프(ITS)의 다음 세그먼트와 대응되는 조각 파일(VC4_2)을 검출하고 제1 조각 파일(AC4)와 동기화를 진행하며, 채널 변경 요청이 수신되기 전까지 제1 및 제2 조각 파일을 순차적으로 재생시킬 수 있다. 여기서, 클라이언트 단말(200)은 채널 변경 요청을 수신하더라도, 오디오 데이터(A)의 제1 조각 파일을 연속적으로 수신할 수 있으며, 이에 따라 오디오 데이터(A)의 끊김(또는 지연) 없이 재생되는 영상의 시점(VP)을 전환할 수 있다.
이후, 시간 t7에 사용자로부터 제3 채널로의 채널 변경 요청이 수신되면 클라이언트 단말(200)은 현재 재생 중인 제1 조각 파일(AC7)의 타임 스탬프(ITS) 정보를 식별하고, 식별된 타임 스탬프(ITS)에 대응되는 제2 비디오 데이터(V2)의 제2 조각 파일(VC7_2)을 수신하고 나면 제2 채널과의 동기화를 종료하고 변경 요청된 제3 채널과의 동기화를 진행할 수 있다.
구체적으로, 클라이언트 단말(200)은 제3 채널을 통해 전송되는 제3 비디오 데이터(V3)의 제2 조각 파일(VC1_3, VC2_3, … , VC10_3) 중 상기 식별된 타임 스탬프(ITS)의 다음 세그먼트와 대응되는 조각 파일(VC8_3)을 검출하고 제1 조각 파일(AC8)와 동기화를 진행하며, 제1 및 제2 조각 파일을 순차적으로 재생시킬 수 있다. 여기서, 클라이언트 단말(200)은 채널 변경 요청을 수신하더라도, 오디오 데이터(A)의 제1 조각 파일을 연속적으로 수신할 수 있으며, 이에 따라 오디오 데이터(A)의 끊김(또는 지연) 없이 재생되는 영상의 시점(VP)을 전환할 수 있다.
정리하면, 도 6에 도시된 바와 같이, 시간 t3 및 t7에서 채널 변경 요청이 수신되더라도, 오디오 데이터(A)에 대응하는 제1 조각 파일(AC1, AC2, … , AC10)을 연속적으로 제공하면서, 변경된 채널과의 동기화를 진행함으로써 상기 제1 조각 파일과 시작 시점이 서로 동기화된 제1 내지 제3 비디오 데이터의 제2 조각 파일(VC1_1, VC2_1, VC3_1, VC4_2, VC5_2, VC6_2, VC7_2, VC8_3, VC9_3, VC10_3)을 순차적으로 제공할 수 있다. 그러므로, 사용자가 실시간으로 채널을 변경하여 재생되는 영상의 시점(VP)을 전환하더라도 끊김이 없는 심리스한 오디오 데이터를 제공할 수 있다.
전술한 본 발명은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
실시 예와 관련하여 전술한 바와 같이 몇 가지만을 기술하였지만, 이외에도 다양한 형태의 실시가 가능하다. 앞서 설명한 실시 예들의 기술적 내용들은 서로 양립할 수 없는 기술이 아닌 이상은 다양한 형태로 조합될 수 있으며, 이를 통해 새로운 실시 형태로 구현될 수도 있다.
한편, 전술한 실시 예에 의한 AV 라이브 스트리밍 시스템은 대화형(Interactive) 비디오 스트리밍 서비스 및/또는 가상 현실(VR; Virtual Reality) 콘텐츠 제공 서비스에 적용될 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 통상의 기술자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 스트리밍 서버와 통신 프로토콜에 의해 연동하는 클라이언트 단말에 있어서,
    복수의 채널을 선택적으로 재생 또는 변경하기 위한 소정의 입력을 수신하는 입력부;
    오디오 데이터에 대응되는 다수의 제1 조각 파일 및 상기 복수의 채널로부터 수신한 복수의 비디오 데이터 각각에 대응되는 다수의 제2 조각 파일을, 상기 스트리밍 서버로부터 수신하는 통신부;
    상기 입력부로부터 특정 채널의 재생 요청을 수신하면, 상기 다수의 제1 조각 파일과 상기 특정 채널에 대응되는 다수의 제2 조각 파일을 서로 동기화시키는 제어부; 및
    상기 제어부로부터 동기화된 다수의 제1 및 제2 조각 파일을 합성하여 실시간 오디오/비디오(AV; Audio/Video)를 출력하는 출력부;를 포함하고,
    상기 제어부는, 상기 입력부로부터 채널 변경 요청을 수신하면 상기 다수의 제1 조각 파일과 변경 채널에 대응되는 다수의 제2 조각 파일을 서로 동기화시키고,
    상기 다수의 제1 및 제2 조각 파일 중 서로 대응되는 조각 파일은 타임 스탬프를 통하여 서로 동기화되는, 클라이언트 단말.
  6. 제5 항에 있어서,
    상기 제어부는, 상기 입력부로부터 채널 변경 요청을 수신하면 현재 재생 중인 상기 제1 조각 파일의 타임 스탬프를 식별하고, 상기 특정 채널에 대응되는 다수의 제2 조각 파일 중 상기 식별된 타임 스탬프에 대응되는 조각 파일의 동기화를 종료하는, 클라이언트 단말.
  7. 제5 항에 있어서,
    상기 제어부는, 상기 채널 변경 요청을 수신하더라도 상기 다수의 제1 조각 파일을 상기 출력부로 연속적으로 전송하는, 클라이언트 단말.
  8. 제5 항에 있어서,
    상기 통신 프로토콜은,
    대시(DASH; Dynamic Adaptive Streaming over HTTP) 및 에이치엘에스(HLS; HTTP Live Streaming) 중 적어도 하나를 포함하는, 클라이언트 단말.
  9. 제5 항에 있어서,
    상기 복수의 비디오 데이터는,
    360도 카메라로 촬영된 영상 데이터를 포함하는, 클라이언트 단말.
  10. 실시간으로 수신된 오디오 데이터를 다수의 제1 조각 파일로 분할하고, 복수의 채널을 통해 실시간으로 수신된 복수의 비디오 데이터 각각을 다수의 제2 조각 파일로 분할하며, 상기 다수의 제1 및 제2 조각 파일 중 서로 대응되는 조각 파일의 시작 시점을 서로 동기화하는 스트리밍 서버; 및
    사용자로부터 특정 채널의 재생 요청을 수신하면 상기 다수의 제1 조각 파일과 상기 특정 채널에 대응되는 다수의 제2 조각 파일을 서로 동기화시키고, 상기 사용자로부터 채널 변경 요청을 수신하면 상기 다수의 제1 조각 파일과 변경 채널에 대응되는 다수의 제2 조각 파일을 서로 동기화시키되 상기 다수의 제1 조각 파일을 연속적으로 수신하는 클라이언트 단말;을 포함하는, AV 라이브 스트리밍 시스템.
KR1020180131698A 2018-10-31 2018-10-31 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템 KR102090070B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180131698A KR102090070B1 (ko) 2018-10-31 2018-10-31 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180131698A KR102090070B1 (ko) 2018-10-31 2018-10-31 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템

Publications (1)

Publication Number Publication Date
KR102090070B1 true KR102090070B1 (ko) 2020-03-17

Family

ID=70003879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180131698A KR102090070B1 (ko) 2018-10-31 2018-10-31 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템

Country Status (1)

Country Link
KR (1) KR102090070B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112218115A (zh) * 2020-09-25 2021-01-12 深圳市捷视飞通科技股份有限公司 流媒体音视频同步的控制方法、装置、计算机设备
KR102216524B1 (ko) * 2020-04-17 2021-02-16 이준규 데이터 구조화를 통한 녹음 파일 제공 방법, 장치 및 컴퓨터-판독가능 기록 매체
CN113259762A (zh) * 2021-04-07 2021-08-13 广州虎牙科技有限公司 音频处理方法及装置、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990071538A (ko) * 1996-09-27 1999-09-27 모리시타 요이찌 비디오데이터의택일적인재생이가능한멀티미디어스트림생성방법과멀티미디어광디스크오소링시스템
KR20060009807A (ko) * 2003-05-08 2006-02-01 소니 가부시끼 가이샤 정보 처리 장치 및 방법, 및 프로그램 및 기록 매체
KR20160085346A (ko) * 2013-11-20 2016-07-15 구글 인코포레이티드 다시점 오디오 및 비디오 대화형 재생
KR101651137B1 (ko) * 2010-07-19 2016-08-25 엘지전자 주식회사 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990071538A (ko) * 1996-09-27 1999-09-27 모리시타 요이찌 비디오데이터의택일적인재생이가능한멀티미디어스트림생성방법과멀티미디어광디스크오소링시스템
KR20060009807A (ko) * 2003-05-08 2006-02-01 소니 가부시끼 가이샤 정보 처리 장치 및 방법, 및 프로그램 및 기록 매체
KR101651137B1 (ko) * 2010-07-19 2016-08-25 엘지전자 주식회사 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
KR20160085346A (ko) * 2013-11-20 2016-07-15 구글 인코포레이티드 다시점 오디오 및 비디오 대화형 재생

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102216524B1 (ko) * 2020-04-17 2021-02-16 이준규 데이터 구조화를 통한 녹음 파일 제공 방법, 장치 및 컴퓨터-판독가능 기록 매체
CN112218115A (zh) * 2020-09-25 2021-01-12 深圳市捷视飞通科技股份有限公司 流媒体音视频同步的控制方法、装置、计算机设备
CN113259762A (zh) * 2021-04-07 2021-08-13 广州虎牙科技有限公司 音频处理方法及装置、电子设备和计算机可读存储介质
CN113259762B (zh) * 2021-04-07 2022-10-04 广州虎牙科技有限公司 音频处理方法及装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
KR101927016B1 (ko) 멀티미디어 파일 라이브 방송 방법, 시스템 및 서버
TWI729997B (zh) 傳輸經寫碼音訊資料
RU2652099C2 (ru) Устройство передачи, способ передачи, устройство приема и способ приема
WO2019205870A1 (zh) 视频流处理方法、装置、计算机设备及存储介质
US8108541B2 (en) Method and apparatus for providing collaborative interactive video streaming
US20110138018A1 (en) Mobile media server
KR102090070B1 (ko) 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템
US20140344854A1 (en) Method and System for Displaying Speech to Text Converted Audio with Streaming Video Content Data
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
KR101472013B1 (ko) 부가 데이터를 포함하는 음원 스트리밍을 제공하는 서버 및 방법, 그리고 디바이스
CN112752115A (zh) 直播数据传输方法、装置、设备及介质
Shimizu et al. International real-time streaming of 4K digital cinema
KR20120133006A (ko) Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
CN102792710A (zh) 用于播放媒体内容数据的设备和方法
WO2015007137A1 (zh) 一种会议电视终端、辅流数据接入方法及计算机存储介质
WO2014171473A1 (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム
KR101452345B1 (ko) 타임 시프트 영상 제공 시스템 및 방법, 이를 위한 스트리밍 서버 및 단말 장치
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
KR101538114B1 (ko) 모바일 스마트 기기 내에서 다중 코덱 기반으로 끊김 없이 동영상을 재생할 수 있도록 하는 동영상 처리 장치 및 방법
Burke Video streaming over named data networking
CN110502649B (zh) 一种多媒体业务的分类方法及装置
WO2021049048A1 (ja) 映像提供システムおよびプログラム
WO2019188485A1 (ja) 情報処理装置、情報処理装置およびプログラム
US11856242B1 (en) Synchronization of content during live video stream

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant