KR102597852B1 - 온라인 협연 시스템 - Google Patents

온라인 협연 시스템 Download PDF

Info

Publication number
KR102597852B1
KR102597852B1 KR1020210140782A KR20210140782A KR102597852B1 KR 102597852 B1 KR102597852 B1 KR 102597852B1 KR 1020210140782 A KR1020210140782 A KR 1020210140782A KR 20210140782 A KR20210140782 A KR 20210140782A KR 102597852 B1 KR102597852 B1 KR 102597852B1
Authority
KR
South Korea
Prior art keywords
ultra
data
low latency
low
peers
Prior art date
Application number
KR1020210140782A
Other languages
English (en)
Other versions
KR20230056941A (ko
Inventor
신재섭
류성걸
손세훈
송문섭
유원혁
Original Assignee
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽스트리 filed Critical 주식회사 픽스트리
Priority to KR1020210140782A priority Critical patent/KR102597852B1/ko
Publication of KR20230056941A publication Critical patent/KR20230056941A/ko
Application granted granted Critical
Publication of KR102597852B1 publication Critical patent/KR102597852B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Saccharide Compounds (AREA)

Abstract

온라인 협연 시스템을 개시한다.
본 실시예는 협연 참여자가 연주 데이터를 생성할 때, 방송을 위한 고해상도 영상과 동기화를 위한 저해상도 영상을 각각 생성하면, 저해상도 영상을 별도의 울트라 로우 레이턴시 서버에서 컴포징하여 다시 협연 참여자에게 전송하여 각 피어에서 컴포징 영상을 빠르게 디코딩하여 협연을 위한 참조 영상을 이용할 수 있도록 하여 참여자의 협연 또는 협주 플랫폼과 방송사의 고품질 영상 송출을 만족할 수 있는 온텍(On-tact) 플랫폼을 구현할 수 있는 온라인 협연 시스템을 제공한다.

Description

온라인 협연 시스템{System for Providing Online Collaboration}
본 발명의 일 실시예는 온라인 협연 시스템에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
다양한 종류의 사운드 재생 시스템이 음악 애호가들에게 제안되어 있다. 콤팩트 디스크 플레이어가 사운드 재생 시스템의 일례이다. 이산값을 아날로그 오디오 신호의 파형으로 나타내는 오디오 데이터 코드의 세트가 콤팩트 디스크에 기억된다. 콤팩트 디스크가 콤팩트 디스크 플레이어 내에서 회전하면서 오디오 데이터 코드가 콤팩트 디스크로부터 순차적으로 판독되고, 아날로그 오디오 신호로 다시 변환된다. 아날로그 오디오 신호는 사운드 시스템으로 송신되어 톤이 악곡을 따라 아날로그 오디오 신호로부터 재생된다.
오디오 데이터 코드와 악곡 데이터 코드는 각각 아날로그 오디오 신호와 키 이벤트의 파형에 있어서의 이산값을 나타내기 때문에 오디오 데이터 코드와 악곡 데이터 코드는 양립할 수 없다. 즉, 자동 연주 시스템은 오디오 데이터 코드에 의거한 어쿠스틱 피아노의 키를 구동할 수 없고, 콤팩트 디스크 플레이어는 악곡을 따라 악곡 데이터 코드로부터 톤을 생성할 수 없다. 이러한 경우, 콤팩트 디스크 플레이어와 자동 연주 피아노 사이의 협연에 있어서 악곡을 재생하는데 어려움이 있다.
특히, 종래의 기술로는 압축 전송 딜레이로 인하여 전달받은 다른 피어의 화면 및 소리는 이미 수백 mS의 과거의 영상 또는 시간이므로 실시간 협주등은 불가능하다. 따라서, 지금의 화상, 음성 통신기술로는 자연스런 협주 협연이 어렵다는 문제가 있다.
본 실시예는 협연 참여자가 연주 데이터를 생성할 때, 방송을 위한 고해상도 영상과 동기화를 위한 저해상도 영상을 각각 생성하면, 저해상도 영상을 별도의 울트라 로우 레이턴시 서버에서 컴포징하여 다시 협연 참여자에게 전송하여 각 피어에서 컴포징 영상을 빠르게 디코딩하여 협연을 위한 참조 영상을 이용할 수 있도록 하여 참여자의 협연 또는 협주 플랫폼과 방송사의 고품질 영상 송출을 만족할 수 있는 온텍(On-tact) 플랫폼을 구현할 수 있는 온라인 협연 시스템을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 구비된 카메라를 이용하여 연주 데이터를 생성할 때, 일반 영상을 촬영 전송 및 수신 재생하는 것을 포함하여 동기화를 위한 저해상도 데이터를 울트라 로우 레이턴시 인코딩한 울트라 로우 레이턴시 인코딩 데이터에 대응하는 컴포징 데이터를 디코딩한 울트라 로우 레이턴시 디코딩 데이터를 렌더링하는 복수의 피어; 상기 복수의 피어 각각으로부터 상기 울트라 로우 레이턴시 인코딩 데이터를 수신한 후 컴포징한 상기 컴포징 데이터를 생성하는 울트라 로우 레이턴시 컴포징 미디어 서버; 상기 복수의 피어로부터 상기 울트라 로우 레이턴시 디코딩 데이터를 기반으로 방송을 위해 생성한 각 상기 피어의 고해상도 데이터를 인코딩한 인코딩 데이터를 수신하여 스트리밍하는 미디어 서버;를 포함하는 것을 특징으로 하는 온라인 협연 시스템을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 협연 참여자가 연주 데이터를 생성할 때, 방송을 위한 고해상도 영상과 동기화를 위한 저해상도 영상을 각각 생성하면, 저해상도 영상을 별도의 울트라 로우 레이턴시 서버에서 컴포징하여 다시 협연 참여자에게 전송하여 각 피어에서 컴포징 영상을 빠르게 디코딩하여 협연을 위한 참조 영상을 이용할 수 있도록 하여 참여자의 협연 또는 협주 플랫폼과 방송사의 고품질 영상 송출을 만족할 수 있는 효과가 있다.
본 실시예에 의하면, 온라인 상의 실시간 협업 중계에 이용되어 합창, 합주, 학교의 음악, 춤, 연기 등의 수업에 적용될 수 있는 효과가 있다.
도 1은 본 실시예에 따른 온라인 협연 시스템을 나타낸 도면이다.
도 2는 본 실시예에 따른 온라인 협연 시스템의 피어의 동작을 나타낸 도면이다.
도 3은 본 실시예에 따른 온라인 협연 시스템의 동기화 방법을 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 온라인 협연 시스템을 나타낸 도면이다.
본 실시예에 따른 온라인 협연 시스템은 피어(110), 미디어 서버(130), 울트라 로우 레이턴시 컴포징 미디어 서버(120), 브로드케스팅 스트리머(140)를 포함한다. 온라인 협연 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
복수의 피어(Peer1~PeerN)(110)들은 각각의 시스템으로서 협연을 위한 애플리케이션을 포함한다. 복수의 피어(110)들은 내부에 두 개의 코덱을 갖고 있다. 여기서, 코덱은 울트라 로우 레이턴시 코덱과 실제로 방송 가능한 정보의 큰 사이즈를 처리하는 일반 레이턴시(지연) 코덱으로 구분된다. 복수의 피어(110)들은 울트라 로우 레이턴시 코덱과 일반 레이턴시 코덱 두 개를 동시에 이용하여 연주 데이터(영상 또는 소리) 인코딩하여 외부로 송출한다.
복수의 피어(110)들은 저해상도를 갖는 연주 데이터만으로 울트라 로우 레이턴시 코덱을 이용하여 인코딩한 울트라 로우 레이턴시 인코딩 데이터를 생성하여 별도의 울트라 로우 레이턴시 컴포징 미디어 서버(120)로 송출한다. 울트라 로우 레이턴시 컴포징 미디어 서버(120)는 복수의 피어(110)로부터 울트라 로우 레이턴시 인코딩 데이터를 수신한 후 울트라 로우 레이턴시 인코딩 데이터를 합친 컴포징 데이터를 복수의 피어(110) 각각으로 되돌려주는 형태를 갖는다.
복수의 피어(110)는 컴포징 데이터를 수신하여 본인의 파트를 확인하면서 연주가 가능하다. 다시 말해, 컴포징 데이터는 모든 채널의 데이터(영상 또는 소리)가 합성이 되므로, 컴포징 데이터만으로 각 피어가 본인 파트를 연주해도 될 만큼 즉시성을 갖는다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)에서 생성된 컴포징 데이터는 시간의 딜레이를 갖더라도 동기가 정확하게 맞게된다. 복수의 피어(110) 각각은 컴포징 데이터를 확인하여 싱크에 맞게 연주가 가능하다.
이후, 복수의 피어(110)들은 컴포징 데이터를 확인하여 동기를 맞춰서 연주한 일반 사이즈의 연주 데이터를 일반 레이턴시 코덱을 이용하여 인코딩한 일반 레이턴시 인코딩 데이터를 생성하여 미디어 서버(130)로 송출한다. 미디어 서버(130)는 일반 레이턴시 인코딩 데이터를 브로드케스팅 스트리머(140)로 전송한다.
복수의 피어(110)는 당연히 복수에 인코더를 포함한다. 복수의 피어(110)는 미디어 서버(130)의 제어에 따라 처음에 같이 시작하라고 하는 타임 코드를 수신한다. 복수의 피어(110)는 구비된 애플리케이션을 이용하여 카메라(210)로 캡처된 연주 데이터를 두 개의 스트림으로 송출한다. 복수의 피어(110)는 울트라 로우 레이턴시 컴포징 미디어 서버(120)로부터 수신된 컴포징 데이터를 디스플레이해서 출력한다.
복수의 피어(110)는 구비된 카메라(210)를 이용하여 연주 데이터를 생성할 때, 동기화를 위한 저해상도 데이터를 인코딩한 울트라 로우 레이턴시 인코딩 데이터에 대응하는 컴포징 데이터를 디코딩한 울트라 로우 레이턴시 디코딩 데이터를 렌더링한다.
복수의 피어(110) 각각은 연주 데이터를 촬영할 때, 동기화를 위한 저해상도 데이터로 생성한다. 복수의 피어(110) 각각은 저해상도 데이터를 인코딩하여 울트라 로우 레이턴시 인코딩 데이터로 생성한다. 복수의 피어(110) 각각은 울트라 로우 레이턴시 인코딩 데이터를 울트라 로우 레이턴시 컴포징 미디어 서버(120)로 전송한다.
복수의 피어(110) 각각은 울트라 로우 레이턴시 컴포징 미디어 서버(120)로부터 컴포징 데이터를 수신한다. 복수의 피어(110) 각각은 컴포징 데이터를 디코딩한 울트라 로우 레이턴시 디코딩 데이터를 생성한다. 복수의 피어(110) 각각은 울트라 로우 레이턴시 디코딩 데이터를 렌더링하여 출력한다.
복수의 피어(110) 각각은 연주 데이터를 촬영할 때, 울트라 로우 레이턴시 디코딩 데이터와 동일한 시간대의 방송을 위한 고해상도 데이터로 생성한다. 복수의 피어(110) 각각은 고해상도 데이터를 인코딩하여 고해상도 인코딩 데이터로 생성한다. 복수의 피어(110) 각각은 고해상도 인코딩 데이터를 미디어 서버(130)로 전송한다.
복수의 피어(110)는 울트라 로우 레이턴시 컴포징 미디어 서버(120)로부터 수신된 레퍼런스 클럭(Ref. Clock) 정보를 기준으로 저해상도 데이터를 인코딩한 울트라 로우 레이턴시 인코딩 데이터를 생성하여 울트라 로우 레이턴시 컴포징 미디어 서버(120)로 전송한다.
복수의 피어(110)는 울트라 로우 레이턴시 컴포징 미디어 서버(120)로부터 수신된 타일 간 오차 정보를 기반으로 컴포징 데이터를 디코딩한 울트라 로우 레이턴시 디코딩 데이터를 생성한다.
복수의 피어(110)는 울트라 로우 레이턴시 컴포징 미디어 서버(120)로부터 메타 정보를 기반으로 컴포징 데이터를 디코딩한 울트라 로우 레이턴시 디코딩 데이터를 생성한다.
미디어 서버(130)는 고화질 또는 고음질을 처리하기 위한 서버로서 레이턴시와 무관하게 스트리밍하는 서버를 의미한다. 미디어 서버(130)는 복수의 피어로부터 울트라 로우 레이턴시 디코딩 데이터를 기반으로 방송을 위해 생성한 고해상도 데이터를 인코딩한 인코딩 데이터를 수신하여 스트리밍한다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 레이턴시를 최소화를 위해 데이터량을 줄여서 싱크를 정확하게 맞추기 위한 처리를 수행하는 서버를 의미한다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 복수의 피어(110)로부터 울트라 로우 레이턴시 인코딩 데이터를 수신한 후 디코딩할 때까지 시간이 최대한 짧게하여 타임 단위로 코딩한 컴포징 데이터를 생성한다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 울트라 로우 레이턴시 인코딩 데이터를 디코딩할 때, 짧은 디코딩 시간으로 낮은 압축률(1:2 ~ 1:6)을 갖는 코덱이 사용된다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 복수의 피어(110) 각각으로부터 울트라 로우 레이턴시 인코딩 데이터를 수신한 후 컴포징한 상기 컴포징 데이터를 생성한다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 레퍼런스 클럭(Ref. Clock) 정보를 주기적으로 인코딩 참여자인 복수의 피어(110) 각각으로 전송한다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 모든 인코딩 참여자인 복수의 피어 각각이 준비되면, 복수의 피어(110)에게 동시에 시작 명령(Run Command)을 전송하고, 시작 명령에 대응하는 저해상도 데이터를 인코딩한 울트라 로우 레이턴시 인코딩 데이터를 수신한다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 디코딩 측인 복수의 피어로부터 온 화면의 동기를 보정하기 위한 피어 간 오차 정보를 전송한다. 울트라 로우 레이턴시 컴포징 미디어 서버(120)는 디코딩 측인 복수의 피어로 합성된 영상에 대한 메타 정보를 전송한다.
도 2는 본 실시예에 따른 온라인 협연 시스템의 피어의 동작을 나타낸 도면이다.
본 실시예에 따른 복수의 피어(110) 각각은 고해상도 캡쳐부(222), 인코더(224), 스트리머(226), 저해상도 캡쳐부(232), 울트라 로우 레이턴시 인코더(234), 울트라 로우 레이턴시 스트리머(236), 울트라 로우 레이턴시 리시버(242), 울트라 로우 레이턴시 디코더(244), 울트라 로우 레이턴시 렌더(246)를 포함한다. 피어(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
피어(110)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 2에 도시된 피어(110)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
복수의 피어(110) 각각은 구비된 카메라(210)를 이용하여 촬영한 연주 데이터를 생성한다.
복수의 피어(110) 각각은 연주 데이터를 촬영할 때, 고해상도 캡쳐부(222)를 이용하여 고해상도 데이터로 생성한다. 복수의 피어(110) 각각은 인코더(224)를 이용하여 고해상도 데이터를 고해상도 인코딩 데이터로 생성한다. 복수의 피어(110) 각각은 스트리머(226)를 이용하여 고해상도 인코딩 데이터를 미디어 서버(130)로 전송한다.
복수의 피어(110) 각각은 연주 데이터를 촬영할 때, 저해상도 캡쳐부(232)를 이용하여 저해상도 데이터로 생성한다. 복수의 피어(110) 각각은 울트라 로우 레이턴시 인코더(234)를 이용하여 저해상도 데이터를 울트라 로우 레이턴시 인코딩 데이터로 생성한다. 복수의 피어(110) 각각은 울트라 로우 레이턴시 스트리머(236)를 이용하여 울트라 로우 레이턴시 인코딩 데이터를 울트라 로우 레이턴시 컴포징 미디어 서버(120)로 전송한다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 복수의 피어(110) 각각으로부터 울트라 로우 레이턴시 인코딩 데이터를 수신한 후 울트라 로우 레이턴시 인코딩 데이터를 합친 컴포징 데이터를 복수의 피어(110) 각각으로 전송한다.
복수의 피어(110) 각각은 울트라 로우 레이턴시 리시버(242)를 이용하여 울트라 로우 레이턴시 컴포징 미디어 서버(120)로부터 컴포징 데이터를 수신한다. 복수의 피어(110) 각각은 울트라 로우 레이턴시 디코더(244)를 이용하여 컴포징 데이터를 디코딩한 울트라 로우 레이턴시 디코딩 데이터를 생성한다. 복수의 피어(110) 각각은 울트라 로우 레이턴시 렌더(246)를 이용하여 울트라 로우 레이턴시 디코딩 데이터를 출력한다. 이때 울트라 로우 레이턴시 컴포징 미디어 서버로부터 수신한 영상 싱크를 위한 각 피어 영상 또는 타일의 시간 오차 메타데이터를 해석해서 각 부분의 렌더를 정교하게 할 수 있다.
저해상도 영상 처리시 복수의 피어(110)와 울트라 로우 레이턴스 컴포징 미디어 서버(130)와의 통신 후 합성 영상/오디오의 최종 렌더링(Rendering) 딜레이가 오디오(Audio)는 10ms(예), 비디오는 33ms(1프레임) 딜레이 이하로 가능하다. 울트라 로우 레이턴시 비디오(Ultra Low Latency Video)는 JPEG-XS를 이용하면 라인의 대기시간으로 수 ms의 딜레이로 가능하고, 1 프레임(Frame) 이하 딜레이가 가능하다. 복수의 피어(110)가 많을 경우 특정 그룹으로 분리하여 서버를 분리 처리하는 것도 가능하다.
도 3은 본 실시예에 따른 온라인 협연 시스템의 동기화 방법을 나타낸 도면이다.
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 레퍼런스 클럭(Ref. Clock) 정보를 주기적으로 인코딩 참여자인 복수의 피어(110) 각각으로 전송한다(S310).
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 모든 인코딩 참여자인 복수의 피어(110) 각각이 준비되면, 모든 인코딩 참여자인 복수의 피어(110)에게 동시에 시작 명령(Run Command)을 전송한다(S320).
인코딩 참여자인 복수의 피어(110)는 요청받은 시작 레퍼런스 클럭(Ref. Clock) 정보를 기준으로 인코딩 스트림(일반 스트림 또는 HEVC MCTS Stream)을 생성하여 울트라 로우 레이턴시 컴포징 미디어 서버(120)로 전송한다(S330).
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 디코딩 측인 복수의 피어(110)로 영상 또는 MCTS 타일(Tile) 동기를 맞추어 합성 또는 비트스트림 상태에서 합쳐서 각 피어에게 전송한다(S340).
울트라 로우 레이턴시 컴포징 미디어 서버(120)는 각 영상 또는 MCTS 타일에 대한 시간 오차 메타 정보를 디코딩 측인 복수의 피어(110) 각각으로 전달한다(S350).
도 3에서는 단계 S310 내지 단계 S350을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 온라인 협연 시스템의 동기화 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 온라인 협연 시스템의 동기화 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 피어
120: 울트라 로우 레이턴시 컴포징 미디어 서버
130: 미디어 서버
140: 브로드케스팅 스트리머
210: 카메라
222: 고해상도 캡쳐부
224: 인코더
226: 스트리머
232: 저해상도 캡쳐부
234: 울트라 로우 레이턴시 인코더
236: 울트라 로우 레이턴시 스트리머
242: 울트라 로우 레이턴시 리시버
244: 울트라 로우 레이턴시 디코더
246: 울트라 로우 레이턴시 렌더

Claims (9)

  1. 협연을 위한 저해상도 데이터를 울트라 로우 레이턴시 코덱을 이용하여 인코딩한 울트라 로우 레이턴시 인코딩 데이터로 생성하여 외부로 전송하고, 외부로부터 상기 울트라 로우 레이턴시 인코딩 데이터에 대응하는 컴포징 데이터를 수신한 후 상기 컴포징 데이터를 디코딩한 울트라 로우 레이턴시 디코딩 데이터를 렌더링하고,
    상기 울트라 로우 레이턴시 디코딩 데이터를 기반으로 동기를 맞춰서 연주한 방송을 위한 고해상도 연주 데이터를 인코딩 데이터로 생성한 후 외부로 전송하는 복수의 피어;
    상기 복수의 피어 각각으로부터 상기 울트라 로우 레이턴시 인코딩 데이터를 수신한 후 컴포징한 상기 컴포징 데이터를 생성하는 울트라 로우 레이턴시 컴포징 미디어 서버;
    상기 복수의 피어로부터 각각 수신한 상기 고해상도 인코딩 데이터를 브로드케스팅 스트리머를 이용하여 스트리밍하는 미디어 서버;
    를 포함하는 것을 특징으로 하는 온라인 협연 시스템.
  2. 제1항에 있어서,
    상기 복수의 피어 각각은
    상기 연주 데이터를 촬영할 때, 동기화를 위한 상기 저해상도 데이터로 생성하는 저해상도 캡쳐부;
    상기 저해상도 데이터를 인코딩하여 울트라 로우 레이턴시 인코딩 데이터로 생성하는 울트라 로우 레이턴시 인코더;
    상기 울트라 로우 레이턴시 인코딩 데이터를 울트라 로우 레이턴시 컴포징 미디어 서버로 전송하는 울트라 로우 레이턴시 스트리머
    를 포함하는 것을 특징으로 하는 온라인 협연 시스템.
  3. 제1항에 있어서,
    상기 복수의 피어 각각은
    상기 울트라 로우 레이턴시 컴포징 미디어 서버로부터 상기 컴포징 데이터를 수신하는 울트라 로우 레이턴시 리시버;
    상기 컴포징 데이터를 디코딩한 울트라 로우 레이턴시 디코딩 데이터를 생성하는 울트라 로우 레이턴시 디코더;
    상기 울트라 로우 레이턴시 디코딩 데이터를 렌더링하여 출력하는 울트라 로우 레이턴시 렌더
    를 포함하는 것을 특징으로 하는 온라인 협연 시스템.
  4. 제1항에 있어서,
    상기 복수의 피어 각각은
    상기 연주 데이터를 촬영할 때, 상기 울트라 로우 레이턴시 디코딩 데이터를 기반으로 방송을 위한 상기 고해상도 데이터로 생성하는 고해상도 캡쳐부;
    상기 고해상도 데이터를 인코딩하여 고해상도 인코딩 데이터로 생성하는 인코더;
    상기 고해상도 인코딩 데이터를 상기 미디어 서버로 전송하는 스트리머
    를 포함하는 것을 특징으로 하는 온라인 협연 시스템.
  5. 제1항에 있어서,
    상기 울트라 로우 레이턴시 컴포징 미디어 서버는
    레퍼런스 클럭(Ref. Clock) 정보를 주기적으로 인코딩 참여자인 상기 복수의 피어 각각으로 전송하는 것을 특징으로 하는 온라인 협연 시스템.
  6. 제1항에 있어서,
    상기 울트라 로우 레이턴시 컴포징 미디어 서버는
    모든 인코딩 참여자인 상기 복수의 피어 각각이 준비되면, 상기 복수의 피어에게 동시에 시작 명령(Run Command)을 전송하고, 상기 시작 명령에 대응하는 상기 저해상도 데이터를 인코딩한 상기 울트라 로우 레이턴시 인코딩 데이터를 수신하는 것을 특징으로 하는 온라인 협연 시스템.
  7. 제1항에 있어서,
    상기 복수의 피어는
    상기 울트라 로우 레이턴시 컴포징 미디어 서버로부터 수신된 레퍼런스 클럭(Ref. Clock) 정보를 기준으로 상기 저해상도 데이터를 인코딩한 상기 울트라 로우 레이턴시 인코딩 데이터를 생성하여 상기 울트라 로우 레이턴시 컴포징 미디어 서버로 전송하는 것을 특징으로 하는 온라인 협연 시스템.
  8. 제1항에 있어서,
    상기 울트라 로우 레이턴시 컴포징 미디어 서버는 디코딩 측인 상기 복수의 피어로 영상 또는 타일(Tile) 동기를 보정하기 위한 타일 간 시간 오차 정보를 전송하고,
    상기 복수의 피어는 영상 또는 타일 간 시간 오차 정보를 기반으로 상기 컴포징 데이터를 디코딩한 상기 울트라 로우 레이턴시 디코딩 데이터를 재생하는 것을 특징으로 하는 온라인 협연 시스템.
  9. 제1항에 있어서,
    상기 울트라 로우 레이턴시 컴포징 미디어 서버는 디코딩 측인 상기 복수의 피어로 각 영상 또는 타일에 대한 시간 오차의 메타 정보를 전송하고,
    상기 복수의 피어는 상기 메타 정보를 기반으로 상기 컴포징 데이터를 상기 울트라 로우 레이턴시 디코딩 데이터를 디코딩하고 각 피어별 영상 또는 타일들의 시간 오차값을 적용하여 정교한 재생을 하는 것을 특징으로 하는 온라인 협연 시스템.

KR1020210140782A 2021-10-21 2021-10-21 온라인 협연 시스템 KR102597852B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210140782A KR102597852B1 (ko) 2021-10-21 2021-10-21 온라인 협연 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210140782A KR102597852B1 (ko) 2021-10-21 2021-10-21 온라인 협연 시스템

Publications (2)

Publication Number Publication Date
KR20230056941A KR20230056941A (ko) 2023-04-28
KR102597852B1 true KR102597852B1 (ko) 2023-11-03

Family

ID=86143174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210140782A KR102597852B1 (ko) 2021-10-21 2021-10-21 온라인 협연 시스템

Country Status (1)

Country Link
KR (1) KR102597852B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256897A (ja) 2007-04-04 2008-10-23 Toppan Printing Co Ltd 複数人で遠隔地から音楽を演奏する方法及び音楽セッションシステム
KR101888464B1 (ko) * 2017-03-03 2018-08-16 (주)와이즈링스 다중 동기화를 지원하는 멀티비전 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7863513B2 (en) * 2002-08-22 2011-01-04 Yamaha Corporation Synchronous playback system for reproducing music in good ensemble and recorder and player for the ensemble
KR100746005B1 (ko) * 2005-10-17 2007-08-06 삼성전자주식회사 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
AR068504A1 (es) * 2007-09-21 2009-11-18 Lg Electronics Inc Sistema de transmision digital y metodo de procesamiento de datos en el sistema de transmision digital
KR102281217B1 (ko) * 2015-10-30 2021-07-23 에스케이텔레콤 주식회사 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치
KR20210108715A (ko) * 2020-02-26 2021-09-03 주식회사 케이티 네트워크에 기반한 합동 공연을 제공하는 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256897A (ja) 2007-04-04 2008-10-23 Toppan Printing Co Ltd 複数人で遠隔地から音楽を演奏する方法及び音楽セッションシステム
KR101888464B1 (ko) * 2017-03-03 2018-08-16 (주)와이즈링스 다중 동기화를 지원하는 멀티비전 시스템

Also Published As

Publication number Publication date
KR20230056941A (ko) 2023-04-28

Similar Documents

Publication Publication Date Title
KR100579387B1 (ko) 디지털 정보의 효율적인 전송 및 재생
US7359006B1 (en) Audio module supporting audio signature
US20040146211A1 (en) Encoder and method for encoding
KR100238136B1 (ko) 디지털 비디오 재생장치
US11539991B2 (en) Method and system for transmitting and reproducing video of dynamic bitrate with a plurality of channels
WO2023116254A1 (zh) 一种直播视频录制方法、装置、系统和终端设备
CA2605490A1 (en) Method and apparatus for encoding a motion signal with a sound signal
KR20090035794A (ko) 통합 멀티미디어 파일 구조를 이용한 3ｄ 멀티미디어콘텐츠 서비스 시스템 및 방법
KR100291890B1 (ko) 대화형 멀티미디어 오락기를 위한 시스템 및 그 장치
KR101142379B1 (ko) 디지털 방송 재생 방법 및 장치, 디지털 방송 녹화 방법
CN113301359A (zh) 音视频处理方法、装置及电子设备
US20070154164A1 (en) Converting a still image in a slide show to a plurality of video frame images
CN1645925A (zh) 记录视频数据的方法及设备和再现视频数据的方法及设备
KR102597852B1 (ko) 온라인 협연 시스템
JPH0614295A (ja) ディジタルｖｔｒのエラー訂正方法及び装置
JP5854208B2 (ja) 多段高速再生のための映像コンテンツ生成方法
JP2010192971A (ja) 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体
JP5113732B2 (ja) データ放送送信装置
KR20190101579A (ko) 초고해상도 다채널 영상처리를 위한 재구성 가능한 영상 시스템
US8249432B2 (en) Video and audio playback apparatus and video and audio playback method
Kikuchi et al. Development of full-featured 8K recorder
JP2009044392A (ja) ビデオ再生方法およびビデオ再生装置
KR100703002B1 (ko) 선택적 인코딩이 가능한 신호처리장치 및 그의 선택적인코딩 방법
JP2006180091A (ja) コンテンツ合成装置及び方法
CN118381782A (zh) 一种多媒体流融合方法、系统、设备及介质

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant