KR102555962B1 - 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드 서버 운영 방법 - Google Patents

영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드 서버 운영 방법 Download PDF

Info

Publication number
KR102555962B1
KR102555962B1 KR1020220010634A KR20220010634A KR102555962B1 KR 102555962 B1 KR102555962 B1 KR 102555962B1 KR 1020220010634 A KR1020220010634 A KR 1020220010634A KR 20220010634 A KR20220010634 A KR 20220010634A KR 102555962 B1 KR102555962 B1 KR 102555962B1
Authority
KR
South Korea
Prior art keywords
server
video media
media stream
performer
video
Prior art date
Application number
KR1020220010634A
Other languages
English (en)
Inventor
김재봉
Original Assignee
미디어락시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어락시스템(주) filed Critical 미디어락시스템(주)
Priority to KR1020220010634A priority Critical patent/KR102555962B1/ko
Priority to US17/949,804 priority patent/US11924493B2/en
Priority to KR1020230089885A priority patent/KR102586186B1/ko
Application granted granted Critical
Publication of KR102555962B1 publication Critical patent/KR102555962B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 하이브리드 서버는, 관람 단말기들로부터 수신된 관람객들의 개별 영상 미디어 스트림들을 각각 업로드하고 합쳐서 1개 이상의 그룹 영상 미디어 스트림으로 다운로드하는 제1의 서버와, 제1의 서버로부터 그룹 영상 미디어 스트림을 수신하여 업로드하고, 공연 단말기로부터 수신된 공연자의 영상 미디어 스트림을 업로드하는 제2의 서버를 포함하여 구성되고, 제2의 서버는 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림 중 어느 하나를 선택하거나 결합하여 관람 단말기들 및 공연 단말기에 전송하여 제2의 서버의 메모리 부하를 최소화하고 공연자의 고화질 영상을 실시간으로 제공할 수 있다.

Description

영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드 서버 운영 방법{Hybrid server and hybrid server operation method for providing videotelephony service}
본 문서는 영상 통화 서비스를 제공하는 하이브리드 서버 및 그 서버 운영 방법에 관한 것으로서, 보다 상세하게는 서버를 이용하여 공연자의 영상과 관람객의 영상을 하나의 화면에 동시에 제공하여 공연의 질을 높이기 위한 양방향 서버 및 서버 운영 방법에 관한 것이다.
최근 팬데믹(Pandemic, 대유행)으로 인해 사람들 간에 사회적 거리두기가 강화되고 언컨택트(Uncontact) 사회가 고착화되고 있다.
이에 따라, 콘서트, 리사이틀, 강연, 연극, 뮤지컬 등의 공연과 컨퍼런스, 세미나, 회의, 학교 및 학원 수업, 예체능 레슨 프로그램, 종교 행사 및 예배들이 실제 현장에 관객이 군집하여 이루어지는 것이 아니라, 공연자의 영상을 실시간으로 관객의 영상 단말기로 제공하고 관람객(시청자)은 자택 등에서 자신의 모습 및 표정을 공연자측의 영상 단말기에 제공하여 공연자가 관람객의 반응을 확인하는 방식으로 비대면 언컨택트 라이브 공연 내지 강연이 실현되고 있다.
이러한 언택트 라이브 공연 내지 강연을 실현하기 위해 P2P(Peer to peer) 방식의 WebRTC(Web Real-Time Communication) 프로토콜 방식 보다는 서버를 이용하여 네트워크 트래픽을 분배하는 방식이 각광을 받고 있다.
상기 서버를 이용한 네트워크 트래픽 방식은 서버에서 네트워크 트래픽을 선별적으로 분배하여 클라이언트의 미디어 스트림을 중계하는 SFU(Selective Forwarding Unit) 방식과, 서버에서 네트워크 트래픽을 믹싱(Mixing)하여 영상 단말로 보내주는 MCU(Multi-point Control Unit) 방식이 있다.
SFU 방식은 1-업로드/N-다운로드 방식으로써 실시간성과 빠른 데이터 속도 및 고화질 영상을 제공할 수 있는 장점은 있으나, 네트워크 트래픽 조정이 요구되고 이로 인해 참여자가 제한적인 단점을 가지고 있다.
반면에, MCU 방식은 1-업로드/1-다운로드 방식으로써 서버에서 네트워크 트래픽 소모가 작다는 장점이 있으나, 믹싱 작업이 미디어 서버에서 수행되기 때문에 인코딩, 압축 등의 컴퓨팅 작업으로 인해 시간 지연이 불가피하고, 이로 인해 실시간성이 떨어지는 단점이 있다.
따라서, 공연, 컨퍼런스, 세미나, 회의, 학교 및 학원 수업, 예체능 레슨 프로그램, 종교 행사 및 예배 등과 같은 이벤트에 대해 고해상도 서비스를 제공하면서 동시에 실시간으로 수많은 관람객이 참여할 수 있는 양방향 영상 통화 서비스가 절실히 요구되는 상황이다.
한국특허공보(공개공보번호: 10-2021-0124655, “영상 통화 서비스를 중계하는 서버, 방법 및 컴퓨터 프로그램”)는 제 1 형 단말 및 제 2 형 단말의 채널접속타입정보(SFU 접속타입 또는 MCU 접속타입)가 동일한지 여부에 기초하여 미디어 서버와의 연동이 필요한지 여부를 판단하여 각기 다른 중계방식을 이용하는 영상 통화 서비스를 서로 연동함으로써 확장성 있는 영상 통화 서비스를 제공하는 것을 개시하고 있으나, SFU 서버와 MCU 서버를 결합한 하이브리드 기술에 대해서는 개시되어 있지 않다.
본 발명은 공연, 컨퍼런스, 세미나, 회의, 학교 및 학원 수업, 예체능 레슨 프로그램, 종교 행사 및 예배와 같은 고화질이 요구되고 백명 이상이 참여하는 이벤트에 대해 고해상도 서비스를 제공하면서 동시에 실시간으로 수많은 관람객이 참여할 수 있는 양방향 영상 통화 서비스 제공을 목적으로 한다.
이러한 목적을 달성하기 위한 일 양상에 따른, 영상 통화 서비스를 제공하는 하이브리드 서버는,
다수의 관람 단말기로부터 수신된 관람객들의 개별 영상 미디어 스트림을 각각 업로드하고 합쳐서(Mixing) 1개 이상의 그룹 영상 미디어 스트림으로 다운로드하는 제1의 서버; 및
제1의 서버로부터 상기 그룹 영상 미디어 스트림을 수신하여 업로드하고, 공연 단말기로부터 수신된 공연자의 영상 미디어 스트림을 업로드하는 제2의 서버;
상기 제2의 서버는,
상기 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림 중 어느 하나를 선택하거나 결합하여 상기 관람 단말기에 전송하여 공연자의 영상과 관람객의 영상을 하나의 화면에 동시에 제공하여 공연의 질을 높일 수 있다.
본 발명은 공연, 컨퍼런스, 세미나, 회의, 학교 및 학원 수업, 예체능 레슨 프로그램, 종교 행사 및 예배 등과 같은 이벤트에 대해 고해상도 서비스를 제공할 수 있고, 동시에 실시간으로 수많은 관람객이 참여할 수 있으며, 빠른 속도로 양방향 영상 통화 서비스를 제공할 수 있다.
본 발명은 다수 관람객의 영상은 제1의 서버를 통해 합치고, 공연자의 영상은 제2의 서버를 통해 각 단말기로 송출하므로 인해 제2의 서버의 로딩 부하를 최소화 하면서 전체적으로 고화질의 영상 스트림을 실시간으로 빠르게 제공할 수 있다.
본 발명은 제2의 서버의 메모리 부하를 최소화하면서 고화질 및 고음질의 공연자 영상을 빠르게 송출할 수 있어 양질의 비대면 공연 솔루션이 제공될 수 있다.
도 1은 일 실시예에 따른 하이브리드 서버를 포함하는 시스템을 나타내는 도면이다.
도 2는 일 실시예에 따라 제2의 서버가 관람 단말기에 송출하는 화면을 나타내는 도면이다.
도 3은 또 다른 일 실시예에 따라 제2의 서버가 관람 단말기에 송출하는 화면을 나타내는 도면이다.
도 4는 또 다른 일 실시예에 따라 제2의 서버가 특정 관람객의 영상을 직접 송출하는 화면을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한 전술한, 그리고 추가적인 발명의 양상들은 후술하는 실시예들을 통해 명백해질 것이다. 본 명세서에서 선택적으로 기재된 양상이나 선택적으로 기재된 실시예의 구성들은 비록 도면에서 단일의 통합된 구성으로 도시되었다 하더라도 달리 기재가 없는 한 당업자에게 기술적으로 모순인 것이 명백하지 않다면 상호간에 자유롭게 조합될 수 있는 것으로 이해된다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
도 1은 일 실시예에 따른 하이브리드 서버를 포함하는 시스템을 나타내는 도면이다. 도시된 바와 같이, 하이브리드 서버 시스템(1000)은 하이브리드 서버(100, 점선 박스), 관람 단말기(200), 공연 단말기(300), 관람객 스크린 단말기(400)를 포함할 수 있고, 하이브리드 서버(100)는 제1의 서버(10) 및 제2의 서버(20)을 포함할 수 있다. 관람 단말기(200), 공연 단말기(300), 관람객 스크린 단말기(400)는 영상 디스플레이 기능 이외에도 마이크, 스피커를 부기하고 있을 수 있다.
제1의 서버(10)는 관람 단말기(200)로부터 수신된 관람객(201)의 개별 영상 미디어 스트림들을 각각 업로드하고 믹싱(혼합)하여(Mixing) 1개 이상의 그룹 영상 미디어 스트림으로 다운로드할 수 있다. 믹싱(Mixing)은 개별 영상 프레임을 하나 또는 수개의 그룹 프레임으로 혼합하는 과정을 의미하며 이를 위해 인코딩(Encoding), 압축 작업이 포함될 수 있다. 예를 들어, 144개의 개별 영상 프레임을 하나의 영상 프레임으로 합칠 수 있다.
제1의 서버(10)는 제1의 메모리(11), 믹싱부(12), 제1의 제어부(13)를 포함하여 구성될 수 있다. 제1의 메모리(11)는 업로드된 관람객(201)의 개별 영상 미디어 스트림을 저장할 수 있고, 믹싱부(12)는 개별 영상 미디어 스트림을 혼합하여 하나 이상의 그룹 스트림으로 생성할 수 있으며, 제1의 제어부(13)는 믹싱(혼합), 전송, 업로드/다운로드의 일련의 동작을 제어할 수 있다.
관람 단말기(200)는 관람객의 영상을 촬영하고 촬영된 영상을 전송할 수 있고, 각종 영상을 디스플레이 할 수 있는 장치를 의미할 수 있으며 스마트폰, 테블릿, 데스크탑 컴퓨터, 스마트 TV, IP TV를 포함할 수 있다. 관람객은 관람 단말기(200)의 화면 ON/Off의 GUI 동작을 통해 자신의 영상이 표시되게 할 수도 있으면 표시되지 않고 탈퇴할 수도 있다. 자신의 영상이 표시되면 빨간색 ON의 GUI가 표시될 수 있다.
영상 촬영, 전송 및 디스플레이는 하나로 일체화된 장치로 구성될 수 있지만, 공간적으로 분리된 장치들로 구성될 수도 있다.
공연자(301)의 주변, 특히 뒤에는 관람객(201)의 영상이 레이아웃(Layout)되어 동시에 표시되는 관람객 스크린 단말기(400)가 구비되어 있을 수 있다. 관람객 스크린 단말기(400)는 공연 단말기(300)를 통해 제2의 서버(20)가 전송하는 관람객의 영상을 동시에 표시할 수 있다. 관람객의 그룹 영상 미디어 스트림은 제1의 서버(10)가 전송할 수 있다.
관람객 스크린 단말기(400)는 공연 단말기(300)를 통하지 않고 제2의 서버(20)로부터 직접 관람객의 영상 스트림을 수신할 수 있다. 즉, 제2의 서버(20)는 관람객 스크린 단말기(400)에 상기 그룹 영상 미디어 스트림을 전송할 수 있다. 관람객의 그룹 영상 미디어 스트림은 제2의 서버(20)가 제1의 서버(10)로부터 수신할 수 있다. 관람객 스크린 단말기(400)는 공연 무대에 위치될 수 있고, 공연 단말기(300)는 관람객 스크린 단말기(400)의 주변에 위치될 수 있다.
공연자(301) 또는 공연 관리자의 공연 단말기(300)의 조작에 의해 관람객 스크린 단말기(400)은 특정 관람객의 영상을 확대(401)시킬 수 있다. 이로 인해 확대 영상(401)이 표시된 공연자와 그 특정 관람객 간의 인터랙티브 커뮤니케이션이 용이할 수 있다.
제2의 서버(20)는 제1의 서버(10)로부터 상기 그룹 영상 미디어 스트림을 수신하여 업로드하고, 공연 단말기(300)로부터 수신된 공연자(301)의 영상 미디어 스트림을 업로드할 수 있다. 제2의 서버(20)는 제2의 메모리(21), 제2의 제어부(22)를 포함하여 구성될 수 있다. 제2의 메모리(21)는 믹싱된 그룹 스트림을 저장할 수 있고, 제2의 제어부(22)는 송출(전송), 결합, 레이아웃 등의 동작을 제어할 수 있다. 제2의 메모리(21)의 용량은 제1의 메모리(11)의 용량 보다 더 작을 수 있다.
제2의 서버(20)는 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림을 상기 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림 중 어느 하나를 선택하거나 결합하여 상기 관람 단말기에 전송할 수 있다.
결합은 그룹 영상 미디어 스트림과 공연자의 영상 미디어 스트림이 동시에 전송되어 하나의 화면에 표시되도록 하는 것을 의미할 수 있다.
제2의 제어부(22)는 그룹 영상 미디어 스트림과 공연자의 영상 미디어 스트림을 결합하지 않을 수 있으며, 각각의 영상 미디어 스트림만을 선택적으로 전송할 수도 있다.
공연 단말기(300)는 공연자(301)를 영상 촬영하여 영상을 전송하는 카메라일 수 있고, 더 나아가 카메라(C)가 구비되고 촬영된 영상을 표시하는 디스플레이 장치일 수도 있다. 공연 단말기(300)는 공연자(301) 주변에 되어 공연자에 의해 조작될 수 있고, 별도의 관리자에 의해 관리될 수도 있다.
제1의 서버(10)는 MCU(Multi-point Control Unit) 방식의 서버이고, 제2의 서버(20)는 SFU(Selective Forwarding Unit) 방식의 서버일 수 있다. SFU 방식은 1-업로드/N-다운로드 방식으로써 실시간성과 빠른 데이터 속도 및 고화질 영상을 제공할 수 있고, MCU 방식은 1-업로드/1-다운로드 방식으로써 일반적으로 서버에서 네트워크 트래픽 소모가 작다. 따라서 제2의 서버(20)의 메모리 부하를 최소화하면서 초당 24 프레임 전송을 할 수 있어 고화질의 공연자 영상을 빠르게 송출할 수 있다.
제2의 서버(20)는, 상기 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림을 결합하고 다운로드하여 상기 '관람 단말기(200)'에 전송할 수 있다. 제2의 서버(20)는 결합 과정에서 다양한 레이아웃으로 전체 화면을 배열할 수 있다.
일 실시예에 따라, 선택적 전송에 따라, 제2의 서버(20)는 관람 단말기(200)에 관람객의 영상 스트림만을 전송하여 관람객의 영상만 표시되도록 하거나, 공연자의 영상 스트림만을 전송하여 공연자의 영상만 표시되도록 할 수 있다. 또한 상기의 결합된 영상을 표시할 수도 있다. 이러한 3가지 모드를 선택적 전송(Selective forwarding)에 의해 인터랙티브 라이브 공연이 실현될 수 있고, 이로 인해 공연의 흥미가 증진될 수 있다. 제2의 서버(20)의 이러한 선택적 전송은 공연 단말기(300)에 의해 제어될 수 있다.
또한, 더 나아가 제2의 서버(20)는, 상기 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림을 결합하고 다운로드하여 '공연 단말기(30)'에 전송할 수 있다. 전송은 선택적으로 전송(Selective forwarding) 할 수도 있다. 결합은 하나 또는 수개의 그룹 프레임으로 혼합된 관람객의 영상 프레임과 공연자의 영상 프레임을 결합하여 하나의 영상 프레임으로 형성하는 것을 의미할 수 있다. 따라서, 결합된 영상 프레임은 ' 공연 단말기(30) 및 관람 단말기(200)'에 동시 송출(전송)될 수 있다.
도 2는 일 실시예에 따라 제2의 서버가 관람 단말기에 송출하는 화면을 나타내는 도면이다. 도 1에 도시된 제2의 서버는 제1의 서버로부터 믹싱된 그룹 영상 미디어 스트림을 수신 및 업로드하여 관람객 영상 영역(20-2)에 배치시키고, 공연 단말기로부터 수신된 공연자의 영상 미디어 스트림을 수신 및 업로드하여 공연자 영상 영역(20-1)에 배치시켜 도시된 바와 같이 2차 믹싱할 수 있다. 제2의 서버는 공연자 영역(20-1)을 왼쪽에, 관람객 영상 영역(20-2)를 오른쪽에 배치시킬 수 있다.
공연자 영역(20-1)과 관람객 영상 영역(20-2)은 서로 화질이 다를 수 있다. 공연자 영역(20-1)이 관람객 영상 영역(20-2) 보다 더 고화질일 수 있다. 이로 인해, 고화질 공연 영상의 시청이 구현될 수 있고, 제2의 서버의 용량 부담이 덜어 질 수 있다.
일 실시예에 따라, 제2의 서버는 특정 관람자 영역을 확대 영역(20-3)으로 변환시킬 수 있다. 제2의 서버는 공연 단말기의 입력에 의해 이러한 확대 영역을 생성할 수 있다.
일 실시예에 따라, 제2의 서버는 관람 단말기에 관람객의 영상 스트림만을 전송하여 관람객의 영상(20-2)만 표시되도록 하거나, 공연자의 영상 스트림만을 전송하여 공연자의 영상(20-1)만 표시되도록 할 수 있다. 또한 도 2와 같이 결합된 영상을 표시할 수도 있다.
도 1의 공연 단말기(300) 또는 관람 단말기(200)의 화면에는 듀얼 모니터 모드의 ON/off 설정 기능이 구비될 수 있다. 이로 인해, 관리자 또는 관람객은 듀얼 모니터 모드를 ON으로 설정하여 공연자 영역(20-1)과 관람객 영상 영역(20-2)을 2개의 모니터에 각각 분리시킬 수 있다. 듀얼 모니터로 공연자 영역(20-1)과 관람객 영상 영역(20-2)을 2개의 모니터에 각각 분리된 경우에도 상기 '결합'에 포함된다.
도 3은 또 다른 일 실시예에 따라 제2의 서버가 관람 단말기에 송출하는 화면을 나타내는 도면이다. 도 1에 도시된 제2의 서버는 제1의 서버로부터 믹싱된 그룹 영상 미디어 스트림을 수신 및 업로드하여 관람객 영상 영역(20-2)에 배치시키고, 공연 단말기로부터 수신된 공연자의 영상 미디어 스트림을 수신 및 업로드하여 공연자 영상 영역(20-1)에 배치시켜 도시된 바와 같이 2차 믹싱할 수 있다. 제2의 서버는 공연자 영역(20-1)을 가운데에, 관람객 영상 영역(20-2)를 가장자리에 배치시킬 수 있다.
일 실시예에 따라, 제2의 서버는 특정 관람객 영역을 확대 영역(20-3)으로 변환시킬 수 있다. 도시된 바와 같이, 관람객 영역(20-2)의 확대 영역(20-3)은 공연자 영상 영역(20-1)과 오버랩(Overlapped)될 수 있다.
제2의 서버는 공연 단말기의 입력에 의해 이러한 확대 영역을 생성할 수 있고 공연자 영상 영역(20-1)과 오버랩(Overlapped)되도록 할 수 있다.
도 4는 또 다른 일 실시예에 따라 제2의 서버가 특정 관람객의 영상을 직접 송출하는 화면을 나타내는 도면이다. 도시된 바와 같이, 제2의 서버는 그룹 영상 미디어 스트림을 관람 단말기에 전송(송출)하는 경우, 특정 관람객의 영상 미디어만을 도 3에 도시된 공연자 영상 영역(20-1)에 배치시킬 수 있다.
이 경우, 제 1의 서버는 그 특정 관람객의 영상 미디어를 수신하되 다른 영상과 믹싱하지 않을 수 있다. 제 2의 서버는 제1의 서버로부터 그 특정 관람객의 영상 미디어를 별도 수신하여 관람 단말기에 송출할 수도 있다.
또 다른 일 실시예에 따라, 제 2의 서버는 제1의 서버를 거치지 않고 그 특정 관람 단말기로부터 그 특정 관람객의 영상 미디어를 직접 수신하여 접속된 모든 관람 단말기에 전송할 수 있다.
이로 인해, 그 특정 관램객의 영상은 고화질로 송출될 수 있다. 제 2의 서버의 이러한 동작은 '공연 단말기'에 의해 스위칭되어 제1의 서버 및/또는 제2의 서버가 제어될 수 있다. 특정 관람객이 즉흥적으로 공연을 하는 경우에 이러한 기능이 유용할 수 있다.
일 실시예에 따른 하이브리드 서버 운영 방법은, 제1의 서버가 다수의 관람 단말기로부터 수신된 관람객들의 개별 영상 미디어 스트림들을 각각 업로드하고 믹싱하여(Mixing) 1개 이상의 그룹 영상 미디어 스트림으로 다운로드하는 단계(S100)와, 제2의 서버가 제1의 서버로부터 상기 그룹 영상 미디어 스트림을 수신하여 업로드하고, 공연 단말기로부터 수신된 공연자의 영상 미디어 스트림을 업로드하는 단계(S200)를 포함하고, 상기 제2의 서버는 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림 중 어느 하나를 선택하거나 결합하여 상기 관람 단말기에 전송하는 단계(S300)를 더 포함할 수 있다.
일 실시예에 따라, 상기 제2의 서버가 그룹 영상 미디어 스트림을 선택하여 상기 관람 단말기에 전송하는 경우, 특정 관람객의 영상 미디어를 제1의 서버를 거치지 않고 별도로 직접 수신하여 전송(송출)하는 단계(S400)를 더 포함할 수 있다.
일 실시예에 따라, 하이브리드 서버 운영 방법에 있어서 제2의 서버는, 그룹 영상 미디어 스트림과 공연자의 영상 미디어 스트림을 결합하고 다운로드하여 공연 단말기에 더 전송하는 단계(S400)를 더 포함할 수 있다.
하이브리드 서버 운영 방법은 도 1 내지 도 4 및 이에 대한 상기 설명과 참조에 의해 결합될 수 있다.
1000 : 하이브리드 서버 시스템
100 : 하이브리드 서버
200 : 관람 단말기
300 : 공연 단말기
400 : 관람객 스크린 단말기
10 : 제1의 서버
20 : 제2의 서버

Claims (7)

  1. 다수의 관람 단말기로부터 수신된 관람객의 개별 영상 미디어 스트림을 각각 업로드하고 믹싱하여(Mixing) 1개 이상의 그룹 영상 미디어 스트림으로 다운로드하는 제1의 서버; 및
    제1의 서버로부터 상기 그룹 영상 미디어 스트림을 수신하여 업로드하고, 공연 단말기로부터 직접 수신된 공연자의 영상 미디어 스트림을 업로드하는 제2의 서버;
    상기 제2의 서버는,
    상기 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림 중 어느 하나를 선택하고, 상기 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림을 결합하여 상기 관람 단말기 및 상기 공연 단말기에 전송하고,
    상기 제1의 서버는 MCU 서버이고, 제2의 서버는 SFU 서버인 하이브리드 서버.
  2. 제1항에 있어서,
    다수의 관람객의 영상이 레이아웃되어 표시하는 관람객 스크린 단말기가 더 구비되고,
    상기 제2의 서버는,
    상기 관람객 스크린 단말기에 상기 그룹 영상 미디어 스트림을 전송하는 하이브리드 서버.
  3. 제1의 서버가 다수의 관람 단말기로부터 수신된 관람객들의 개별 영상 미디어 스트림들을 각각 업로드하고 믹싱하여(Mixing) 1개 이상의 그룹 영상 미디어 스트림으로 다운로드하는 단계(S100); 및
    제2의 서버가 제1의 서버로부터 상기 그룹 영상 미디어 스트림을 수신하여 업로드하고, 공연 단말기로부터 직접 수신된 공연자의 영상 미디어 스트림을 업로드하는 단계(S200);를 포함하고,
    상기 제2의 서버는,
    상기 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림 중 어느 하나를 선택하고, 상기 그룹 영상 미디어 스트림과 상기 공연자의 영상 미디어 스트림을 결합하여 상기 관람 단말기 및 상기 공연 단말기에 전송하는 단계(S300);를 포함하고,
    상기 제1의 서버는 MCU 서버이고, 제2의 서버는 SFU 서버인 하이브리드 서버 운영 방법.
  4. 제3항에 있어서,
    상기 제2의 서버가 그룹 영상 미디어 스트림을 선택하여 상기 관람 단말기에 전송하는 경우,
    특정 관람객의 영상 미디어를 제1의 서버를 거치지 않고 별도로 직접 수신하여 전송하는 단계(S400)를 더 포함하는 하이브리드 서버 운영 방법.
  5. 삭제
  6. 삭제
  7. 삭제
KR1020220010634A 2022-01-25 2022-01-25 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드 서버 운영 방법 KR102555962B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220010634A KR102555962B1 (ko) 2022-01-25 2022-01-25 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드 서버 운영 방법
US17/949,804 US11924493B2 (en) 2022-01-25 2022-09-21 Hybrid server for providing videophone service and method of operating the same
KR1020230089885A KR102586186B1 (ko) 2022-01-25 2023-07-11 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드서버 운영 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220010634A KR102555962B1 (ko) 2022-01-25 2022-01-25 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드 서버 운영 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230089885A Division KR102586186B1 (ko) 2022-01-25 2023-07-11 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드서버 운영 방법

Publications (1)

Publication Number Publication Date
KR102555962B1 true KR102555962B1 (ko) 2023-07-14

Family

ID=87155494

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220010634A KR102555962B1 (ko) 2022-01-25 2022-01-25 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드 서버 운영 방법
KR1020230089885A KR102586186B1 (ko) 2022-01-25 2023-07-11 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드서버 운영 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230089885A KR102586186B1 (ko) 2022-01-25 2023-07-11 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드서버 운영 방법

Country Status (2)

Country Link
US (1) US11924493B2 (ko)
KR (2) KR102555962B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100867004B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 시청자 참여를 위한 양방향성 ｉｐｔｖ 방송 서비스 방법및 그 시스템
KR20150105058A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 온라인을 이용한 혼합현실형 가상 공연 시스템
KR102348492B1 (ko) * 2021-06-22 2022-01-07 주식회사 쿼렌시스 영상 전송 시스템 및 영상 전송 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210124655A (ko) 2020-04-07 2021-10-15 주식회사 케이티 영상 통화 서비스를 중계하는 서버, 방법 및 컴퓨터 프로그램
US20220408122A1 (en) * 2021-06-18 2022-12-22 Applause Creators, Inc. Live events platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100867004B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 시청자 참여를 위한 양방향성 ｉｐｔｖ 방송 서비스 방법및 그 시스템
KR20150105058A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 온라인을 이용한 혼합현실형 가상 공연 시스템
KR102348492B1 (ko) * 2021-06-22 2022-01-07 주식회사 쿼렌시스 영상 전송 시스템 및 영상 전송 방법

Also Published As

Publication number Publication date
US20230291951A1 (en) 2023-09-14
US11924493B2 (en) 2024-03-05
KR20230114739A (ko) 2023-08-01
KR102586186B1 (ko) 2023-10-06

Similar Documents

Publication Publication Date Title
US7362349B2 (en) Multi-participant conference system with controllable content delivery using a client monitor back-channel
US9232191B2 (en) Systems and methods for scalable distributed global infrastructure for real-time multimedia communication
US20160150286A1 (en) Social multi-camera interactive live engagement system
RU2662731C2 (ru) Устройство серверного узла и способ
CN102843542B (zh) 多流会议的媒体协商方法、设备和系统
US20040008249A1 (en) Method and apparatus for controllable conference content via back-channel video interface
US20130222601A1 (en) Mobile video mixing system
EP1381237A2 (en) Multi-participant conference system with controllable content and delivery via back-channel video interface
WO2011140812A1 (zh) 多画面合成方法、系统及媒体处理装置
JP2007028586A (ja) 対話型マルチメディアコンテンツ制作システム
US20130076980A1 (en) Systems and methods for synchronizing the presentation of a combined video program
Zeebaree et al. Multilevel client/server peer-to-peer video broadcasting system
US20050289627A1 (en) Virtual community television system
WO2015003532A1 (zh) 多媒体会议的建立方法、装置及系统
US11503085B2 (en) Multimedia composition in meeting spaces
TWI644565B (zh) 視訊影像處理方法及其相關系統
KR102141104B1 (ko) 영상회의 영상 데이터를 생성하는 방법 및 서버, 그리고 영상회의 영상 데이터를 수신하는 방법 및 디바이스
KR102555962B1 (ko) 영상 통화 서비스를 제공하는 하이브리드 서버 및 하이브리드 서버 운영 방법
JPH0537933A (ja) 多地点間テレビ会議システム
JP6692922B2 (ja) 複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法
CN116320261A (zh) 一种视频会议直播的处理方法及视频会议直播系统
CN115734028A (zh) 一种基于级联编码的媒体流推送方法及系统
JP2005039598A (ja) インタラクティブ配信システム
CN117041470A (zh) 会议的显示方法、装置、会议系统、存储介质及电子装置
CN116915937A (zh) 多路视频输入方法及其系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant