KR20180105594A - 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법 - Google Patents

영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법 Download PDF

Info

Publication number
KR20180105594A
KR20180105594A KR1020180059432A KR20180059432A KR20180105594A KR 20180105594 A KR20180105594 A KR 20180105594A KR 1020180059432 A KR1020180059432 A KR 1020180059432A KR 20180059432 A KR20180059432 A KR 20180059432A KR 20180105594 A KR20180105594 A KR 20180105594A
Authority
KR
South Korea
Prior art keywords
video
end processor
configuration information
user terminals
audio streams
Prior art date
Application number
KR1020180059432A
Other languages
English (en)
Inventor
문종배
조정현
강진아
이훈기
장종현
지덕구
최승한
한미경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180059432A priority Critical patent/KR20180105594A/ko
Publication of KR20180105594A publication Critical patent/KR20180105594A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

영상 회의 서비스에 이용되는 다지점 접속 제어 장치 및 방법이 개시된다. 상기 영상 회의 서비스에 이용되는 다지점 접속 제어 장치는 영상 회의 서비스의 참여자들의 사용자 단말들로부터 영상 및 오디오 스트림들을 수신하고, 상기 수신 영상 및 오디오 스트림들에 기초하여 상기 영상 회의 서비스를 제공하기 위한 화면 구성 정보를 생성하는 프론트 엔드 처리기 및 상기 프론트 엔드 처리기로부터 상기 영상 및 오디오 스트림들 중 적어도 하나의 영상 및 오디오 스트림, 및 상기 화면 구성 정보를 수신하고, 상기 수신한 적어도 하나의 영상 및 오디오 스트림, 및 상기 화면 구성 정보에 기초하여 상기 영상 회의 서비스를 위한 믹싱된 영상을 생성하는 백 엔드 처리기를 포함할 수 있다.

Description

영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법{MULTI-POINT CONNECTION CONTROL APPARATUS AND METHOD FOR VIDEO CONFERENCE SERVICE}
아래의 설명은 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법에 관한 것이다.
다자간 영상 회의 서비스에 있어서, 다지점 접속 제어 장치는 영상 회의 서비스에 참여하는 참여자들의 영상들에 기초하여 가상의 회의방을 생성한다. 포워딩/릴레이 방식의 다지점 접속 제어 장치는 다수 참여자의 영상을 혼합하여 하나의 영상을 만들지 않고 다수 참여자의 영상을 그대로 전송하기 때문에, 클라우드 환경에서 확장성을 유지하는 데에 유리하다. 반면에, 포워딩/릴레이 방식은 참여자의 수가 증가함에 따라 유지해야 하는 연결의 수가 증가한다는 점에서, 네트워크에 과도한 부하를 줄 수 있다.
일 실시예에 따른 다자간 영상 회의 서비스에 이용되는 다지점 접속 제어 장치는 상기 영상 회의 서비스의 참여자들의 사용자 단말들로부터 영상 및 오디오 스트림들을 수신하고, 상기 수신한 영상 및 오디오 스트림들에 기초하여 상기 영상 회의 서비스를 제공하기 위한 화면 구성 정보를 생성하는 프론트 엔드 처리기; 및 상기 프론트 엔드 처리기로부터 상기 영상 및 오디오 스트림들 중 적어도 하나의 영상 및 오디오 스트림, 및 상기 화면 구성 정보를 수신하고, 상기 수신한 적어도 하나의 영상 및 오디오 스트림, 및 상기 구성 정보에 기초하여 상기 영상 회의 서비스를 위한 믹싱된 영상을 생성하는 백 엔드 처리기를 포함할 수 있다.
일 실시예에 따른 프론트 엔드 처리기는 상기 사용자 단말들 각각의 디스플레이에 적합한 화면 구성 정보를 생성할 수 있다.
일 실시예에 따른 프론트 엔드 처리기는 주화자에 대한 정보를 생성하고, 상기 생성된 주화자에 대한 정보에 기초하여 화면 구성 정보를 생성할 수 있다.
일 실시예에 따른 프론트 엔드 처리기는 주화자에 대한 정보를 생성하고, 상기 생성된 주화자에 대한 정보를 기초로 하여 상기 수신한 영상 및 오디오 스트림들을 선택적으로 상기 백 엔드 처리기에 전송할 수 있다.
일 실시예에 따른 상기 다지점 접속 제어 장치는 상기 프론트 엔드 처리기에 연결된 복수의 백 엔드 처리기들을 포함할 수 있다.
일 실시예에 따른 다지점 접속 제어 장치는 영상 회의 서비스를 관리하는 대화방 관리기; 및 상기 영상 회의 서비스에 필요한 자원을 관리하고, 상기 프런트 엔드 처리기 및 상기 백 엔드 처리기 간의 연결을 관리하는 다지점 접속 제어 관리기를 더 포함할 수 있다.
일 실시예에 따른 프론트 엔드 처리기에 의해 수행되는 다지점 접속 제어 방법은 영상 회의 서비스의 참여자들의 사용자 단말들로부터 영상 및 오디오 스트림들을 수신하는 단계; 상기 수신한 영상 및 오디오 스트림들에 기초하여 상기 영상 회의 서비스에 제공되는 화면 구성 정보를 생성하는 단계; 및 상기 영상 및 오디오 스트림들 중 적어도 하나의 영상 및 오디오 스트림, 및 상기 화면 구성 정보를 백 엔드 처리기로 전송하는 단계를 포함할 수 있다.
일 실시예에 따른 백 엔드 처리기에 의해 수행되는 다지점 접속 제어 방법은 프론트 엔드 처리기로부터 영상 회의 서비스에 제공되는 화면 구성 정보 및 영상 회의 서비스의 참여자들에 대한 영상 및 오디오 스트림들을 수신하는 단계; 상기 수신한 영상 및 오디오 스트림들, 및 상기 화면 구성 정보에 기초하여 상기 영상 회의 서비스를 위한 믹싱된 영상을 생성하는 단계; 및 상기 믹싱된 영상을 상기 백 엔드 처리기에 연결된 사용자 단말에 전송하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 다자간 영상 회의 서비스를 제공하는 시스템의 전체적인 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 프론트 엔드 처리기의 세부 구성을 도시하는 도면이다.
도 3a는 일 실시예에 따른 사용자 단말의 디스플레이의 크기에 기초하여 생성된 화면 구성 정보를 통해 구성된 화면의 일례를 설명하기 위한 도면이다.
도 3b는 일 실시예에 따른 주화자에 대한 정보에 기초하여 생성된 화면 구성 정보를 통해 구성된 화면의 일례를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 주화자에 대한 정보에 기초하여 수신한 영상 및 오디오 스트림들을 선택적으로 백 엔드 처리기로 전송하는 일례를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 백 엔드 처리기의 세부 구성을 도시하는 도면이다.
도 6은 일 실시예에 따른 프론트 엔드 처리기에 의해 수행되는 다지점 접속 제어 방법의 동작을 도시한 흐름도이다.
도7은 일 실시예에 따른 백 엔드 처리기에 의해 수행되는 다지점 접속 제어 방법의 동작을 도시한 흐름도이다.
실시예들에 대한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 본 명세서의 범위는 개시된 실시예들의 특정한 형태로 한정되는 것이 아니라 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 다자간 영상 회의 서비스를 제공하는 시스템의 전체적인 구성을 도시한 도면이다. 해당 시스템은 지역적으로 떨어져 있는 다자간 영상 회의 서비스 참여자들이 대화방이라는 가상의 공간에서 회의를 할 수 있는 텔레프레즌스 서비스(telepresence service)를 제공한다. 텔레프레즌스 서비스는 인터넷을 매개로 한 환경 속에서 참여자들이 가상 환경을 실제 환경과 유사하게 느끼도록 하는 인지적 몰입 상태를 제공하는 서비스를 의미한다. 다자간 영상 회의 서비스를 제공하는 시스템은 소프트웨어 기반의 스트림 믹싱에 기초하여 회의 영상을 생성하고, 클라우드 환경에 기초하여 다자간 영상 회의 서비스를 제공할 수 있다.
아래에 설명되는 다자간 영상 회의 서비스에 이용되는 다지점 접속 제어 장치는 다자간 영상 회의 서비스에 사용되는 대화방을 관리하고, 다자간 영상 회의 서비스에 이용되는 회의 영상을 생성하고, 생성된 영상을 다자간 영상 회의 서비스의 참여자에게 전송할 수 있다. 다지점 접속 제어 장치는 클라우드 환경에 기초하여 영상 회의 제공 시스템의 확장성을 도모할 수 있고, BYOD(Bring Your Own Device) 환경에서 몰입형 텔레프레즌스 서비스를 원활하게 제공할 수 있다.
도 1을 참조하면, 다지점 접속 제어 시스템은 다지점 접속 제어 장치 및 사용자 단말들(171, 172, 173, 174)을 포함할 수 있다.
다지점 접속 제어 장치는 프론트 엔드 처리기(110), 다지점 접속 제어 관리기(121) 및 대화방 관리기(122)를 포함하는 컨트롤러(120), 하나 이상의 백 엔드 처리기들(140, 150, 160), 스트리머(141) 및 레코더(142)를 포함할 수 있다. 프론트 엔드 처리기(110)에는 하나 이상의 백 엔드 처리기들이 연결될 수 있다. 도 1에서는 설명의 편의를 위해 3개의 백 엔드 처리기들(140, 150, 160)이 프론트 엔드 처리기(110)에 연결된 실시예를 설명하도록 한다. 하지만, 실시예의 범위가 이에 한정되는 것은 아니다.
도 1에 도시된 프론트 엔드 처리기(110), 백 엔드 처리기들(140, 150, 160), 컨트롤러(120), 스트리머(141) 및 레코더(142)는 클라우드 환경에서 컨테이너(container) 기반으로 동작을 수행할 수 있다. 각각의 생성된 컨테이너들은 클라우드 환경에서 동일한 서버에 존재하거나 서로 다른 서버에 존재할 수도 있다.
프론트 엔드 처리기(110)는 참여자들의 사용자 단말들(171, 172, 173, 174)로부터 수신한 영상 및 오디오 스트림들에 기초하여 다자간 영상 회의 서비스를 제공하기 위한 화면 구성 정보를 생성할 수 있다. 프론트 엔드 처리기(110)는 사용자 단말들(171, 172, 173, 174)의 디스플레이의 크기 및/또는 주화자에 대한 정보를 고려하여 화면 구성 정보를 생성할 수 있다. 수신한 영상 스트림들은 참여자의 얼굴 영상을 포함할 수 있고, 수신한 오디오 스트림들은 참여자의 음성을 포함할 수 있다.
프론트 엔드 처리기(110)는 수신한 영상 및 오디오 스트림들을 백 엔드 처리기들(140, 150, 160)로 전송할 수 있다. 사용자 단말의 디스플레이의 크기에 따라 참여자들의 영상 스트림들을 표시할 수 있는 영역의 크기가 제한되기 때문에, 프론트 엔드 처리기(110)는 각각의 백 엔드 처리기들(140, 150, 160)에 연결된 사용자 단말의 디스플레이의 크기에 기초하여 몇 명의 참여자들의 영상 및 오디오 스트림들을 전송할 지를 결정할 수 있다. 예를 들어, 프론트 엔드 처리기(110)는 모든 참여자의 영상 스트림들을 나타낼 수 있는 여유 공간이 부족한 디스플레이를 포함하는 사용자 단말과 연결된 백 엔드 처리기에는 일부 참여자의 영상 및 오디오 스트림들을 제외하고 전송할 수 있다. 프론트 엔드 처리기(110)는 회의 영상의 해상도를 고려하여 일부 참여자의 영상 및 오디오 스트림들을 제외하고 전송할 수 있다. 이와 같이, 프론트 엔드 처리기(110)는 참여자들의 사용자 단말들(171, 172, 173, 174)로부터 수신한 영상 및 오디오 스트림들을 선택적으로 전송할 수 있다.
컨트롤러(120)는 영상 회의 서비스를 관리하는 대화방 관리기(122) 및 영상 회의 서비스에 필요한 자원을 관리하고, 프런트 엔드 처리기(110) 및 백 엔드 처리기(140, 150, 160) 사이의 연결을 관리하는 다지점 접속 제어 관리기(121)를 포함할 수 있다.
대화방 관리기(122)는 다자간 영상 회의 서비스의 대화방 내의 참여자들을 인증 및 관리할 수 있다.
대화방 관리기(122)는 인터페이스를 통해 다자간 영상 회의 서비스에 참여하는 참여자를 인증할 수 있다. 대화방 관리기(122)는 참여자를 인증하는 과정에서 참여자의 정보 및 참여자가 사용하는 사용자 단말에 대한 정보를 획득할 수 있다. 예를 들어, 대화방 관리기(122)는 참여자를 인증하는 과정에서 참여자를 식별할 수 있는 정보를 획득할 수 있고, 참여자의 사용자 단말의 종류 및 디스플레이의 크기에 대한 정보를 획득할 수 있다. 대화방 관리기(122)는 획득된 참여자의 사용자 단말의 종류 및 디스플레이의 크기에 대한 정보를 다지점 접속 제어 관리기(121)에 전달할 수 있고, 다지점 접속 제어 관리기(121)는 획득된 사용자 단말의 종류 및 디스플레이의 크기에 대한 정보에 기초하여 대화방을 생성하기 위한 초기 클라우드 자원을 할당하기 위하여 가상화 인스턴스를 프로비저닝할 수 있다.
대화방 관리기(122)는 참여자의 참여 상황에 기초하여 참여자를 관리할 수 있다. 예를 들어, 일부 참여자가 회의의 진행을 방해하는 경우, 대화방 관리기(122)는 회의 진행을 방해하는 참여자를 강제로 대화방에서 퇴장시키거나, 참여자에게 제제를 가할 수 있다.
대화방 관리기(122)는 다자간 영상 회의 서비스의 대화방을 관리할 수 있다. 예들 들어, 대화방 관리기(122)는 인증을 받은 참여자의 신청에 기초하여 대화방을 생성할 수 있다. 인증을 받은 참여자는 대화방 관리기(122)의 인터페이스를 통해 대화방 생성을 신청할 수 있다. 인증을 받은 참여자가 대화방 생성을 신청한 경우, 대화방 관리기(122)는 다지점 접속 제어 관리기(121)에 대화방 생성을 위한 자원을 클라우드 서버에 할당해 줄 것을 요청할 수 있다. 대화방 관리기(122)는 대화방의 회의 영상을 저장하는 레코딩 기능 및 참석자 외의 방청객에게 회의 영상을 제공하는 스트리밍 기능을 관리할 수 있다.
일 실시예에 따른 다지점 접속 제어 관리기(121)는 영상 회의 서비스에 필요한 자원을 관리할 수 있다. 예들 들어, 다지점 접속 제어 관리기(121)는 대화방 관리기(122)의 요청에 기초하여 대화방 관리에 필요한 자원을 클라우드 서버를 통해 동적으로 관리할 수 있다. 다지점 접속 제어 관리기(121)는 대화방의 최대 인원 수, 참여자의 사용자 단말의 디스플레이의 개수 또는 디스플레이의 종류 등에 기초하여 대화방을 생성하는 데에 필요한 자원을 계산할 수 있다. 다지점 접속 제어 관리기(121)는 계산된 자원을 할당하기 위하여 가상화 인스턴스를 프로비저닝한다. 다지점 접속 제어 관리기(121)는 클라우드에 있는 복수의 서버들을 모니터링하고, 모니터링된 서버들 중 계산된 자원을 할당하기에 적합한 서버에 계산된 자원을 할당한다. 다지점 접속 제어 관리기(121)는 영상 회의가 종료된 경우 클라우드 서버에 할당한 자원을 반납할 수 있다.
다지점 접속 제어 관리기(121)는 새로운 종류의 사용자 단말이 추가되거나 새로운 크기의 디스플레이를 포함하는 사용자 단말이 추가되는 경우, 추가된 사용자 단말에 대한 화면 구성 정보를 결정하기 위하여 추가된 사용자 단말의 종류 및 디스플레이의 크기에 대한 정보를 결정할 수 있다. 화면 구성 정보는 사용자 단말의 종류 및 디스플레이의 크기에 대한 정보에 기초하여 미리 결정될 수 있다. 다지점 접속 제어 관리기(121)는 결정된 사용자 단말의 종류 및 디스플레이의 크기에 대한 정보에 기초하여 미리 결정된 화면 구성 정보 중 추가된 사용자 단말에 적합한 화면 구성 정보를 결정할 수 있다. 예를 들어, 사용자 단말의 종류 및 디스플레이의 크기에 대한 정보는 PC 모니터, 스마트폰, 태플릿 PC 등으로 구분되어 관리될 수 있고, 각각에 대응하는 화면 구성 정보가 미리 결정될 수 있다. 예를 들어, 추가된 사용자 단말의 디스플레이가 PC 모니터에 해당되는 경우, 추가된 사용자 단말의 화면 구성 정보는 PC 모니터에 대응되는 화면 구성 정보로 결정될 수 있다.
추가된 사용자 단말의 종류 및 디스플레이의 크기에 대한 정보는 참여자의 사용자 단말과 프론트 엔드 처리기가 SIP 기반 시그널링 과정을 수행할 때에 다지점 접속 제어 관리기(121)에 의해 결정될 수 있다. 일 실시예에 따르면, 다지점 접속 제어 관리기(121)는 사용자 단말의 디스플레이 크기의 수의 변화에 기초하여 백 엔드 처리기를 동적으로 추가 또는 삭제하기 위해 계산된 자원을 관리할 수 있다. 단일 백 엔드 처리기는 오직 동일한 크기의 디스플레이를 가지는 사용자 단말들과 연결될 수 있기 때문에, 다지점 접속 제어 관리기(121)는 기존에 존재하는 사용자 단말들의 디스플레이와 크기가 다른 디스플레이를 포함하는 참여자의 사용자 단말의 추가 여부에 기초하여 백 엔드 처리기의 추가 여부를 결정할 수 있다. 해당 결정에 기초하여 다지점 접속 제어 관리기(121)는 자원을 관리할 수 있다. 다지점 접속 제어 관리기(121)는 백 엔드 처리기를 추가하거나 삭제하는 경우, 추가되거나 삭제되는 백 엔드 처리기를 위해 계산된 자원을 클라우드 서버에 할당하거나 반납할 수 있다.
다지점 접속 제어 관리기(121)는 생성된 대화방을 관리하고, 프런트 엔드 처리기(110) 및 백 엔드 처리기(140, 150, 160) 간의 연결을 관리할 수 있다. 예를 들어, 다지점 접속 제어 관리기(121)는 생성된 대화방과 프런트 엔드 처리기(110)를 1 대 1로 연결되도록 관리할 수 있다. 다지점 접속 제어 관리기(121)는 사용자 단말의 디스플레이 크기에 기초하여 생성된 복수의 백 엔드 처리기(140, 150, 160)를 하나의 프론트 엔드 처리기(110)에 연결되도록 관리할 수 있다.
백 엔드 처리기들(140, 150, 160)은 프론트 엔드 처리기(110)로부터 영상 및 오디오 스트림들 중 적어도 하나의 영상 및 오디오 스트림, 및 화면 구성 정보를 수신하고, 수신한 적어도 하나의 영상 및 오디오 스트림, 및 화면 구성 정보에 기초하여 다자간 영상 회의 서비스를 위한 믹싱된 영상을 생성할 수 있다. 백 엔드 처리기들(140, 150, 160)은 연결된 사용자 단말의 디스플레이의 크기에 기초하여, 수신한 영상 스트림들을 스케일링한다. 백 엔드 처리기들(140, 150, 160)은 수신한 화면 구성 정보에 기초하여 스케일링된 영상 스트림들 및 수신된 오디오 스트림들이 믹싱된 회의 영상을 생성할 수 있다.
일 실시예에 따른 백 엔드 처리기들(140, 150, 160)은 사용자 단말들의 디스플레이 크기 별로 생성될 수 있고, 생성된 백 엔드 처리기들(140, 150, 160)은 동일한 프론트 엔드 처리기(110)에 연결될 수 있다. 예를 들어, 도 1에서 백 엔드 처리기1(140)은 사용자 단말(172)에 연결될 수 있고, 백 엔드 처리기 2(150)는 동일한 크기의 사용자 단말들(171, 174)에 연결될 수 있고, 백 엔드 처리기(160)는 사용자 단말(173)에 연결될 수 있다. 각각의 백 엔드 처리기들(140, 150, 160)은 프론트 엔드 처리기(110)에 연결될 수 있다.
일 실시예에 따른 백 엔드 처리기들(140, 150, 160)은 믹싱된 영상을 사용자 단말, 레코더(142) 및 스트리머(141) 중 적어도 하나로 전송할 수 있다. 예를 들어, 대화방 설정에서 레코딩 기능 및 스트리밍 기능이 설정된 경우, 백 엔드 처리기들(140, 150, 160)은 레코더(142) 및 스트리머(141)에 믹싱된 영상을 전송할 수 있다.
스트리머(141)는 영상 회의 서비스에 대한 영상 및 오디오 데이터를 스트리밍(streaming)할 수 있다. 스트리머(141)는 영상 회의 서비스에 참여하지 않는 사용자들(예를 들어, 방청자들)에게 영상 회의 서비스에 대한 영상을 제공할 수 있다. 스트리머(141)는 대화방의 설정에 기초하여 백 엔드 처리기(140)로부터 믹싱된 영상을 수신하고, 수신한 영상을 방청자들에게 스트리밍할 수 있다. 대화방 설정에서 회의에 참여하지 않는 방청객에게 회의 영상을 제공하는 스트리밍 기능이 설정된 경우, 스트리머(141)는 백 엔드 처리기(140)로부터 믹싱된 영상을 수신할 수 있다.
레코더(142)는 백 엔드 처리기(140)에 의해 믹싱된 영상을 압축하고, 압축된 영상을 저장할 수 있다. 예를 들어, 레코더(142)는 압축된 영상을 저장하고, 저장된 영상을 참여자들에게 다자간 영상 회의 서비스의 진행 중에 제공하거나, 저장된 영상을 참여자들에게 다자간 영상 회의 서비스의 종료 후에 제공할 수 있다. 레코더(142)는 대화방의 설정에 기초하여 백 엔드 처리기(140)로부터 믹싱된 영상을 수신할 수 있다. 예를 들어, 대화방 설정에서 회의 영상을 저장 하는 레코딩 기능이 설정된 경우, 레코더(142)는 백 엔드 처리기(140)로부터 믹싱된 영상을 수신할 수 있다.
도 1에서는 백 엔드 처리기 1(140)에만 스트리머(141)과 레코더(142)가 연결되어 있지만, 실시예에 따라 백 엔드 처리기들 중 하나 이상에 스트리머 및/또는 레코더가 연결될 수 있다.
도 2는 일 실시예에 따른 프론트 엔드 처리기의 세부 구성을 도시하는 도면이다.
도 2를 참조하면, 프론트 엔드 처리기(220)는 오디오 디코더(221), 비디오 디코더(222), 음성 검출기(223), 주화자 검출기(224), 레이아웃 관리기(225), 선택적 스트림 전송기(226)를 포함할 수 있다.
일 실시예에 따르면, 참여자들은 BYOD 환경에서 각각의 사용자 단말들(211, 212, 213)을 통해 프론트 엔드 처리기(220)에 영상 및 오디오 스트림들을 전송한다. 예를 들어, 참여자들은 프런트 엔드 처리기(220)와 SIP 기반 시그널링 과정을 수행하고, 부호화(예: H.264 또는 VP8에 의함)된 영상 혹은 오디오 스트림들을 API(예: WebRTC)를 통해 프론트 엔드 처리기(220)에 전송할 수 있다. 프론트 엔드 처리기(220)는 내부 처리 과정을 거쳐 영상 혹은 오디오 스트림들을 백 엔드 처리기들(231, 232, 233)로 전송한다. 내부 처리 과정을 이하 상세히 설명한다.
프론트 엔드 처리기(220)는 수신된 영상 및 오디오 스트림들을 각각 오디오 디코더(221) 및 비디오 디코더(222)를 통해 복호화할 수 있다. 일 실시예에 따른 음성 검출기(223)는 복호화된 오디오 스트림들을 수신하고, 수신된 오디오 스트림들에서 VAD(Voice Activity Detection)를 통해 참여자들의 음성을 검출한다. 일 실시예에 따른 주화자 검출기(224)는 검출된 참여자들의 음성을 통해 MSD(Main Speaker Detection)에 기초하여 주화자에 대한 정보를 생성한다. 생성된 주화자에 대한 정보에 기초하여 참여자들의 발언 빈도 순위가 결정될 수 있다. 예를 들어, 주화자 검출기(224)는 주기적으로 주화자를 검출하고, 주화자로 검출된 빈도에 기초하여 참여자들의 발언 빈도 순위가 결정될 수 있다. 결정된 참여자들의 발언 빈도 순위에 대한 정보는 선택적 스트림 전송기(226)에서 어떠한 참여자의 영상 및 오디오 스트림들을 전송할 지를 결정하는 데에 사용될 수 있고, 화면 구성 정보로써 백 엔드 처리기에 의해 사용될 수 있다.
일 실시예에 따른 레이아웃 관리기(225)는 사용자 단말들 각각의 디스플레이에 적합한화면 구성 정보를 생성하고, 생성된 화면 구성 정보를 백 엔드 처리기들(231, 232, 233)에 전송한다. 예를 들어, 화면 구성 정보는 참여자의 영상 스트림의 화면 배치에 관한 정보, 화면 해상도에 관한 정보 등을 포함할 수 있다.
일 실시예에 따른 레이아웃 관리기(225)는 각각의 사용자 단말들의 디스플레이의 크기에 기초한 화면 구성 정보를 생성할 수 있다. 예를 들어, 레이아웃 관리기(225)는 추가적인 정보를 제공할 여유 영역이 존재하는 디스플레이를 가진 사용자 단말의 경우, 참여자의 위치에 대한 정보 등 추가적인 정보를 포함한 화면 구성 정보를 생성할 수 있다. 또한, 사용자 단말의 디스플레이의 크기에 기초하여 참여자들의 영상 스트림들 사이의 여백을 조절한 화면 구성 정보를 생성할 수 있다.
일 실시예에 따른 레이아웃 관리기(225)는 생성된 주화자에 대한 정보에 기초하여 화면 구성 정보를 생성할 수 있다. 예를 들어, 레이아웃 관리기(225)는 결정된 주화자에 해당하는 참여자의 영상을 전체 화면 영역 중 다른 참여자의 영상이 디스플레이되는 영역보다 크기가 큰 영역에 배치하거나, 또는 주화자에 해당하는 참여자의 영상 스트림을 전체 화면의 중심에 배치한 화면 구성 정보를 생성할 수 있다.
일 실시예에 따른 선택적 스트림 전송기(226)는 주화자에 대한 정보를 생성하고, 생성된 주화자에 대한 정보에 기초하여 영상 및 오디오 스트림들을 백 엔드 처리기들(231, 232, 233)에 선택적으로 전송한다. 예를 들어, 선택적 스트림 전송기(226)는 주화자에 대한 정보를 기초로 하여 발언 빈도를 획득하고, 획득된 발언 빈도를 통해 참여자들의 발언 빈도 순위를 결정한다. 선택적 스트림 전송기(226)는 결정된 발언 빈도 순위에 기초하여 선택적으로 복호화된 영상 및 오디오 스트림들을 백 엔드 처리기들(231, 232, 233)에 전송한다. 예를 들어, 사용자 단말의 디스플레이의 크기에 따라 참여자의 영상 스트림이 표시될 수 있는 영역이 제한되기 때문에, 선택적 스트림 전송기(226)는 사용자 단말의 디스플레이 크기에 기초하여 몇 명의 참여자의 영상 및 오디오 스트림들을 백 엔드 처리기에 전송할 지를 결정할 수 있다. 선택적 스트림 전송기(226)는 결정된 참여자의 수에 기초하여, 발언 빈도 순위가 높은 참여자들의 영상 및 오디오 스트림들을 우선적으로 전송할 수 있다.
도 3a는 일 실시예에 따른 사용자 단말의 디스플레이의 크기에 기초하여 생성된 화면 구성 정보를 통해 구성된 화면의 일례를 설명하기 위한 도면이다.
도 3a를 참조하면, 추가적인 정보를 제시할 영역을 포함하는 사용자 단말(310)의 화면은 참여자들의 영상 스트림들과 참여자들이 위치하는 지역 정보가 함께 제시되도록 구성될 수 있다. 예를 들어, 사용자 단말(310)의 화면은 참여자들 각각의 위치를 표시한 지도와 참여자들의 영상 스트림들이 함께 제공될 수 있도록 구성될 수 있다.
일 실시예에 따르면, 사용자 단말의 디스플레이의 크기에 기초하여, 각 사용자 단말의 화면은 서로 다른 숫자의 참여자들의 영상 스트림을 나타내는 영역을 포함할 수 있다. 예를 들어, 사용자 단말(310)의 화면은 5명의 참여자들의 영상 스트림을 나타낼 수 있는 영역을 포함할 수 있고, 사용자 단말 (320)의 화면은 3명의 참여자들의 영상 스트림을 나타낼 수 있는 영역을 포함할 수 있고, 사용자 단말(330)의 화면은 1명의 참여자의 영상 스트림을 나타낼 수 있는 영역을 포함할 수 있다.
사용자 단말의 화면이 나타낼 참여자의 영상 스트림은 이하 설명될 주화자에 대한 정보에 기초하여 결정될 수 있다. 예를 들어, 사용자 단말(330)의 화면은 주화자로 결정된 1명의 참여자의 영상 스트림을 나타낼 수 있고, 사용자 단말(320)의 화면은 주화자로 결정된 1명의 참여자와 발언 빈도가 높은 순서대로 결정된 2명의 참여자들의 영상 스트림들을 나타낼 수 있다.
도 3b는 일 실시예에 따른 주화자에 대한 정보에 기초하여 생성된 화면 구성 정보를 통해 구성된 화면의 일례를 설명하기 위한 도면이다.
도 3b를 참조하면, 화면들(340, 350, 360)은 각각 크기가 다른 3개의 영역으로 분할되어 있다. 결정된 발언 빈도 순위가 높을수록 참여자들의 영상 스트림은 큰 영역의 화면에 배치되게 된다. 예를 들어, 화면(340)은 참여자 1(341)이 발언 빈도 1위, 참여자 2(342)가 발언 빈도 2위, 참여자 3(343)이 발언 빈도 3위에 해당하는 상황의 화면 배치를 도시한다. 참여자 1(341)의 영상 스트림은 가장 큰 영역에 배치되고, 참여자 2(342)의 영상 스트림은 두 번째로 큰 영역에 배치되고, 참여자 3(343)은 가장 작은 영역에 배치된 상황을 도시한다. 화면(350)은 참여자 2(342)가 발언 순위 1위, 참여자 3(343)이 발언 순위 2위, 참여 자1(341)이 발언 순위 3위에 해당하는 상황의 화면 배치를 도시한다. 화면(360)은 참여자3(343)이 발언 순위 1위, 참여자 1(341)이 발언 순위 2위, 참여자 2(342)가 발언 순위 3위에 해당하는 상황의 화면 배치를 도시한다.
도 4는 일 실시예에 따른 선택적 스트림 전송기가 생성된 주화자에 대한 정보에 기초하여 수신한 영상 및 오디오 스트림들을 선택적으로 전송하는 일례를 설명하기 위한 도면이다.
도 4를 참조하면, 선택적 스트림 전송기(420)는 생성된 주화자에 대한 정보에 기초하여 획득한 발언 빈도를 통해 참여자들의 발언 빈도 순위를 결정한다. 예를 들어, 참여자(411)는 주화자로서 1위로 결정되고, 참여자(413)는 현재 발언을 하지 않지만, 주기적으로 발언을 하였기 때문에 2위로 결정되고, 참여자(412)는 발언을 하지 않아 3위로 결정된다. 선택적 스트림 전송기(420)는 사용자 단말(450)의 디스플레이 크기에 기초하여 몇 명의 참여자의 영상 및 오디오 스트림들을 전송할 지 여부를 결정할 수 있고, 발언 빈도 순위가 높은 참여자의 영상 및 오디오 스트림들을 백 엔드 처리기에 우선적으로 전송할 수 있다. 예를 들어, 사용자 단말(450)은 2명의 참여자들의 영상 스트림들을 표시할 수 있는 화면의 영역을 포함한다면, 선택적 스트림 전송기(420)는 1, 2 위에 해당하는 참여자(411, 413)의 영상 및 오디오 스트림들(431, 432)을 백 엔드 처리기(440)에 전송할 수 있다.
도 5는 일 실시예에 따른 백 엔드 처리기의 세부 구성을 도시하는 도면이다.
도 5를 참조하면, 백 엔드 처리기(510)는 수신기(511), 스케일러(512), 인코더(513), 믹싱된 스트림 전송기(514)를 포함할 수 있다.
일 실시예에 따르면, 백 엔드 처리기들(510, 520, 530)은 사용자 단말들(561, 562, 563)에 각각 연결될 수 있다. 각각의 사용자 단말들(561, 562, 563)은 서로 다른 크기의 디스플레이들을 포함할 수 있고, 서로 다른 백 엔드 처리기들(510, 520, 530)은 서로 다른 크기의 사용자 단말들(561, 562, 563)에 각각 연결될 수 있다. 예를 들어, 백 엔드 처리기1(510)은 사용자 단말(561)에 연결 될 수 있고, 디스플레이의 크기가 다른 사용자 단말(562, 563)에는 연결될 수 없다. 백 엔드 처리기(510)은 사용자 단말(561)과 디스플레이의 크기가 같은 복수의 다른 사용자 단말들과 동시에 연결될 수 있다.
일 실시예에 따르면, 백 엔드 처리기(510)는 스트리머(540) 및 레코더(550)에 연결될 수 있다. 백 엔드 처리기 2, 3(520, 530)에 연결된 스트리머 및 레코더는 생략되어있다. 일 실시예에 따른 백 엔드 처리기(510)는 수신기(511)를 통해 프론트 엔드 처리기(220)로부터 영상 및 오디오 스트림들을 수신한다.
스케일러(512)는 수신된 영상 스트림들을 백 엔드 처리기(510)에 연결된 사용자 단말(561)의 디스플레이 환경에 기초하여 조정할 수 있다. 예를 들어, 각각의 백 엔드 처리기에 포함된 스케일러는 연결된 사용자 단말에 기초하여 서로 다른 비율로 수신한 영상 스트림들을 스케일링할 수 있다. 스케일러(512)는 사용자 단말(561)의 디스플레이 환경 또는 네트워크 환경에 기초하여 믹싱된 영상의 해상도를 조정할 수 있다. 예를 들어, 스케일러(512)는 디스플레이 크기 또는 종류에 따라 영상의 해상도를 조정할 수 있고, 네트워크 환경이 좋지 않은 경우 영상의 해상도를 낮출 수 있다.
인코더(513)는 스케일링된 영상 및 오디오 스트림들을 부호화하고, 믹싱을 수행한다. 인코더(513)는 영상 및 오디오 스트림들을 믹싱을 통해 참여자들의 영상 및 오디오 스트림들이 결합된 회의 영상을 생성할 수 있다.
도 6은 일 실시예에 따른 프론트 엔드 처리기에 의해 수행되는 다지점 접속 제어 방법의 동작을 도시한 흐름도이다.
도 6을 참조하면, 단계 (610)에서 다지점 접속 제어 장치는 참여자들의 사용자 단말들로부터 영상 및 오디오 스트림들을 수신한다. 수신된 영상 스트림들은 참여자의 얼굴 영상을 포함할 수 있고, 수신된 오디오 스트림들은 참여자의 음성을 포함할 수 있다.
단계 (620)에서, 다지점 접속 제어 장치는 수신한 영상 및 오디오 스트림들에 기초하여 다자간 영상 회의 서비스에 제공되는 화면 구성 정보를 생성한다. 화면에 대한 구성 정보는 사용자 단말들 각각의 디스플레이에 적합한 화면 구성 정보를 생성할 수 있다. 예를 들어, 화면 구성 정보는 사용자 단말의 디스플레이의 크기에 기초하여 화면 배치를 달리한 화면에 대한 구성 정보 및/또는 사용자의 위치 정보 등의 부가적인 정보에 대한 구성 정보를 포함할 수 있다. 화면 구성 정보는 프론트 엔드 처리기에 의해 생성된 주화자에 대한 정보에 기초하여 생성될 수 있다. 예를 들어, 화면 구성 정보는 주화자에 해당하는 참여자의 영상을 전체 화면 영역에서 큰 영역에 배치하거나 주화자에 해당하는 참여자의 영상을 화면 중심에 배치하는 것으로 결정될 수 있다.
단계 (630)에서, 다지점 접속 제어 장치는 영상 및 오디오 스트림들 중 적어도 하나의 영상 및 오디오 스트림 및 화면 구성 정보를 백 엔드 처리기로 전송한다. 프론트 엔드 처리기에 의해 생성된 주화자에 대한 정보를 기초로 하여 영상 및 오디오 스트림들을 선택적으로 백 엔드 처리기에 전송할 수 있다. 예를 들어, 다지점 접속 제어 장치는 사용자 단말의 디스플레이의 크기에 기초하여 몇 명의 참여자의 영상 및 오디오 스트림을 전송할 지를 결정한다. 결정된 수의 참여자의 영상 및 오디오 스트림을 전송함에 있어서, 다지점 접속 제어 장치는 주화자에 대한 정보에 기초하여 결정된 발언 빈도 순위를 결정하고, 발언 빈도 순위가 높은 참석자의 영상을 우선적으로 전송할 수 있다.
도 7은 일 실시예에 따른 백 엔드 처리기에 의해 수행되는 다지점 접속 제어 방법의 동작을 도시한 흐름도이다.
도 7을 참조하면, 단계 (710)에서 다지점 접속 제어 장치는 프론트 엔드 처리기로부터 다자간 영상 회의 서비스에 제공되는 화면 구성 정보 및 다자간 영상 회의 서비스의 참여자들에 대한 영상 및 오디오 스트림들을 수신한다.
단계 (720)에서, 다지점 접속 제어 장치는 수신한 영상 및 오디오 스트림, 및 화면 구성 정보에 기초하여 다자간 영상 회의 서비스를 위한 믹싱된 영상을 생성한다. 다지점 접속 제어 장치는 참여자들의 단말의 디스플레이 환경 또는 네트워크 환경에 기초하여 믹싱된 영상의 해상도 또는 크기를 조정할 수 있다. 예를 들어, 다지점 접속 제어 장치는 참여자의 단말의 디스플레이 크기에 적합하도록 믹싱된 영상을 스케일링할 수 있다. 예를 들어, 다지점 접속 제어 장치는 각각의 참여자 단말의 환경을 고려하여 영상의 크기(해상도)를 조정할 수 있다. 또한, 다지점 접속 제어 장치는 네트워크 환경에 기초하여 믹싱된 영상의 크기를 조정할 수도 있다. 예를 들어 네트워크 상황이 좋지 않은 경우, 다지점 접속 제어 장치는 믹싱된 영상의 해상도를 낮추어 영상의 데이터 크기를 줄일 수 있다.
단계 (730)에서, 다지점 접속 제어 장치는 믹싱된 영상을 백 엔드 처리기에 연결된 참여자들의 사용자 단말들, 레코더 및 스트리머 중 적어도 하나에 전송할 수 있다. 레코더는 믹싱된 영상을 압축 및 저장할 수 있고, 스트리머는 영상 회의 서비스의 영상을 스트리밍할 수 있다.
실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에서 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (12)

  1. 영상 회의 서비스에 이용되는 다지점 접속 제어 장치에 있어서,
    상기 영상 회의 서비스의 참여자들의 사용자 단말들로부터 수신하는 영상 및 오디오 스트림들에 기초하여 화면 구성 정보를 생성하는 프론트 엔드 처리기; 및
    상기 프론트 엔드 처리기로부터 수신하는 영상 및 오디오 스트림, 그리고 상기 화면 구성 정보에 기초하여 믹싱된 영상을 생성하는 적어도 하나의 백 엔드 처리기
    를 포함하고,
    상기 백 엔드 처리기는,
    상기 사용자 단말들의 종류별로 구비되는 것을 특징으로 하는 다지점 접속 제어 장치.
  2. 제1항에 있어서,
    상기 백 엔드 처리기는,
    상기 사용자 단말들의 디스플레이 크기별로 구비되는 것을 특징으로 하는 다지점 접속 제어 장치.
  3. 제1항에 있어서,
    상기 백엔드 처리기는,
    클라우드 서버에의 자원 할당을 통해, 상기 사용자 단말들의 디스플레이 크기별로 구비되는 것을 특징으로 하는 다지점 접속 제어 장치.
  4. 제1항에 있어서,
    하나의 백엔드 처리기는,
    디스플레이 크기가 동일한 1 이상의 사용자 단말들로 상기 믹싱된 영상을 전송하는 것을 특징으로 하는 다지점 접속 제어 장치.
  5. 제3항에 있어서,
    디스플레이 크기가 동일한 1 이상의 사용자 단말들이 모두 상기 영상 회의 서비스에 대한 접속을 해제하는 경우,
    상기 디스플레이 크기가 동일한 1 이상의 사용자 단말들에 대응하는 백 엔드 처리기에 대하여 할당된 자원을 상기 클라우드 서버에 반납하는 것을 특징으로 하는, 다지점 접속 제어 장치.
  6. 제1항에 있어서,
    상기 프론트 엔드 처리기는,
    상기 사용자 단말들 각각의 디스플레이 크기에 대응하는 화면 구성 정보를 생성하는 다지점 접속 제어 장치.
  7. 제1항에 있어서,
    상기 다지점 접속 제어 장치는,
    상기 프론트 엔드 처리기에 연결된 복수의 백 엔드 처리기들을 포함하는, 다지점 접속 제어 장치.
  8. 제1항에 있어서,
    상기 영상 회의 서비스를 관리하는 대화방 관리기; 및
    상기 영상 회의 서비스에 필요한 자원을 관리하고, 상기 프런트 엔드 처리기 및 상기 백 엔드 처리기 사이의 연결을 관리하는 다지점 접속 제어 관리기
    를 더 포함하는 다지점 접속 제어 장치.
  9. 제1항에 있어서,
    상기 믹싱된 영상을 압축하고, 상기 압축된 영상을 저장하는 레코더; 및
    상기 영상 회의 서비스의 영상을 스트리밍하기 위한 스트리머
    를 더 포함하는 다지점 접속 제어 장치.
  10. 프론트 엔드 처리기에 의해 수행되는 다지점 접속 제어 방법에 있어서,
    영상 회의 서비스의 참여자들의 사용자 단말들로부터 영상 및 오디오 스트림들을 수신하는 단계;
    상기 수신한 영상 및 오디오 스트림들에 기초하여, 상기 사용자 단말들의 디스플레이 크기별로 화면 구성 정보를 생성하는 단계; 및
    상기 영상 및 오디오 스트림들, 그리고 상기 화면 구성 정보를 상기 사용자 단말들의 디스플레이 크기별로 구비되는 백 엔드 처리기로 전송하는 단계
    를 포함하는 것을 특징으로하는, 다지점 접속 제어 방법.
  11. 백 엔드 처리기에 의해 수행되는 다지점 접속 제어 방법에 있어서,
    프론트 엔드 처리기로부터 영상 회의 서비스의 참여자들에 대한 영상 및 오디오 스트림들, 및 화면 구성 정보를 수신하는 단계;
    상기 수신한 영상 및 오디오 스트림들, 및 상기 화면 구성 정보에 기초하여, 디스플레이 크기가 동일한 1 이상의 참여자 단말들을 위한 믹싱 영상을 생성하는 단계; 및
    상기 디스플레이 크기가 동일한 1 이상의 참여자 단말들로 상기 믹싱 영상을 전송하는 단계;
    를 포함하는 것을 특징으로 하는, 다지점 접속 제어 방법.
  12. 제11항에 있어서,
    상기 믹싱 영상을 생성하는 단계는,
    상기 참여자 단말의 디스플레이 환경 또는 네트워크 환경에 기초하여 상기 믹싱 영상의 해상도 또는 크기를 조정하는 단계
    를 포함하는 다지점 접속 제어 방법.
KR1020180059432A 2018-05-25 2018-05-25 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법 KR20180105594A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180059432A KR20180105594A (ko) 2018-05-25 2018-05-25 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180059432A KR20180105594A (ko) 2018-05-25 2018-05-25 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170032256 Division 2017-03-15 2017-03-15

Publications (1)

Publication Number Publication Date
KR20180105594A true KR20180105594A (ko) 2018-09-28

Family

ID=63721524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180059432A KR20180105594A (ko) 2018-05-25 2018-05-25 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180105594A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114976A (zh) * 2021-04-21 2021-07-13 海南视联通信技术有限公司 一种视频画面的调整方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114976A (zh) * 2021-04-21 2021-07-13 海南视联通信技术有限公司 一种视频画面的调整方法和装置
CN113114976B (zh) * 2021-04-21 2024-06-07 海南视联通信技术有限公司 一种视频画面的调整方法和装置

Similar Documents

Publication Publication Date Title
JP5508450B2 (ja) マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト
US9325940B2 (en) Video class room
JP5781441B2 (ja) マルチビットレートストリームを使用するビデオ会議のサブスクリプション
US20110115876A1 (en) Determining a Videoconference Layout Based on Numbers of Participants
US8379076B2 (en) System and method for displaying a multipoint videoconference
CN106851174B (zh) 虚拟会议室创建方法及装置、召开视频会议的方法及装置
US20100091687A1 (en) Status of events
US9485596B2 (en) Utilizing a smartphone during a public address system session
US20110173263A1 (en) Directing An Attendee Of A Collaboration Event To An Endpoint
US20180270452A1 (en) Multi-point connection control apparatus and method for video conference service
US20110069141A1 (en) Communication Between Scheduled And In Progress Event Attendees
US20110179157A1 (en) Event Management System For Creating A Second Event
KR20180105594A (ko) 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법
US7792901B2 (en) Reconfiguring a collaboration event
US20150035940A1 (en) Systems and Methods for Integrating Audio and Video Communication Systems with Gaming Systems
US20110173275A1 (en) Messaging Between Events
US8704870B2 (en) Multiway telepresence without a hardware MCU
US20110069143A1 (en) Communications Prior To A Scheduled Event
KR100953509B1 (ko) 다자간 영상 통신 방법.
KR101519935B1 (ko) 이벤트 관리 시스템
US11916982B2 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals using RTCP feedback
KR20180082672A (ko) 영상 회의 방청 서비스 제공 방법 및 장치
JP2017028646A (ja) 中継装置、通信システム、中継方法、及び中継プログラム
CN116320514A (zh) 一种音视频会议直播的方法、系统、电子设备和介质
WO2013066290A1 (en) Videoconferencing using personal devices

Legal Events

Date Code Title Description
A107 Divisional application of patent