KR20160062787A - 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템 - Google Patents
비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템 Download PDFInfo
- Publication number
- KR20160062787A KR20160062787A KR1020140165202A KR20140165202A KR20160062787A KR 20160062787 A KR20160062787 A KR 20160062787A KR 1020140165202 A KR1020140165202 A KR 1020140165202A KR 20140165202 A KR20140165202 A KR 20140165202A KR 20160062787 A KR20160062787 A KR 20160062787A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- mixing
- video conference
- screen
- user
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명의 실시예들에 따른 비디오 컨퍼런스 시스템은 비디오 컨퍼런스 단말 장치들 및 비디오 컨퍼런스 서버를 포함할 수 있다. 비디오 컨퍼런스 단말 장치는 사용자의 비디오 피드 데이터를 비디오 컨퍼런스 서버에 전송하고, 비디오 컨퍼런스 서버로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신하며, 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하고, 믹싱 화면으로부터 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하며, 사용자 맞춤 화면 설정 정보에 따라 분리된 각 사용자들의 비디오들을 배치하여 사용자 맞춤 화면을 생성할 수 있다. 비디오 컨퍼런스 서버는 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하고, 비디오 피드 데이터들로부터 디코딩된 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하며, 믹싱 화면을 인코딩한 믹싱 비디오 데이터와 믹싱 설정 정보를 복수의 비디오 컨퍼런스 단말 장치들로 전송할 수 있다.
Description
본 발명은 다자간 영상 회의 시스템, 즉 비디오 컨퍼런스 시스템에 관한 것이다.
복수의 사용자들이 다자간 영상 회의, 즉 비디오 컨퍼런스(Video Conference)를 하기 위해 각 사용자들을 서로 연결되어 N:N으로 송수신하는 방식(Point-to-Point)은 다자간 영상 회의 기술의 초창기에 이용되었지만, 화질과 음질이 나쁘고 과도하게 트래픽을 발생시키며 전용 회선이 필요하고 유지 보수 비용이 과도하였다.
국제전기통신연합(ITU)은 회선 교환 네트워크에 기반하는 부가가치망(IDSN) 등에서 영상 회의 기술의 표준 프로토콜로서 H.320를, 비동기 전송 방식(ATM)과 B-ISND에 기반하는 기술 표준을 위해 H.321와 H.310을, 패킷 교환 네트워크에서 음성-영상 통신 세션을 제공하기 위한 프로토콜로서 H.323을, 과거의 다이얼업 전화 네트워크 상에서도 영상 회의를 제공하기 위해 H.324를 각각 제정하였다.
이들 H.3xx 프로토콜들 중에서, H.323은 인터넷의 보급 및 속도 향상과 동영상 압축 기술의 발전에 힘입어, 다양한 패킷 교환 네트워크에서 응용될 수 있도록 제품화되고 있다.
MCU(Multipoint Control Unit)는 3 개 이상의 단말 장치들 상에서 이루어지는 영상 회의를 제어하기 위한 핵심 장치로서, MCU 기능이 특정한 단말 장치 하나에 통합되거나, 별도의 독립된 장치 내에서 구현되거나, 복수의 단말 장치들에 나뉘어 포함되기도 한다.
MCU는 기본적으로 점대점 방식의 한계를 극복하기 위해 제안된 구성요소로서, 복수의 단말 장치들이 적어도 하나의 MCU 장치에 연결될 경우에, 복수의 단말 장치들이 MCU에 각자의 비디오 피드(Video Feed) 데이터를 전송하고, MCU에서 합성된 하나의 믹싱 비디오 데이터를 복수의 단말 장치들이 각자 수신하는 기능을 수행하는 구성요소이다.
이러한 MCU를 이용함으로써, 각각의 단말 장치는 자신과 MCU 사이에 하나의 세션만 필요로 하므로, 상대적으로 고성능을 필요로 하지 않아 성능 단말 장치의 가격을 낮출 수 있고, 전체적으로 트래픽도 줄일 수 있다.
그러나, MCU 장치는 복수의 단말 장치들로부터 비디오 피드 데이터들을 수신하고 디코딩하며, 디코딩된 비디오들(Video)과 오디오들(Audio)을 믹싱하여 믹싱 비디오 데이터를 생성하고, 믹싱 비디오 데이터를 인코딩하며, 인코딩된 믹싱 비디오 데이터를 각 단말 장치들에 전송하는 작업들을 실시간적으로 수행하여야 하므로, 고성능이 요구되고 비싸질 수 밖에 없다.
한편, MCU 장치는 연결된 모든 단말 장치들에 소정의 레이아웃으로 하나의 믹싱 비디오 데이터를 전송하므로, 단말 장치들 각각은 MCU 장치가 믹싱하여 전송한 비디오 데이터를 수신된 그대로 화면에 표시할 뿐이다.
만약 다수의 사용자들이 모두 화면에 등장하여야 하는 영상 회의라면, 각 사용자의 영상들의 화질은 나빠질 수밖에 없다.
또한, 하나의 MCU 장치에 연결된 모든 단말 장치들의 화면은 동일하므로, 각 사용자는 자신의 영상이 화면의 일부로서 포함되어 있는 점에 익숙해져야 한다. 다자간 영상 회의에서 발언자의 영상이 가장 크게 표시되는 점은 타당하지만, 발언자인 사용자의 단말 장치에도 발언 중인 자신의 영상이 가장 크게 표시되는 것은 발언자에게 불편할 수 있을 것이다.
한편, 각각의 사용자에게 상대적으로 더 중요하게 여겨지는 회의 참석자들이 정해져 있을 것이고, 특정 순서로 회의 참석자들의 영상을 보고 싶을 수도 있으며, 굳이 영상으로 보고 있어야 할 필요가 없는 몇몇 회의 참석자들도 있을 것이다. 하지만 기존의 MCU 장치를 이용한 다자간 영상 회의 시스템에서, 각각의 사용자는 MCU 장치가 믹싱하고 전송한 화면을 볼 수 있을 뿐이고 화면에 표시되는 영상들을 조정할 수 없으므로, 원하든 원치않든 주어진 화면만을 볼 수 있을 뿐이다.
본 발명이 해결하고자 하는 과제는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템을 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제는 비디오 컨퍼런스 서버가 하나의 믹싱 영상 데이터를 생성하고, 생성된 하나의 믹싱 화면 데이터를 연결된 비디오 컨퍼런스 단말 장치들에 일괄적으로 전송할 수 있는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템을 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제는 단말 장치가 수신된 공통적인 믹싱 영상 데이터로부터 각자 맞춤 화면을 생성할 수 있는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템을 제공하는 데에 있다.
본 발명이 해결하고자 하는 과제는 서로 다른 기술 표준을 따르는 단말 장치들 또는 비표준 영상 프로토콜을 지원하는 단말 장치들도 통합할 수 있는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템을 제공하는 데에 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 비디오 컨퍼런스 시스템은
사용자의 인코딩된 비디오 피드 데이터를 비디오 컨퍼런스 서버에 전송하고, 상기 비디오 컨퍼런스 서버로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신하며, 상기 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하고, 상기 믹싱 화면으로부터 상기 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하며, 사용자 맞춤 화면 설정 정보에 따라 분리된 각 사용자들의 비디오들을 배치하여 사용자 맞춤 화면을 생성하는 비디오 컨퍼런스 단말 장치; 및
상기 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하고, 상기 비디오 피드 데이터들로부터 디코딩된 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하며, 상기 믹싱 화면을 인코딩한 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 복수의 비디오 컨퍼런스 단말 장치들로 전송하는 비디오 컨퍼런스 서버를 포함할 수 있다.
일 실시예에 따라, 상기 믹싱 설정 정보는 상기 비디오 피드 데이터로부터 생성되는 비디오가 하나의 믹싱 화면에 포함될 수 있도록 상기 믹싱 화면의 캔버스 내에서 배치될 구역들의 위치 정보를 포함할 수 있다.
일 실시예에 따라, 상기 사용자 맞춤 화면 설정 정보는 상기 믹싱 화면에서 분리된 각 비디오들로써 사용자 맞춤 화면을 생성할 수 있도록, 상기 사용자 맞춤 화면의 캔버스 내에서 배치될 구역들의 위치 정보를 포함할 수 있다.
일 실시예에 따라, 상기 믹싱 설정 정보는 각 사용자의 비디오 컨퍼런스 단말 장치로부터 전송되는 비디오의 영상비(aspect ratio) 정보를 더 포함할 수 있다.
일 실시예에 따라, 상기 사용자 맞춤 화면 설정 정보는 상기 분리된 각 비디오가 사용자 맞춤 화면을 생성할 수 있도록 상기 사용자 맞춤 화면의 캔버스 내에서 배치될 구역들의 위치 정보 및 영상비 변환 정보를 포함할 수 있다.
본 발명의 다른 측면에 따른 비디오 컨퍼런스 서버는, 비디오 컨퍼런스 단말 장치들에 연결되어 사용자들에게 비디오 컨퍼런스 기능을 제공하기 위한 비디오 컨퍼런스 서버로서,
상기 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하는 비디오 피드 데이터 수신부;
상기 수신된 비디오 피드 데이터들로부터 비디오들을 디코딩하는 디코딩부;
상기 디코딩된 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 화면 믹싱부;
상기 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 인코딩부; 및
상기 인코딩된 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 복수의 비디오 컨퍼런스 단말 장치들로 전송하는 믹싱 비디오 데이터 송신부를 포함할 수 있다.
본 발명의 또다른 측면에 따른 비디오 컨퍼런스 단말 장치는,
비디오 컨퍼런스 서버에 연결되어 사용자들에게 비디오 컨퍼런스 기능을 제공하기 위한 비디오 컨퍼런스 단말 장치로서,
사용자 본인의 비디오로부터 인코딩된 비디오 피드 데이터를 상기 비디오 컨퍼런스 서버에 전송하는 비디오 피드 데이터 송신부;
상기 비디오 컨퍼런스 서버로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신하는 믹싱 비디오 데이터 수신부;
상기 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하는 디코딩부;
상기 믹싱 화면으로부터 상기 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하는 비디오 분리부; 및
분리된 각 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 사용자 맞춤 화면 생성부를 포함할 수 있다.
본 발명의 또다른 측면에 따른 MCU 기능 비디오 컨퍼런스 단말 장치는,
다른 비디오 컨퍼런스 단말 장치들에 연결되어 사용자들에게 비디오 컨퍼런스 기능을 제공하기 위한 MCU(Multipoint Control Unit) 기능 비디오 컨퍼런스 단말 장치로서,
다른 비디오 컨퍼런스 단말 장치들로부터 다른 사용자들의 비디오 피드 데이터들을 수신하는 비디오 피드 데이터 수신부;
상기 수신된 다른 사용자들의 비디오 피드 데이터들로부터 다른 사용자들의 비디오들을 디코딩하는 디코딩부;
사용자 본인의 비디오와 상기 디코딩된 다른 사용자의 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 화면 믹싱부;
상기 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 인코딩부;
상기 인코딩된 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 복수의 비디오 컨퍼런스 단말 장치들로 전송하는 믹싱 비디오 데이터 송신부; 및
사용자 본인의 비디오와 다른 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 사용자 맞춤 화면 생성부를 포함할 수 있다.
본 발명의 또다른 측면에 따른 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법은,
비디오 컨퍼런스 서버 및 비디오 컨퍼런스 단말 장치들을 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서,
상기 비디오 컨퍼런스 단말 장치가, 사용자의 비디오 피드 데이터를 상기 비디오 컨퍼런스 서버에 전송하는 단계;
상기 비디오 컨퍼런스 서버가, 상기 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하는 단계;
상기 비디오 컨퍼런스 서버가, 상기 비디오 피드 데이터들로부터 디코딩된 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 단계;
상기 비디오 컨퍼런스 서버가, 상기 믹싱 화면을 인코딩한 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 비디오 컨퍼런스 단말 장치들로 전송하는 단계;
상기 비디오 컨퍼런스 단말 장치가, 상기 비디오 컨퍼런스 서버로부터 수신되는 상기 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하는 단계;
상기 비디오 컨퍼런스 단말 장치가, 상기 비디오 컨퍼런스 서버로부터 수신되는 상기 믹싱 설정 정보에 따라 상기 믹싱 화면으로부터 각 사용자들의 비디오를 각각 분리하는 단계;
상기 비디오 컨퍼런스 단말 장치가, 분리된 각 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 단계를 포함할 수 있다.
본 발명의 또다른 측면에 따른 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법은,
비디오 컨퍼런스 단말 장치들에 연결된 비디오 컨퍼런스 서버를 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서,
상기 비디오 컨퍼런스 서버가,
상기 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하는 단계;
상기 수신된 비디오 피드 데이터들로부터 비디오들을 디코딩하는 단계;
상기 디코딩된 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 단계;
상기 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 단계; 및
상기 인코딩된 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 복수의 비디오 컨퍼런스 단말 장치들로 전송하는 단계를 포함할 수 있다.
본 발명의 또다른 측면에 따른 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법은,
비디오 컨퍼런스 서버에 연결된 비디오 컨퍼런스 단말 장치들을 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서
상기 비디오 컨퍼런스 단말 장치가,
사용자의 인코딩된 비디오 피드 데이터를 상기 비디오 컨퍼런스 서버에 전송하는 단계;
상기 비디오 컨퍼런스 서버로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신하는 단계;
상기 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하는 단계;
상기 믹싱 화면으로부터 상기 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하는 단계; 및
분리된 각 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 단계를 포함할 수 있다.
본 발명의 또다른 측면에 따른 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법은,
MCU 기능 비디오 컨퍼런스 단말 장치 및 통상의 비디오 컨퍼런스 단말 장치들을 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서,
상기 MCU 기능 비디오 컨퍼런스 단말 장치가,
사용자 본인의 비디오를 획득하는 단계;
상기 통상의 비디오 컨퍼런스 단말 장치들로부터 다른 사용자들의 비디오 피드 데이터들을 수신하는 단계;
상기 수신된 다른 사용자들의 비디오 피드 데이터들로부터 다른 사용자들의 비디오들을 디코딩하는 단계;
사용자 본인의 비디오와 상기 디코딩된 다른 사용자의 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 단계;
상기 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 단계;
상기 인코딩된 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 통상의 비디오 컨퍼런스 단말 장치들로 전송하는 단계; 및
사용자 본인의 비디오와 다른 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 단계를 포함할 수 있다.
본 발명의 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템에 따르면, 비디오 컨퍼런스 서버가 하나의 믹싱 영상 데이터를 생성하고, 생성된 하나의 믹싱 화면 데이터를 연결된 비디오 컨퍼런스 단말 장치들에 일괄적으로 전송할 수 있다.
본 발명의 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템에 따르면, 단말 장치가 수신된 공통적인 믹싱 영상 데이터로부터 각자 맞춤 화면을 생성할 수 있다.
본 발명의 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템에 따르면, 서로 다른 기술 표준을 따르는 단말 장치들 또는 비표준 영상 프로토콜을 지원하는 단말 장치들도 비디오 컨퍼런스 시스템 내에 통합할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 비디오 컨퍼런스 단말 장치들 및 비디오 컨퍼런스 서버와 이들을 포함하는 비디오 컨퍼런스 시스템을 예시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 컨퍼런스 서버가 수신하는 비디오 피드 데이터들과, 믹싱 및 인코딩된 믹싱 비디오 데이터 및 믹싱 설정 정보를 예시한 모식도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 컨퍼런스 단말 장치가 비디오 컨퍼런스 서버로부터 수신한 믹싱 비디오 데이터 및 믹싱 설정 정보와, 이들로부터 생성된 사용자 맞춤 화면을 예시한 모식도이다.
도 4는 본 발명의 다른 실시예에 따른 MCU 기능 비디오 컨퍼런스 단말 장치와 일반적 비디오 컨퍼런스 단말 장치들을 포함하는 비디오 컨퍼런스 시스템을 예시한 개념도이다.
도 5는 본 발명의 다른 실시예에 따른 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법을 예시한 순서도이다.
도 6은 본 발명의 또 다른 실시예에 따른 MCU 기능 비디오 컨퍼런스 단말 장치를 이용한 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법을 예시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 컨퍼런스 서버가 수신하는 비디오 피드 데이터들과, 믹싱 및 인코딩된 믹싱 비디오 데이터 및 믹싱 설정 정보를 예시한 모식도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 컨퍼런스 단말 장치가 비디오 컨퍼런스 서버로부터 수신한 믹싱 비디오 데이터 및 믹싱 설정 정보와, 이들로부터 생성된 사용자 맞춤 화면을 예시한 모식도이다.
도 4는 본 발명의 다른 실시예에 따른 MCU 기능 비디오 컨퍼런스 단말 장치와 일반적 비디오 컨퍼런스 단말 장치들을 포함하는 비디오 컨퍼런스 시스템을 예시한 개념도이다.
도 5는 본 발명의 다른 실시예에 따른 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법을 예시한 순서도이다.
도 6은 본 발명의 또 다른 실시예에 따른 MCU 기능 비디오 컨퍼런스 단말 장치를 이용한 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법을 예시한 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하는 것을 원칙으로 하고, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 비디오 컨퍼런스 단말 장치들 및 비디오 컨퍼런스 서버와 이들을 포함하는 비디오 컨퍼런스 시스템을 예시한 개념도이다.
도 1을 참조하면, 본 발명의 비디오 컨퍼런스 시스템(10)은 복수의 비디오 컨퍼런스 단말 장치들(11)과 적어도 하나의 비디오 컨퍼런스 서버(12)를 포함할 수 있다.
비디오 컨퍼런스 단말 장치(11)는 사용자를 촬영하여 얻은 비디오와 오디오를 인코딩하여 사용자의 비디오 피드(Video feed) 데이터를 생성하고, 생성된 사용자의 비디오 피드 데이터를 비디오 컨퍼런스 서버(12)에 전송한다.
한편, 비디오 컨퍼런스 단말 장치(11)는 비디오 컨퍼런스 서버(12)로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신한다. 비디오 컨퍼런스 단말 장치(11)는 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하고, 믹싱 화면으로부터 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하며, 분리된 각 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성할 수 있다.
이를 위해, 구체적으로, 비디오 컨퍼런스 단말 장치(11)는, 사용자의 비디오를 획득하고 나아가 획득된 비디오를 인코딩하여 비디오 피드 데이터를 생성하는 비디오 획득부(111), 피드 데이터를 비디오 컨퍼런스 서버(12)에 전송하는 비디오 피드 데이터 송신부(112), 비디오 컨퍼런스 서버(12)로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신하는 믹싱 비디오 데이터 수신부(113), 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하는 디코딩부(114), 믹싱 화면으로부터 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하는 비디오 분리부(115) 및 분리된 각 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 사용자 맞춤 화면 생성부(116)를 포함할 수 있다.
실시예에 따라, 비디오 분리부(115)는 믹싱 화면으로부터 모든 비디오들을 분리하는 대신에, 사용자 맞춤 화면 설정 정보에 따라 사용자 맞춤 화면을 생성하는 데에 필요한 비디오들만 믹싱 화면으로부터 분리할 수 있다.
한편, 비디오 컨퍼런스 서버(12)는 비디오 컨퍼런스 단말 장치(11)로부터 각 사용자의 비디오 피드 데이터를 수신하고, 비디오 피드 데이터들로부터 디코딩된 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성할 수 있다. 비디오 컨퍼런스 서버(12)는 믹싱 화면을 인코딩하여 얻은 믹싱 비디오 데이터와 믹싱 설정 정보를 복수의 비디오 컨퍼런스 단말 장치들(11)로 각각 전송한다.
이를 위해, 구체적으로 비디오 컨퍼런스 서버(12)는 비디오 컨퍼런스 단말 장치(12)로부터 각 사용자의 비디오 피드 데이터를 수신하는 비디오 피드 데이터 수신부(121), 수신된 비디오 피드 데이터들로부터 비디오들을 디코딩하는 디코딩부(122), 디코딩된 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 화면 믹싱부(123), 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 인코딩부(124) 및 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 복수의 비디오 컨퍼런스 단말 장치들(12)로 전송하는 믹싱 비디오 데이터 송신부(125)를 포함할 수 있다.
본 발명의 실시예들에 따른 비디오 컨퍼런스 서버(12)는 MCU 기능을 독자적으로 수행하는 구성요소이다. 비디오 컨퍼런스 서버(12)는 각 사용자의 비디오와 오디오를 압축된 비디오 피드 데이터로 수신하고, 하나의 믹싱 화면으로 가공 및 인코딩하며, 하나의 공통된 믹싱 화면을 각 비디오 컨퍼런스 단말 장치들(11)에 전송한다는 점에서, 기존의 MCU 기능의 장점을 그대로 가진다.
특히, 본 발명의 실시예들에 따른 비디오 컨퍼런스 서버(12)는 믹싱 화면의 가공 시에 각 사용자의 비디오가 배치되는 구역에 관한 정보를 포함하는 믹싱 설정 정보를 생성한다. 다시 말해, 믹싱 설정 정보는 비디오 피드 데이터로부터 생성되는 비디오가 하나의 믹싱 화면에 포함될 수 있도록 믹싱 화면의 캔버스(canvas) 내에서 배치될 구역의 위치 정보를 포함할 수 있다.
각 사용자의 비디오들은, 사용자의 비디오 컨퍼런스 단말 장치(11)에 수신된 후에 어떤 식으로 사용자 맞춤 화면을 구성하게 될 지 아직 모르므로, 믹싱 화면을 생성할 시점에는 실질적으로 동등한 크기들을 감안하고 믹싱될 수 있다.
믹싱 화면의 캔버스 크기는 비디오들의 개수, 비디오 컨퍼런스 서버(12)의 인코딩 성능과 네트워크의 대역폭, 그 밖의 설정 속성에 따라 적절하게 결정될 수 있다.
실시예에 따라서는, 사용자들 중에 상대적으로 더 중요한 사용자들, 예를 들어, 영상 회의의 의장, 발언자, 그 밖의 고위 인사들의 비디오들은 믹싱 화면의 캔버스 내에서 더 큰 크기의 구역들에 배치되고, 상대적으로 덜 중요한 사용자들, 예를 들어, 하위 인사들이나 참관자의 비디오들은 믹싱 화면의 캔버스 내에서 더 작은 크기의 구역들에 배치될 수 있다.
실시예에 따라, 믹싱 설정 정보는 각 사용자의 비디오 컨퍼런스 단말 장치(11)로부터 전송되는 비디오의 영상비(aspect ratio) 정보를 더 포함할 수 있다. 본 발명에서 영상비는 비디오의 가로 픽셀수와 세로 픽셀수의 비율을 의미한다.
이에 따라, 다양한 영상비를 가질 수 있는 비디오 컨퍼런스 단말 장치(11)의 비디오가 믹싱 화면의 캔버스 내에 적절하게 변환되어 배치될 수 있다.
예를 들어, 16:9의 영상비로 촬영되는 어떤 사용자의 비디오가 믹싱 화면의 캔버스 내에 큰 손실 없이 4:3로 설정된 구역에 배치될 수 있다.
믹싱 설정 정보와 믹싱 비디오 데이터를 수신한 비디오 컨퍼런스 단말 장치(11)가 믹싱 설정 정보로부터 비디오의 원래 영상비를 알 수 있기 때문에, 예를 들어 4:3으로 설정된 구역으로부터 분리된 비디오라 하더라도 만약 믹싱 설정 정보로부터 원래의 영상비가 16:9임을 알게 된다면, 다시 원래의 영상비에 따라 16:9로 변환될 수 있다. 따라서, 비디오 컨퍼런스 단말 장치(11)는 사용자의 비디오를 원래의 영상비를 가지고 복원할 수 있다.
한편, 비디오 컨퍼런스 단말 장치(11)가 사용자 맞춤 화면을 생성하기 위해 참조하는 사용자 맞춤 화면 설정 정보는, 믹싱 화면에서 분리된 각 비디오들로써 사용자 맞춤 화면을 생성할 수 있도록, 사용자 맞춤 화면의 캔버스 내에서 배치될 구역들의 위치 정보를 포함할 수 있다.
실시예에 따라, 사용자 맞춤 화면 설정 정보는 사용자 맞춤 화면의 캔버스 내에서 배치될 구역들의 위치 정보 및 각 구역에 상응하는 비디오의 영상비 변환 정보를 포함할 수 있다.
이러한 본 발명의 특징을 도식적으로 설명하기 위해 도 2와 도 3을 참조하면, 먼저 도 2는 본 발명의 일 실시예에 따른 비디오 컨퍼런스 서버가 수신하는 믹싱 전의 비디오 피드 데이터들과, 믹싱 및 인코딩된 믹싱 비디오 데이터 및 믹싱 설정 정보를 예시한 모식도이다.
도 2에서, 비디오 컨퍼런스 서버(12)는 하나의 믹싱 화면으로 믹싱하기 위해 9 개의 비디오 컨퍼런스 단말 장치들(11)로부터 9 개의 비디오 피드 데이터들을 수신한다. 9 개의 비디오 피드 데이터들은 각자 서로 다른 해상도와 영상비를 가질 수 있다.
예를 들어, 전통적인 4:3 SD 비디오들 또는 HD 규격에 따른 16:9 비디오들은 믹싱 화면의 캔버스에서 낭비되는 면적이 최소화되도록 적절하게 영상비와 해상도가 변환된 후에 믹싱 화면의 캔버스 내의 각 구역에 배치될 수 있다.
각각의 비디오들은 비디오 컨퍼런스 단말 장치(12)에 수신된 후에 사용자 맞춤 화면 설정 정보에 따라 재배치되어 사용자 맞춤 화면으로 렌더링될 목적이므로, 비디오들 모두가 어느 정도 화질을 유지하여야 하는 것이 바람직할 수 있다.
이를 위해, 실시예에 따라, 비디오 컨퍼런스 서버(12)는, 대역폭과 인코딩 성능이 뒷받침되는 한, 믹싱 화면의 캔버스 크기를 기존의 비디오 컨퍼런스 시스템에서 단말 장치의 디스플레이 해상도에 맞도록 결정되는 믹싱 화면의 크기보다 더 크게, 예를 들어 2 배 또는 4 배가 되는 값으로 결정할 수도 있다. 이 경우에, 종래의 비디오 컨퍼런스 시스템이 요구하는 성능 및 대역폭보다 좀더 고성능의 MCU 장치와 좀더 넓은 대역의 네트워크가 필요할 수 있다.
발언자나 의장 등 상대적으로 중요한 사용자의 비디오가 사용자 맞춤 화면에서 좀더 좋은 화질과 좀더 큰 크기로 표시될 수 있으려면, 그러한 사용자의 비디오는 믹싱 화면의 캔버스 내에서 가능하면 원래의 해상도와 원래의 영상비를 유지할 수 있는 구역에 배치되는 것이 바람직하다.
이렇듯, 본 발명의 비디오 컨퍼런스 시스템에서, 비디오들은 당해 비디오 컨퍼런스의 목적에 맞게 다양한 조건들에 따라 적절하게 분할된 믹싱 화면의 캔버스 상의 각 구역들에 원래의 영상비 또는 변환된 영상비를 가지고 배치될 수 있다.
이렇게, 비디오들이 각각 배치됨으로써 생성된 믹싱 화면은 믹싱 비디오 데이터로 인코딩되고 모든 비디오 컨퍼런스 단말 장치들(11)에 전송된다.
도 3은 본 발명의 일 실시예에 따른 비디오 컨퍼런스 단말 장치가 비디오 컨퍼런스 서버로부터 수신한 믹싱 비디오 데이터 및 믹싱 설정 정보와, 이들로부터 생성된 사용자 맞춤 화면을 예시한 모식도이다.
도 3에서, 믹싱 비디오 데이터는 하나의 큰 믹싱 화면을 인코딩한 데이터이므로, 비디오 컨퍼런스 단말 장치(11)가 믹싱 비디오 데이터를 디코딩하면 믹싱 화면을 다시 얻을 수 있다.
믹싱 설정 정보는 믹싱 화면의 레이아웃(layout)과 믹싱 화면의 캔버스의 각 구역에 배치되어 곧 분리될 비디오들의 영상비에 관한 정보를 포함한다.
믹싱 화면으로부터 믹싱 설정 정보를 참조하여 개별 비디오들이 원래의 영상비를 고려하여 분리된다.
비디오 컨퍼런스 단말 장치(11)는 사용자가 특정하거나 미리 정해놓은 비디오들을 사용자 맞춤 화면 설정 정보를 참조하여 사용자 맞춤 화면의 캔버스 내에 각각 배치하여 사용자 맞춤 화면을 생성할 수 있다.
도 3의 예시에서, 분리될 수 있는 개별 비디오들은 5 개의 16:9 HD 비디오들과 4 개의 4:3 SD 비디오들이고, 그 중에 사용자의 비디오 컨퍼런스 단말 장치는 2 개의 16:9 HD 비디오들과 3 개의 4:3 SD 비디오들만으로 선택하여 사용자 맞춤 화면을 생성하였다.
상술하였듯이, 본 발명의 비디오 컨퍼런스 시스템은, 종래의 비디오 컨퍼런스 시스템이 요구하는 성능 및 대역폭보다 좀더 고성능의 MCU 장치와 좀더 넓은 대역의 네트워크를 요구하지만, 사용자가 각자 사용자 맞춤 화면을 생성할 수 있다는 장점은 이러한 단점을 상쇄할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 MCU 기능 비디오 컨퍼런스 단말 장치와 일반적 비디오 컨퍼런스 단말 장치들을 포함하는 비디오 컨퍼런스 시스템을 예시한 개념도이다.
도 4를 참조하면, 도 4의 비디오 컨퍼런스 시스템(40)은, 도 1의 비디오 컨퍼런스 시스템(10)의 비디오 컨퍼런스 서버(12) 대신에, MCU 기능이 통합된 비디오 컨퍼런스 단말 장치(41)를 포함하는 구성을 가진다.
MCU 기능 비디오 컨퍼런스 단말 장치(41)는 다른 일반적 비디오 컨퍼런스 단말 장치들(11)에 연결되어 사용자들에게 비디오 컨퍼런스 기능을 제공할 수 있도록, 비디오 컨퍼런스 서버의 기능과 단말 장치의 기능을 하나의 장치에 통합한 장치이다.
이를 위해 MCU 기능 비디오 컨퍼런스 단말 장치(41)는 비디오 데이터 피드 수신부(411), 디코딩부(412), 화면 믹싱부(413), 인코딩부(414), 믹싱 비디오 데이터 수신부(415) 및 사용자 맞춤 화면 생성부(416)를 포함할 수 있다. 비디오 컨퍼런스 단말 장치(11)에 비해 MCU 기능 비디오 컨퍼런스 단말 장치(41)는 사용자 본인의 비디오를 인코딩하여 외부로 출력할 필요가 없고 믹싱 화면의 생성 또는 사용자 맞춤 화면의 생성을 위해 사용자 본인의 비디오를 이용할 수 있다.
구체적으로, 비디오 피드 데이터 수신부(411)는 다른 비디오 컨퍼런스 단말 장치들(11)로부터 다른 사용자들의 비디오 피드 데이터들을 수신할 수 있다.
디코딩부(412)는 수신된 다른 사용자들의 비디오 피드 데이터들로부터 다른 사용자들의 비디오들을 디코딩할 수 있다.
화면 믹싱부(413)는 사용자 본인의 비디오와 디코딩된 다른 사용자의 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성할 수 있다.
인코딩부(414)는 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성할 수 있다.
믹싱 비디오 데이터 송신부(415)는 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 복수의 비디오 컨퍼런스 단말 장치들(11)로 전송할 수 있다.
사용자 맞춤 화면 생성부(416)는 사용자 맞춤 화면 설정 정보에 따라 사용자 본인의 비디오와 다른 사용자들의 비디오들을 배치하여 사용자 맞춤 화면을 생성할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법을 예시한 순서도이다.
도 5를 참조하면, 본 발명의 실시예들에 따라 비디오 컨퍼런스 서버(12) 및 비디오 컨퍼런스 단말 장치들(11)을 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법은 단계(S51)에서, 비디오 컨퍼런스 단말 장치(11)가, 사용자의 압축된 비디오 피드 데이터를 비디오 컨퍼런스 서버에 전송하는 단계부터 시작할 수 있다.
단계(S52)에서, 비디오 컨퍼런스 서버(12)가, 비디오 컨퍼런스 단말 장치(11)로부터 각 사용자의 비디오 피드 데이터를 수신할 수 있다.
단계(S53)에서, 비디오 컨퍼런스 서버(12)가, 비디오 피드 데이터들로부터 디코딩된 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성할 수 있다.
단계(S54)에서, 비디오 컨퍼런스 서버(12)가, 믹싱 화면을 인코딩한 믹싱 비디오 데이터와 믹싱 설정 정보를 비디오 컨퍼런스 단말 장치들(11)로 전송할 수 있다.
단계(S55)에서, 비디오 컨퍼런스 단말 장치(11)가, 비디오 컨퍼런스 서버(12)로부터 수신되는 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성할 수 있다.
단계(S56)에서, 비디오 컨퍼런스 단말 장치(11)가, 비디오 컨퍼런스 서버(12)로부터 수신되는 믹싱 설정 정보에 따라 믹싱 화면으로부터 각 사용자들의 비디오를 각각 분리할 수 있다.
단계(S57)에서, 비디오 컨퍼런스 단말 장치(11)가, 사용자 맞춤 화면 설정 정보에 따라 분리된 각 사용자들의 비디오들을 배치하여 사용자 맞춤 화면을 생성할 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 MCU 기능 비디오 컨퍼런스 단말 장치를 이용한 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법을 예시한 순서도이다.
도 6을 참조하면, MCU 기능 비디오 컨퍼런스 단말 장치 및 통상의 비디오 컨퍼런스 단말 장치들을 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서, 단계(S61)에서, MCU 기능 비디오 컨퍼런스 단말 장치(41)가, 통상의 비디오 컨퍼런스 단말 장치들(11)로부터 다른 사용자들의 비디오 피드 데이터들을 수신할 수 있다.
이어서, 단계(S62)에서, MCU 기능 비디오 컨퍼런스 단말 장치(41)가, 수신된 다른 사용자들의 비디오 피드 데이터들로부터 다른 사용자들의 비디오들을 디코딩할 수 있다.
단계(S63)에서, MCU 기능 비디오 컨퍼런스 단말 장치(41)가, 사용자 본인의 비디오와 디코딩된 다른 사용자의 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성할 수 있다.
단계(S63)에서, MCU 기능 비디오 컨퍼런스 단말 장치(41)가, 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성할 수 있다.
단계(S64)에서, MCU 기능 비디오 컨퍼런스 단말 장치(41)가, 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 통상의 비디오 컨퍼런스 단말 장치들(11)로 전송할 수 있다.
마지막으로, 단계(S65)에서, MCU 기능 비디오 컨퍼런스 단말 장치(41)가, 사용자 맞춤 화면 설정 정보에 따라 사용자 본인의 비디오와 다른 사용자들의 비디오들을 배치하여 사용자 맞춤 화면을 생성할 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
10
비디오 컨퍼런스 시스템
11 비디오 컨퍼런스 단말 장치
111 비디오 획득부
112 비디오 피드 데이터 송신부
113 믹싱 비디오 데이터 수신부
114 디코딩부
115 비디오 분리부
116 사용자 맞춤 화면 생성부
12 비디오 컨퍼런스 서버
121 비디오 피드 데이터 수신부
122 디코딩부
123 화면 믹싱부
124 인코딩부
125 믹싱 비디오 데이터 송신부
40 비디오 컨퍼런스 시스템
41 MCU 기능 비디오 컨퍼런스 단말 장치
411 비디오 피드 데이터 수신부
412 디코딩부
413 화면 믹싱부
414 인코딩부
415 믹싱 비디오 데이터 수신부
416 사용자 맞춤 화면 생성부
11 비디오 컨퍼런스 단말 장치
111 비디오 획득부
112 비디오 피드 데이터 송신부
113 믹싱 비디오 데이터 수신부
114 디코딩부
115 비디오 분리부
116 사용자 맞춤 화면 생성부
12 비디오 컨퍼런스 서버
121 비디오 피드 데이터 수신부
122 디코딩부
123 화면 믹싱부
124 인코딩부
125 믹싱 비디오 데이터 송신부
40 비디오 컨퍼런스 시스템
41 MCU 기능 비디오 컨퍼런스 단말 장치
411 비디오 피드 데이터 수신부
412 디코딩부
413 화면 믹싱부
414 인코딩부
415 믹싱 비디오 데이터 수신부
416 사용자 맞춤 화면 생성부
Claims (12)
- 사용자의 인코딩된 비디오 피드 데이터를 비디오 컨퍼런스 서버에 전송하고, 상기 비디오 컨퍼런스 서버로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신하며, 상기 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하고, 상기 믹싱 화면으로부터 상기 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하며, 사용자 맞춤 화면 설정 정보에 따라 분리된 각 사용자들의 비디오들을 배치하여 사용자 맞춤 화면을 생성하는 비디오 컨퍼런스 단말 장치; 및
상기 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하고, 상기 비디오 피드 데이터들로부터 디코딩된 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하며, 상기 믹싱 화면을 인코딩한 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 비디오 컨퍼런스 단말 장치로 전송하는 비디오 컨퍼런스 서버를 포함하는 비디오 컨퍼런스 시스템. - 청구항 1에 있어서, 상기 믹싱 설정 정보는 상기 비디오 피드 데이터로부터 생성되는 비디오가 하나의 믹싱 화면에 포함될 수 있도록 상기 믹싱 화면의 캔버스 내에서 배치될 구역들의 위치 정보를 포함하는 것을 특징으로 하는 비디오 컨퍼런스 시스템.
- 청구항 2에 있어서, 상기 사용자 맞춤 화면 설정 정보는 상기 믹싱 화면에서 분리된 각 비디오들로써 사용자 맞춤 화면을 생성할 수 있도록, 상기 사용자 맞춤 화면의 캔버스 내에서 배치될 구역들의 위치 정보를 포함하는 것을 특징으로 하는 비디오 컨퍼런스 시스템.
- 청구항 2에 있어서, 상기 믹싱 설정 정보는 각 사용자의 비디오 컨퍼런스 단말 장치로부터 전송되는 비디오의 영상비(aspect ratio) 정보를 더 포함하는 것을 특징으로 하는 비디오 컨퍼런스 시스템.
- 청구항 4에 있어서, 상기 사용자 맞춤 화면 설정 정보는 상기 분리된 각 비디오가 사용자 맞춤 화면을 생성할 수 있도록 상기 사용자 맞춤 화면의 캔버스 내에서 배치될 구역들의 위치 정보 및 영상비 변환 정보를 포함하는 것을 특징으로 하는 비디오 컨퍼런스 시스템.
- 비디오 컨퍼런스 단말 장치들에 연결되어 사용자들에게 비디오 컨퍼런스 기능을 제공하기 위한 비디오 컨퍼런스 서버로서,
상기 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하는 비디오 피드 데이터 수신부;
상기 수신된 비디오 피드 데이터들로부터 비디오들을 디코딩하는 디코딩부;
상기 디코딩된 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 화면 믹싱부;
상기 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 인코딩부; 및
상기 인코딩된 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 비디오 컨퍼런스 단말 장치들로 전송하는 믹싱 비디오 데이터 송신부를 포함하는 비디오 컨퍼런스 서버. - 비디오 컨퍼런스 서버에 연결되어 사용자들에게 비디오 컨퍼런스 기능을 제공하기 위한 비디오 컨퍼런스 단말 장치로서,
사용자 본인의 비디오로부터 인코딩된 비디오 피드 데이터를 상기 비디오 컨퍼런스 서버에 전송하는 비디오 피드 데이터 송신부;
상기 비디오 컨퍼런스 서버로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신하는 믹싱 비디오 데이터 수신부;
상기 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하는 디코딩부;
상기 믹싱 화면으로부터 상기 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하는 비디오 분리부; 및
분리된 각 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 사용자 맞춤 화면 생성부를 포함하는 비디오 컨퍼런스 단말 장치. - 다른 비디오 컨퍼런스 단말 장치들에 연결되어 사용자들에게 비디오 컨퍼런스 기능을 제공하기 위한 MCU(Multipoint Control Unit) 기능 비디오 컨퍼런스 단말 장치로서,
다른 비디오 컨퍼런스 단말 장치들로부터 다른 사용자들의 비디오 피드 데이터들을 수신하는 비디오 피드 데이터 수신부;
상기 수신된 다른 사용자들의 비디오 피드 데이터들로부터 다른 사용자들의 비디오들을 디코딩하는 디코딩부;
사용자 본인의 비디오와 상기 디코딩된 다른 사용자의 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 화면 믹싱부;
상기 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 인코딩부;
상기 인코딩된 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 비디오 컨퍼런스 단말 장치들로 전송하는 믹싱 비디오 데이터 송신부; 및
사용자 본인의 비디오와 다른 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 사용자 맞춤 화면 생성부를 포함하는 MCU 기능 비디오 컨퍼런스 단말 장치. - 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 단말 장치들을 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서,
상기 비디오 컨퍼런스 단말 장치가, 사용자의 비디오 피드 데이터를 상기 비디오 컨퍼런스 서버에 전송하는 단계;
상기 비디오 컨퍼런스 서버가, 상기 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하는 단계;
상기 비디오 컨퍼런스 서버가, 상기 비디오 피드 데이터들로부터 디코딩된 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 단계;
상기 비디오 컨퍼런스 서버가, 상기 믹싱 화면을 인코딩한 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 비디오 컨퍼런스 단말 장치들로 전송하는 단계;
상기 비디오 컨퍼런스 단말 장치가, 상기 비디오 컨퍼런스 서버로부터 수신되는 상기 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하는 단계;
상기 비디오 컨퍼런스 단말 장치가, 상기 비디오 컨퍼런스 서버로부터 수신되는 상기 믹싱 설정 정보에 따라 상기 믹싱 화면으로부터 각 사용자들의 비디오를 각각 분리하는 단계;
상기 비디오 컨퍼런스 단말 장치가, 분리된 각 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 단계를 포함하는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법. - 비디오 컨퍼런스 단말 장치들에 연결된 비디오 컨퍼런스 서버를 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서,
상기 비디오 컨퍼런스 서버가,
상기 비디오 컨퍼런스 단말 장치로부터 각 사용자의 비디오 피드 데이터를 수신하는 단계;
상기 수신된 비디오 피드 데이터들로부터 비디오들을 디코딩하는 단계;
상기 디코딩된 비디오들을 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 단계;
상기 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 단계; 및
상기 인코딩된 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 비디오 컨퍼런스 단말 장치들로 전송하는 단계를 포함하는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법. - 비디오 컨퍼런스 서버에 연결된 비디오 컨퍼런스 단말 장치들을 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서
상기 비디오 컨퍼런스 단말 장치가,
사용자의 인코딩된 비디오 피드 데이터를 상기 비디오 컨퍼런스 서버에 전송하는 단계;
상기 비디오 컨퍼런스 서버로부터 인코딩된 믹싱 비디오 데이터와 믹싱 설정 정보를 각각 수신하는 단계;
상기 믹싱 비디오 데이터를 디코딩하여 믹싱 화면을 생성하는 단계;
상기 믹싱 화면으로부터 상기 믹싱 설정 정보에 따라 각 사용자들의 비디오를 각각 분리하는 단계; 및
분리된 각 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 단계를 포함하는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법. - MCU 기능 비디오 컨퍼런스 단말 장치 및 통상의 비디오 컨퍼런스 단말 장치들을 이용하여 수행되는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법으로서,
상기 MCU 기능 비디오 컨퍼런스 단말 장치가,
사용자 본인의 비디오를 획득하는 단계;
상기 통상의 비디오 컨퍼런스 단말 장치들로부터 다른 사용자들의 비디오 피드 데이터들을 수신하는 단계;
상기 수신된 다른 사용자들의 비디오 피드 데이터들로부터 다른 사용자들의 비디오들을 디코딩하는 단계;
사용자 본인의 비디오와 상기 디코딩된 다른 사용자의 비디오들을 상기 믹싱 설정 정보에 따라 배치하여 하나의 믹싱 화면을 생성하는 단계;
상기 믹싱 화면을 인코딩하여 믹싱 비디오 데이터를 생성하는 단계;
상기 인코딩된 믹싱 비디오 데이터와 상기 믹싱 설정 정보를 상기 통상의 비디오 컨퍼런스 단말 장치들로 전송하는 단계; 및
사용자 본인의 비디오와 다른 사용자들의 비디오들을 사용자 맞춤 화면 설정 정보에 따라 배치하여 사용자 맞춤 화면을 생성하는 단계를 포함하는 비디오 컨퍼런스를 위한 믹싱 영상 처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140165202A KR101641184B1 (ko) | 2014-11-25 | 2014-11-25 | 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140165202A KR101641184B1 (ko) | 2014-11-25 | 2014-11-25 | 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160062787A true KR20160062787A (ko) | 2016-06-03 |
| KR101641184B1 KR101641184B1 (ko) | 2016-08-01 |
Family
ID=56192110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140165202A KR101641184B1 (ko) | 2014-11-25 | 2014-11-25 | 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101641184B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019022332A1 (ko) | 2017-07-24 | 2019-01-31 | (주) 유프리즘 | 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법 |
| KR20190025304A (ko) * | 2017-09-01 | 2019-03-11 | 삼성에스디에스 주식회사 | 컨퍼런스 시스템 및 상기 시스템에서의 오디오 컨퍼런스와 웹 컨퍼런스간 연동 방법 |
| WO2019221369A1 (ko) | 2018-05-14 | 2019-11-21 | (주) 유프리즘 | 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 오디오 에코 제거방법 |
| WO2019225836A1 (ko) | 2018-05-23 | 2019-11-28 | (주) 유프리즘 | 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 |
| KR20200029400A (ko) * | 2017-08-08 | 2020-03-18 | 라인 가부시키가이샤 | 그룹 통화 화면을 제공하는 방법 및 시스템 |
| CN113055636A (zh) * | 2021-03-29 | 2021-06-29 | 联想(北京)有限公司 | 一种数据处理方法及会议系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006201709A (ja) * | 2005-01-24 | 2006-08-03 | Toshiba Corp | 映像表示装置、映像合成配信装置、プログラム、システム及び方法 |
| JP2007086354A (ja) * | 2005-09-21 | 2007-04-05 | Toshiba Corp | 合成映像制御装置、合成映像制御方法およびプログラム |
| KR20120006675A (ko) * | 2010-07-13 | 2012-01-19 | 엘지전자 주식회사 | 화상회의 장치 및 화상회의 영상을 디스플레이하는 방법 |
| JP2014075779A (ja) * | 2012-09-14 | 2014-04-24 | Ricoh Co Ltd | 会議端末およびサーバー |
-
2014
- 2014-11-25 KR KR1020140165202A patent/KR101641184B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006201709A (ja) * | 2005-01-24 | 2006-08-03 | Toshiba Corp | 映像表示装置、映像合成配信装置、プログラム、システム及び方法 |
| JP2007086354A (ja) * | 2005-09-21 | 2007-04-05 | Toshiba Corp | 合成映像制御装置、合成映像制御方法およびプログラム |
| KR20120006675A (ko) * | 2010-07-13 | 2012-01-19 | 엘지전자 주식회사 | 화상회의 장치 및 화상회의 영상을 디스플레이하는 방법 |
| JP2014075779A (ja) * | 2012-09-14 | 2014-04-24 | Ricoh Co Ltd | 会議端末およびサーバー |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019022332A1 (ko) | 2017-07-24 | 2019-01-31 | (주) 유프리즘 | 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법 |
| CN110521202A (zh) * | 2017-07-24 | 2019-11-29 | 优普利兹通讯技术公司 | 能够利用多个视频会议用终端提供多屏视频会议的视频会议服务器及其方法 |
| CN110521202B (zh) * | 2017-07-24 | 2021-02-02 | 优普利兹通讯技术公司 | 能够利用多个视频会议用终端提供多屏视频会议的视频会议服务器及其方法 |
| US11102451B2 (en) | 2017-07-24 | 2021-08-24 | Uprism Co., Ltd. | Videoconferencing server for providing multi-screen videoconferencing by using a plurality of videoconferencing terminals and method therefor |
| KR20200029400A (ko) * | 2017-08-08 | 2020-03-18 | 라인 가부시키가이샤 | 그룹 통화 화면을 제공하는 방법 및 시스템 |
| KR20190025304A (ko) * | 2017-09-01 | 2019-03-11 | 삼성에스디에스 주식회사 | 컨퍼런스 시스템 및 상기 시스템에서의 오디오 컨퍼런스와 웹 컨퍼런스간 연동 방법 |
| WO2019221369A1 (ko) | 2018-05-14 | 2019-11-21 | (주) 유프리즘 | 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 오디오 에코 제거방법 |
| WO2019225836A1 (ko) | 2018-05-23 | 2019-11-28 | (주) 유프리즘 | 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 |
| CN113055636A (zh) * | 2021-03-29 | 2021-06-29 | 联想(北京)有限公司 | 一种数据处理方法及会议系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101641184B1 (ko) | 2016-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101641184B1 (ko) | 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템 | |
| AU2002355089B2 (en) | Method and apparatus for continuously receiving frames from a pluarlity of video channels and for alternatively continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels | |
| US8872881B2 (en) | Minimal decoding method for spatially multiplexing digital video pictures | |
| JP5345081B2 (ja) | 常駐会議を行うための方法およびシステム | |
| US7616591B2 (en) | Video conferencing system | |
| US9338401B2 (en) | System and method for a hybrid topology media conferencing system | |
| AU2002355089A1 (en) | Method and apparatus for continuously receiving frames from a pluarlity of video channels and for alternatively continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels | |
| JP2007511954A (ja) | 分散型実時間メディア構成器 | |
| US9961303B2 (en) | Video conference virtual endpoints | |
| WO2011140812A1 (zh) | 多画面合成方法、系统及媒体处理装置 | |
| US20060171336A1 (en) | Video multi-conference unit (MCU) | |
| TWI531244B (zh) | 視訊會議資料處理方法及系統 | |
| JPH08317366A (ja) | 多地点テレビ会議システム | |
| CN111372031A (zh) | 视频会议系统的视频结构调节方法及其系统 | |
| JPH1028259A (ja) | 通信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| FPAY | Annual fee payment |
Payment date: 20190710 Year of fee payment: 4 |