WO2019022332A1 - 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법 - Google Patents

복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법 Download PDF

Info

Publication number
WO2019022332A1
WO2019022332A1 PCT/KR2018/003202 KR2018003202W WO2019022332A1 WO 2019022332 A1 WO2019022332 A1 WO 2019022332A1 KR 2018003202 W KR2018003202 W KR 2018003202W WO 2019022332 A1 WO2019022332 A1 WO 2019022332A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
video conference
logical terminal
video
physical
Prior art date
Application number
PCT/KR2018/003202
Other languages
English (en)
French (fr)
Inventor
차민수
Original Assignee
(주) 유프리즘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 유프리즘 filed Critical (주) 유프리즘
Priority to US16/082,442 priority Critical patent/US11102451B2/en
Priority to EP18796569.4A priority patent/EP3641302A4/en
Priority to JP2018552229A priority patent/JP6692922B2/ja
Priority to CN201880025280.8A priority patent/CN110521202B/zh
Publication of WO2019022332A1 publication Critical patent/WO2019022332A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the present invention relates to a multi-point video conferencing system, and more particularly, to a multi-point video conferencing system capable of displaying a plurality of images for multi-point video conferencing using a plurality of video conference terminals without a conventional telepresence device. And more particularly, to a video conferencing server capable of providing multi-screen video conferencing.
  • the video conferencing system is generally divided into a standard video conferencing terminal (or system) using standard protocols such as H.323 or SIP (Session Initiation Protocol) and a non-standard video conferencing terminal using a proprietary protocol developed by the developer.
  • standard protocols such as H.323 or SIP (Session Initiation Protocol)
  • non-standard video conferencing terminal using a proprietary protocol developed by the developer.
  • Video conferencing equipment vendors such as Cisco, Polycom, Avaya, and LifeSize provide video conferencing solutions using the standard protocols described above, There are many companies that provide non-standard video conferencing systems because it is difficult to implement various functions when they are created.
  • the video conference system has a 1: 1 video conference in which only two video conference terminals (two points) are connected, and a multiple video conference in which a plurality of video conference terminals (a plurality of points) are simultaneously connected. All the terminals of the video conference participating in the video conference are individually a video conference point and it is common that at least one conference attendee is assigned for each point.
  • the standard video conferencing terminal normally handles only one image and voice by connecting one session to the other, it is basically applied to 1: 1 video conferencing.
  • H.239 and BFCP Boary Floor Control Protocol
  • the BFCP is a binary format standard for performing floor control control in a conference system, and it handles flow control during a collaboration session between terminals that handle collaboration software (Collaboration Software) Standard.
  • Multipoint Conferencing Unit is needed to solve this technical limitation in a standard video conferencing system and to perform multiple video conferences in which three or more points are connected instead of 1: 1.
  • Mysyu solves the constraints of the standard protocol by mixing images provided at three or more points and providing one for each point to standard terminals. Mixing is a relatively expensive operation.
  • the MCU decodes the compressed video data again, so that the original video data and the original video data And then performs a mixing process of rendering a new image by rendering a plurality of images according to a predetermined layout.
  • EMSYU re-encodes the mixed image and distributes it to each point. Therefore, a server equipped with an E-UU or M-SIL function is a relatively expensive apparatus in a video conferencing system, but it is a core device for multi-video conferencing.
  • the terminal processes one image. Therefore, there is no difference from the case where the conference is technically performed at 1: 1.
  • the video provided by the MCU the video provided at a plurality of points is PBP (Picture in Picture) or the like.
  • the bandwidth required on the terminal side is virtually no different from 1: 1.
  • non-standard video conferencing system the image is processed without using standard M-SESSION. If connection with standard video terminal is needed, a separate gateway is used. A plurality of points of a terminal log in to one server and go through a process of attending a specific conference room. Some non-standard products may be peer to peer (P2P) without servers.
  • P2P peer to peer
  • each terminal uses a method of simply relaying an image generated by itself to other participants (terminals at different points).
  • the relay method has advantages of using less system resources of the server than the mixing, but the network bandwidth required for the video relay increases exponentially.
  • bandwidth For example, if 5 people (5 points) are present in the same conference room and each point sees all of the screens provided by other participants at once, calculate it and send your video to the server, (5x5) bandwidth is required. If ten video conferencing terminals are participating, a bandwidth of 100 ⁇ (10 ⁇ 10) is required. As the number of participants increases, the bandwidth required increases exponentially.
  • Videoconferencing terminals can output the main video screen and the document video screen simultaneously to two display devices at the same time.
  • inexpensive video conferencing devices often support only a single display output.
  • Videoconferencing terminals that support only a single display may or may not support H.239 or BFCP for document video conferencing.
  • the screen is usually divided and displayed, and the terminal itself may provide various layouts for displaying two images in various forms.
  • the terminal supports most of the functions of selecting and enlarging one of the main image or the document image.
  • the terminal of the video conference can transmit one image, but the document image can be further transmitted using the H.239 or BFCP technology.
  • the presenter In order to send a document image, the presenter must acquire a presenter token. Only one terminal (i.e., one point) among the terminals attending the video conference can have a token. For this reason, only the terminal that obtained the presenter token can send the attendee's main image and document image to the server at the same time.
  • Cisco, Cisco, and Polycom offer videoconferencing equipment for ultra-high-end telepresence technology that not only supports three or four display outputs, The number of display images can be transmitted without a presenter token.
  • the multi-video transmission function for video conferencing is recognized as a unique function of the telepresence equipment.
  • the telepresence equipment can not interoperate with general video conferencing terminals and can be interworked with expensive gateway equipment provided separately. Even if it is interlocked, the quality of the video is very poor compared to that of the general video conference equipment. For these reasons, video conference terminals with three display outputs are relatively infrequent, and there is a limit to the scalability due to the restriction of standard technology.
  • Korean Patent Laid-Open No. 10-2016-0062787 (a method for mixing a plurality of video feeds for a video conference, a video conference terminal device using the same, a video conference server, and a video conference system)
  • the number of display devices connectable by the number of video output terminals of a conventional video conference terminal is determined.
  • a device called telepresence supports more than two multi-screens, but at a high cost.
  • a plurality of video conference terminals held at respective end points are configured as logical terminals, and a plurality of video conference terminals are processed to operate as one video conference point having a multi-screen. It is an object of the present invention to provide a video conference server and a method thereof that can provide a multi-screen video conference without the conventional telepresence equipment.
  • a method of providing a multi-screen video conference service of a video conference server comprising: registering a plurality of physical terminals into one virtual logical terminal, Screen video conferencing service using a plurality of display devices included in the logical terminal.
  • the method includes registering a terminal registering a plurality of physical terminals as one logical terminal and registering the plurality of physical terminals to operate as one video conference point;
  • a call connection step of connecting a video conference between a plurality of video conference points including the logical terminal and separately connecting a plurality of physical terminals constituting the logical terminal to the logical terminal;
  • a source video receiving step of receiving the source video provided by the plurality of video conference points, and receiving the source video from each of the plurality of physical terminals for the logical terminal;
  • the call connection unit distributes an image provided at a different video conference point among the entire source images received through the source video reception step to a plurality of physical terminals of the logical terminal so that the logical terminal operates as one virtual video conference point Screen image providing step.
  • the call connection step is different from the general point when the calling or receiving side is the logical terminal. If the calling side of the call connection is a physical terminal belonging to the logical terminal, the call connection unit also creates a separate connection with the remaining physical terminals of the logical terminal. Also, if the receiving side of the call connection is a physical terminal belonging to the logical terminal, the call connection unit also creates a separate connection with the remaining physical terminals of the logical terminal.
  • a protocol such as H.323 or Session Initiation Protocol (SIP) may be used.
  • the multi-screen image providing step may include mixing an image to be distributed to each of a plurality of physical terminals constituting the logical terminal using the entire source image received through the source image receiving step, .
  • the image processing unit may extract m1 images for the plurality of physical terminals using m3 images excluding m2 source images received from the logical terminal among the M total source images received through the source image receiving step Mix.
  • m1 is the number of display devices included in the logical terminal.
  • m3 is expressed by the following equation.
  • M may be one plus the total number of source images .
  • the image processing unit may mix the source image of the logical terminal itself with the image to be provided to each of the plurality of physical terminals.
  • the call connection unit may sequentially provide an image provided at another video conference point among the entire source images received through the source video receiving step to the logical terminal sequentially. According to this processing, video display as in the conventional relay system can be performed.
  • the rights of the present invention also apply to a video conference server having the terminal registration unit, the video processing unit, and the call connection unit in order to perform the above method.
  • the video conference server of the present invention can logically group a plurality of video conference terminals (physical terminals) having a limited number of displays (usually one or two) and implement it to operate as a logical terminal operating as a single video conference point have.
  • the video conferencing server can treat the logical terminal as if it supports multi-screen through the distribution of images provided to a plurality of physical terminals constituting the logical terminal.
  • a video conference server distributes video images of other video conference points in accordance with the number of screens, i.e., the number of display apparatuses, of the logical terminal, so that the physical terminal included in the logical terminal must display
  • the number of other video conferencing points is reduced, and the complexity of the video displayed on one screen is also lowered. Since the complexity of the image is lowered, the image quality is improved in a physical terminal having low performance or a network having low speed.
  • the logical terminal of the present invention is implemented only through the internal processing of the video conference server and there is no direct connection between the physical terminals, even if the physical terminals of different manufacturers having different video codecs, There is no problem in bundling them into logical terminals.
  • the multi-screen is provided through the logical terminal, there is no need to upgrade the system resources of the terminal of the individual video conference for multi-screen support.
  • FIG. 1 is a configuration diagram of a video conference system according to an embodiment of the present invention.
  • FIG. 2 is a connection diagram of multiple video conferences in which all three points of FIG. 1 participate.
  • FIG. 3 is a flowchart illustrating a method of providing a multi-screen video conference service of a video conference server according to the present invention.
  • a video conference system 100 includes a server 110 and a plurality of video conference terminals connected to each other through a network 30, and a 1: 1 video conference It also supports multiple video conferencing with more than two points connected.
  • the video conference terminals 11, 13, 15, 17 and 19 shown in FIG. 1 exemplarily show terminals of video conference terminals which can be connected.
  • the connection network 30 between the server 110 and the video conference terminals 11, 13, 15, 17 and 19 is an IP network and includes a heterogeneous network connected via a gateway, Can be connected.
  • a wireless telephone using a mobile communication network may also be a video conference terminal of the present invention.
  • the network 30 includes a mobile communication network connected through a gateway to process an IP packet.
  • the server 110 generally controls the video conference system 100 of the present invention and includes a terminal registration unit 111, a call connection unit 113, and a video processing unit 115 in addition to a general server function for processing a video conference. .
  • the terminal registration unit 111 performs registration, setting and management of the physical terminal and the logical terminal described below, and the call connection unit 113 controls call connection of the video conference of the present invention.
  • the image processor 115 processes (mixes, decodes, encodes, etc.) an image provided between the physical terminal and / or the logical terminals when a video call is connected, thereby implementing a multi screen such as a telepresence.
  • the detailed operation of the terminal registration unit 111, the call connection unit 113, and the image processing unit 115 will be described below with reference to FIG.
  • All the video conference terminals 11, 13, 15, 17, and 19 included in the video conference system 100 are not terminals capable of supporting the standard protocol for video conference but providing the telepresence service described in the background art
  • Standard protocols include H.323 or Session Initiation Protocol (SIP).
  • the terminals 11, 13, 15, 17, and 19 of each video conference are conventional video conference terminals having a video / audio codec.
  • terminals supporting document conferencing among terminals 11, 13, 15, 17, and 19 of each video conference support H.239 and BFCP (Binary Floor Control Protocol).
  • the terminal of the video conference connected to the video conference system of the present invention can constitute a 'logical terminal'.
  • the logical terminal is a logical combination of a plurality of video conference terminals, and may be composed of two video conference terminals or three or more video conference terminals. However, a logical connection between a plurality of video conference terminals constituting a logical terminal There is no. Conventional video conferencing terminals each operate as one video conferencing point, while a plurality of video conferencing terminals of the logical terminal operate as one video conferencing point.
  • the logical terminal has the same number of display devices as the number of display devices held by the physical terminals as its members. If necessary, the logical terminal can designate one of the plurality of constituent terminals as the representative terminal.
  • a conventional general video conference terminal is referred to as a " physical terminal ".
  • a logical terminal is a logical combination of a plurality of physical terminals. No matter how many physical terminals a logical terminal contains, it is treated as a connection point within a video conference.
  • FIG. 1 is a multiple video conferencing system of three connection points (A, B, C) where two logical terminals 130, 150 and one physical terminal 19 are interconnected by a server 110.
  • the first logical terminal 130 corresponding to the first point A is composed of the first and second physical terminals 11 and 13 having one display device and the second logical terminal 130 corresponding to the second point B
  • the logical terminal 150 is composed of a third physical terminal 15 having two display devices and a fourth physical terminal 17 having one display device.
  • the logical terminal is a logical configuration managed by the server 110 and the standard protocol supports only a 1: 1 connection
  • the connection between the server 110 and the logical terminal is performed by all the physical terminals constituting the logical terminal and the server 110, And the like.
  • FIG. 1 shows that five physical terminals 11, 13, 15, 17, and 19 generate five SIP sessions with the server 110 regardless of the configuration of the logical terminal.
  • the present invention supports the following connection of the server 110 of the video conference system.
  • the fifth physical terminal 19 of FIG. 1 calls the first logical terminal 130.
  • the server 110 concurrently or sequentially calls and connects the first and second physical terminals 11 and 13 constituting the first logical terminal 130.
  • the server 110 concurrently or sequentially calls and connects the second physical terminal 13, which is another physical terminal constituting the first logical terminal 130, and the fifth physical terminal 19, which is the receiving terminal.
  • the first logical terminal 130 of FIG. 1 calls the second logical terminal 150.
  • the server 110 determines that the two logical terminals 150 constituting the second logical terminal 150 15, and 17 are concurrently or sequentially called, and the second physical terminal 13, which is a remaining terminal other than the calling representative terminal 11, is also called and connected.
  • the video conferencing system of the present invention supports connection of three or more points to which the logical terminal is connected at one point, as in Fig.
  • One logical terminal and two physical terminals may be connected, two or more logical terminals and one physical terminal may be connected, or two or more logical terminals may be connected to each other.
  • the connection of multipoints can be handled in a manner known in the art. However, if the newly participating point is a logical terminal, it must be connected to all of its physical terminals.
  • the video conference system 100 of the present invention can provide a multi-screen such as a telepresence using a logical terminal system.
  • the logical terminal is treated as having a number of screens that can be provided by all of the physical terminals, which are virtual members, as members.
  • the server 110 determines the number of display devices included in each logical terminal (or the number of images that the server should provide to each logical terminal) m1, the total number of physical terminals M , And the number of source images), thereby reconstructing m3 images into m1 images for a logical terminal.
  • m3 is the number of source images that the logical terminal should display for video conferencing
  • m2 is the number of physical terminals constituting each logical terminal.
  • each physical terminal may set or request to display its own image (source image).
  • source image m3 images are re-edited as m1 images for each logical terminal and distributed to the respective physical terminals constituting the logical terminal
  • the source images provided by the physical terminal may be mixed and provided.
  • the server 110 needs reprocessing to mix the source image.
  • three source images may be sequentially provided without re-editing the three source images through mixing or the like.
  • any physical terminal participating in the video conference of the present invention can provide two source images by acquiring the presenter token regardless of whether or not the logical terminal is configured.
  • the first physical device 11 can provide the image for document conference together with the main image to the server 110 together.
  • M is a value obtained by adding 1 to the total number of physical terminals included in the connected points of the video conference.
  • FIG. 2 is a connection diagram of multiple video conferencing in which all three points of FIG. 1 participate, in which a first logical terminal 130, a second logical terminal 150 and a fifth physical terminal 19 are interconnected to form a three- Assume that multiple video conferences are connected.
  • the first physical terminal 11 displays the source image of the fifth physical terminal 19
  • the second physical terminal 13 displays the source image of the fifth physical terminal 19.
  • the fifth physical terminal 19 displays the source video provided by the four logical terminals 130 and the four physical terminals 11, 13, 15, and 17 of the second logical terminal 150 on the two display devices , It is structured so that four source images are appropriately edited and displayed as two images.
  • the third physical terminal 15 constituting the second logical terminal 150 can provide two source images.
  • the second logical terminal 150 provides all three source images, and M becomes six.
  • the number of source images that the server 110 has to process to transmit to the first logical terminal 130, the second logical terminal 150, and the fifth physical terminal 19 is one more than that described above.
  • the first physical terminal 11 of the first logical terminal 130 becomes the calling side and the second logical terminal 150 is connected to the receiving side.
  • a process of registering a logical terminal is required.
  • the terminal registration unit 111 of the server 110 proceeds to manage the registration of the physical terminal and the logical terminal.
  • the registration of the physical terminal must be performed prior to or simultaneously with the registration of the logical terminal, and the IP address of each terminal is indispensably required for registration of each physical terminal.
  • the registration procedure of the physical terminal can be registered by various methods known in the art. For example, the registration of a physical terminal may be performed using a location registration process through a Register command on a SIP protocol. In this case, a telephone number of the physical terminal may be included.
  • the server 110 can confirm whether the physical terminal is currently turned on and is operating.
  • the registration of the logical terminal specifies the physical terminals included in the logical terminal, and the number of the display devices connected to each physical terminal is registered. According to an embodiment, it is also possible to set a layout (layout) of a video image mixing method (including a relay method) or a mixed video image according to a layout (or a relative position) between display devices included in a logical terminal and a number m3 of source images have.
  • the terminal registration unit 111 receives configuration information for configuring the first physical terminal 11 and the second physical terminal 13 as the first logical terminal 130, registers and manages the configuration information.
  • the registration of the logical terminal may be performed using a web page provided by the terminal registration unit 111 or a separate access terminal.
  • the call setup of the video conference between the points of each video conference is started by the call connection unit 113 of the server 110 receiving the call connection request at one point.
  • the call connection unit 113 receives the SIP signaling message INVITE. 2 since the first physical terminal 11 of the first logical terminal 130 calls the third physical terminal 15 of the second logical terminal 150, the call connection unit 113 is the calling side
  • the first physical terminal 11 receives the INVITE message for calling the third physical terminal 15 by using the telephone number or the IP address of the third physical terminal 15.
  • the call connection unit 113 of the server 110 inquires of the terminal registration unit 111 whether the receiving telephone number is a telephone number (or an IP address) of one of the physical terminals constituting the logical terminal. Similarly, the terminal registration unit 111 inquires whether the calling side is the telephone number (or IP address) of one of the physical terminals constituting the logical terminal. Thus, the call connection unit 113 confirms whether the call connection is a connection to the logical terminal.
  • the call connection unit 113 when the receiver is additionally the physical terminal constituting the logical terminal, the call connection unit 113 additionally verifies whether the physical terminal is the representative terminal of the logical terminal, The receiving side may not be processed as a logical terminal. In the case of the calling side, additionally checking whether the calling terminal is the representative terminal of the logical terminal to which the calling terminal belongs, the calling terminal may not be treated as the logical terminal unless it is the calling terminal.
  • the call connection unit 113 performs a procedure for creating a SIP session with all physical terminals belonging to the receiving-side logical terminal. 2, since the receiver is the second logical terminal 150, the call connection unit 113 creates a SIP session between the third physical terminal 15 and the fourth physical terminal 17. In this example, At this time, the INVITE message may be simultaneously transmitted to the third physical terminal 15 and the fourth physical terminal 17, and may be transmitted sequentially (S307).
  • the call connection unit 113 also creates a SIP session with the second physical terminal 13 of the first logical terminal 130, since the call connection is also the logical terminal.
  • a SIP session may also be created with the fifth physical terminal 19 to participate in the video conference (S309).
  • All the physical terminals on the receiving side and / or the calling side which have received the INVITE negotiate to select the video and audio codec or the like through the SDP (Session Description Protocol) information.
  • SDP Session Description Protocol
  • the call connection of the logical terminal is actually a connection with the individual physical terminals constituting the logical terminal, a plurality of sessions are established.
  • the physical terminals constituting the logical terminal also individually generate the source image and transmit it to the server 110. 2, the call connection unit 113 receives the five source images 11a, 13a, 15a, 17a, and 19a provided by the five physical terminals 11, 13, 15, do.
  • the image processing unit 115 of the server 110 decodes, mixes, and encodes the source image in order to render the source image received from the physical terminal into an image for each point. In other words, the image processing unit 115 can re-edit m3 images into m1 images for each logical terminal.
  • the image processing unit 115 performs mixing of source images according to a predetermined layout for each logical terminal or physical terminal or according to a layout requested by each terminal.
  • the source connection unit 113 may sequentially provide the call connection unit 113 at a predetermined time interval without performing the image processing by the image processing unit 115, thereby displaying the source image in a relay form. In this case, it is sufficient to transmit the signal without mixing or the like, and to change or transcode the video format when it is necessary to match the video codec of the terminal.
  • the call connection unit 113 transmits the image processed by the image processing unit 115 to each of the physical terminals 11, 13, 15, 17 and 19 to each physical terminal 11, 13, 15, 17, 19 ).
  • each point participating in a video conference can receive services such as telepresence by multi-screen.
  • the video conferencing multi-screen of the video conferencing system 100 of the present invention is processed.
  • the terminal registering unit 111 can generate and register a virtual telephone number for the logical terminal.
  • the receiving side may be processed as a logical terminal only when the receiving side telephone number is the virtual telephone number of the logical terminal in step S305.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법이 개시된다. 본 발명의 영상회의 서버는 하나 또는 두 개의 디스플레이를 구비한 종래의 영상회의 단말(물리적 단말) 복수 개를 논리적으로 묶어 마치 하나의 영상회의 포인트로 동작하는 '논리적 단말'처럼 동작하도록 구현할 수 있다. 영상회의 서버는 논리적 단말을 구성하는 복수 개의 물리적 단말에게 제공하는 영상의 분배를 통해 논리적 단말이 멀티 스크린을 지원하는 것처럼 처리할 수 있다.

Description

복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법
본 발명은 다중-포인트 영상회의(Multi Point Videoconferencing) 시스템에 관한 것으로서, 종래의 텔레프레즌스(Telepresence) 장비가 없이도, 복수 개의 영상회의용 단말을 이용하여 다중-포인트 영상회의를 위한 복수 개의 영상을 표시할 수 있는 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법에 관한 것이다.
영상회의 시스템은 일반적으로 H.323나 SIP(Session Initiation Protocol)와 같은 표준 프로토콜을 이용하는 표준 기반 영상회의 단말(또는 시스템)과, 개발자가 자체로 개발한 독자 프로토콜을 이용하는 비표준 영상회의 단말로 나눈다.
시스코(CISCO), 폴리콤(POLYCOM), 어바이어(AVAYA), 라이프사이즈(LIFESIZE) 등의 메이저 영상회의 장비 업체는 위에서 언급한 표준 프로토콜을 이용한 영상회의 솔루션을 공급하고 있지만, 표준 기술만을 이용해서 제품을 만들 경우 다양한 기능을 구현하기 힘들기 때문에 비표준 영상회의 시스템을 공급하는 업체들도 많다.
<표준 단말 기반의 다중 영상회의를 위한 MCU>
영상회의 시스템은 두 개의 영상회의 단말(두 개의 포인트)만이 연결되는 1:1 영상회의가 있고, 복수 개의 영상회의 단말(복수 개의 포인트)이 동시에 연결되는 다중 영상회의가 있다. 영상회의에 참여한 모든 영상회의 단말은 개별적으로 하나의 영상회의 포인트(Point)가 되며, 포인트마다 적어도 한 명의 회의 참석자가 배석하는 것이 일반적이다.
표준 영상회의 단말은 상대방과 하나의 세션을 연결하여 통상 하나의 영상과 음성만을 처리하기 때문에 기본적으로 1:1 영상회의에 적용되며, 부가적으로 표준 단말에서도 H.239와 BFCP(Binary Floor Control Protocol)를 이용하면 문서 회의를 위한 보조 영상을 하나 더 처리할 수 있다. 여기서, BFCP는 회의(Conference) 시스템에서 플로어(Floor Control) 제어를 수행하기 위한 바이너리(Binary) 형식의 규격으로서, 콜라보레이션 소프트웨어(Collaboration Software)를 처리하는 단말들 사이의 콜라보레이션 세션동안 플로우 제어를 처리하기 위한 표준이다.
표준 영상회의 시스템에서 이와 같은 기술적인 제약을 해결하고 1:1 이 아닌 3개 이상의 포인트가 연결된 다중 영상회의를 하기 위해서는 별도로 엠시유(MCU: Multipoint Conferencing Unit)라는 장치가 필요하다. 엠시유는 3개 이상의 포인트에서 제공되는 영상을 믹싱(Mixing)하여 각 포인트를 위한 영상을 하나씩 만들어 표준 단말에게 제공함으로써 표준 프로토콜의 제약을 해소한다. 믹싱은 상대적으로 비용이 많이 소요되는 작업이다.
영상회의에 결합된 모든 영상회의 단말은 자신이 생성한 영상과 음성 데이터를 압축하여 상대방에게 송신하기 때문에, 엠시유가 이들 영상을 다시 믹싱하기 위해서는 압축된 영상을 다시 디코딩(Decoding)하여 원래의 영상 데이터로 복원한 다음, 기설정된 레이아웃에 맞추어 복수 개 영상을 렌더링(Rendering)하여 새로운 영상을 만드는 믹싱 과정을 수행한다. 엠시유는 믹싱이 완료된 영상을 다시 인코딩(Encoding)하여 각 포인트로 배분한다. 따라서 엠시유나 엠시유 기능을 구비한 서버는 영상회의 시스템에서 상대적으로 매우 고가에 해당하는 장비이이지만 다중 영상회의를 위한 핵심적인 장비이다.
영상을 믹싱하면, 단말에서는 하나의 영상을 처리하는 것이므로 기술적으로 1:1로 회의할 때와 차이가 없지만, 엠시유가 제공하는 영상에는 복수 개 포인트에서 제공되는 영상이 PBP(Picture by Picture), PIP(Picture in Picture) 등의 형태로 결합되어 있다. 게다가 단말 측에서 필요한 대역폭도 1:1과 비교했을 때 사실상 차이가 없다.
<비표준 영상회의 시스템에서 다중 영상회의>
비표준 영상회의 시스템에서는 표준적인 엠시유를 사용하지 않고 영상을 처리하며, 표준 영상 단말과 연결이 필요하면 별도의 게이트웨이(Gateway)를 이용한다. 복수 개 포인트의 단말은 하나의 서버에 로그인하고 특정 회의방에 참석하는 절차를 거친다. 일부 비표준 제품들은 서버가 존재하지 않고 P2P(Peer to Peer)로 처리하는 경우도 있다.
비표준 영상회의 시스템에서, 엠시유 또는 엠시유 기능을 수행하는 장치를 사용하지 않는 이유는 엠시유 기능을 구현하기 위해 고가의 고성능 서버가 필요하기 때문이다. 영상 믹싱을 수행하는 대신에, 각 단말은 자신이 생성한 영상을 다른 참석자들(다른 포인트의 단말들)에게 단순히 릴레이(Relay)하는 방법을 많이 사용한다. 릴레이 방식은 믹싱보다 서버의 시스템 자원을 적게 사용하는 장점이 있으나 영상 릴레이에 필요한 네트워크 대역폭은 기하급수적으로 늘어나는 단점이 있다.
예를 들어 5명(5개의 포인트)이 동일한 회의방에 참석해 있고, 각 포인트에서는 다른 참석자들이 제공하는 화면을 한꺼번에 모두 보고 있다는 가정하에 계산을 해보면, 본인의 영상을 서버로 전송하고 다른 4명의 영상을 받아야 하므로 25 배(5×5)의 대역폭이 필요하다. 만약 10개의 영상회의 단말이 참여 중이면 100 배(10×10)의 대역폭이 필요하다. 영상회의 참여자가 많아지면 필요한 대역폭이 기하급수적으로 증가한다.
<문서 영상회의를 위한 토큰 획득>
종래의 일반적인 영상회의 단말은 메인 영상 화면과 문서 영상 화면을 동시에 두 개의 디스플레이 장치로 각각 출력할 수 있지만, 저렴한 영상회의 장비 중에는 단일 디스플레이 출력만 지원하는 경우가 많다. 단일 디스플레이만 지원되는 영상회의 단말은 문서 영상회의를 위한 H.239 또는 BFCP를 지원하기도 하고 지원하지 않기도 한다.
단일 디스플레이에서 H.239 또는 BFCP 프로토콜에 따른 문서 영상을 표시할 때에는 통상 화면을 분할하여 표시하며, 단말 자체에서 2개의 영상을 다양한 형태로 표시하기 위한 여러 레이아웃을 제공하기도 한다. 또한, 단말에서 메인 영상 또는 문서 영상 중 하나를 선택해서 확대하는 기능도 대부분 지원한다.
앞서 설명한 것처럼 영상회의 단말은 1개의 영상을 송출할 수 있지만 H.239 또는 BFCP 기술을 이용하면 문서 영상을 추가로 송출할 수 있다. 문서 영상을 송출하기 위해서 발표자는 발표자 토큰(Token)을 획득해야 하는데 영상회의에 참석한 단말 중 오직 하나의 단말(즉, 하나의 포인트)만이 토큰을 가질 수 있다. 그렇기 때문에 참석자 메인 영상과 문서 영상을 동시에 서버로 송출할 수 있는 것은 발표자 토큰을 획득한 단말뿐이다.
<텔레프레즌스>
한편, 시스코(Cisco) 및 폴리콤(Polycom) 등의 메이저 업체에서는 초고가의 텔레프레즌스(Telepresence) 기술의 영상회의 장비를 공급하는데, 이 장비는 3개 또는 4개의 디스플레이 출력을 지원할 뿐만 아니라, 그 지원되는 출력 디스플레이 수만큼의 영상을 발표자 토큰 없이 송출할 수 있다. 관련 업계에서는 영상회의를 위한 다중 영상 송출 기능은 텔레프레즌스 장비만의 고유한 기능으로 인식되고 있다.
텔레프레즌스 장비는 일반적인 영상회의 단말과 연동이 안 되고, 별도로 제공되는 고가의 게이트웨이 장비가 있어야만 상호 연동할 수 있다. 그렇게 연동하더라도 일반 영상회의 장비끼리 통화하는 것에 비해서 영상 품질이 매우 떨어진다. 이러한 이유들로 인하여 3개의 디스플레이 출력을 가진 영상회의 단말은 상대적으로 거의 보급되지 않고 있으며, 표준 기술이라는 제약으로 인하여 확장성에 제한이 걸려있는 상태이다.
<관련선행기술>
대한민국공개특허 제10-2016-0062787호 (비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템)
본 발명의 목적은, 복수 개의 영상회의용 단말을 이용하여 다중-포인트 영상회의를 위한 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법을 제공함에 있다.
배경기술에서 살핀 것처럼, 종래의 영상회의 단말은 자신이 보유한 비디오 출력단자의 개수에 의해 연결 가능한 디스플레이 장치의 수가 결정된다. 일반 범용 영상회의 단말의 경우 최대 2개의 스크린을 지원하고, 텔레프레즌스(Telepresence)라고 불리우는 장비는 3개 이상의 멀티 스크린이 지원하지만 엄청난 고가로 유통된다. 이를 해결하기 위해, 본 발명에서는 각 종단(End Point)이 보유한 복수 개의 영상회의 단말을 논리적 단말로 구성하여, 복수 개 영상회의 단말이 마치 멀티 스크린을 보유한 하나의 영상회의 포인트처럼 동작하도록 처리함으로써, 종래의 텔레프레즌스 장비가 없이도 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법을 제공하는 것이 목적이다.
또한, 본 발명은 초고가의 텔레프레즌스 장비가 복수 개의 영상을 송출하는 것처럼, 발표자 토큰 획득 없이도 복수 개 영상을 전송하고 3개 이상의 디스플레이 출력이 가능한 멀티 스크린 영상회의 서버 및 방법을 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법은 서버의 단말등록부, 통화연결부, 영상처리부에 의해 수행되며, 복수 개의 물리적 단말을 하나의 가상 논리적 단말로 묶어 가상의 영상회의 포인트로 동작하도록 하면서, 논리적 단말에 포함된 복수 개의 디스플레이 장치를 이용하여 멀티 스크린 영상회의 서비스를 제공할 수 있다.
본 발명의 방법은, 단말등록부가 복수 개의 물리적 단말을 하나의 논리적 단말로 등록하여, 상기 복수 개의 물리적 단말이 하나의 영상회의 포인트(Point)처럼 동작하도록 등록하는 등록단계와; 통화연결부가 상기 논리적 단말을 포함하는 복수 개 영상회의 포인트들 사이의 영상회의를 연결하되, 상기 논리적 단말에 대해서는 상기 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하는 호연결단계와; 상기 통화연결부가 상기 복수 개 영상회의 포인트가 제공하는 소스 영상을 수신하되, 상기 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상을 수신하는 소스영상 수신단계와; 상기 통화연결부가 상기 소스영상 수신단계를 통해 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 논리적 단말의 복수 개 물리적 단말에게 분배함으로써 상기 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 하는 멀티 스크린 영상 제공단계를 포함한다.
실시 예에 따라, 상기 호 연결단계는 발신측 또는 수신측이 상기 논리적 단말인 경우에 일반 포인트와 다르게 처리한다. 만약, 호 연결의 발신측이 상기 논리적 단말에 속한 물리적 단말이면, 상기 통화연결부가 상기 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성한다. 또한 상기 호 연결의 수신측이 상기 논리적 단말에 속한 물리적 단말이면, 상기 통화연결부가 상기 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성한다. 호 연결에는 예컨대, H.323 또는 SIP(Session Initiation Protocol) 등의 프로토콜이 사용될 수 있다.
실시 예에 따라, 상기 멀티 스크린 영상 제공단계는, 영상처리부가 상기 소스영상 수신단계를 통해 수신한 전체 소스 영상을 이용하여 상기 논리적 단말을 구성하는 복수 개의 물리적 단말 각각에 분배할 영상을 믹싱하는 단계를 포함한다.
예컨대, 상기 영상처리부는 상기 소스영상 수신단계를 통해 수신한 M개의 전체 소스 영상 중에서 상기 논리적 단말로부터 수신한 m2 개의 소스 영상을 제외한 m3 개의 영상을 이용하여 상기 복수 개의 물리적 단말을 위한 m1개의 영상으로 믹싱한다. 여기서, m1은 상기 논리적 단말에 포함된 디스플레이 장치의 개수이다. m3 은 다음의 수학식과 같다.
Figure PCTKR2018003202-appb-I000001
(이때, M은 전체 소스 영상의 개수, m2는 상기 논리적 단말을 구성하는 물리적 단말의 개수)
여기서, 만약 상기 복수 개 영상회의 포인트 중 하나가 문서회의를 위한 발표자 토큰을 획득하였다면 해당 물리적 단말은 2개의 소스 영상을 제공하게 되므로, 상기 M은 전체 소스 영상의 개수에 1을 더한 것이 될 수도 있다.
다른 실시 예에 따라, 상기 멀티 스크린 영상 제공단계에서, 영상처리부는 상기 복수 개의 물리적 단말 각각에 제공될 영상에 상기 논리적 단말 자신의 소스 영상을 함께 믹싱할 수도 있다.
또 다른 실시 예에 따르면 상기 멀티 스크린 영상 제공단계의 다른 방법도 가능하다. 예를 들어, 상기 멀티 스크린 영상 제공단계에서, 상기 통화연결부는 상기 소스영상 수신단계를 통해 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 논리적 단말에게 순차적으로 제공할 수도 있다. 이러한 처리에 의하면, 종래의 릴레이 방식과 같은 영상 표시가 가능해진다.
본 발명의 권리는 상기의 방법을 수행하기 위하여 상기 단말등록부, 영상처리부 및 통화연결부를 구비한 영상회의 서버에도 미친다.
본 발명의 영상회의 서버는 제한된 개수(통상 하나 또는 두 개)의 디스플레이를 구비한 영상회의 단말(물리적 단말) 복수 개를 논리적으로 묶어 마치 하나의 영상회의 포인트로 동작하는 논리적 단말처럼 동작하도록 구현할 수 있다. 영상회의 서버는 논리적 단말을 구성하는 복수 개의 물리적 단말에게 제공하는 영상의 분배를 통해 논리적 단말이 멀티 스크린을 지원하는 것처럼 처리할 수 있다.
멀티 포인트 영상회의에서, 영상회의 서버는 논리적 단말이 구비한 스크린, 즉 디스플레이 장치의 개수에 맞추어 다른 영상회의 포인트의 영상을 분배하기 때문에, 논리적 단말에 포함된 물리적 단말의 입장에서는 종래에 비해 표시해야 하는 다른 영상회의 포인트의 수가 줄어든 효과가 있고, 따라서 하나의 스크린에 표시되는 영상의 복잡도도 낮아진다. 영상의 복잡도가 낮아지므로 가령 성능이 떨어지는 물리적 단말이나 속도가 낮은 네트워크에서 영상 품질이 개선되는 효과가 있다.
본 발명의 논리적 단말은 단지 영상회의 서버의 내부 처리를 통해 구현되는 것이고 물리적 단말 사이에 직접적인 연결이 없으므로, 설사 서로 다른 영상코덱을 구비하거나 시스템 성능이 서로 다르거나 서로 다른 제조사의 물리적 단말이라도 하나의 논리적 단말로 묶어 처리하는데 문제가 없다. 당연히, 논리적 단말을 통해 멀티 스크린을 제공하는 것이므로, 멀티 스크린 지원을 위해 개별 영상회의 단말의 시스템 자원을 업그레이드할 필요도 없다.
도 1은 본 발명의 일 실시 예에 따른 영상회의 시스템의 구성도,
도 2는 도 1의 3개 포인트가 모두 참여하는 다중 영상회의 연결도, 그리고
도 3은 본 발명의 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법의 설명에 제공되는 흐름도이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1을 참조하면, 본 발명의 영상회의 시스템(100)은 서버(110)와 복수 개의 영상회의 단말이 네트워크(30)를 통해 연결된 것으로서, 2개 연결 포인트(Point)가 연결된 1:1 영상회의뿐만 아니라 3개 이상의 포인트가 연결된 다중 영상회의를 지원한다. 도 1에 도시된 영상회의 단말(11, 13, 15, 17, 19)은 연결 가능한 영상회의 단말을 예시적으로 도시한 것이다.
서버(110)와 영상회의 단말(11, 13, 15, 17, 19) 간의 연결 네트워크(30)는 아이피 망(IP Network)이며, 게이트웨이(Gateway)를 통해 연결되는 이종 네트워크를 포함하거나 이종 네트워크와 연결될 수 있다. 예컨대, 이동통신망을 이용하는 무선 전화기도 본 발명의 영상회의 단말이 될 수 있으며, 이 경우 네트워크(30)는 게이트웨이(Gateway)를 통해 연결되어 아이피 패킷을 처리할 수 있는 이동통신망을 포함한다.
서버(110)는 본 발명의 영상회의 시스템(100)을 전반적으로 제어하며, 종래의 일반적인 영상회의 처리용 서버 기능에 더하여, 단말등록부(111), 통화연결부(113) 및 영상처리부(115)를 포함한다.
단말등록부(111)는 아래에서 설명하는 물리적 단말과 논리적 단말의 등록, 설정 및 관리 등을 수행하며, 통화연결부(113)는 본 발명의 영상회의 호(Call) 연결을 제어한다. 영상처리부(115)는 영상회의 호가 연결된 경우에 물리적 단말 및/또는 논리적 단말들 간으로 제공하는 영상을 처리(믹싱, 디코딩, 인코딩 등)함으로써 텔레프레즌스와 같은 멀티 스크린(Multi Screen)을 구현한다. 단말등록부(111), 통화연결부(113) 및 영상처리부(115)의 세부동작은 도 3을 참조하여 아래에서 다시 설명한다.
영상회의 시스템(100)에 포함된 모든 영상회의 단말(11, 13, 15, 17, 19)은 영상회의에 관한 표준 프로토콜을 지원하되 배경기술에서 설명한 텔레플레즌스 서비스를 제공할 수 있는 단말이 아니며, 하나의 디스플레이 장치가 연결되거나 문서 회의를 위해 두 개의 디스플레이 장치가 연결될 수 있는 영상회의 단말이다. 표준 프로토콜로는 H.323 또는 SIP(Session Initiation Protocol) 등이 있다.
또한, 각 영상회의 단말(11, 13, 15, 17, 19)은 영상/음성 코덱(Codec)을 구비한 종래의 영상회의 단말이다. 당연히, 각 영상회의 단말(11, 13, 15, 17, 19) 중에 문서회의를 지원하는 단말은 H.239와 BFCP(Binary Floor Control Protocol)를 지원한다.
본 발명의 영상회의 시스템에 연결되는 영상회의 단말은 '논리적 단말'을 구성할 수 있다. 논리적 단말은 복수 개의 영상회의 단말을 논리적으로 조합한 것으로서, 2개의 영상회의 단말로 구성될 수도 있고 3개 이상의 영상회의 단말로 구성될 수도 있지만, 논리적 단말을 구성하는 복수 개의 영상회의 단말 간의 직접 연결은 없다. 통상의 영상회의 단말은 각각이 하나의 영상회의 포인트로 동작하지만, 논리적 단말은 복수 개의 영상회의 단말이 하나의 영상회의 포인트로 동작한다. 다른 측면으로, 논리적 단말은 그 구성원인 물리적 단말들이 보유한 디스플레이 장치 전부를 합친 개수만큼의 디스플레이 장치를 구비한 것이 된다. 필요에 따라, 논리적 단말은 그 복수 개의 구성 단말 중 하나를 대표 단말로 지정할 수 있다.
이하에서는 논리적 단말과 종래의 일반적인 영상회의 단말을 구분하기 위해, 종래의 일반적인 영상회의 단말을 '물리적 단말'이라고 칭한다. 논리적 단말은 복수 개의 물리적 단말이 논리적으로 결합된 것이다. 논리적 단말이 아무리 많은 물리적 단말을 포함하더라도 영상회의 내에서는 하나의 연결 포인트로 취급된다.
예컨대 도 1은 2개의 논리적 단말(130, 150)과 하나의 물리적 단말(19)이 서버(110)에 의해 상호 연결된 3개 연결 포인트(A, B, C)의 다중 영상회의 시스템이다. 제1 포인트(A)에 해당하는 제1 논리적 단말(130)은 1개의 디스플레이 장치를 가진 제1 및 제2 물리적 단말(11, 13)로 구성된 것이고, 제2 포인트(B)에 해당하는 제2 논리적 단말(150)은 2개의 디스플레이 장치를 가진 제3 물리적 단말(15)과 1개의 디스플레이 장치를 가진 제4 물리적 단말(17)로 구성된 것이다.
논리적 단말은 서버(110)에 관리되는 논리적 구성이고 표준 프로토콜은 1:1 연결만을 지원하므로, 서버(110)와 논리적 단말의 연결은 논리적 단말을 구성하는 모든 물리적 단말과 서버(110)가 표준 프로토콜에 따라 개별적으로 연결되는 것을 의미한다. 예컨대, SIP 프로토콜에 의하면, 도 1은 논리적 단말의 구성을 불문하고 5개의 물리적 단말(11, 13, 15, 17, 19)이 서버(110)와 5개의 SIP 세션(Session)을 생성한 것이다.
본 발명은 영상회의 시스템의 서버(110)는 다음의 연결을 지원한다.
(1) 하나의 물리적 단말이 하나의 논리적 단말과 연결되는 영상회의
예컨대 도 1의 제5 물리적 단말(19)이 제1 논리적 단말(130)을 호출하는 경우이다. 서버(110)는 제1 논리적 단말(130)을 구성하는 제1 및 제2 물리적 단말(11, 13)을 동시 또는 순차 호출하여 연결한다.
(2) 논리적 단일 단말이 하나의 물리적 단말을 호출하는 영상회의
예컨대 사용자가 제1 논리적 단말(130) 중 대표 단말인 제1 물리적 단말(11)로 제5 물리적 단말(19)을 호출하는 경우이다. 서버(110)는 제1 논리적 단말(130)을 구성하는 다른 물리적 단말인 제2 물리적 단말(13)과 수신측인 제5 물리적 단말(19)을 동시 또는 순차 호출하여 연결한다.
(3) 하나의 논리적 단말이 다른 논리적 단말을 호출하는 영상 통화
예컨대, 도 1의 제1 논리적 단말(130)이 제2 논리적 단말(150)을 호출하는 경우이다. 사용자가 제1 논리적 단말(130)의 대표 단말(11)을 이용하여 제2 논리적 단말(150)을 호출할 경우에 서버(110)는 제2 논리적 단말(150)을 구성하는 2개의 물리적 단말(15, 17)을 동시 또는 순차 호출하고, 발신 측의 대표 단말(11) 이외의 나머지 단말인 제2 물리적 단말(13)도 호출하여 연결한다.
(4) 다중 포인트 영상회의
본 발명의 영상회의 시스템은 도 1에서처럼, 논리적 단말이 하나의 포인트로 연결된 3개 포인트 이상의 연결을 지원한다. 하나의 논리적 단말과 2개의 물리적 단말이 연결될 수도 있고, 두 개 이상의 논리적 단말과 하나의 물리적 단말이 연결될 수도 있고, 두 개 이상의 논리적 단말끼리 연결될 수도 있다. 다중 포인트의 연결은 종래에 알려진 방법으로 처리할 수 있다. 다만 새로 참여하는 포인트가 논리적 단말이면 그 구성원인 물리적 단말 모두와 연결해야 한다는 것이 다르다.
<멀티 스크린 지원>
본 발명의 영상회의 시스템(100)은 논리적 단말 체계를 이용하여 텔레프레즌스와 같은 멀티 스크린을 제공할 수 있다. 논리적 단말은 비록 가상의 단말이지만, 구성원인 복수 개 물리적 단말 전체가 제공할 수 있는 스크린의 수만큼을 구비한 것으로 처리된다.
서버(110)는 각 논리적 단말에 포함된 디스플레이 장치의 개수(또는 서버가 각 논리적 단말에게 제공해야 하는 영상의 개수)(m1)와, 영상회의 연결된 포인트들에 포함된 전체 물리적 단말의 개수(M, 소스 영상의 개수)를 매칭하는 방법으로 다중 영상회의 영상을 재구성함으로써, 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하여 제공한다. 여기서 m3은 논리적 단말이 영상회의를 위해 표시해야 하는 소스 영상의 개수로서, 다음의 수학식 1과 같다.
Figure PCTKR2018003202-appb-M000001
이때, m2는 각 논리적 단말을 구성하는 물리적 단말의 개수이다.
한편, 각 물리적 단말은 자신의 영상(소스 영상)이 표시되도록 설정하거나 요청할 수 있다. 이러한 경우에, 각 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하여 논리적 단말을 구성하는 각 물리적 단말에게 분배할 때, 해당 물리적 단말이 제공한 소스 영상을 함께 믹싱하여 제공할 수 있다.
m3이 m1과 동일한 값이 아닌 한, 서버(110)는 소스 영상을 믹싱하는 재처리가 필요하다. 다만, 실시 예에 따라, 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하지 않고, m3 개의 영상을 일정한 시간간격으로 순차적으로 제공할 수 있다. 예를 들어, m3=3이고 m1=1인 경우에 3개의 소스 영상을 믹싱 등을 통해 재편집하지 않고 3개의 소스 영상을 순차적으로 제공할 수도 있다. 이러한 경우, 종래의 표준 영상회의 단말에서는 불가능했던 릴레이 방식의 영상회의 처리도 가능해진다.
한편, 논리적 단말의 구성 여부를 불문하고, 본 발명의 영상회의에 참여한 어느 물리적 단말이라도 발표자 토큰을 획득하면 2개의 소스 영상을 제공할 수 있다. 예를 들어, 발표자 토큰의 획득에 따라, 제1 물리적 장치(11)는 메인 영상과 함께 문서회의용 영상을 함께 서버(110)로 제공할 수 있다. 이 경우, M은 영상회의 연결된 포인트들에 포함된 전체 물리적 단말의 개수에 1을 더한 값이 된다.
도 2는 도 1의 3개 포인트가 모두 참여하는 다중 영상회의 연결도로서, 제1 논리적 단말(130)과 제2 논리적 단말(150) 및 제5 물리적 단말(19)이 상호 연결되어 3개 포인트의 다중 영상회의가 연결되었다고 가정하자. 도 2를 참조하면, 이 영상회의에 포함된 물리적 단말(11, 13, 15, 17, 19)의 개수는 5개(M=5)이다. 즉, 5개의 물리적 단말(11, 13, 15, 17, 19)이 제공하는 5개의 소스 영상(11a, 13a, 15a, 17a, 19a)이 서버(110)로 제공되므로, 서버(110)는 각 포인트가 구비한 디스플레이 장치의 개수(m1)에 맞추어 5개 소스 영상을 편집하여 각 포인트로 제공한다.
제1 논리적 단말(130)은 제1 물리적 단말(11)과 제2 물리적 단말(13)을 합쳐 2개의 디스플레이 장치를 구비하므로, m1=2, m2=2 이다. 이번 3개 포인트 다중 영상회의에서 제1 논리적 단말(130)에 영상회의 연결된 단말은 물리적 단말을 기준으로 제3 내지 제5 물리적 단말(15, 17, 19)로서 3개(m3, 3=5-2)이므로, 3개의 물리적 단말이 제공하는 3개의 소스 영상을 2개의 영상으로 재편집하여 표시해야 한다. 어느 스크린에 어떤 소스 영상을 표시할 지 여부는 별개로 결정할 수 있으며, 도 2에서는 제1 물리적 단말(11)이 제5 물리적 단말(19)의 소스 영상을 표시하고, 제2 물리적 단말(13)이 제3 물리적 단말(15)과 제4 물리적 단말(17)의 소스 영상을 하나로 믹싱한 영상을 표시한다.
제2 논리적 단말(150)은 제3 물리적 단말(15)이 2개의 디스플레이 장치를 구비하고 제4 물리적 단말(17)이 하나의 디스플레이 장치를 구비하여 3개의 디스플레이 장치를 포함하므로, m1=3이고 m2=2이다. 따라서 제2 논리적 단말(150)에 대해, 서버(110)는 3개의 물리적 단말이 제공하는 소스 영상을 3개의 영상으로 표시한다. 표시해야 할 소스 영상의 개수와 스크린의 개수가 일치하므로, 하나씩 다시 표시하면 된다. 어느 스크린에 어떤 소스 영상을 표시할 지 여부는 별개로 결정할 수 있으며, 도 2에서는 제3 물리적 단말(15)이 제1 및 제2 물리적 단말(11, 13)의 소스 영상을 각각 표시하고, 제4 물리적 단말(17)은 제5 물리적 단말(19)이 제공하는 소스 영상을 표시하도록 구성되었다.
제5 물리적 단말(19)에도 수학식 1이 동일하게 적용된다. 제5 물리적 단말(19)에서 m1=2, m2=1 이므로, 서버(110)는 4개 소스 영상(m3=5-1)을 2개(m1)의 영상으로 재편집하여 제5 물리적 단말(19)에게 제공한다. 제5 물리적 단말(19)은 2개의 디스플레이 장치에 제1 논리적 단말(130)과 제2 논리적 단말(150)의 전체 4개 물리적 단말(11, 13, 15, 17)이 제공하는 소스 영상을 표시해야 하므로, 4개 소스 영상을 적절히 편집하여 2개 영상으로 표시하도록 구성되었다.
만약, 제2 논리적 단말(150)을 구성하는 제3 물리적 단말(15)이 발표자 토큰을 획득하였다면 2개의 소스 영상을 제공할 수 있다. 이 경우, 제2 논리적 단말(150)는 전체 3개의 소스 영상을 제공하는 것이 되고, M은 6이 된다. 서버(110)가 제1 논리적 단말(130), 제2 논리적 단말(150) 및 제5 물리적 단말(19)에게 전송하기 위해 처리해야 하는 소스 영상의 개수도 위에 설명한 것보다 하나씩 많아진다.
이하에서는 도 3을 참조하여, 서버(110)의 멀티 스크린 영상회의 서비스 제공방법을 설명한다. 설명의 편리를 위해, 도 2에서 제1 논리적 단말(130)의 제1 물리적 단말(11)이 발신 측이 되어 제2 논리적 단말(150)을 수신 측으로 통화 연결하는 과정을 중심으로 설명한다. 우선 논리적 단말을 등록하는 과정이 필요하다.
<논리적 단말의 등록단계: S301>
서버(110)의 단말등록부(111)는 물리적 단말과 논리적 단말의 등록을 진행하고 관리한다. 물리적 단말의 등록은 논리적 단말의 등록에 우선하거나 동시에 수행되어야 하며, 각 물리적 단말의 등록에는 각 단말의 아이피 어드레스(IP Address)가 필수적으로 필요하다.
물리적 단말의 등록과정은 종래에 알려진 다양한 방법으로 등록할 수 있다. 예를 들어, SIP 프로토콜 상의 Register 명령을 통한 위치 등록 과정을 이용하여 물리적 단말의 등록을 진행할 수도 있는데, 이때는 물리적 단말의 전화번호 등이 포함될 수 있다. 물리적 단말의 위치를 등록하게 되면, 서버(110)는 해당 물리적 단말이 현재 턴 온(Turn On)되어 동작 중인지 여부를 확인할 수 있다.
논리적 단말의 등록은 해당 논리적 단말에 포함되는 물리적 단말들을 지정하고, 각 물리적 단말에 연결된 디스플레이 장치의 개수가 등록된다. 실시 예에 따라서는 논리적 단말에 포함된 디스플레이 장치 간의 배치(또는 상대적 위치)와, 소스 영상의 개수(m3)에 따른 영상 믹싱 방식(릴레이 방식 포함) 또는 믹싱 영상의 레이아웃(Layout) 등을 설정할 수도 있다. 예컨대, 단말등록부(111)는 제1 물리적 단말(11)과 제2 물리적 단말(13)을 제1 논리적 단말(130)로 구성하는 구성정보를 입력받아 등록하고 관리한다. 논리적 단말의 등록은 단말등록부(111)가 제공하는 웹 페이지를 이용하거나 별도의 접속 단말을 이용할 수 있다.
<영상회의를 위한 발신 호-연결 단계: S303>
각 영상회의 포인트 사이의 영상회의 호 설정은 서버(110)의 통화연결부(113)가 하나의 포인트에서 호 연결 요청을 수신함으로써 개시된다. SIP 프로토콜의 경우, 통화연결부(113)는 SIP 시그널링 메시지인 INVITE를 수신하게 된다. 도 2의 예에서, 제1 논리적 단말(130)의 제1 물리적 단말(11)이 제2 논리적 단말(150)의 제3 물리적 단말(15)을 호출하는 것이므로, 통화연결부(113)는 발신 측인 제1 물리적 단말(11)이 제3 물리적 단말(15)의 전화번호 또는 아이피 어드레스 이용하여 제3 물리적 단말(15)을 호출하는 INVITE 메시지를 수신하게 된다.
<발신자 및/또는 수신자가 논리적 단말인지 조회: S305>
서버(110)의 통화연결부(113)는 수신 측 전화번호가 논리적 단말을 구성하는 물리적 단말 중 하나의 전화번호(또는 아이피 어드레스) 인지를 단말등록부(111)에 조회한다. 마찬가지로, 발신 측이 논리적 단말을 구성하는 물리적 단말 중 하나의 전화번호(또는 아이피 어드레스) 인지 여부를 단말등록부(111)에 조회한다. 이를 통해, 통화연결부(113)는 해당 호 연결이 논리적 단말로의 연결인지 여부를 확인하게 된다.
실시 예에 따라서, 통화연결부(113)는 부가적으로 수신 측이 논리적 단말을 구성하는 물리적 단말인 경우에 해당 물리적 단말이 그 논리적 단말의 대표 단말인지를 추가적으로 확인함으로써 수신 측 대표 단말이 아닌 경우에는 수신 측을 논리적 단말로 처리하지 않을 수도 있다. 발신측의 경우에도 해당 발신측이 속한 논리적 단말의 대표 단말인지를 추가적으로 확인함으로써, 발신 측 대표 단말이 아닌 경우에는 발신 측을 논리적 단말로 처리하지 않을 수도 있다.
<영상회의 연결: S307, S309>
수신측 전화번호가 논리적 단말이면, 통화연결부(113)는 수신측 논리적 단말에 속한 모든 물리적 단말과 SIP 세션 생성을 위한 절차를 수행한다. 도 2의 예에서, 수신측이 제2 논리적 단말(150)이므로, 통화연결부(113)는 제3 물리적 단말(15)과 제4 물리적 단말(17)과의 사이에 SIP 세션을 생성한다. 이때, 제3 물리적 단말(15)과 제4 물리적 단말(17)에게 동시에 INVITE 메시지를 전달할 수도 있고, 순차적으로 전달할 수도 있다(S307).
도 2의 예에서, 발신측도 논리적 단말이므로, 통화연결부(113)는 제1 논리적 단말(130)의 제2 물리적 단말(13)과도 SIP 세션을 생성한다. 도 2의 예에서, 제5 물리적 단말(19)과도 SIP 세션을 생성하여 영상회의에 참여시킬 수 있다(S309).
INVITE를 수신한 수신 측 및/또는 발신 측의 모든 물리적 단말은 SDP(Session Description Protocol) 정보를 통하여 영상 및 음성 코덱 등을 선택하는 협상을 한다. 성공적으로 협상이 완료되면 실제 세션이 성립되어 호가 연결된다.
<각 물리적 단일 단말로부터 소스 영상을 수신하는 단계: S311>
앞서 설명한 것처럼, 논리적 단말의 통화 연결은 실제로 논리적 단말을 구성하는 개별 물리적 단말과의 연결이므로, 복수 개의 세션이 성립된 것이다. 논리적 단말을 구성하는 물리적 단말도 개별적으로 소스 영상을 생성하여 서버(110)로 전송한다. 따라서 도 2의 경우, 통화연결부(113)는 세션 연결된 5개의 물리적 단말(11, 13, 15, 17, 19)이 제공하는 5개의 소스 영상(11a, 13a, 15a, 17a, 19a)을 수신하게 된다.
<서버의 소스 영상의 재처리: S313>
서버(110)의 영상처리부(115)는 물리적 단말로부터 수신된 소스 영상을 각 포인트를 위한 영상으로 다시 렌더링(Rendering)하기 위하여 소스 영상을 디코딩하고, 믹싱하고 다시 인코딩한다. 다시 말해, 영상처리부(115)는 각 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집할 수 있다.
영상처리부(115)는 각 논리적 단말 또는 물리적 단말별로 기설정된 레이아웃에 따르거나, 각 단말 쪽에서 요청하는 레이아웃에 맞추어 소스영상의 믹싱을 수행한다.
앞서 설명한 것처럼, 영상처리부(115)의 영상처리 없이, 통화연결부(113)가 기설정된 시간간격으로 순차적으로 제공함으로써 릴레이 형태로 소스영상이 표시되도록 할 수도 있다. 이 경우에는 믹싱 등의 과정이 없이 그대로 전송하면 되고, 해당 단말의 영상 코덱에 매칭시킬 필요가 있는 경우에 영상 포맷을 변경하거나 트랜스 코딩(TransCoding)하는 정도로 충분하다.
<인코딩된 영상 데이타를 각 물리적 단말에게 전송: S315>
통화연결부(113)는 영상처리부(115)가 각 물리적 단말(11, 13, 15, 17, 19)을 위해 처리한 영상을 영상회의에 참여 중인 각 물리적 단말(11, 13, 15, 17, 19)에게 제공한다. 이로써 영상회의에 참여 중인 각 포인트는 마치 멀티 스크린에 의한 텔레프레즌스와 같은 서비스를 제공받을 수 있다.
이상의 방법에 의하여 본 발명의 영상회의 시스템(100)의 영상회의용 멀티 스크린이 처리된다.
<실시 예>
단말등록부(111)는 논리적 단말을 등록할 때, 해당 논리적 단말을 위한 가상의 전화번호를 생성하여 등록할 수 있다. 이러한 경우에 S305 단계에서 수신측 전화번호가 논리적 단말의 가상 전화번호인 경우에만 수신측을 논리적 단말로 처리할 수도 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (14)

  1. 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법에 있어서,
    단말등록부가 복수 개의 물리적 단말을 하나의 논리적 단말로 등록하여, 상기 복수 개의 물리적 단말이 하나의 영상회의 포인트(Point)처럼 동작하도록 등록하는 등록단계;
    통화연결부가 복수 개 영상회의 포인트들 사이의 영상회의를 연결하되, 상기 논리적 단말에 대해서는 상기 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하는 호연결단계;
    상기 통화연결부가 상기 복수 개 영상회의 포인트가 제공하는 소스 영상을 수신하되, 상기 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상을 수신하는 소스영상 수신단계;
    상기 통화연결부가 상기 소스영상 수신단계를 통해 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 논리적 단말의 복수 개 물리적 단말에게 분배함으로써 상기 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 하는 멀티 스크린 영상 제공단계를 포함하는 것을 특징으로 하는 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법.
  2. 제1항에 있어서,
    상기 호연결단계는,
    호연결의 발신측이 상기 논리적 단말에 속한 물리적 단말이면, 상기 통화연결부가 상기 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계; 또는
    상기 호 연결의 수신측이 상기 논리적 단말에 속한 물리적 단말이면, 상기 통화연결부가 상기 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계를 포함하는 것을 특징으로 하는 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법.
  3. 제1항에 있어서,
    상기 멀티 스크린 영상 제공단계는,
    영상처리부가 상기 소스영상 수신단계를 통해 수신한 전체 소스 영상을 이용하여 상기 논리적 단말을 구성하는 복수 개의 물리적 단말 각각에 분배할 영상을 믹싱하는 단계를 포함하는 것을 특징으로 하는 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법.
  4. 제3항에 있어서,
    상기 영상처리부는 상기 소스영상 수신단계를 통해 수신한 M개의 전체 소스 영상 중에서 상기 논리적 단말로부터 수신한 m2 개의 소스 영상을 제외한 m3 개의 영상을 이용하여 상기 복수 개의 물리적 단말을 위한 m1개의 영상으로 믹싱하되,
    m1은 상기 논리적 단말에 포함된 디스플레이 장치의 개수이고,
    Figure PCTKR2018003202-appb-I000002
    (이때, M은 전체 소스 영상의 개수, m2는 상기 논리적 단말을 구성하는 물리적 단말의 개수)인 것을 특징으로 하는 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법.
  5. 제4항에 있어서,
    상기 복수 개 영상회의 포인트 중 하나가 문서회의를 위한 발표자 토큰을 획득한 경우에, 상기 M은 전체 소스 영상의 개수에 1을 더한 것임을 특징으로 하는 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법.
  6. 제3항에 있어서,
    상기 멀티 스크린 영상 제공단계에서,
    상기 영상처리부는 상기 복수 개의 물리적 단말 각각에 제공될 영상에 상기 논리적 단말 자신의 소스 영상을 함께 믹싱하는 것을 특징으로 하는 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법.
  7. 제1항에 있어서
    상기 멀티 스크린 영상 제공단계에서,
    상기 통화연결부는 상기 소스영상 수신단계를 통해 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 논리적 단말에게 순차적으로 제공하는 것을 특징으로 하는 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법.
  8. 멀티 스크린 영상회의 서비스 제공할 수 있는 영상회의 서버에 있어서,
    복수 개의 물리적 단말을 하나의 영상회의 포인트(Point)처럼 동작하는 하나의 논리적 단말로 등록하는 단말등록부;
    복수 개 영상회의 포인트들 사이의 영상회의를 위한 호를 연결하여 상기 복수 개 영상회의 포인트가 제공하는 소스 영상을 수신하되, 상기 논리적 단말에 대해서는 상기 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하고 상기 복수 개의 물리적 단말 각각으로부터 소스 영상을 수신하는 통화연결부; 및
    상기 통화연결부가 수신한 소스 영상을 이용하여 상기 복수 개 영상회의 포인트에게 제공할 영상을 생성하는 영상처리부를 포함하고,
    상기 통화연결부는 상기 논리적 단말에게 제공할 영상을 상기 복수 개의 물리적 단말에게 분배함으로써 상기 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 하는 것을 특징으로 하는 영상회의 서버.
  9. 제8항에 있어서,
    상기 통화연결부는,
    상기 호 연결의 발신측이 상기 논리적 단말에 속한 물리적 단말이면 상기 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하고,
    상기 호 연결의 수신측이 상기 논리적 단말에 속하는 물리적 단말이면 상기 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 것을 특징으로 하는 영상회의 서버.
  10. 제8항에 있어서,
    상기 영상처리부가 상기 복수 개 영상회의 포인트로부터 수신한 전체 소스 영상을 이용하여 상기 논리적 단말을 구성하는 복수 개의 물리적 단말 각각에 분배할 영상을 믹싱하는 것을 특징으로 하는 영상회의 서버.
  11. 제10항에 있어서,
    상기 영상처리부는, 상기 복수 개 영상회의 포인트로부터 수신한 M개의 전체 소스 영상 중에서 상기 논리적 단말로부터 수신한 m2 개의 소스 영상을 제외한 m3 개의 영상을 이용하여 상기 복수 개의 물리적 단말을 위한 m1개의 영상으로 믹싱하되,
    m1은 상기 논리적 단말에 포함된 디스플레이 장치의 개수이고,
    Figure PCTKR2018003202-appb-I000003
    (이때, M은 전체 소스 영상의 개수, m2는 상기 논리적 단말을 구성하는 물리적 단말의 개수)인 것을 특징으로 하는 영상회의 서버.
  12. 제11항에 있어서,
    상기 복수 개 영상회의 포인트 중 하나가 문서회의를 위한 발표자 토큰을 획득한 경우에, 상기 M은 전체 소스 영상의 개수에 1을 더한 것임을 특징으로 하는 영상회의 서버.
  13. 제10항에 있어서,
    상기 영상처리부는 상기 복수 개의 물리적 단말 각각에 제공할 영상에 상기 논리적 단말 자신의 소스 영상을 함께 믹싱하는 것을 특징으로 하는 영상회의 서버.
  14. 제8항에 있어서,
    상기 통화연결부는 상기 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 논리적 단말에게 순차적으로 제공하는 것을 특징으로 하는 영상회의 서버.
PCT/KR2018/003202 2017-07-24 2018-03-20 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법 WO2019022332A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/082,442 US11102451B2 (en) 2017-07-24 2018-03-20 Videoconferencing server for providing multi-screen videoconferencing by using a plurality of videoconferencing terminals and method therefor
EP18796569.4A EP3641302A4 (en) 2017-07-24 2018-03-20 VIDEO CONFERENCE SERVER FOR THE PROVISION OF MULTI-SCREEN VIDEO CONFERENCE USING A VARIETY OF VIDEO CONFERENCE END DEVICES AND METHODS FOR THIS
JP2018552229A JP6692922B2 (ja) 2017-07-24 2018-03-20 複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法
CN201880025280.8A CN110521202B (zh) 2017-07-24 2018-03-20 能够利用多个视频会议用终端提供多屏视频会议的视频会议服务器及其方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170093650A KR101861561B1 (ko) 2017-07-24 2017-07-24 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법
KR10-2017-0093650 2017-07-24

Publications (1)

Publication Number Publication Date
WO2019022332A1 true WO2019022332A1 (ko) 2019-01-31

Family

ID=62452734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003202 WO2019022332A1 (ko) 2017-07-24 2018-03-20 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법

Country Status (6)

Country Link
US (1) US11102451B2 (ko)
EP (1) EP3641302A4 (ko)
JP (1) JP6692922B2 (ko)
KR (1) KR101861561B1 (ko)
CN (1) CN110521202B (ko)
WO (1) WO2019022332A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113194277B (zh) * 2021-03-12 2023-02-28 广州朗国电子科技股份有限公司 会议终端多屏幕视频的方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140127700A (ko) * 2013-04-25 2014-11-04 삼성에스디에스 주식회사 다자간 통화 단말 및 상기 단말에서의 다자간 통화 전환 방법
KR20150118345A (ko) * 2014-04-14 2015-10-22 한국전자통신연구원 텔레프레즌스를 위한 모바일 게이트웨이, 상기 모바일 게이트웨이를 이용한 텔레프레즌스 시스템 및 방법.
KR20160062787A (ko) 2014-11-25 2016-06-03 (주)유프리즘 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템
KR20160099977A (ko) * 2015-02-13 2016-08-23 한국전자통신연구원 영상회의 서비스를 위한 데이터 처리 장치 및 데이터 처리 방법
KR20170071251A (ko) * 2015-12-15 2017-06-23 한국전자통신연구원 회의 서비스를 제공하는 다중 접속 제어 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327085A (ja) * 1994-05-31 1995-12-12 Nec Corp ネットワーク独立型多地点間テレビ会議装置およびその接続方式
KR0163723B1 (ko) 1995-03-20 1999-01-15 김광호 종합정보통신망을 이용한 화상회의시스템의 화상회의 제어장치
JP3537583B2 (ja) * 1996-04-01 2004-06-14 京セラ株式会社 多地点テレビ会議システム
CN1131603C (zh) * 2001-07-13 2003-12-17 清华大学 宽带多媒体业务的有线接入方法
CN100505864C (zh) * 2005-02-06 2009-06-24 中兴通讯股份有限公司 一种多点视频会议系统及其媒体处理方法
KR100725780B1 (ko) 2005-11-24 2007-06-08 삼성전자주식회사 이동통신단말기에서 화상통화 연결 방법
CN1874483A (zh) * 2006-06-30 2006-12-06 西安西邮双维通信技术有限公司 一种基于远程摄像机遥控功能的视频会议自主控制的方法
US7822065B2 (en) * 2007-01-07 2010-10-26 Wei Lu Open wireless architecture (OWA) medium access control (MAC) processing architecture for future mobile terminal
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
CN101370114B (zh) * 2008-09-28 2011-02-02 华为终端有限公司 视频及音频处理方法、多点控制单元和视频会议系统
CN102006450A (zh) * 2009-09-01 2011-04-06 华为终端有限公司 视频会议虚拟会场的呈现方法、设备及系统
JP2011077839A (ja) * 2009-09-30 2011-04-14 Sharp Corp 情報共有システム
US8525876B2 (en) 2010-05-12 2013-09-03 Visionbrite Technologies Inc. Real-time embedded vision-based human hand detection
US8717407B2 (en) 2010-05-13 2014-05-06 Lifesize Communications, Inc. Telepresence between a multi-unit location and a plurality of single unit locations
CN102469295B (zh) * 2010-10-29 2015-03-11 华为终端有限公司 会议控制方法及相关设备和系统
CN102572370B (zh) * 2011-01-04 2014-06-11 华为终端有限公司 视频会议的控制方法和会议终端
CN102868880B (zh) * 2011-07-08 2017-09-05 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统
US9602771B2 (en) 2014-12-10 2017-03-21 Polycom, Inc. Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
CN104580993A (zh) * 2015-01-15 2015-04-29 深圳市捷视飞通科技有限公司 一种无线数字视频多点通讯方法
CN106791576B (zh) * 2016-12-23 2020-01-21 安徽四创电子股份有限公司 视频监控系统与视频会议系统的融合系统的融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140127700A (ko) * 2013-04-25 2014-11-04 삼성에스디에스 주식회사 다자간 통화 단말 및 상기 단말에서의 다자간 통화 전환 방법
KR20150118345A (ko) * 2014-04-14 2015-10-22 한국전자통신연구원 텔레프레즌스를 위한 모바일 게이트웨이, 상기 모바일 게이트웨이를 이용한 텔레프레즌스 시스템 및 방법.
KR20160062787A (ko) 2014-11-25 2016-06-03 (주)유프리즘 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템
KR20160099977A (ko) * 2015-02-13 2016-08-23 한국전자통신연구원 영상회의 서비스를 위한 데이터 처리 장치 및 데이터 처리 방법
KR20170071251A (ko) * 2015-12-15 2017-06-23 한국전자통신연구원 회의 서비스를 제공하는 다중 접속 제어 장치

Also Published As

Publication number Publication date
KR101861561B1 (ko) 2018-05-29
JP2019532524A (ja) 2019-11-07
EP3641302A4 (en) 2021-05-12
JP6692922B2 (ja) 2020-05-13
CN110521202B (zh) 2021-02-02
US11102451B2 (en) 2021-08-24
EP3641302A1 (en) 2020-04-22
US20210227175A1 (en) 2021-07-22
CN110521202A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
US8264519B2 (en) Telepresence system, method and computer program product
US6404873B1 (en) Subconference calling in a telephony-over-LAN environment
US6457043B1 (en) Speaker identifier for multi-party conference
WO2013183970A1 (en) Multiple channel communication using multiple cameras
US6704769B1 (en) Media role management in a video conferencing network
US8643695B2 (en) Videoconferencing endpoint extension
US7328240B2 (en) Distributed multipoint conferencing
WO2016153161A1 (ko) 양방향 가상현실 구현 시스템
KR20140098573A (ko) 영상 회의 서비스 제공 장치 및 방법
CA2174214C (en) Multimedia enabled network
US20220224555A1 (en) Method and system for providing telecommunications
WO2019221369A1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 오디오 에코 제거방법
US20050122389A1 (en) Multi-conference stream mixing
US9013537B2 (en) Method, device, and network systems for controlling multiple auxiliary streams
WO2019225836A1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법
KR101461055B1 (ko) 일반 음성 통화 단말을 이용한 화상 통화 서비스 제공 방법및 이를 위한 사설 교환기
JP2005311670A (ja) テレビ会議端末、テレビ会議システム、テレビ会議方法並びにそのプログラム
WO2019022332A1 (ko) 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법
US11838687B2 (en) Method, computer program and system for configuring a multi-point video conferencing session
US20100020156A1 (en) Method and device for simultaneous multipoint distributing of video, voice and data
US7626949B2 (en) Method and device for simultaneous multipoint distributing of video, voice and data
KR100949233B1 (ko) 표준 영상 단말 또는 ｉｐ ｔｖ를 이용한 문서 공유 방법 및 그 서버
JP2000350176A (ja) テレビ会議システム
JP2004080349A (ja) テレビ会議システムのデータ送受信方法
JP2010263418A (ja) 通信制御装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018552229

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018796569

Country of ref document: EP

Effective date: 20200224