WO2019225836A1 - 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 - Google Patents

복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 Download PDF

Info

Publication number
WO2019225836A1
WO2019225836A1 PCT/KR2019/001905 KR2019001905W WO2019225836A1 WO 2019225836 A1 WO2019225836 A1 WO 2019225836A1 KR 2019001905 W KR2019001905 W KR 2019001905W WO 2019225836 A1 WO2019225836 A1 WO 2019225836A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
physical
logical terminal
logical
camera
Prior art date
Application number
PCT/KR2019/001905
Other languages
English (en)
French (fr)
Inventor
차민수
Original Assignee
(주) 유프리즘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 유프리즘 filed Critical (주) 유프리즘
Priority to US16/616,242 priority Critical patent/US20210336813A1/en
Priority to JP2020564909A priority patent/JP2021525035A/ja
Priority to EP19807483.3A priority patent/EP3813361A4/en
Publication of WO2019225836A1 publication Critical patent/WO2019225836A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • the present invention relates to a multi-point video conferencing system, and provides a multi-screen video conferencing capable of displaying a plurality of images for multi-point video conferencing using a plurality of video conferencing terminals without conventional telepresence equipment. It relates to a video conferencing server that can be provided and a camera tracking method thereof.
  • Video conferencing systems are generally divided into standards-based video conferencing terminals (or systems) using standard protocols such as H.323 or Session Initiation Protocol (SIP), and non-standard video conferencing terminals using their own protocols.
  • standard protocols such as H.323 or Session Initiation Protocol (SIP)
  • SIP Session Initiation Protocol
  • Video conferencing equipment companies such as CISCO, POLYCOM, AVAYA, and LIFESIZE provide video conferencing solutions using the standard protocols mentioned above, Many companies offer non-standard video conferencing systems because they are difficult to implement.
  • a video conferencing system there is a 1: 1 video conference in which two video conference terminals (two points) are connected, and there is a multi video conference in which a plurality of video conference terminals (multiple points) are simultaneously connected. All videoconferencing terminals participating in the videoconference are individually one videoconference point, and at least one conference participant is generally assigned to each point.
  • Standard video conferencing terminal is basically applied to 1: 1 video conferencing because it processes only one video and audio by connecting one session with the other party, and additionally H.239 and BFCP (Binary Floor Control Protocol) are also used in standard terminal. ) Can be used to process another auxiliary video for a document conference. Therefore, in order to conduct multiple video conferences in which three or more points are connected, not 1: 1, in a standard video conferencing system, a device called an MCU (Multipoint Conferencing Unit) is required.
  • MCU Multipoint Conferencing Unit
  • the terminal When mixing the video, the terminal processes one video, so technically, there is no difference in the 1: 1 meeting.
  • the video provided by MSI the video provided by a plurality of points is PBP (Picture by Picture) and PIP. It is combined in the form of (Picture in Picture).
  • the bandwidth required at the terminal side is virtually no difference compared to 1: 1.
  • non-standard video conferencing system video is processed without using the standard MSI, and when a connection with a standard video terminal is required, a separate gateway is used. Terminals of a plurality of points go through a procedure of logging into one server and attending a specific conference room. Some non-standard products do not have a server and can be handled as peer to peer (P2P).
  • P2P peer to peer
  • each terminal uses a lot of methods of simply relaying the generated video to other participants (terminals of different points).
  • the relay method has an advantage of using less system resources of the server than mixing, but the network bandwidth required for the video relay increases exponentially.
  • Videoconferencing terminals can output a main video screen and a document video screen to two display devices at the same time.
  • inexpensive videoconferencing equipment often supports only a single display output.
  • Videoconferencing terminals that support only a single display may or may not support H.239 or BFCP for document videoconferencing.
  • a screen is usually divided and displayed, and the terminal itself may provide various layouts for displaying two images in various forms.
  • the terminal supports most of selecting and enlarging a main image or a document image.
  • the video conferencing terminal may transmit one video, but additionally, the document video may be transmitted using H.239 or BFCP technology.
  • the presenter needs to obtain a presenter token. Only one terminal (ie, one point) among the terminals attending the video conference can have the token. Therefore, only the terminal that obtained the presenter token can transmit the attendee main image and the document image to the server at the same time.
  • telepresence video conferencing equipment which not only supports three or four display outputs, but also delivers as many video displays as the supported output displays. Can be sent without a token.
  • multi-video transmission for video conferencing is recognized as a unique feature of telepresence equipment.
  • Telepresence equipment cannot be linked with a general video conferencing terminal, and can only be interoperated with expensive gateway equipment provided separately. Even if you do so, video quality is much lower than normal video conferencing equipment. For these reasons, video conferencing terminals with three display outputs are relatively rare, and are limited in scalability due to the limitation of standard technology.
  • Video conferencing systems installed in meeting rooms require camera tracking systems to dynamically illuminate the faces of multiple participants in the meeting room.
  • image processing such as recognizing a speaker among those who have participated in a video conference, providing an image of the speaker to the counterpart, and displaying the main image as a main image.
  • the camera tracking system needs a camera for photographing the speaker and a means for recognizing the speaker.
  • the conventional camera tracking system is manufactured and supplied separately from the video conference terminal.
  • Cameras connected to videoconferencing terminals are usually divided into fixed-type cameras that only look in a designated direction and pan-tilt zoom (PTZ) cameras that can freely adjust the camera direction and focal length.
  • PTZ pan-tilt zoom
  • Most low-cost video conferencing terminal products have cameras fixed on the monitors, and PTZ cameras are available at mid-price ranges.
  • telepresence-type high-definition video conferencing equipment that supports three or more multi-screens has a fixed camera installed on each screen.
  • Most PTZ cameras support a 'preset' function that can store a specific position by storing the panning angle and tilting angle from the reference point.
  • the camera changes from the current posture to the preset posture and may shoot at a preset magnification ratio according to the preset method.
  • the camera tracking system installs a microphone and a button at each designated spot on the conference table.
  • Microphones are commonly used as gooseneck microphones, which are curved like goosenecks, and most of them have a button for speaking on the gooseneck microphone.
  • the position of the microphone is fixed so that the speaker can recognize the position of the speaker.
  • the camera's preset is stored, taking into account the microphone's position, the camera changes its posture to the preset position when the participant presses the microphone button in their seat.
  • terminal A receives a speaker's voice through a microphone and delivers it to terminal B, which is a video call counterpart, but does not output the speaker of terminal A.
  • terminal B which is a video call counterpart, but does not output the speaker of terminal A.
  • the audio signal transmitted from the terminal B is output through the speaker of the terminal A to proceed with the conference.
  • the audio signal transmitted from the terminal B is output through the speaker of the terminal A
  • the audio signal is input again through the microphone of the terminal A to generate an echo.
  • the terminal A with echo cancellation removes the echo by removing the same waveform as the audio signal transmitted from the terminal B from the signal input through the microphone.
  • the terminal A Since the terminal A does not directly output the audio signal input through the microphone to the speaker, even if the terminal A does not remove the echo signal, it is not immediately output to the speaker of the terminal A.
  • the echo signal is transmitted to the terminal B while the side B is an audio signal provided by the terminal A, so that the echo is output as it is.
  • the echo signal is transmitted to the terminal A again in the same process. Since the terminal A is an audio signal provided by the terminal B, the echo signal is output to the speaker. This process occurs repeatedly in succession, creating a loud noise.
  • the echo cancellation method removes a waveform matching the output audio signal from the input audio signal. Normally there is a delay of tens to hundreds of milliseconds (ms) before audio is played back from the output device and input back into the microphone for processing. Since the delay time varies from device to device, it is not easy to detect the audio signal to be removed by the echo cancellation function from the input audio signal. The portion where the signal strength when input to the microphone again differs from that of the output signal also makes it difficult to remove the audio waveform. Naturally, echo cancellation is more difficult in noisy or acoustically sounding spaces. Thus, echo cancellation is a complex and difficult technique in the field of videoconferencing.
  • An object of the present invention is to provide a multi-point video conferencing service, but to provide a video conferencing server that can provide a logical terminal service for processing a plurality of video conferencing terminals as a single video conferencing point.
  • An object of the present invention is to provide a video conferencing server that can control the shooting of the camera according to various camera tracking events, even without a separate camera tracking system.
  • An object of the present invention is to provide a video conferencing server and a camera tracking method capable of generating a camera tracking event by recognizing a speaker position using a plurality of audio signals or video signals provided by one logical terminal.
  • Another object of the present invention is to provide a video conferencing server and a camera tracking method capable of generating a camera tracking event according to a control command provided from a video conference point.
  • the logical terminal includes a virtual video conferencing including a registration step, a call connection step, a source reception step, a target recognition step and a camera tracking step. Service to operate at the point of.
  • the plurality of physical terminals are registered to operate as one video conference point by registering the plurality of physical terminals as the first logical terminal.
  • the arrangement relationship between the plurality of microphones connected to the plurality of physical terminals may be registered in the registration information of the first logical terminal.
  • the call connection step connects video conferencing between a plurality of video conferencing points, and individually connects the first logical terminal to a plurality of physical terminals constituting the first logical terminal.
  • the source receiving step receives a source image and a source audio signal provided by the plurality of video conference points, and receives the source image and the source audio signal from each of the plurality of physical terminals with respect to the first logical terminal.
  • the target recognition step is based on the arrangement relationship between the plurality of microphones, the position of the target in the first logical terminal by using one selected from the source image, source audio signal and control command provided by the plurality of physical terminals; Recognize. Accordingly, the camera tracking step selects one of the cameras connected to the plurality of physical terminals as the tracking camera based on the target position, and controls the tracking camera to photograph the target.
  • the target recognizing step may recognize the position of the target in the first logical terminal based on the arrangement relationship between the plurality of microphones and the strength of the source audio signal provided by the plurality of physical terminals. have.
  • the control command may be used as another method of the target recognition.
  • the control command is one of the identification number of the camera posture, preferably provided from a plurality of physical terminals constituting the first logical terminal, provided from a user mobile terminal or from another video conference point.
  • the camera tracking step when the physical terminal included in the first logical terminal presets a plurality of camera postures, the camera tracking step includes a camera posture corresponding to the position of the target recognized in the target recognition step.
  • An identification number may be provided to a physical terminal to which the tracking camera is connected among the plurality of physical terminals. Through this, the tracking camera changes its posture to track the target.
  • the camera tracking step may identify the virtual target position corresponding to the target position to extract the identification number of the tracking camera and the camera-posture from the registration information.
  • the arrangement relationship between the predetermined virtual target position, a plurality of microphones connected to the plurality of physical terminals, and the identification number of the camera-posture diagrammatically received may further include displaying a screen for the user.
  • the videoconferencing service providing method of the videoconferencing server of the present invention to distribute the video provided from another videoconferencing point of the entire source video received through the source receiving step to a plurality of physical terminals of the first logical terminal.
  • the providing of the multi-screen image may include disposing source images received from each of the plurality of physical terminals of the first logical terminal in an image to be provided to the other video conference point,
  • the source image provided from the physical terminal corresponding to the target location may be arranged in an area set for the target.
  • all source images provided by the logical terminal having the highest intensity of the audio signal among the plurality of video conference points may be arranged in an area set for a target.
  • the call connection step may further include receiving a call connection request message from an originating point; Inquiring whether the originating party or the receiving party is the first logical terminal while connecting a calling party and a receiving party according to the call connection request message reception; If the calling party is a physical terminal of a first logical terminal according to the inquiry result, creating a separate connection with the remaining physical terminals of the first logical terminal; According to the inquiry result, if the call connection request receiving side is a physical terminal of a second logical terminal, a step of creating a separate connection with the remaining physical terminals of the second logical terminal may be performed.
  • the present invention also extends to a videoconferencing server capable of providing a videoconferencing service.
  • the server of the present invention includes a terminal registration unit, a call connection unit target recognition unit and a camera tracking unit.
  • the terminal registration unit registers a plurality of physical terminals as a first logical terminal operating as one video conference point, and the registration relationship of the plurality of microphones connected to the plurality of physical terminals is included in the registration information of the first logical terminal. Register.
  • the call connection unit connects a video conference between a plurality of video conference points including the first logical terminal, and individually connects to the plurality of physical terminals constituting the first logical terminal with respect to the first logical terminal.
  • Source and source audio signals are received from a plurality of video conference points, and the source and source audio signals are received from each of the plurality of physical terminals for the first logical terminal.
  • the target recognition unit recognizes the position of the target in the first logical terminal using one selected from the source image, the source audio signal, and the control command provided by the plurality of physical terminals based on the arrangement relationship between the plurality of microphones. do.
  • the camera tracking unit selects one of the cameras connected to the plurality of physical terminals as the tracking camera based on the target position, and controls the tracking camera to photograph the target.
  • the videoconferencing server of the present invention can be implemented to logically group a plurality of videoconferencing terminals (physical terminals) having a limited number (usually one or two) displays to act as a logical terminal operating as one videoconferencing point. have.
  • the video conferencing server may process the logical terminal as if it supports multiple screens through distribution of images provided to the plurality of physical terminals constituting the logical terminal.
  • the video conferencing server distributes images of different video conferencing points according to the number of screens, that is, the number of display devices, of the logical terminal.
  • the number of different video conference points is reduced, and thus the complexity of the image displayed on one screen is also lowered. Since the complexity of the image is reduced, the image quality is improved in, for example, a physical terminal having a low performance or a low speed network.
  • the logical terminal of the present invention is implemented only through the internal processing of the video conferencing server, and there is no direct connection between the physical terminals. Thus, even if the terminal is equipped with different video codecs or the system performance is different or different physical terminals from different manufacturers are used. There is no problem in processing by binding to a logical terminal. Naturally, since the multi-screen is provided through the logical terminal, it is not necessary to upgrade the system resources of the individual video conference terminal to support the multi-screen.
  • an audio signal may be provided so that audio is provided to a logical videoconferencing terminal implemented as a plurality of physical terminals as if it is a single videoconferencing terminal. Therefore, even though a plurality of physical terminals belonging to the logical terminal are individually provided with speakers, only a specific output charge-physical terminal outputs an audio signal so that the logical terminal operates as one video conference point.
  • the videoconferencing server can control the photographing of the logical terminal side camera according to various situations.
  • the video conferencing server recognizes a target (eg, a speaker) to be a target of camera tracking control at a logical terminal level consisting of a plurality of video conferencing terminals, and the speaker is one of a plurality of cameras provided by the logical terminal. You can control to shoot.
  • the videoconferencing server may generate a camera tracking event according to a control command provided from the videoconferencing point.
  • the logical terminal of the present invention is composed of a plurality of video conferencing physical terminals
  • the conventional camera tracking system operating at the individual video conferencing terminal level used in the related art solves the problem that speaker recognition and camera tracking cannot be performed. .
  • the audio signal input through the physical terminal does not output the audio signal for the reason that is not the output charge-physical terminal You can remove echoes that may be included.
  • FIG. 1 is a block diagram of a video conferencing system according to an embodiment of the present invention.
  • FIG. 2 is a connection diagram of multiple video conferences in which all three points of FIG. 1 participate;
  • 3 is a multi-screen video conference service providing method of a video conference server of the present invention.
  • FIG. 5 is an exemplary diagram of a screen used in a registration process of a logical terminal of the present invention.
  • FIG. 7 is a diagram illustrating audio signal processing in the video conference system of FIG. 1;
  • FIG. 9 is a flowchart provided to explain an echo cancellation method in a logical terminal.
  • the video conferencing system 100 of the present invention is a server 110 and a plurality of video conferencing terminals connected through a network 30, and a 1: 1 video conferencing in which two connection points are connected. It also supports multiple video conferencing with three or more points connected.
  • the videoconferencing terminals 11, 13, 15, 17, and 19 shown in FIG. 1 exemplarily illustrate a videoconferencing terminal which can be connected.
  • the connection network 30 between the server 110 and the video conferencing terminals 11, 13, 15, 17, and 19 is an IP network, and includes a heterogeneous network connected through a gateway or a heterogeneous network. Can be connected.
  • a wireless telephone using a mobile communication network may also be a videoconferencing terminal of the present invention.
  • the network 30 includes a mobile communication network connected to a gateway to process IP packets.
  • the server 110 controls the video conferencing system 100 of the present invention as a whole, and in addition to the conventional general video conferencing server function, the terminal register 111, the call connection unit 113, the image processor 115, The audio processor 117 includes a target recognition unit 119, a camera tracker 121, and an echo processor 123.
  • the terminal registration unit 111 performs the registration, setting, and management of the physical terminal and the logical terminal described below, and the call connection unit 113 controls the video conference call connection of the present invention.
  • the video processor 115 implements a multi screen such as telepresence by processing (mixing, decoding, encoding, etc.) an image provided between a physical terminal and / or logical terminals when a video conference call is connected.
  • the characteristic audio processor 117 controls audio processing in the logical terminal
  • the target recognition unit 119 and the camera tracker 121 are targets to be the target of camera tracking control in the logical terminal. Recognize the position of and perform camera tracking control.
  • the echo processor 123 removes an echo with respect to the audio signal transmitted from the logical terminal.
  • the operations of the terminal registration unit 111, the call connection unit 113, the image processing unit 115, the audio processing unit 117, the target recognition unit 119, the camera tracking unit 121 and the echo processing unit 123 are described again below. do.
  • the videoconferencing system 100 of the present invention presents the concept of a logical terminal.
  • the logical terminal is a logical combination of a plurality of conventional video conferencing terminals as if it is a single video conferencing terminal.
  • the logical terminal is composed of two or more videoconferencing terminals, but there is no direct connection between the plurality of videoconferencing terminals constituting the logical terminal. In other words, in order to configure a logical terminal, there is no need for a direct connection between a plurality of video conference terminals constituting the logical terminal.
  • a conventional general video conference terminal is referred to as a 'physical terminal'.
  • the logical terminal is merely a logical combination of a plurality of video conferencing physical terminals.
  • All video conferencing terminals 11, 13, 15, 17, and 19 included in the video conferencing system 100 of FIG. 1 are physical terminals.
  • a physical terminal supports a standard protocol for video conferencing, but is not a terminal capable of providing the telepresence service described in the background art, but a video conferencing in which one display device can be connected or two display devices can be connected for document conferencing. It is a terminal.
  • Standard protocols include H.323 or Session Initiation Protocol (SIP).
  • SIP Session Initiation Protocol
  • the terminal supporting document conferencing supports H.239 and BFCP (Binary Floor Control Protocol).
  • BFCP Binary Floor Control Protocol
  • the video or audio signal described below is in the form of an RTP packet. Is sent to.
  • Each physical terminal 11, 13, 15, 17, 19 has a video / audio codec, and microphones 11-1, 13-1, 15-1 for converting a speaker's voice into an audio signal individually. , 17-1, 19-1, speaker 11-2, 13-2, 15-2, 17-2, 19-2 for audio output, camera 11-3, 13-3, 15 -3, 17-3, 19-3).
  • Each physical terminal operates as one videoconferencing point in a conventional videoconferencing system.
  • the logical terminal is a display that is individually held by a plurality of physical terminals which are members thereof. It is a video conference point having as many display devices as the total number of devices. If necessary, the logical terminal may designate one of the plurality of constituent terminals as a 'representative terminal'. No matter how many physical terminals the logical terminal contains, it is treated as one video conference point within the video conference.
  • FIG. 1 is a multiple video conferencing system 100 in which a first point A, a second point B and a third point C are interconnected.
  • the first logical terminal 130 is disposed at the first point A
  • the second logical terminal 150 is disposed at the second point B
  • the fifth physical terminal 19 at the third point C.
  • the system 100 of FIG. 1 is in a state where two logical terminals 130 and 150 and one physical terminal 19 are connected for the video call by the server 110.
  • the first logical terminal 130 is composed of a first physical terminal 11 and a second physical terminal 13 each having one display device
  • the second logical terminal 150 has a third display device having two display devices. It consists of a physical terminal 15 and a fourth physical terminal 17 having one display device.
  • a fixed camera may be connected to the physical terminals 11, 13, 15, 17, and 19, or a pan tilt zoom (PTZ) camera may be connected.
  • the cameras 11-3, 13-3, and 15-3 connected to the physical terminals 11, 13, 15, and 17 belonging to (first) at least logical terminals. , 17-3) must be a PTZ camera.
  • Each of the physical terminals belonging to the logical terminal should be able to preset at least one camera-position.
  • a physical terminal belonging to a logical terminal should allow standard or non-standard remote end camera control (FECC) with respect to the preset of the camera.
  • the first physical terminal 11 belonging to the first logical terminal 130 is preset with the first posture and the second posture.
  • the server 110 provides the preset physical identification number for the first posture to the first physical terminal 11
  • the first physical terminal 11 may control the first camera 11-3 to take the first posture. Should be The first camera 11-3 takes a first posture through panning / tilting.
  • the connection between the server 110 and the logical terminal constitutes a plurality of logical terminals.
  • each of the physical terminals is individually connected to the server 110 according to a standard protocol.
  • FIG. 1 shows a configuration of a logical terminal and each of the five physical terminals 11, 13, 15, 17, and 19 generates a SIP session with the server 110, thereby generating a total of 5 sessions. Sessions have been created.
  • the server 110 of the video conferencing system supports the following connections.
  • the server 110 connects the first and second physical terminals 11 and 13 constituting the first logical terminal 130 simultaneously or sequentially.
  • the server 110 connects the second physical terminal 13, which is another physical terminal constituting the first logical terminal 130, with the fifth physical terminal 19, which is a receiving side, simultaneously or sequentially.
  • the first logical terminal 130 of FIG. 1 calls the second logical terminal 150.
  • the server 110 configures the second logical terminal 150.
  • the two physical terminals 15 and 17 are called simultaneously or sequentially, and the second physical terminal 13, which is the remaining terminal other than the representative terminal on the calling side, is also called and connected.
  • the video conferencing system of the present invention supports the connection of three or more points in which the logical terminal is connected to one point.
  • One logical terminal and two physical terminals may be connected, two or more logical terminals and one physical terminal may be connected, or two or more logical terminals may be connected to each other.
  • the connection of multiple points can be handled in a manner known in the art. However, if the newly participating point is a logical terminal, it must be connected to all of the physical terminals that are members.
  • the video conferencing system 100 of the present invention may provide a multi-screen such as telepresence using a logical terminal system.
  • the logical terminal is a virtual terminal, it is treated as having a number of screens that can be provided by all of the plurality of physical terminals as members.
  • the server 110 may include the number of display devices included in each logical terminal (m1, or the number of images that the server should provide to each logical terminal), and the total number of physical terminals included in the video conferencing points (M, By reconstructing multiple video conference video by matching the number of source video), m3 video is re-edited into m1 video and provided to the logical terminal. Where m3 is the number of source images that the logical terminal should display for video conferencing, as shown in Equation 1 below.
  • m2 is the number of physical terminals constituting each logical terminal.
  • each physical terminal may set or request to display its own image (source image).
  • source image m3 images are re-edited into m1 images for each logical terminal and distributed to each physical terminal constituting the logical terminal
  • the source images provided by the corresponding physical terminals may be mixed together and provided.
  • m3 images may be sequentially provided at predetermined time intervals without re-editing m3 images into m1 images for the logical terminal.
  • three source images may be sequentially provided without re-editing the three source images through mixing or the like.
  • the video conference processing of the relay system which is not possible with the conventional standard video conference terminal, can also be performed.
  • any physical terminal participating in the video conference of the present invention can provide two source video if the presenter token is obtained.
  • the first physical terminal 11 may provide the server 110 with an image for document conference together with the main image.
  • M is a value obtained by adding 1 to the total number of physical terminals included in videoconferencing connected points.
  • FIG. 2 is a connection diagram of a multi-view video conference in which all three points of FIG. 1 participate.
  • the first logical terminal 130, the second logical terminal 150, and the fifth physical terminal 19 are connected to each other.
  • three source images provided by three physical terminals should be reedited and displayed as two images. Which source image is displayed on which screen can be determined separately.
  • the first physical terminal 11 displays the source image of the fifth physical terminal 19, and the second physical terminal 13 is displayed.
  • An image obtained by mixing the source images of the third physical terminal 15 and the fourth physical terminal 17 into one is displayed.
  • the server 110 displays the source image provided by the three physical terminals as three images. Since the number of source images to be displayed and the number of screens are the same, they can be displayed again one by one. Which source image to display on which screen can be determined separately.
  • the third physical terminal 15 displays the source images of the first and second physical terminals 11 and 13, respectively, 4, the physical terminal 17 is configured to display the source image provided by the fifth physical terminal 19.
  • the third physical terminal 15 constituting the second logical terminal 150 obtains the presenter token, two source images may be provided.
  • the second logical terminal 150 provides a total of three source images, and M is six.
  • the number of source images that need to be processed by the server 110 to be transmitted to the first logical terminal 130, the second logical terminal 150, and the fifth physical terminal 19 also increases by one than that described above.
  • Video conferencing service for logical terminal call connection and video processing
  • the first physical terminal 11 of the first logical terminal 130 becomes a caller and is described with reference to a process of connecting a second logical terminal 150 to a receiver.
  • a process of registering a logical terminal is required.
  • the terminal register 111 of the server 110 proceeds with the registration of the physical terminal and the logical terminal and manages the registration information.
  • the registration of the physical terminal should be performed prior to or simultaneously with the registration of the logical terminal, and the IP address of each terminal is essential for the registration of each physical terminal.
  • the registration process of the physical terminal may be registered by various methods known in the art.
  • the physical terminal may be registered by using a location registration process through a register command on the SIP protocol.
  • the physical terminal may include a telephone number.
  • the server 110 may check whether the corresponding physical terminal is currently turned on and is operating.
  • an identification number for distinguishing it from another logical terminal or a physical terminal may be designated and registered.
  • Registration of the logical terminal designates physical terminals included in the logical terminal, and the number of display devices connected to each physical terminal is registered.
  • an arrangement (or relative position) between display devices included in a logical terminal and an image mixing method (including a relay method) or a layout (layout) of a mixed image may be set according to the number of source images (m3).
  • the terminal registration unit 111 receives and registers and manages configuration information configuring the first physical terminal 11 and the second physical terminal 13 as the first logical terminal 130. Registration of the logical terminal may use a web page provided by the terminal register 111 or a separate access terminal.
  • one of the physical terminals constituting the logical terminal described below is registered as the 'output charge-physical terminal' described below.
  • the audio signal provided from the other party's video conference point ('output audio signal' to be described below) is output through a speaker held by the output manager-physical terminal among the physical terminals of the logical terminal.
  • the terminal registration unit 111 may display the registration screen pp as shown in FIG. 5 to the administrator.
  • the first microphone 11-1 and the first camera 11-3 connected to the first physical terminal 11 are disposed on the left side, and the second physical terminal ( The second microphone 13-1 and the second camera 13-3 connected to 13 are registered as being disposed on the right side.
  • P1, P2, P3, P4 is a 'virtual target position'
  • the first camera 11-3 is a camera for shooting the preset PS1 and P2 for the camera-posture for shooting P1 -You can set the preset PS2 for posture.
  • the second camera 13-3 sets the preset PS3 for camera posture for shooting P3 and the preset PS4 for camera posture for shooting P4.
  • the administrator adjusts the arrangement of the first microphone 11-1 and the second microphone 13-1, and identifies the preset camera-posture according to the virtual target position. Adjust the arrangement between the numbers PS1, PS2, PS3, and PS4, and use the arrows (pp1) to connect the camera and the preset so that the camera and microphone and the preset settings of the camera in the first logical terminal 130 can be changed. You can register.
  • Video conferencing call establishment between each videoconferencing point is initiated by the call connection unit 113 of the server 110 receiving a call connection request at one point.
  • the call connection unit 113 receives an INVITE, which is a SIP signaling message.
  • INVITE is a SIP signaling message.
  • the call connection unit 113 is the calling party.
  • the first physical terminal 11 receives the INVITE message calling the third physical terminal 15 using the phone number or IP address of the third physical terminal 15.
  • the call connection unit 113 of the server 110 inquires to the terminal registration unit 111 whether the receiving telephone number is the telephone number (or IP address) of one of the physical terminals constituting the logical terminal. Similarly, the calling party queries the terminal registration section 111 whether it is a telephone number (or IP address) of one of the physical terminals constituting the logical terminal. Through this, the call connection unit 113 checks whether the corresponding call connection is connected to the logical terminal.
  • the call connection unit 113 additionally checks whether the corresponding physical terminal is a representative terminal of the logical terminal when the receiving side is a physical terminal constituting the logical terminal.
  • the receiving side may not be treated as a logical terminal.
  • the calling party additionally confirming whether the corresponding calling party is a representative terminal of the logical terminal to which the calling party belongs, the calling party may not be treated as a logical terminal if the calling terminal is not the representative terminal.
  • the call connection unit 113 performs a procedure for generating a SIP session with all physical terminals belonging to the receiving logical terminal.
  • the call connection unit 113 since the receiving side is the second logical terminal 150, the call connection unit 113 creates a SIP session separately from the third physical terminal 15 and the fourth physical terminal 17.
  • the call connection unit 113 may simultaneously transmit the INVITE message to the third physical terminal 15 and the fourth physical terminal 17 or sequentially (S307).
  • the call connection unit 113 since the calling party is also a logical terminal, the call connection unit 113 also creates a SIP session with the second physical terminal 13 of the first logical terminal 130.
  • the fifth physical terminal 19 if the fifth physical terminal 19 participates in the video conference, it also creates a SIP session with the fifth physical terminal 19. Therefore, while the first logical terminal 130, the second logical terminal 150 and the fifth physical terminal 19 participate in the video conference, a total of five SIP sessions are generated (S309).
  • All physical terminals of the receiving side and / or the originating side receiving the INVITE negotiate selection of video and audio codecs through SDP (Session Description Protocol) information. If the negotiation is successful, a real session is established and the call is connected.
  • SDP Session Description Protocol
  • the call connection of the logical terminal is actually a connection with individual physical terminals constituting the logical terminal, a plurality of sessions are established.
  • the physical terminal constituting the logical terminal also generates a source image separately and transmits it to the server 110.
  • the source video is transmitted in the form of an RTP packet together with the source audio signal described below.
  • the call connection unit 113 is connected to the session 5.
  • the five source images 11a, 13a, 15a, 17a, and 19a provided by the physical terminals 11, 13, 15, 17, and 19 are received.
  • the image processing unit 115 of the server 110 decodes the RTP packet received through the SIP session to obtain the source image provided by all the physical terminals (11, 13, 15, 17, 19) participating in the video conference, The source image is mixed and re-encoded to render back into the image for each point.
  • the image processor 115 may re-edit m3 images into m1 images for each logical terminal.
  • the image processor 115 mixes the source image according to a predetermined layout for each logical terminal or physical terminal or according to a layout requested by each terminal.
  • the source image may be displayed in the form of a relay by sequentially providing the call connection unit 113 at a predetermined time interval without image processing of the image processing unit 115.
  • the transmission may be performed as it is without mixing or the like. If it is necessary to match the video codec of the terminal, the video format may be changed or transcoded enough.
  • the call connection unit 113 is a video processing unit 115, each physical terminal 11, 13, 15, 17, 19 participating in the video conference the video processing for each physical terminal (11, 13, 15, 17, 19) To provide.
  • each point participating in the video conference can be provided with a service such as telepresence by multi-screen.
  • the multi-screen for video conferencing of the video conferencing system 100 of the present invention is processed by the above method.
  • the terminal register 111 may generate and register a virtual telephone number for the logical terminal.
  • the receiving side may be treated as the logical terminal only when the receiving telephone number is the virtual telephone number of the logical terminal in step S305.
  • step S301 to S309 When all the physical terminals 11, 13, 15, 17, and 19 participating in the video conference are individually formed with the server 110 through the steps S301 to S309, regardless of the logical terminal configuration, all the physical terminals ( 11, 13, 15, 17, and 19 are source images captured by the cameras 11-3, 13-3, 15-3, 17-3, and 19-3 through the step S311, and the microphones 11-1, 13-1, 15-1, 17-1, and 19-1 are provided to the server 110 in the form of RTP packets. Accordingly, the call connection unit 113 of the server 110 receives all RTP packets provided by all the physical terminals 11, 13, 15, 17, and 19 participating in the video conference.
  • step S311 of FIG. 3 illustrates and describes only the reception of the source video, the source video and the source audio are received together through the RTP packet.
  • the physical terminal belonging to the logical terminal may provide its control command to the server 110.
  • the control command includes whether or not the microphone button is operated.
  • the target recognition unit 119 recognizes the position of the target that is the object of camera tracking control.
  • the camera tracking event is an event that controls the shooting of a camera arranged on the logical terminal side. 1 Recognizes the position of the target through a process of automatically recognizing the position of the speaker or 2 using a control command provided from the logical terminal or the physical terminal side. To recognize the location of the target.
  • the target location recognition of the target recognition unit 119 is the same as the location recognition of the speaker in each logical terminal except for some exceptional cases.
  • the target recognition unit 119 is based on the microphone registered by the logical terminal and the registration information related to the preset, the source image, source audio signal and control command provided by a plurality of physical terminals constituting the logical terminal Recognize the position of the target in the logical terminal by using one selected from.
  • the control command here is therefore usually associated with the speaker position and corresponds to the virtual target position or identification number for the preset camera-position. Specific methods of recognizing the location of the speaker are described again below.
  • the target position recognition of the target recognition unit 119 is selected from the 'virtual target position' of the corresponding logical terminal registered in step S301.
  • speaker recognition for the first logical terminal 130 is equivalent to selecting one of the virtual target locations P1, P2, P3, P4.
  • control command it is also included to control the shooting of the camera arranged at another video conference point.
  • control command at this time may be related to the speaker location but may not be the speaker who is currently speaking.
  • step S301 the preset registered in the server 110 is mapped to a specific camera and a virtual target location, and the camera is mapped to a specific physical terminal.
  • the camera tracking unit 121 selects a 'tracking camera' for capturing the target position or the target position according to the control command recognized in step S601 among the cameras registered in the corresponding logical terminal, and the tracking camera captures the target. To control. When the event occurs in step S601, the camera tracking unit 121 confirms the physical terminal and the preset identification number connected to the corresponding event in the registration information of the logical terminal.
  • step S601 if the event of step S601 is a target recognition according to the speaker recognition, the camera tracker 121 checks the physical terminal connected to the recognized speaker position (same as the virtual target position) and the preset identification number. If the speaker is recognized as being located at P2, the camera tracker 121 provides the preset physical identification number PS2 to the first physical terminal 11 to control the first physical terminal 11 to photograph the P2 position. .
  • the first camera 11-3 changes the posture according to the panning angle / tilting angle and the zoom parameter set to the preset identification number PS2 to photograph the P2 position.
  • step S601 if the event of step S601 is an event according to a camera control command of another video conference point, the camera tracking unit 121 is connected to a physical terminal connected to a position (same as a virtual target position) received by the control command, and a preset. Check the identification number.
  • Location recognition of the target for camera tracking control in step S601 may be performed in various ways.
  • the target recognizing unit 119 may recognize the location of the speaker using the source audio signal received in step S311 based on the information registered for the logical terminal in step S301 and recognize the location of the speaker as the target location. .
  • a specific speaker located on the logical terminal side speaks, it is input through most microphones registered in the logical terminal. For example, in FIG. 4, the first microphone 11-1 and the second microphone 13-1 are input regardless of where P1 to P4 are spoken. However, the strength of the audio signal input into the microphone varies depending on the position of the speaker.
  • A1 is the average intensity of the first micro input source audio signal
  • A2 is the average intensity of the second micro input source audio signal.
  • A1 is the average intensity of the first micro input source audio signal
  • A2 is the average intensity of the second micro input source audio signal.
  • the target recognition unit 119 may determine the speaker by a method of recognizing the mouth of the person who is speaking through image processing of all source images provided by the logical terminal. Of course, the target recognition unit 119 may recognize the position of the speaker in parallel with the method of using the source audio signal. This method also corresponds to a method of recognizing the speaker position as the target position.
  • Target recognition in step S601 may use a control command provided by the videoconferencing terminal.
  • Control commands are provided at each logical or physical terminal side.
  • the control command may be provided in various ways as described below, but in the present invention, the control command is an identification number for a preset virtual target position or preset camera-position. Therefore, video conferencing is established by setting a protocol relating to the transmission of a control command between the server 110 and the physical terminal of the present invention and including an identification number for a preset virtual target position or a preset camera-position in the control command. At points you can specify the location of the target.
  • the target recognition unit 119 may immediately recognize the position of the target by receiving a control command.
  • the DTMF signal transmission technique possessed by the conventional video conference terminal may be used.
  • a typical video conferencing terminal has a function of transmitting a DTMF signal to a remote controller, and may transmit a DTMF signal to a video conferencing server.
  • a dial pad capable of generating a DTMF signal is attached to a main body of a terminal, and a DTMF signal can be transmitted to a video conference server. Therefore, the physical terminal may transmit a control command including the identification number for the preset camera-posture to the server 110 as a DTMF signal.
  • the target recognition unit 119 may receive a control command through an application of the mobile terminal held by the user.
  • the application may receive an input of an identification number for a preset virtual target position or a preset camera position, and present a graphical interface for that input.
  • the mobile terminal may correspond to a smart phone, a tablet, and the like.
  • control command may be generated by a PTZ control function of a remote control possessed by a conventional video conference terminal and a standard or non-standard remote end camera control (FECC). Therefore, the physical terminal may set an identification number for a preset virtual target position or a preset camera posture on a remote controller, generate a control command according to a standard or non-standard FECC protocol, and transmit the generated control command to the server 110.
  • FECC remote end camera control
  • the microphone included in the logical terminal is attached to the microphone button, the physical terminal constituting the logical terminal may provide to the server 110 as a control command whether the microphone button is operated.
  • the target recognizing unit 119 checks which microphone button is operated among the microphones included in the logical terminal based on a control command provided from the logical terminal, thereby identifying which of the registered 'virtual target positions' are the target positions. Can be.
  • the DTMF control signal generated by the above-described physical terminal or the control signal according to the FECC may be a 'virtual target position' or 'identification number for a preset camera-posture' registered at another video conference point.
  • a control command provided to the server 110 for camera tracking control of another video conference point should include an identification number for designating a video conference point to be a control target.
  • the identification number may be an identification number assigned in units of logical terminals, or may be a telephone number of a representative terminal registered in the logical terminal.
  • step S601 the target recognition unit 119, when the identification number of the terminal included in the control command provided from the videoconferencing point designates a videoconferencing point different from each other, registration information of the corresponding videoconferencing point (logical terminal or physical terminal). Check the 'virtual target position' or 'identification number for the preset camera-position' specified by the control command.
  • step S603 the camera tracking unit 121 checks the physical terminal connected to the 'identification number for the preset camera-posture', checks the preset identification number, and then provides the preset identification number to the physical terminal of the corresponding video conference point. Allow remote camera control to be performed.
  • the image processor 115 may configure an image layout based on the image photographed by the tracking camera in the process of performing operation S313.
  • the image processor 115 performs mixing of the source image according to a preset layout for each logical terminal or physical terminal or according to a layout requested by each terminal.
  • the image processor 115 may divide and display an image to be provided to each video conference point into a plurality of image cells (areas).
  • the image processing unit 115 captures the image captured by the tracking camera (that is, Speaker image) may be displayed on an image cell set for 'target'. For example, an image provided from a physical terminal having the greatest intensity of the source audio signal may be displayed in an image cell set for a target. Alternatively, all source images provided by the logical terminal having the highest audio signal strength among all video conference points may be processed and displayed as speaker images.
  • all images of the physical terminal or the logical terminal having the second highest speaking level may be displayed.
  • the speaker is recognized by a method of comparing the strength of the source audio signal, and according to the recognition result, the image layout is focused on the image of the speaker. Can be placed.
  • audio signal processing in the server 110 is different from that of the conventional videoconferencing system or apparatus.
  • the audio processor 117 of the server 110 decodes the audio signal from the RTP packet received from each point that the call connection unit 113 participates in the video conference.
  • the videoconferencing system 100 of FIG. 7 illustrates the videoconferencing system 100 of FIG. 1 in terms of processing audio signals.
  • each video conferencing terminal 11, 13, 15, 17, 19 has a video / audio codec, and microphones 11-1, 13- that individually convert a speaker's voice into an audio signal. 1, 15-1, 17-1, 19-1 and speakers 11-2, 13-2, 15-2, 17-2, 19-2 for audio output.
  • each video conferencing terminal 11, 13, 15, 17, 19 not only forms a SIP session individually with the server 110, but each is a video conferencing terminal. Accordingly, unless otherwise configured, all physical terminals participating in the video conference configured by the server 110 may transmit audio signals to the server 110 through the SIP session regardless of the logical terminal configuration.
  • the audio signal processing by the audio processor 117 will be described with reference to FIG. 8. The method of FIG. 8 proceeds after the SIP session is created through steps S307 and S309.
  • all the physical terminals 11, 13, 15, 17, and 19 participating in the video conference form a SIP session with the server 110 individually, and each of the microphones 11-1 and 13-1. , 15-1, 17-1, and 19-1) converts the voice or audio input into an audio signal and provides it to the server 110 in the form of an RTP packet. Accordingly, the call connection unit 113 of the server 110 receives all RTP packets provided by all the physical terminals 11, 13, 15, 17, and 19 participating in the video conference. This step corresponds to step S311 for source image reception.
  • the audio processor 117 decodes the RTP packet received through the SIP session and provides an audio signal (hereinafter referred to as a 'source audio signal') provided by all the physical terminals 11, 13, 15, 17, and 19 participating in the video conference. And mix again into an audio signal (hereinafter referred to as an 'output audio signal') to be provided to each video conference point. Corresponds to step S313.
  • the output audio signal to be provided to each video conference point is a mixture of audio signals provided from different video conference points. In this case, various methods are possible.
  • Method 1 all audio signals provided from the videoconferencing point can be mixed regardless of whether each videoconferencing point is a physical terminal or a logical terminal.
  • the output audio signal to be sent to the first logical terminal 130 needs to be mixed with the source audio signals provided by the second logical terminal 150 and the fifth physical terminal 19, so that the audio processing unit 117 3
  • the source audio signals provided by the physical terminal 15, the fourth physical terminal 17 and the fifth physical terminal 19 are mixed.
  • the audio processor 117 may use the first physical terminal 11.
  • the source audio signals provided by the second physical terminal 13 and the fifth physical terminal 19 are mixed.
  • the audio processor 117 may use the first physical terminal 11. ), The source audio signals provided by the second physical terminal 13, the third physical terminal 15, and the fourth physical terminal 17 are mixed.
  • Method 2 If another video conference point is a logical terminal, only an audio signal provided by one selected physical terminal among physical terminals belonging to the logical terminal may be mixed with the audio signal for output.
  • the output audio signal to be sent to the first logical terminal 130 should be mixed with the source audio signal provided by the second logical terminal 150 and the fifth physical terminal 19. Since the second logical terminal 150 includes the third physical terminal 15 and the fourth physical terminal 17, the audio processor 117 is selected from the third physical terminal 15 and the fourth physical terminal 17. Only the source audio signal provided by one terminal is mixed with the source audio signal provided by the fifth physical terminal 19. In this case, the source audio signal selected for mixing is not necessarily the source audio signal provided by the output-physical terminal.
  • the reasons for adopting this approach can vary.
  • the audio signal received through the microphone closest to the position of the speaker of the second logical terminal 150 is selected for mixing and the remaining physical terminals of the second logical terminal 150 are mixed.
  • the audio signal provided may not be mixed. This solves the problem of the audio or voice being not heard clearly due to the minute time difference that occurs when the speaker's speech is input to all the microphones 15-1 and 17-1 of the second logical terminal 150. Can be.
  • the audio processor 117 compresses the remixed output audio signal to a predetermined audio signal format, encodes it into an RTP packet, and transmits the mixed audio signal to each video conference point. However, on the logical terminal side, the output audio signal is transmitted to the output charge-physical terminal described below.
  • server 110 establishes a SIP session with all physical terminals participating in the videoconference, and the audio signal is transmitted through the SIP session.
  • the audio processor 117 transmits the newly encoded audio signal only to the output charge-physical terminal, and the third point C.
  • the audio processor 117 transmits the newly encoded audio signal to the physical terminal as in the prior art.
  • the terminal registration unit 111 of the server 110 receives and registers one of the physical terminals constituting the logical terminal as an 'output charge-physical terminal' during the registration process of the logical terminal.
  • the 'output charge-physical terminal' may be the 'representative terminal of the logical terminal described above, or may be determined as a terminal different from the representative terminal.
  • the audio signal provided by another video conference point is not output through all the physical terminals constituting the logical terminal, but only through the output charge-physical terminal. Otherwise, the same audio signal is output with a small time difference through the plurality of speakers, so that clear audio cannot be output. In addition, if the output-physical terminal is not determined, it is not appropriate because the number of complicated cases regarding echo cancellation occurs.
  • the audio signal provided by the server 110 is provided only to the output-physical terminal. .
  • the first physical terminal 11 is registered as an output charge-physical terminal
  • the second logical terminal of the second point B In 150, it is assumed that the fourth physical terminal 17 is registered as an output charge-physical terminal.
  • the audio processor 117 provides the output audio signal 15b + 17b + 19b to be provided to the first point A only to the first physical terminal 11, which is an output charge-physical terminal, to the second point B.
  • the output audio signal 11b + 13b + 19b to be provided is provided only to the fourth physical terminal 17. Since the third point C is a physical terminal, the audio processor 117 transmits an output audio signal 11b + 13b + 15b + 17b to the fifth physical terminal 19 to be provided to the third point C.
  • An RTP packet without an audio signal may be transmitted to a terminal that is not an output charge-physical terminal among physical terminals configuring a logical terminal.
  • 'no audio signal' includes, for example, an audio signal without amplitude.
  • the RTP packet itself for an audio signal may not be transmitted.
  • the first physical terminal 11 outputs the output audio signal 15b + 17b + 19b through its speaker 11-2, and the second physical terminal 13 No audio is output through the speaker 13-2.
  • the fourth physical terminal 17 outputs the output audio signal 11b + 13b + 19b through its speaker 17-2, and the third physical terminal 15 No audio is output through the speaker 15-2.
  • all the physical terminals participating in the video conferencing configured by the server 110 are each video conferencing terminals regardless of the logical terminal configuration, and thus do not output source audio signals input to their own speakers to their speakers. .
  • the physical terminal participating in the video conference configured by the server 110 may have an echo cancellation function regardless of whether the logical terminal is configured.
  • there should be a reference audio signal (output audio signal) and the output audio signal to be transmitted to the logical terminal is transmitted only to the output charge-physical terminal. Therefore, a videoconferencing terminal, which belongs to a logical terminal and is not an output-physical terminal, does not have a reference audio signal to perform echo cancellation.
  • the audio processing unit 117 should transmit to the first logical terminal 130.
  • the output audio signal is transmitted only to the first physical terminal 11 and not to the second physical terminal 13.
  • this does not mean that the audio processor 117 does not transmit any RTP packet to the second physical terminal 13, but only an audio signal provided to the first physical terminal 11 for output. It is not provided.
  • the source audio signal 11b which the first physical terminal 11 and the second physical terminal 13 receive through their microphones 11-1 and 13-1, respectively, 13b) to the server 110.
  • the first physical terminal 11 which is an output charge-physical terminal
  • receives an audio signal for output from the server 110 echo cancellation may be performed on the signal input to the microphone 11-1.
  • the second physical terminal 13 since the second physical terminal 13 is not an output charge-physical terminal, the second physical terminal 13 does not receive an output audio signal from the server 110 and does not hold a signal that is a reference for echo cancellation.
  • the second physical terminal 13 cannot perform echo cancellation on the source audio signal input to the microphone 13-1. Therefore, in the present invention, the echo processing unit 123 of the video conferencing server 110 performs an echo cancellation function.
  • the echo processor 123 performs an echo cancellation function and may perform basic noise cancellation as necessary before mixing the output audio signal for providing to each video conference point.
  • the echo cancellation of the present invention is completely different from echo cancellation in conventional general video conferencing systems or equipment.
  • the characteristic echo cancellation function of the present invention is referred to as 'pairing echo canceling'.
  • the echo processing unit 123 removes the echo using the output audio signal transmitted to the logical terminal.
  • FIG. 9 an echo cancellation method of the videoconferencing server 110 will be described. The method of FIG. 9 is also performed in a state where a SIP session is created between the server 110 and each physical terminal according to steps S307 and S309 of FIG. 3.
  • the echo processor 123 determines that the corresponding source audio signal is a logical terminal. It is determined whether the signal is provided by the terminal other than the physical controller in charge of the physical terminal belonging to (S901, S903).
  • the echo processing unit 123 outputs the output audio signal transmitted to the logical terminal. Perform echo cancellation as a reference.
  • the echo cancellation algorithm of the echo processing unit 123 may use an echo cancellation algorithm commonly known as removing a waveform matching the output audio signal from the input audio signal.
  • the echo processing unit 123 compares the source audio signal provided by the second physical terminal 13 with the output audio signal transmitted to the first physical terminal 11 which is an output-physical terminal. Remove If there is an echo in the source audio signal provided by the second physical terminal 13, the same waveform as the output audio signal transmitted to the first physical terminal 11 may be removed by the echo cancellation algorithm (S905). .
  • step S901 and S903 if the corresponding audio signal is not transmitted from the logical terminal or a signal provided by the output-physical terminal as a physical terminal belonging to the logical terminal, the echo processing unit 123 does not perform the echo cancellation function. You don't have to. This is because the output-physical terminal can remove the echo by providing the echo cancellation function on its own. Alternatively, as in step S603, the echo may be canceled while comparing with the output audio signal that has already been transmitted to the first physical terminal 11.
  • the audio processing unit 117 has been described as providing the output audio signal only to the output charge-physical terminal, but is not necessarily limited thereto.
  • the same output audio signal may be provided to all physical terminals constituting the logical terminal. However, only the output charge-physical terminal outputs the corresponding audio signal, and the other physical terminal simply uses the echo audio reference audio signal.
  • the audio processor 117 transmits the same output audio signal to all the physical terminals constituting the logical terminal, but marks the output as RTP packets provided to the output-physical terminal and outputs the RTP packets to the remaining physical terminals.
  • the audio signal is marked as 'echo cancellation'. In this case, since echo cancellation is performed in each physical terminal, the server 110 does not need to include an echo processor 123.
  • the audio processing unit 117 transmits to the first physical terminal 11 that is an output charge-physical terminal. 'Is displayed and transmitted, and the second physical terminal 13 is displayed as' for echo removal' and transmitted.
  • the first physical terminal 11 outputs the output audio signal through the speaker 11-2
  • the second physical terminal 13 outputs the output audio signal provided from the server 110 to the speaker 13-2. It is used to remove echoes from audio signals received through the microphone 13-1 without being output through the microphone 13-1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법이 개시된다. 본 발명의 영상회의 서버는 하나 또는 두 개의 디스플레이를 구비한 종래의 영상회의 단말(물리적 단말) 복수 개를 논리적으로 묶어 마치 하나의 영상회의 포인트로 동작하는 '논리적 단말'처럼 동작하도록 구현할 수 있다. 영상회의 서버는 논리적 단말을 구성하는 복수 개의 물리적 단말에게 제공하는 영상의 분배를 통해 논리적 단말이 멀티 스크린을 지원하는 것처럼 처리할 수 있으며, 논리적 단말에서 발언 중인 타깃을 인식하여 추적하는 기능을 제공한다.

Description

복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법
본 발명은 다중-포인트 영상회의 시스템에 관한 것으로서, 종래의 텔레프레즌스(Telepresence) 장비가 없이도 복수 개의 영상회의용 단말을 이용하여 다중-포인트 영상회의를 위한 복수 개의 영상을 표시할 수 있는 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법에 관한 것이다.
영상회의 시스템은 일반적으로 H.323나 SIP(Session Initiation Protocol)와 같은 표준 프로토콜을 이용하는 표준 기반 영상회의 단말(또는 시스템)과, 자체 프로토콜을 이용하는 비표준 영상회의 단말로 나눈다.
시스코(CISCO), 폴리콤(POLYCOM), 어바이어(AVAYA), 라이프사이즈(LIFESIZE) 등의 메이저 영상회의 장비 업체는 위에서 언급한 표준 프로토콜을 이용한 영상회의 솔루션을 공급하고 있지만, 표준 기술만을 이용해서 제품을 만들 경우 다양한 기능을 구현하기 힘들기 때문에 비표준 영상회의 시스템을 공급하는 업체들도 많다.
<표준 단말 기반의 다중 영상회의를 위한 MCU>
영상회의 시스템은 두 개의 영상회의 단말(두 개의 포인트)가 연결되는 1:1 영상회의가 있고, 복수 개의 영상회의 단말(복수 개의 포인트)가 동시에 연결되는 다중 영상회의가 있다. 영상회의에 참여한 모든 영상회의 단말은 개별적으로 하나의 영상회의 포인트(Point)가 되며, 포인트마다 적어도 한 명의 회의 참석자가 배석하는 것이 일반적이다.
표준 영상회의 단말은 상대방과 하나의 세션을 연결하여 통상 하나의 영상과 음성만을 처리하기 때문에 기본적으로 1:1 영상회의에 적용되며, 부가적으로 표준 단말에서도 H.239와 BFCP(Binary Floor Control Protocol)를 이용하면 문서 회의를 위한 보조 영상을 하나 더 처리할 수 있다. 따라서 표준 영상회의 시스템에서 1:1 이 아닌 3개 이상의 포인트가 연결된 다중 영상회의를 하기 위해서는 엠시유(MCU: Multipoint Conferencing Unit)라는 장치가 필요하다. 엠시유는 3개 이상의 포인트에서 제공되는 영상을 믹싱(Mixing)하여 각 포인트를 위한 영상을 하나씩 만들어 표준 단말에게 제공함으로써 표준 프로토콜의 제약을 해소한다.
영상회의에 결합된 모든 영상회의 단말은 자신이 생성한 영상과 음성 데이터를 압축하여 상대방에게 송신하기 때문에, 영상을 믹싱하기 위해서는 디코딩(Decoding), 기설정된 레이아웃에 맞추어 복수 개 영상을 렌더링(Rendering)하여 새로운 영상을 만드는 믹싱, 그리고 다시 인코딩(Encoding)하는 과정을 추가로 거쳐야 한다. 따라서 믹싱은 상대적으로 비용이 많이 소요되는 작업이지만 핵심적인 장비이고, 엠시유 기능을 구비한 서버는 대개 고가로 유통된다.
영상을 믹싱하면, 단말에서는 하나의 영상을 처리하는 것이므로 기술적으로 1:1로 회의할 때와 차이가 없지만, 엠시유가 제공하는 영상에는 복수 개 포인트에서 제공되는 영상이 PBP(Picture by Picture), PIP(Picture in Picture) 등의 형태로 결합되어 있다. 게다가 단말 측에서 필요한 대역폭도 1:1과 비교했을 때 사실상 차이가 없다.
<비표준 영상회의 시스템에서 다중 영상회의>
비표준 영상회의 시스템에서는 표준적인 엠시유를 사용하지 않고 영상을 처리하며, 표준 영상 단말과 연결이 필요하면 별도의 게이트웨이(Gateway)를 이용한다. 복수 개 포인트의 단말은 하나의 서버에 로그인하고 특정 회의방에 참석하는 절차를 거친다. 일부 비표준 제품들은 서버가 존재하지 않고 P2P(Peer to Peer)로 처리하는 경우도 있다.
비표준 영상회의 시스템에서, 엠시유 또는 엠시유 기능을 수행하는 장치를 사용하지 않는 이유는 엠시유 기능을 구현하기 위해 고가의 고성능 서버가 필요하기 때문이다. 영상 믹싱을 수행하는 대신에, 각 단말은 자신이 생성한 영상을 다른 참석자들(다른 포인트의 단말들)에게 단순히 릴레이(Relay)하는 방법을 많이 사용한다. 릴레이 방식은 믹싱보다 서버의 시스템 자원을 적게 사용하는 장점이 있으나 영상 릴레이에 필요한 네트워크 대역폭은 기하급수적으로 늘어나는 단점이 있다.
예를 들어 5명이 동일한 회의방에 참석해 있고 다른 참석자들의 화면을 한꺼번에 모두 보고 있다는 가정하에 계산을 해보면, 본인의 영상을 서버로 전송하고 다른 4명의 영상을 받아야 하므로 25 배(5×5)의 대역폭이 필요하다. 만약 10개의 영상회의 단말이 참여 중이면 100 배(10×10)의 대역폭이 필요하다. 영상회의 참여자가 많아지면 필요한 대역폭이 기하급수적으로 증가한다.
<문서 영상회의를 위한 토큰 획득>
종래의 일반적인 영상회의 단말은 메인 영상 화면과 문서 영상 화면을 동시에 두 개의 디스플레이 장치로 각각 출력할 수 있지만, 저렴한 영상회의 장비 중에는 단일 디스플레이 출력만 지원하는 경우가 많다. 단일 디스플레이만 지원되는 영상회의 단말은 문서 영상회의를 위한 H.239 또는 BFCP를 지원하기도 하고 지원하지 않기도 한다.
단일 디스플레이에서 H.239 또는 BFCP 프로토콜에 따른 문서 영상을 표시할 때에는 통상 화면을 분할하여 표시하며, 단말 자체에서 2개의 영상을 다양한 형태로 표시하기 위한 여러 레이아웃을 제공하기도 한다. 또한, 단말에서 메인 영상 또는 문서 영상 중 하나를 선택해서 확대하는 기능도 대부분 지원한다.
앞서 설명한 것처럼 영상회의 단말은 1개의 영상을 송출할 수 있지만 H.239 또는 BFCP 기술을 이용하면 문서 영상을 추가로 송출할 수 있다. 문서 영상을 송출하기 위해서 발표자는 발표자 토큰(Token)을 획득해야 하는데 영상회의에 참석한 단말 중 오직 하나의 단말(즉, 하나의 포인트)만이 토큰을 가질 수 있다. 그렇기 때문에 참석자 메인 영상과 문서 영상을 동시에 서버로 송출할 수 있는 것은 발표자 토큰을 획득한 단말뿐이다.
<텔레프레즌스>
한편, 시스코 및 폴리콤 등의 메이저 업체에서는 텔레프레즌스(Telepresence) 기술의 초고가 영상회의 장비를 공급하는데, 이 장비는 3개 또는 4개의 디스플레이 출력을 지원할 뿐만 아니라, 그 지원되는 출력 디스플레이 수만큼의 영상을 발표자 토큰 없이 송출할 수 있다. 관련 업계에서는 영상회의를 위한 다중 영상 송출 기능은 텔레프레즌스 장비 만의 고유한 기능으로 인식되고 있다.
텔레프레즌스 장비는 일반적인 영상회의 단말과 연동이 안되며, 별도로 제공되는 고가의 게이트웨이 장비가 있어야만 상호 연동이 가능하다. 그렇게 연동하더라도 일반 영상회의 장비끼리 통화하는 것에 비해서 영상 품질이 매우 떨어진다. 이러한 이유들로 인하여 3개의 디스플레이 출력을 가진 영상회의 단말은 상대적으로 거의 보급되지 않고 있으며, 표준 기술이라는 제약으로 인하여 확장성에 제한이 걸려있는 상태이다.
<발언자의 인식 및 촬영>
회의실에 설치된 영상회의 시스템이 회의실 안에 있는 여러 참석자들의 얼굴을 동적으로 비추기 위해서는 카메라 추적 시스템이 필요하다. 종래의 카메라 추적 시스템을 사용하면, 영상회의에 참여한 사람들 중에서 발언자를 인식하고, 해당 발언자를 촬영한 영상을 상대방 측에 제공하여, 주된 이미지로 표시하는 등의 이미지 처리를 할 수 있다.
따라서 카메라 추적 시스템은 발언자를 촬영하는 카메라와 발언자를 인식하는 수단이 필요하며, 종래의 카메라 추적 시스템은 영상회의 단말과 별도로 제작 공급되었다.
영상회의 단말에 연결된 카메라는 대개 지정된 방향만 바라보는 고정형과 자유롭게 카메라 방향과 초점거리를 조정할 수 있는 팬틸트줌(PTZ) 카메라로 나뉜다. 저가형 영상회의 단말 제품은 카메라가 모니터에 일체로 고정된 것이 대부분이고, 중간 가격대에서 PTZ 카메라를 적용한 제품이 나온다. 다만, 3개 이상의 멀티 스크린을 지원하는 텔레프레즌스형 초고가 영상회의 장비는 스크린마다 고정형 카메라를 설치한 형태가 대부분이다.
대부분의 PTZ 카메라는 기준점으로부터 패닝 각도와 틸팅 각도를 저장하는 방법으로 특정 자세(Position)를 기억할 수 있는 '프리셋(Preset) 기능'을 지원한다. 사용자가 기억된 프리셋 식별번호를 입력하면, 카메라는 현재 자세에서 프리셋된 자세로 바꾸어 촬영하며, 프리셋 방식에 따라서는 기설정된 확대 비율로 촬영할 수도 있다.
종래의 카메라 추적 시스템은 영상회의를 위한 단말과 별개로 제작되며, 대개 수 백만원에서 수 천만원대의 고가 장비이다. 카메라 추적 시스템은 단말 측에 설치하는 장비이기 때문에, 여러 곳의 회의실에 영상회의 시스템을 구축한다면 그만큼 더 많은 비용이 든다.
발언자를 인식하기 위해, 카메라 추적 시스템은 회의 테이블 탁자 위에 지정된 자리마다 마이크와 버튼을 설치한다. 마이크는 거위 목처럼 구부러진 형태의 소위 '구즈넥(Gooseneck) 마이크'가 통상 사용되며, 구즈넥 마이크에 발언용 버튼이 일체화되어 있는 경우가 대부분이다. 참석자가 자신의 자리에 있는 마이크 버튼을 누르면, 마이크의 위치가 고정되어 있기 때문에 발언자의 위치를 인식할 수 있다. 마이크의 위치를 고려하여 카메라의 프리셋이 저장되면, 참석자가 자신의 자리에 있는 마이크 버튼을 누를 때 카메라가 프리셋된 위치로 자세를 바꾼다.
종래에 알려진 다른 카메라 추적 시스템은 버튼 등을 조작하는 기계적인 방식 대신에 마이크에 입력되는 음성 볼륨 크기에 따라서 발언자를 인지하는 방법을 제시한다. 영상회의에서 특정 발언자가 발언을 하면, 발언자의 마이크 뿐만 아니라 가까운 거리에 있는 다른 마이크에도 발언자의 음성이 입력될 수 있다. 그러나 발언자 마이크로 입력되는 음성의 크기가 일반적으로는 가장 크기 때문에, 단말 측에 설치된 추적 시스템이 여러 마이크에서 입력되는 음성 신호의 세기를 비교하여 발언자의 위치를 인식하는 방법이다.
<영상회의 시스템의 오디오 장치>
대부분의 영상회의 단말은 에코 제거 기능을 가지고 있다. 예를 들어, A 단말과 B 단말이 영상통화를 한다고 가정할 경우, A 단말은 발언자의 음성을 마이크를 통해 입력받아 영상통화 상대방인 B 단말에게 전달하지만 A 단말의 스피커로 출력하지 않는다. 반면에 B 단말에서 전달되는 오디오 신호는 A 단말의 스피커를 통해 출력됨으로써 회의가 진행된다.
B 단말에서 전달되는 오디오 신호가 A 단말의 스피커를 통해 출력되면, 그 오디오 신호가 다시 A 단말의 마이크를 통해 입력되면서 에코가 발생하는 것이다. 그러나 에코 제거 기능을 가진 A 단말은 마이크를 통해 입력되는 신호에서 B 단말에서 전달되는 오디오 신호와 파형이 동일한 것을 제거함으로써 에코를 제거한다.
A 단말은 마이크를 통해 입력된 오디오 신호를 스피커로 직접 출력하지 않기 때문에, A 단말이 에코 신호를 제거하지 않더라도 즉시 A 단말의 스피커로 출력되지 않는다. 에코 신호는 B 단말에게 전달되면서 B 측은 A 단말이 제공한 오디오 신호이므로 그대로 출력하면서 에코를 만든다. 또한, 그 에코 신호는 동일한 과정으로 다시 A 단말로 전달되는데, A 단말은 B 단말에서 제공된 오디오 신호이므로 에코 신호를 스피커로 출력하게 된다. 이런 과정이 연속적으로 반복해서 일어나면서 큰 잡음이 되는 것이다.
에코 제거 방법은 입력된 오디오신호에서 출력 오디오 신호와 일치하는 파형을 제거하는 것이다. 통상 오디오가 출력 장치로부터 재생되어 다시 마이크로 입력되어 처리되기까지 통상 수십에서 수백 밀리 세컨드(ms)의 지연시간이 발생한다. 지연시간은 장치마다 다르기 때문에, 입력된 오디오 신호에서 에코 제거기능으로 제거할 오디오 신호를 검출하는 것이 용이하지 않다. 다시 마이크로 입력될 때의 신호 세기가 출력 신호의 세기와 다른 부분도, 음성 파형을 제거를 어렵게 한다. 당연히, 잡음이 많거나 음향이 울리는 공간에서는 에코 제거가 더욱 어렵다. 따라서, 에코 제거는 영상회의 분야에서 복잡하고 어려운 기술이다.
[선행특허문헌]
대한민국공개특허 제10-2016-0062787호 (비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템)
본 발명의 목적은 다중-포인트의 영상회의 서비스를 제공하되, 복수 개의 영상회의용 단말을 하나의 영상회의 포인트로 처리하는 논리적 단말 서비스를 제공할 수 있는 영상회의 서버를 제공함에 있다.
본 발명의 목적은, 별도의 카메라 추적 시스템을 구비하지 않더라도, 다양한 카메라 추적 이벤트에 따라 카메라의 촬영을 제어할 수 있는 영상회의 서버를 제공함에 있다.
본 발명의 목적은 하나의 논리적 단말에서 제공되는 복수 개의 오디오 신호 또는 영상 신호를 이용하여 발언자 위치를 인식함으로써 카메라 추적 이벤트를 생성할 수 있는 영상회의 서버 및 그 카메라 추적방법을 제공함에 있다.
본 발명의 다른 목적은 영상회의 포인트에서 제공되는 제어명령에 따라 카메라 추적 이벤트를 생성할 수 있는 영상회의 서버 및 그 카메라 추적방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 영상회의 서버의 영상회의 서비스 제공방법은, 등록단계, 호연결단계, 소스 수신단계, 타깃 인식단계 및 카메라추적단계를 포함하여 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 서비스한다.
등록단계는 복수 개의 물리적 단말을 제1 논리적 단말로 등록함으로써 상기 복수 개의 물리적 단말이 하나의 영상회의 포인트(Point)처럼 동작하도록 등록한다. 이때, 상기 제1 논리적 단말의 등록정보에는 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크 사이의 배치 관계를 등록할 수 있다. 호연결단계는 복수 개 영상회의 포인트들 사이의 영상회의를 연결하되, 상기 제1 논리적 단말에 대해서는 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결한다. 소스 수신단계는 상기 복수 개 영상회의 포인트가 제공하는 소스 영상과 소스 오디오 신호를 수신하되, 상기 제1 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상과 소스 오디오 신호를 수신한다.
타깃 인식단계는 상기 복수 개 마이크 사이의 배치 관계를 기초로, 상기 복수 개의 물리적 단말이 제공한 상기 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 상기 제1 논리적 단말에서 타깃의 위치를 인식한다. 이에 따라, 카메라 추적단계는 상기 타깃 위치를 기초로 상기 복수 개의 물리적 단말에 연결된 카메라들 중 하나를 추적용 카메라로 선택하고, 상기 추적용 카메라가 상기 타깃을 촬영하도록 제어한다.
실시 예에 따라, 상기 타깃 인식단계는, 상기 복수 개 마이크 사이의 배치 관계와 상기 복수 개의 물리적 단말이 제공한 상기 소스 오디오 신호의 세기를 기초로 상기 제1 논리적 단말에서 타깃의 위치를 인식할 수 있다.
상기 타깃 인식의 다른 방법으로 제어명령을 사용할 수 있다. 이때 제어명령은 상기 카메라-자세의 식별번호 중 하나로서, 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말로부터 제공되거나 사용자 모바일 단말기로부터 제공되거나 다른 영상회의 포인트로부터 제공되는 것이 바람직하다.
다른 실시 예에 따라, 상기 제1 논리적 단말에 포함된 물리적 단말이 복수 개의 카메라-자세를 프리셋한 경우에, 상기 카메라 추적단계는 상기 타깃 인식단계에서 인식한 타깃의 위치에 대응하는 카메라-자세의 식별번호를 상기 복수 개 물리적 단말 중에서 상기 추적용 카메라가 연결된 물리적 단말에게 제공할 수 있다. 이를 통해, 상기 추적용 카메라가 자세를 바꾸어 타깃을 추적하게 된다.
또 다른 실시 예에 따라, 상기 제1 논리적 단말의 등록정보에는, 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계가 등록할 수 있다. 이 경우, 상기 카메라 추적단계는 상기 타깃 위치에 해당하는 가상의 타깃 위치를 확인하여 상기 등록정보에서 상기 추적용 카메라와 상기 카메라-자세의 식별번호를 추출할 수 있다. 또한, 또 다른 실시 예에 따른 상기 등록단계에는, 상기 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계를 도식적으로 입력받기 위한 화면을 사용자에게 표시하는 단계를 더 포함할 수 있다.
한편, 본 발명의 영상회의 서버의 영상회의 서비스 제공방법은, 상기 소스 수신단계를 통해 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 제1 논리적 단말의 복수 개 물리적 단말에게 분배하는 멀티 스크린 영상 제공단계와; 상기 소스 오디오 수신단계를 통해 수신한 전체 소스 오디오 중에서 다른 영상회의 포인트에서 제공한 오디오 신호를 상기 제1 논리적 단말에게 제공할 출력용 오디오 신호로 믹싱하는 오디오 처리단계와; 및 상기 제1 논리적 단말에 속하는 복수 개의 물리적 단말 중에서 출력담당-물리적 단말에게 상기 출력용 오디오 신호를 전송하는 오디오 출력단계를 포함할 수 있다.
실시 예에 따라, 상기 멀티 스크린 영상 제공단계는, 상기 제1 논리적 단말의 복수 개의 물리적 단말 각각으로부터 수신한 소스 영상을 상기 다른 영상회의 포인트에게 제공할 영상에 배치하되, 상기 복수 개의 물리적 단말 중 상기 타깃 위치에 대응되는 물리적 단말로부터 제공되는 소스 영상을 타깃용으로 설정된 영역에 배치할 수 있다. 다른 방법으로, 상기 멀티 스크린 영상 제공단계는 상기 복수 개 영상회의 포인트들 중에서 상기 오디오 신호의 세기가 가장 높은 논리적 단말에서 제공하는 모든 소스 영상을 타깃용으로 설정된 영역에 배치할 수도 있다.
또한, 상기 호연결단계는, 발신측 포인트로부터 호 연결 요청 메시지를 수신하는 단계와; 상기 호 연결 요청 메시지 수신에 따라 발신측과 수신측을 연결하는 중에, 상기 발신측 또는 수신측이 상기 제1 논리적 단말인지 여부를 조회하는 단계와; 상기 조회 결과에 따라 상기 발신측이 제1 논리적 단말의 물리적 단말이면, 상기 제1 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계와; 상기 조회 결과에 따라 상기 호 연결 요청된 수신측이 제2 논리적 단말의 물리적 단말이면 상기 제2 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계를 수행할 수 있다.
본 발명은 영상회의 서비스 제공할 수 있는 영상회의 서버에도 미친다. 본 발명의 서버는, 단말등록부, 통화연결부 타깃인식부 및 카메라추적부를 포함한다.
단말등록부는 복수 개의 물리적 단말을 하나의 영상회의 포인트(Point)처럼 동작하는 제1 논리적 단말로 등록하되, 상기 제1 논리적 단말의 등록정보에는 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크 사이의 배치 관계를 등록한다. 통화연결부는 상기 제1 논리적 단말을 포함하는 복수 개 영상회의 포인트들 사이의 영상회의를 연결하되 상기 제1 논리적 단말에 대해서는 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하며, 상기 복수 개 영상회의 포인트들로부터 소스 영상 및 소스 오디오 신호를 수신하되 상기 제1 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상 및 소스 오디오 신호를 수신한다.
타깃인식부는 상기 복수 개 마이크 사이의 배치 관계를 기초로, 상기 복수 개의 물리적 단말이 제공한 상기 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 상기 제1 논리적 단말에서 타깃의 위치를 인식한다. 카메라추적부는 상기 타깃 위치를 기초로 상기 복수 개의 물리적 단말에 연결된 카메라들 중 하나를 추적용 카메라로 선택하고, 상기 추적용 카메라가 상기 타깃을 촬영하도록 제어한다.
본 발명의 영상회의 서버는 제한된 개수(통상 하나 또는 두 개)의 디스플레이를 구비한 영상회의 단말(물리적 단말) 복수 개를 논리적으로 묶어 마치 하나의 영상회의 포인트로 동작하는 논리적 단말처럼 동작하도록 구현할 수 있다. 영상회의 서버는 논리적 단말을 구성하는 복수 개의 물리적 단말에게 제공하는 영상의 분배를 통해 논리적 단말이 멀티 스크린을 지원하는 것처럼 처리할 수 있다.
멀티 포인트 영상회의에서, 영상회의 서버는 논리적 단말이 구비한 스크린, 즉 디스플레이 장치의 개수에 맞추어 다른 영상회의 포인트의 영상을 분배하기 때문에, 논리적 단말에 포함된 물리적 단말의 입장에서는 종래에 비해 표시해야 하는 다른 영상회의 포인트의 수가 줄어든 효과가 있고, 따라서 하나의 스크린에 표시되는 영상의 복잡도도 낮아진다. 영상의 복잡도가 낮아지므로 가령 성능이 떨어지는 물리적 단말이나 속도가 낮은 네트워크에서 영상 품질이 개선되는 효과가 있다.
본 발명의 논리적 단말은 단지 영상회의 서버의 내부 처리를 통해 구현되는 것이고 물리적 단말 사이에 직접적인 연결이 없으므로, 설사 서로 다른 영상코덱을 구비하거나 시스템 성능이 서로 다르거나 서로 다른 제조사의 물리적 단말이라도 하나의 논리적 단말로 묶어 처리하는데 문제가 없다. 당연히, 논리적 단말을 통해 멀티 스크린을 제공하는 것이므로, 멀티 스크린 지원을 위해 개별 영상회의 단말의 시스템 자원을 업그레이드할 필요도 없다.
본 발명에 의하면, 복수 개의 물리적 단말로 구현된 논리적 영상회의 단말에 대해 마치 하나의 영상회의 단말처럼 오디오가 제공되도록 오디오 신호를 제공할 수 있다. 따라서 논리적 단말에 속하는 복수 개의 물리적 단말이 개별적으로 스피커를 구비하더라도 특정 출력담당-물리적 단말만 오디오 신호를 출력함으로써 논리적 단말이 하나의 영상회의 포인트처럼 동작하도록 한다.
본 발명에 의하면, 영상회의 서버는 각종 상황에 따라 논리적 단말 측 카메라의 촬영을 제어할 수 있다. 예를 들어, 영상회의 서버는 복수 개의 영상회의 단말로 구성된 논리적 단말 차원에서, 카메라 추적 제어의 대상이 될 타깃을 인식(예컨대, 발언자)를 인식하고, 논리적 단말이 구비한 복수 개의 카메라 중 하나로 발언자를 촬영하도록 제어할 수 있다. 또한, 영상회의 서버는 영상회의 포인트에서 제공되는 제어명령에 따라 카메라 추적 이벤트를 생성할 수 있다.
본 발명의 논리적 단말은 복수 개 영상회의 물리적 단말로 구성되기 때문에, 종래에 사용되던 개별 영상회의 단말 차원에서 동작하는 종래의 카메라 추적 시스템으로는 발언자 인식 및 카메라 추적을 수행할 수 없는 문제를 해결한다.
또한, 본 발명에 의하면, 복수 개의 물리적 단말을 마치 하나의 논리적 단말인 것처럼 오디오 신호를 처리하는 과정에서, 출력담당-물리적 단말이 아닌 이유로 오디오 신호를 출력하지 않는 물리적 단말을 통해 입력되는 오디오 신호에 포함될 수 있는 에코를 제거할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상회의 시스템의 구성도,
도 2는 도 1의 3개 포인트가 모두 참여하는 다중 영상회의 연결도,
도 3은 본 발명의 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법,
도 4는 본 발명의 카메라 추적방법의 설명에 제공되는 예시도,
도 5는 본 발명의 논리적 단말의 등록과정에 사용되는 화면의 예시도,
도 6은 본 발명의 카메라 추적방법의 설명에 제공되는 흐름도,
도 7은 도 1의 영상회의 시스템에서의 오디오 신호 처리를 도시한 도면,
도 8은 본 발명의 오디오 처리 방법의 설명에 제공되는 흐름도, 그리고
도 9는 논리적 단말에서 에코 제거방법의 설명에 제공되는 흐름도이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1을 참조하면, 본 발명의 영상회의 시스템(100)은 서버(110)와 복수 개의 영상회의 단말이 네트워크(30)를 통해 연결된 것으로서, 2개 연결 포인트(Point)가 연결된 1:1 영상회의뿐만 아니라 3개 이상의 포인트가 연결된 다중 영상회의를 지원한다. 도 1에 도시된 영상회의 단말(11, 13, 15, 17, 19)은 연결 가능한 영상회의 단말을 예시적으로 도시한 것이다.
서버(110)와 영상회의 단말(11, 13, 15, 17, 19) 간의 연결 네트워크(30)는 아이피 망(IP Network)이며, 게이트웨이(Gateway)를 통해 연결되는 이종 네트워크를 포함하거나 이종 네트워크와 연결될 수 있다. 예컨대, 이동통신망을 이용하는 무선 전화기도 본 발명의 영상회의 단말이 될 수 있으며, 이 경우 네트워크(30)는 게이트웨이(Gateway)를 통해 연결되어 아이피 패킷을 처리할 수 있는 이동통신망을 포함한다.
서버(110)는 본 발명의 영상회의 시스템(100)을 전반적으로 제어하며, 종래의 일반적인 영상회의 처리용 서버 기능에 더하여, 단말등록부(111), 통화연결부(113), 영상처리부(115), 오디오처리부(117), 타깃인식부(119), 카메라추적부(121) 및 에코처리부(123)를 포함한다.
단말등록부(111)는 아래에서 설명하는 물리적 단말과 논리적 단말의 등록, 설정 및 관리 등을 수행하며, 통화연결부(113)는 본 발명의 영상회의 호(Call) 연결을 제어한다. 영상처리부(115)는 영상회의 호가 연결된 경우에 물리적 단말 및/또는 논리적 단말들 간으로 제공하는 영상을 처리(믹싱, 디코딩, 인코딩 등)함으로써 텔레프레즌스와 같은 멀티 스크린(Multi Screen)을 구현한다.
본 발명에서 특징적인 오디오처리부(117)는 논리적 단말에서의 오디오 처리를 제어하며, 타깃인식부(119)와 카메라추적부(121)는 논리적 단말에서의 카메라 추적 제어의 대상이 될 타깃(Target)의 위치를 인식하고 카메라 추적 제어를 수행한다. 에코처리부(123)는 논리적 단말에서 전송되는 오디오 신호에 대해 에코를 제거한다.
단말등록부(111), 통화연결부(113), 영상처리부(115), 오디오처리부(117), 타깃인식부(119), 카메라추적부(121) 및 에코처리부(123)의 동작은 아래에서 다시 설명한다.
논리적 단말
본 발명의 영상회의 시스템(100)은 논리적 단말이라는 개념을 제시한다. 논리적 단말은 종래의 일반적인 영상회의 단말 복수 개를 마치 하나의 영상회의 단말인 것처럼 논리적으로 조합한 것이다. 논리적 단말은 2개 이상의 영상회의 단말로 구성하지만, 논리적 단말을 구성하는 복수 개의 영상회의 단말들 간의 직접 연결은 없다. 다시 말해, 논리적 단말을 구성하기 위해, 논리적 단말을 구성하는 복수 개 영상회의 단말들간의 직접 연결은 필요없다.
이하에서는 논리적 단말과 종래의 일반적인 영상회의 단말을 구분하기 위해, 종래의 일반적인 영상회의 단말을 '물리적 단말'이라고 칭한다. 다시 말해, 논리적 단말은 복수 개의 영상회의용 물리적 단말이 단지 논리적으로 결합된 것이다.
도 1의 영상회의 시스템(100)에 포함된 모든 영상회의 단말(11, 13, 15, 17, 19)은 물리적 단말이다. 물리적 단말은 영상회의에 관한 표준 프로토콜을 지원하되 배경기술에서 설명한 텔레플레즌스 서비스를 제공할 수 있는 단말이 아니며, 하나의 디스플레이 장치가 연결되거나 문서 회의를 위해 두 개의 디스플레이 장치가 연결될 수 있는 영상회의 단말이다.
표준 프로토콜로는 H.323 또는 SIP(Session Initiation Protocol) 등이 있다. 당연히, 각 영상회의 단말(11, 13, 15, 17, 19) 중에 문서회의를 지원하는 단말은 H.239와 BFCP(Binary Floor Control Protocol)를 지원한다. 예컨대, 서버(110)와 물리적 단말(11, 13, 15, 17, 19)들 사이에 SIP 프로토콜에 따른 SIP 세션이 생성된다고 할 경우에, 아래에서 설명하는 영상신호 또는 오디오 신호는 RTP 패킷의 형태로 전송된다.
각 물리적 단말(11, 13, 15, 17, 19)은 영상/음성 코덱(Codec)을 구비하고, 개별적으로 발언자의 음성을 오디오 신호로 변환하는 마이크(11-1, 13-1, 15-1, 17-1, 19-1)와, 오디오 출력을 위한 스피커(11-2, 13-2, 15-2, 17-2, 19-2)와, 카메라(11-3, 13-3, 15-3, 17-3, 19-3)를 구비한다.
물리적 단말 각각은 종래의 영상회의 시스템에서 하나의 영상회의 포인트로 동작한다. 그러나 본 발명의 논리적 단말에 속하는 복수 개의 영상회의 단말들은 전체로서 하나의 단말처럼 동작하기 때문에 전체로서 하나의 영상회의 포인트로 동작하기 때문에, 논리적 단말은 그 구성원인 복수 개의 물리적 단말들이 개별적으로 보유한 디스플레이 장치를 전부 합친 개수만큼의 디스플레이 장치를 구비한 하나의 영상회의 포인트가 된다. 필요에 따라, 논리적 단말은 그 복수 개의 구성 단말 중 하나를 '대표 단말'로 지정할 수 있다. 논리적 단말이 아무리 많은 물리적 단말을 포함하더라도 영상회의 내에서는 하나의 영상회의 포인트로 취급된다.
예컨대 도 1은 제1 포인트(A), 제2 포인트(B) 및 제3 포인트(C)가 상호 연결된 다중 영상회의 시스템(100)이다. 제1 포인트(A)에는 제1 논리적 단말(130)이 배치되고, 제2 포인트(B)에는 제2 논리적 단말(150)이 배치되었고, 제3 포인트(C)에는 제5 물리적 단말(19)이 배치됨으로써, 도 1의 시스템(100)은 2개의 논리적 단말(130, 150)과 하나의 물리적 단말(19)이 서버(110)에 의해 영상통화를 위해 연결된 상태이다. 제1 논리적 단말(130)은 각각 1개의 디스플레이 장치를 가진 제1 물리적 단말(11)과 제2 물리적 단말(13)로 구성되었고, 제2 논리적 단말(150)은 2개의 디스플레이 장치를 가진 제3 물리적 단말(15)과 1개의 디스플레이 장치를 가진 제4 물리적 단말(17)로 구성되었다.
물리적 단말(11, 13, 15, 17, 19)에는 고정형 카메라가 연결될 수도 있고, 팬틸트줌(PTZ) 카메라가 연결될 수도 있다. 다만, 본 발명이 제시하는 카메라 추적 기능을 수행하기 위해서는, (첫 째) 적어도 논리적 단말에 속하는 물리적 단말(11, 13, 15, 17)에 연결된 카메라(11-3, 13-3, 15-3, 17-3)는 PTZ 카메라이어야 한다. (둘 째) 논리적 단말에 속하는 물리적 단말들 각각은 적어도 하나의 카메라-자세를 프리셋(Preset)할 수 있어야 한다. (셋 째) 마지막으로, 논리적 단말에 속하는 물리적 단말은 카메라의 프리셋과 관련하여 표준 또는 비표준 원격 카메라 제어(FECC: Far End Camera Control)를 허용해야 한다. 예를 들어, 제1 논리적 단말(130)에 속하는 제1 물리적 단말(11)이 제1 자세와 제2 자세를 프리셋되었다고 가정하자. 서버(110)가 제1 자세에 대한 프리셋 식별번호를 제1 물리적 단말(11)에게 제공하면 제1 물리적 단말(11)은 제1 카메라(11-3)가 제1 자세를 취하도록 제어할 수 있어야 한다. 제1 카메라(11-3)는 패닝(Panning)/틸팅(Tilting)을 통해 제1 자세를 취하게 된다.
논리적 단말은 서버(110)에 의해 관리되는 논리적 구성이고 서버(110)와 단말 사이의 표준 프로토콜은 1:1 연결만을 지원하므로, 서버(110)와 논리적 단말의 연결은 논리적 단말을 구성하는 복수 개 물리적 단말 각각이 서버(110)와 표준 프로토콜에 따라 개별적으로 연결되는 것을 의미한다. 예컨대, SIP 프로토콜에 의하면, 도 1은 논리적 단말의 구성을 불문하고, 5개의 물리적 단말(11, 13, 15, 17, 19) 각각이 서버(110)와 SIP 세션(Session)을 생성하여 전체 5개의 세션이 생성된 것이다.
본 발명은 영상회의 시스템의 서버(110)는 다음의 연결을 지원한다.
(1) 하나의 물리적 단말이 하나의 논리적 단말과 연결되는 영상회의
예컨대 도 1의 제5 물리적 단말(19)이 제1 논리적 단말(130)을 호출하는 경우이다. 서버(110)는 제1 논리적 단말(130)을 구성하는 제1 및 제2 물리적 단말(11, 13)을 동시 또는 순차 호출하여 연결한다.
(2) 논리적 단일 단말이 하나의 물리적 단말을 호출하는 영상회의
예컨대 사용자가 제1 논리적 단말(130) 중 대표 단말인 제1 물리적 단말(11)로 제5 물리적 단말(19)을 호출하는 경우이다. 서버(110)는 제1 논리적 단말(130)을 구성하는 다른 물리적 단말인 제2 물리적 단말(13)과 수신측인 제5 물리적 단말(19)을 동시 또는 순차 호출하여 연결한다.
(3) 하나의 논리적 단말이 다른 논리적 단말을 호출하는 영상 통화
예컨대, 도 1의 제1 논리적 단말(130)이 제2 논리적 단말(150)을 호출하는 경우이다. 사용자가 제1 논리적 단말(130)의 대표 단말인 제1 물리적 단말(11)을 이용하여 제2 논리적 단말(150)을 호출할 경우에 서버(110)는 제2 논리적 단말(150)을 구성하는 2개의 물리적 단말(15, 17)을 동시 또는 순차 호출하고, 발신 측의 대표 단말 이외의 나머지 단말인 제2 물리적 단말(13)도 호출하여 연결한다.
(4) 다중 포인트 영상회의
본 발명의 영상회의 시스템은 도 1에서처럼, 논리적 단말이 하나의 포인트로 연결된 3개 포인트 이상의 연결을 지원한다. 하나의 논리적 단말과 2개의 물리적 단말이 연결될 수도 있고, 두 개 이상의 논리적 단말과 하나의 물리적 단말이 연결될 수도 있고, 두 개 이상의 논리적 단말끼리 연결될 수도 있다. 다중 포인트의 연결은 종래에 알려진 방법으로 처리할 수 있다. 다만, 새로 참여하는 포인트가 논리적 단말이면 그 구성원인 물리적 단말 모두와 연결해야 한다는 것이 다르다.
<멀티 스크린 지원>
본 발명의 영상회의 시스템(100)은 논리적 단말 체계를 이용하여 텔레프레즌스와 같은 멀티 스크린을 제공할 수 있다. 논리적 단말은 비록 가상의 단말이지만, 구성원인 복수 개 물리적 단말 전체가 제공할 수 있는 스크린의 수만큼을 구비한 것으로 처리된다.
서버(110)는 각 논리적 단말에 포함된 디스플레이 장치의 개수(m1, 또는 서버가 각 논리적 단말에게 제공해야 하는 영상의 개수)와, 영상회의 연결된 포인트들에 포함된 전체 물리적 단말의 개수(M, 소스 영상의 개수)를 매칭하는 방법으로 다중 영상회의 영상을 재구성함으로써, 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하여 제공한다. 여기서 m3은 논리적 단말이 영상회의를 위해 표시해야 하는 소스 영상의 개수로서, 다음의 수학식 1과 같다.
Figure PCTKR2019001905-appb-M000001
이때, m2는 각 논리적 단말을 구성하는 물리적 단말의 개수이다.
한편, 각 물리적 단말은 자신의 영상(소스 영상)이 표시되도록 설정하거나 요청할 수 있다. 이 경우에, 각 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하여 논리적 단말을 구성하는 각 물리적 단말에게 분배할 때, 해당 물리적 단말이 제공한 소스 영상을 함께 믹싱하여 제공할 수 있다.
m3이 m1과 동일한 값이 아닌 한, 서버(110)는 소스 영상을 믹싱하는 재처리가 필요하다. 다만, 실시 예에 따라, 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하지 않고, m3 개의 영상을 일정한 시간간격으로 순차적으로 제공할 수 있다. 예를 들어, m3=3이고 m1=1인 경우에 3개의 소스 영상을 믹싱 등을 통해 재편집하지 않고 3개의 소스 영상을 순차적으로 제공할 수도 있다. 이러한 경우, 종래의 표준 영상회의 단말에서는 불가능했던 릴레이 방식의 영상회의 처리도 가능해진다.
한편, 논리적 단말의 구성 여부를 불문하고, 본 발명의 영상회의에 참여한 어느 물리적 단말이라도 발표자 토큰을 획득하면 2개의 소스 영상을 제공할 수 있다. 예를 들어, 발표자 토큰의 획득에 따라, 제1 물리적 단말(11)은 메인 영상과 함께 문서회의용 영상을 함께 서버(110)로 제공할 수 있다. 이 경우, M은 영상회의 연결된 포인트들에 포함된 전체 물리적 단말의 개수에 1을 더한 값이 된다.
도 2는 도 1의 3개 포인트가 모두 참여하는 다중 영상회의 연결도로서, 제1 논리적 단말(130)과 제2 논리적 단말(150) 및 제5 물리적 단말(19)이 상호 연결되어 3개 포인트의 다중 영상회의가 연결되었다고 가정하자. 도 2를 참조하면, 이 영상회의에 포함된 물리적 단말(11, 13, 15, 17, 19)의 개수는 5개(M=5)이다. 즉, 5개의 물리적 단말(11, 13, 15, 17, 19)이 제공하는 5개의 소스 영상(11a, 13a, 15a, 17a, 19a)이 서버(110)로 제공되므로, 서버(110)는 각 포인트가 구비한 디스플레이 장치의 개수(m1)에 맞추어 5개 소스 영상을 편집하여 각 포인트로 제공한다.
제1 논리적 단말(130)은 제1 물리적 단말(11)과 제2 물리적 단말(13)을 합쳐 2개의 디스플레이 장치를 구비하므로, m1=2, m2=2 이다. 이번 3개 포인트 다중 영상회의에서 제1 논리적 단말(130)에 영상회의 연결된 단말은 물리적 단말을 기준으로 제3 내지 제5 물리적 단말(15, 17, 19)로서 3개(m3, 3=5-2)이므로, 3개의 물리적 단말이 제공하는 3개의 소스 영상을 2개의 영상으로 재편집하여 표시해야 한다. 어느 스크린에 어떤 소스 영상을 표시할 지 여부는 별개로 결정할 수 있으며, 도 2에서는 제1 물리적 단말(11)이 제5 물리적 단말(19)의 소스 영상을 표시하고, 제2 물리적 단말(13)이 제3 물리적 단말(15)과 제4 물리적 단말(17)의 소스 영상을 하나로 믹싱한 영상을 표시한다.
제2 논리적 단말(150)은 제3 물리적 단말(15)이 2개의 디스플레이 장치를 구비하고 제4 물리적 단말(17)이 하나의 디스플레이 장치를 구비하여 3개의 디스플레이 장치를 포함하므로, m1=3이고 m2=2이다. 따라서 제2 논리적 단말(150)에 대해, 서버(110)는 3개의 물리적 단말이 제공하는 소스 영상을 3개의 영상으로 표시한다. 표시해야 할 소스 영상의 개수와 스크린의 개수가 일치하므로, 하나씩 다시 표시하면 된다. 어느 스크린에 어떤 소스 영상을 표시할 지 여부는 별개로 결정할 수 있으며, 도 2에서는 제3 물리적 단말(15)이 제1 및 제2 물리적 단말(11, 13)의 소스 영상을 각각 표시하고, 제4 물리적 단말(17)은 제5 물리적 단말(19)이 제공하는 소스 영상을 표시하도록 구성되었다.
제5 물리적 단말(19)은 종래와 같이 자체로 하나의 영상회의 포인트이지만, 수학식 1이 동일하게 적용된다. 제5 물리적 단말(19)에서 m1=2, m2=1 이므로, 서버(110)는 4개 소스 영상(m3=5-1)을 2개(m1)의 영상으로 재편집하여 제5 물리적 단말(19)에게 제공한다. 제5 물리적 단말(19)은 2개의 디스플레이 장치에 제1 논리적 단말(130)과 제2 논리적 단말(150)의 전체 4개 물리적 단말(11, 13, 15, 17)이 제공하는 소스 영상을 표시해야 하므로, 4개 소스 영상을 적절히 편집하여 2개 영상으로 표시하도록 구성되었다.
만약, 제2 논리적 단말(150)을 구성하는 제3 물리적 단말(15)이 발표자 토큰을 획득하였다면 2개의 소스 영상을 제공할 수 있다. 이 경우, 제2 논리적 단말(150)는 전체 3개의 소스 영상을 제공하는 것이 되고, M은 6이 된다. 서버(110)가 제1 논리적 단말(130), 제2 논리적 단말(150) 및 제5 물리적 단말(19)에게 전송하기 위해 처리해야 하는 소스 영상의 개수도 위에 설명한 것보다 하나씩 많아진다.
논리적 단말에 대한 영상회의 서비스 (호 연결 및 영상처리)
이하에서는 도 3을 참조하여, 서버(110)의 멀티 스크린 영상회의 서비스 제공방법을 설명한다. 설명의 편리를 위해, 도 2에서 제1 논리적 단말(130)의 제1 물리적 단말(11)이 발신 측이 되어 제2 논리적 단말(150)을 수신 측으로 통화 연결하는 과정을 중심으로 설명한다. 우선 논리적 단말을 등록하는 과정이 필요하다.
<논리적 단말의 등록단계: S301>
서버(110)의 단말등록부(111)는 물리적 단말과 논리적 단말의 등록을 진행하고 그 등록정보를 관리한다. 물리적 단말의 등록은 논리적 단말의 등록에 우선하거나 동시에 수행되어야 하며, 각 물리적 단말의 등록에는 각 단말의 아이피 어드레스(IP Address)가 필수적이다.
물리적 단말의 등록과정은 종래에 알려진 다양한 방법으로 등록할 수 있다. 예를 들어, SIP 프로토콜 상의 Register 명령을 통한 위치 등록 과정을 이용하여 물리적 단말의 등록을 진행할 수도 있는데, 이때는 물리적 단말의 전화번호 등이 포함될 수 있다. 물리적 단말의 위치를 등록하게 되면, 서버(110)는 해당 물리적 단말이 현재 턴 온(Turn On)되어 동작 중인지 여부를 확인할 수 있다.
논리적 단말에는 다른 논리적 단말 또는 물리적 단말과 구분하기 위한 식별번호가 지정되어 등록될 수 있다. 논리적 단말의 등록은 해당 논리적 단말에 포함되는 물리적 단말들을 지정하고, 각 물리적 단말에 연결된 디스플레이 장치의 개수가 등록된다. 실시 예에 따라서는 논리적 단말에 포함된 디스플레이 장치 간의 배치(또는 상대적 위치)와, 소스 영상의 개수(m3)에 따른 영상 믹싱 방식(릴레이 방식 포함) 또는 믹싱 영상의 레이아웃(Layout) 등을 설정할 수도 있다. 예컨대, 단말등록부(111)는 제1 물리적 단말(11)과 제2 물리적 단말(13)을 제1 논리적 단말(130)로 구성하는 구성정보를 입력받아 등록하고 관리한다. 논리적 단말의 등록은 단말등록부(111)가 제공하는 웹 페이지를 이용하거나 별도의 접속 단말을 이용할 수 있다.
또한, 논리적 단말의 등록정보에는, 아래에서 설명하는 논리적 단말을 구성하는 물리적 단말 중 하나를 아래에서 설명하는 '출력담당-물리적 단말'로 등록한다. 상대방 영상회의 포인트로부터 제공되는 오디오 신호(아래에서 설명하는 '출력용 오디오 신호')는 논리적 단말의 구성 물리적 단말들 중 출력담당-물리적 단말이 보유한 스피커를 통해 출력한다.
또한, 논리적 단말의 등록정보에는, 구성원인 물리적 단말에 대한 정보와, 기설정된 카메라의 프리셋과, 아래에서 설명하는 카메라 추적 제어의 대상이 될 '가상의 타깃 위치'에 대한 상호 매핑정보가 등록된다. 프리셋은 특정 카메라와 가상의 타깃 위치에 매핑되어 있고, 카메라는 특정 물리적 단말에 매핑되어 있다. 따라서 서버(110)는 카메라 추적 제어의 대상이 될 타깃 위치를 확인하면, 타깃 위치에 매핑된 프리셋 정보, 카메라 및 물리적 단말을 확인할 수 있다. 이러한 등록은 도 4와 같이, 각 논리적 단말이 보유한 전체 카메라와 마이크의 배치 관계와 함께, 각 카메라의 프리셋 상태를 등록하는 것과 같다. 실시 예에 따라, 논리적 단말에 대한 카메라와 마이크 등록을 위해, 단말등록부(111)는 도 5와 같은 등록화면(pp)을 관리자에게 표시할 수 있다.
도 4와 도 5에 의하면, 발언자의 관점에서, 제1 물리적 단말(11)에 연결된 제1 마이크(11-1)와 제1 카메라(11-3)가 왼쪽에 배치되고, 제2 물리적 단말(13)에 연결된 제2 마이크(13-1)와 제2 카메라(13-3)가 오른쪽에 배치된 것으로 등록되었다. 이때, 도 4에서, P1, P2, P3, P4는 '가상의 타깃 위치'로서, 제1 카메라(11-3)는 P1을 촬영하기 위한 카메라-자세에 대한 프리셋 PS1과 P2를 촬영하기 위한 카메라-자세에 대한 프리셋 PS2를 설정할 수 있다. 제2 카메라(13-3)는 P3을 촬영하기 위한 카메라-자세에 대한 프리셋 PS3과 P4를 촬영하기 위한 카메라-자세에 대한 프리셋 PS4를 설정하고 있다. 도 5의 등록화면(pp)을 통해, 관리자는 제1 마이크(11-1)와 제2 마이크(13-1)의 배치를 조정하고, 가상의 타깃 위치에 맞추어 프리셋된 카메라-자세에 대한 식별번호 PS1, PS2, PS3, PS4 사이의 배치를 조정하며, 화살표(pp1)를 이용하여 카메라와 프리셋을 연결하는 방식으로 제1 논리적 단말(130)에서의 카메라와 마이크, 그리고 카메라의 프리셋 설정상태를 등록할 수 있다.
<영상회의를 위한 발신 호-연결 단계: S303>
각 영상회의 포인트 사이의 영상회의 호 설정은 서버(110)의 통화연결부(113)가 하나의 포인트에서 호 연결 요청을 수신함으로써 개시된다. SIP 프로토콜의 경우, 통화연결부(113)는 SIP 시그널링 메시지인 INVITE를 수신하게 된다. 도 2의 예에서, 제1 논리적 단말(130)의 제1 물리적 단말(11)이 제2 논리적 단말(150)의 제3 물리적 단말(15)을 호출하는 것이므로, 통화연결부(113)는 발신 측인 제1 물리적 단말(11)이 제3 물리적 단말(15)의 전화번호 또는 아이피 어드레스 이용하여 제3 물리적 단말(15)을 호출하는 INVITE 메시지를 수신하게 된다.
<발신자 및/또는 수신자가 논리적 단말인지 조회: S305>
서버(110)의 통화연결부(113)는 수신 측 전화번호가 논리적 단말을 구성하는 물리적 단말 중 하나의 전화번호(또는 아이피 어드레스) 인지를 단말등록부(111)에 조회한다. 마찬가지로, 발신 측이 논리적 단말을 구성하는 물리적 단말 중 하나의 전화번호(또는 아이피 어드레스) 인지 여부를 단말등록부(111)에 조회한다. 이를 통해, 통화연결부(113)는 해당 호 연결이 논리적 단말로의 연결인지 여부를 확인하게 된다.
실시 예에 따라서, 통화연결부(113)는 부가적으로 수신 측이 논리적 단말을 구성하는 물리적 단말인 경우에 해당 물리적 단말이 그 논리적 단말의 대표 단말인지를 추가적으로 확인함으로써 수신 측 대표 단말이 아닌 경우에는 수신 측을 논리적 단말로 처리하지 않을 수도 있다. 발신측의 경우에도 해당 발신측이 속한 논리적 단말의 대표 단말인지를 추가적으로 확인함으로써, 발신 측 대표 단말이 아닌 경우에는 발신 측을 논리적 단말로 처리하지 않을 수도 있다.
<영상회의 연결: S307, S309>
수신측 전화번호가 논리적 단말이면, 통화연결부(113)는 수신측 논리적 단말에 속한 모든 물리적 단말과 SIP 세션 생성을 위한 절차를 수행한다. 도 2의 예에서, 수신측이 제2 논리적 단말(150)이므로, 통화연결부(113)는 제3 물리적 단말(15) 및 제4 물리적 단말(17)과 개별적으로 SIP 세션을 생성한다. 이때, 통화연결부(113)는 제3 물리적 단말(15)과 제4 물리적 단말(17)에게 동시에 INVITE 메시지를 전달할 수도 있고, 순차적으로 전달할 수도 있다(S307).
도 2의 예에서, 발신측도 논리적 단말이므로, 통화연결부(113)는 제1 논리적 단말(130)의 제2 물리적 단말(13)과도 SIP 세션을 생성한다. 도 2의 예에서, 제5 물리적 단말(19)이 영상회의에 참여하였다면, 제5 물리적 단말(19)과도 SIP 세션을 생성한다. 따라서, 제1 논리적 단말(130)과 제2 논리적 단말(150) 그리고 제5 물리적 단말(19)이 영상회의에 참여하면서, 전체 5개의 SIP 세션이 생성된다(S309).
INVITE를 수신한 수신 측 및/또는 발신 측의 모든 물리적 단말은 SDP(Session Description Protocol) 정보를 통하여 영상 및 음성 코덱 등을 선택하는 협상을 한다. 성공적으로 협상이 완료되면 실제 세션이 성립되어 호가 연결된다.
<각 물리적 단일 단말로부터 소스 영상을 수신하는 단계: S311>
앞서 설명한 것처럼, 논리적 단말의 통화 연결은 실제로 논리적 단말을 구성하는 개별 물리적 단말과의 연결이므로, 복수 개의 세션이 성립된 것이다. 논리적 단말을 구성하는 물리적 단말도 개별적으로 소스 영상을 생성하여 서버(110)로 전송한다. 소스 영상은 아래에서 설명하는 소스 오디오 신호와 함께 RTP 패킷의 형태로 전송된다.
따라서, 도 2의 경우, 영상회의에 제1 논리적 단말(130), 제2 논리적 단말(150) 그리고 제5 물리적 단말(19)이 영상회의에 참여하였기 때문에, 통화연결부(113)는 세션 연결된 5개의 물리적 단말(11, 13, 15, 17, 19)이 제공하는 5개의 소스 영상(11a, 13a, 15a, 17a, 19a)을 수신하게 된다.
<서버의 소스 영상의 재처리: S313>
서버(110)의 영상처리부(115)는 SIP 세션을 통해 수신된 RTP 패킷을 디코딩하여 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 제공한 소스 영상을 획득하고, 각 포인트를 위한 영상으로 다시 렌더링(Rendering)하기 위하여 소스 영상을 믹싱하고 다시 인코딩한다. 다시 말해, 영상처리부(115)는 각 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집할 수 있다.
영상처리부(115)는 각 논리적 단말 또는 물리적 단말별로 기설정된 레이아웃에 따르거나, 각 단말 쪽에서 요청하는 레이아웃에 맞추어 소스영상의 믹싱을 수행한다.
앞서 설명한 것처럼, 영상처리부(115)의 영상처리 없이, 통화연결부(113)가 기설정된 시간간격으로 순차적으로 제공함으로써 릴레이 형태로 소스영상이 표시되도록 할 수도 있다. 이 경우에는 믹싱 등의 과정이 없이 그대로 전송하면 되고, 해당 단말의 영상 코덱에 매칭시킬 필요가 있는 경우에 영상 포맷을 변경하거나 트랜스 코딩(TransCoding)하는 정도로 충분하다.
<인코딩된 영상 데이타를 각 물리적 단말에게 전송: S315>
통화연결부(113)는 영상처리부(115)가 각 물리적 단말(11, 13, 15, 17, 19)을 위해 처리한 영상을 영상회의에 참여 중인 각 물리적 단말(11, 13, 15, 17, 19)에게 제공한다. 이로써 영상회의에 참여 중인 각 포인트는 마치 멀티 스크린에 의한 텔레프레즌스와 같은 서비스를 제공받을 수 있다.
이상의 방법에 의하여 본 발명의 영상회의 시스템(100)의 영상회의용 멀티 스크린이 처리된다.
(실시 예) S305 단계의 다른 방법
단말등록부(111)는 논리적 단말을 등록할 때, 해당 논리적 단말을 위한 가상의 전화번호를 생성하여 등록할 수 있다. 이러한 경우에 S305 단계에서 수신측 전화번호가 논리적 단말의 가상 전화번호인 경우에만 수신측을 논리적 단말로 처리할 수도 있다.
논리적 단말에서의 카메라 추적
이하에서는 도 6을 참조하여, 논리적 단말에서의 카메라 추적방법을 설명한다.
<소스 영상 및 소스 오디오 수신>
S301 내지 S309 단계를 통해 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 서버(110)와 SIP 세션을 개별적으로 형성하면, 논리적 단말의 구성에 관계없이 모든 물리적 단말(11, 13, 15, 17, 19)은 S311 단계를 통해 카메라(11-3, 13-3, 15-3, 17-3, 19-3)로 촬영한 소스 영상과, 마이크(11-1, 13-1, 15-1, 17-1, 19-1)로 입력받은 소스 오디오 신호를 RTP 패킷의 형태로 서버(110)에게 제공한다. 따라서 서버(110)의 통화연결부(113)는 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 제공하는 모든 RTP 패킷을 수신한다. 도 3의 S311 단계는 소스 영상의 수신만을 도시하고 설명하고 있으나, RTP 패킷을 통해 소스 영상과 소스 오디오가 같이 수신된다.
실시 예에 따라서는, 논리적 단말에 속하는 물리적 단말은 자신의 제어명령을 서버(110)로 제공할 수도 있다. 이때, 제어명령에는 마이크 버튼의 조작 여부 등이 포함된다.
<카메라 추적 대상이 될 타깃 인식: S601>
타깃인식부(119)는 카메라 추적 제어의 대상이 되는 타깃의 위치를 인식한다. 카메라 추적 이벤트는 논리적 단말 측에 배치된 카메라의 촬영을 제어하는 이벤트로서, ① 발언자의 위치를 자동 인식하는 과정을 통해 타깃의 위치를 인식하거나 ② 논리적 단말 또는 물리적 단말 측에서 제공되는 제어명령을 이용하여 타깃의 위치를 인식한다.
타깃인식부(119)의 타깃 위치 인식은 일부 예외적인 경우를 제외하면 각 논리적 단말에서 발언자의 위치 인식과 같다. 타깃의 위치 인식을 위해, 타깃인식부(119)는 해당 논리적 단말이 등록한 마이크와 프리셋 관련 등록정보를 기초로, 논리적 단말을 구성하는 복수 개의 물리적 단말이 제공한 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 해당 논리적 단말에서 타깃의 위치를 인식한다. 따라서 여기서의 제어명령은 통상 발언자 위치와 관련되며, 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호에 대응된다. 발언자의 위치를 인식하는 구체적인 방법은 아래에서 다시 설명한다.
다만, 타깃인식부(119)의 타깃 위치 인식은 S301 과정에서 등록된 해당 논리적 단말의 '가상 타깃 위치' 중에서 선택된다. 따라서, 도 4의 예에서, 제1 논리적 단말(130)에 대한 발언자 인식은 가상의 타깃 위치 P1, P2, P3, P4 중 하나를 선택하는 것과 같다.
또한, 제어명령에 따라서는 다른 영상회의 포인트에 배치된 카메라의 촬영을 제어하기 위한 것도 포함된다. 다만, 이때의 제어명령도 발언자 위치와 관련되지 만 현재 발언 중인 발언자가 아닐 수 있다.
<카메라가 타깃을 촬영하도록 제어: S603>
앞서 S301 단계에서 설명한 것처럼, 서버(110)에 등록된 프리셋은 특정 카메라와 가상의 타깃 위치에 매핑되어 있고, 카메라는 특정 물리적 단말에 매핑되어 있다.
카메라추적부(121)는 해당 논리적 단말에 등록된 카메라 중에서 S601 단계에서 인식된 타깃 위치 또는 제어명령에 따른 타깃 위치를 촬영하기 위한 '추적용 카메라'를 선정하고, 추적용 카메라가 타깃을 촬영하도록 제어한다. S601 단계에서 이벤트가 발생하면, 카메라추적부(121)는 논리적 단말의 등록정보에서 해당 이벤트와 연결된 물리적 단말과, 프리셋 식별번호를 확인한다.
예를 들어, S601 단계의 이벤트가 발언자 인식에 따른 타깃 인식이라면, 카메라추적부(121)는 인식된 발언자 위치(가상의 타깃 위치와 동일)와 연결된 물리적 단말과, 프리셋 식별번호를 확인한다. 만약, 발언자가 P2에 위치하는 것으로 인식되면, 카메라추적부(121)는 제1 물리적 단말(11)에게 프리셋 식별번호 PS2를 제공하여, 제1 물리적 단말(11)이 P2 위치를 촬영하도록 제어한다. 제1 카메라(11-3)는 프리셋 식별번호 PS2로 설정된 패닝 각도/ 틸팅 각도 및 줌 파라미터에 따라 자세를 바꾸어 P2 위치를 촬영하게 된다.
예를 들어, S601 단계의 이벤트가 다른 영상회의 포인트의 카메라 제어명령에 따른 이벤트라면, 카메라추적부(121)는 제어명령으로 수신한 위치(가상의 타깃 위치와 동일)와 연결된 물리적 단말과, 프리셋 식별번호를 확인한다.
이상의 방법으로 본 발명의 논리적 단말에서의 카메라 추적이 수행된다.
타깃 위치의 자동 인식
S601 단계의 카메라 추적 제어를 위한 타깃의 위치 인식은 다양한 방법으로 수행될 수 있다.
<소스 오디오를 이용하는 방법>
타깃인식부(119)는 S301 단계에서 논리적 단말에 대해 등록된 정보를 기초로, S311 단계에서 수신한 소스 오디오 신호를 이용하여 발언자의 위치를 인식하고 그 발언자의 위치를 타깃 위치로 인식할 수 있다. 논리적 단말 쪽에 위치한 특정 발언자가 발언을 하면, 해당 논리적 단말에 등록된 거의 대부분의 마이크를 통해 입력된다. 예를 들어, 도 4에서 P1 내지 P4 어디에서 발언하더라도 제1 마이크(11-1)와 제2 마이크(13-1)로 입력된다. 다만, 발언자의 위치에 따라 마이크로 입력되는 오디오 신호의 세기가 다르다.
가령, A1은 제1 마이크로 입력된 소스 오디오 신호의 평균 세기이고, A2는 제2 마이크로 입력된 소스 오디오 신호의 평균 세기라고 할 때, P1에서 발언하면 A1 >> A2가 되고, P2에서 발언하면 A1 > A2가 된다. P2에서 발언할 때보다 P1에서 발언할 때 A2로 입력되는 신호가 작다. 마찬가지로, P3에서 발언하면 A1 < A2가 되고, P4에서 발언하면 A1 << A2가 된다. 위와 같은 방법으로 소스 오디오 신호를 분석하여, 타깃인식부(119)는 해당 발언자의 위치를 판단할 수 있다.
이때, 제1 마이크로 입력된 소스 오디오 신호와 제2 마이크로 입력된 소스 오디오 신호에는 발언자의 오디오만 입력된다고 가정한다. 실제로 다른 잡음은 에코 제거 등을 통해 제거한다.
<소스 영상을 이용하는 방법>
타깃인식부(119)는 논리적 단말에서 제공되는 모든 소스 영상에 대한 영상처리를 통해 발언 중인 사람의 입을 인식하는 방법으로 발언자를 판단할 수 있다. 당연히, 타깃인식부(119)는 소스 오디오 신호를 이용하는 방법과 병행해서 발언자의 위치를 인식할 수도 있다. 이 방법도 발언자 위치를 타깃 위치로 인식하는 방법에 해당한다.
제어명령에 의한 타깃 위치 인식방법
S601 단계의 타깃 인식은 영상회의 단말이 제공하는 제어명령을 이용할 수 있다. 제어명령은 각 논리적 또는 물리적 단말측에서 제공된다. 제어명령은 아래에서 설명하는 것처럼 다양한 방식으로 제공될 수 있지만, 본 발명에서 제어명령은 기설정된 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호이다. 따라서 본 발명의 서버(110)와 물리적 단말 사이에 제어명령의 전송에 관한 프로토콜을 설정하고, 제어명령에 기설정된 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호를 포함시키는 방식으로 영상회의 포인트에서는 타깃의 위치를 지정할 수 있다. 타깃인식부(119)는 제어명령을 수신함으로써 타깃의 위치를 즉시 인식할 수 있다.
<DTMF 신호 이용>
다른 방법으로, 종래의 영상회의 단말이 보유한 DTMF 신호 전송기술을 이용할 수도 있다. 통상적인 영상회의 단말은 리모콘에 DTMF 신호를 전송하는 기능을 내장하고 있으며, 영상회의 서버에 DTMF 신호를 보낼 수도 있다. 또한, 종래의 영상전화기의 경우에는 단말 본체에 일반 전화기처럼 DTMF 신호를 생성할 수 있는 다이얼 패드가 부착되어 있고, DTMF 신호를 영상회의 서버에 전송할 수 있다. 따라서 물리적 단말은 서버(110)로 프리셋된 카메라-자세에 대한 식별번호가 포함된 제어명령을 DTMF 신호로 보낼 수 있다.
<사용자 모바일 단말기의 어플리케이션 이용>
다른 방법으로, 타깃인식부(119)는 사용자가 보유한 모바일 단말기의 어플리케이션을 통해 제어명령을 수신할 수도 있다. 어플리케이션은 기설정된 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호를 입력받을 수 있으며, 그 입력을 위한 그래픽 인터페이스를 제시할 수 있다. 여기서, 모바일 단말기는 스마트 폰, 태블릿 등이 해당할 수 있다.
<FECC 제어기능 이용>
또 다른 방법으로, 제어명령은 종래의 영상회의 단말이 보유한 리모컨의 PTZ 제어 기능과 표준 또는 비표준 원격 카메라 제어(FECC: Far End Camera Control)에 의해 생성될 수도 있다. 따라서 물리적 단말 측에서 기설정된 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호를 리모컨에 설정하고 표준 또는 비표준 FECC 프로토콜에 따라 제어명령을 생성하여 서버(110)로 전송할 수 있다.
<마이크 버튼 이용>
논리적 단말에 포함된 마이크에는 마이크 버튼이 부착되어 있고, 논리적 단말을 구성하는 물리적 단말은 마이크 버튼의 조작 여부를 제어명령으로 서버(110)로 제공할 수 있다. 타깃인식부(119)는 논리적 단말 측에서 제공되는 제어명령을 기초로 해당 논리적 단말에 포함된 마이크 중에서 어떤 마이크 버튼이 조작되었는지 확인함으로써, 타깃 위치가 등록된 '가상의 타깃 위치' 중 어디인지 확인할 수 있다.
<제어명령에 의한 다른 영상회의 포인트에 대한 원격 카메라 추적제어>
한편, 제어명령을 이용하면, 다른 영상회의 포인트에 대한 카메라 추적 제어를 수행할 수 있다. 앞서 설명한 물리적 단말에서 생성하는 DTMF 제어신호 또는 FECC에 따른 제어신호가 다른 영상회의 포인트에 등록된 '가상의 타깃 위치' 또는 '프리셋된 카메라-자세에 대한 식별번호'일 수도 있다. 이러한 경우, 다른 영상회의 포인트의 카메라 추적 제어를 위해 서버(110)로 제공하는 제어명령에는 제어 타깃이 되는 영상회의 포인트를 지정하기 위한 식별번호가 포함되어야 한다. 이때의 식별번호는 논리적 단말 단위로 부여된 식별번호일 수도 있고, 그 논리적 단말에 등록된 대표 단말의 전화번호일 수도 있다.
S601 단계에서 타깃인식부(119)는 영상회의 포인트 측에서 제공된 제어명령에 포함된 단말의 식별번호가 다른 영상회의 포인트를 지정하는 경우에, 해당 영상회의 포인트(논리적 단말 또는 물리적 단말)의 등록정보를 확인하여, 제어명령에 의해 지정된 '가상의 타깃 위치' 또는 '프리셋된 카메라-자세에 대한 식별번호'를 확인한다. S603 단계에서 카메라추적부(121)는 '프리셋된 카메라-자세에 대한 식별번호'에 연결된 물리적 단말을 확인하고, 프리셋 식별번호를 확인한 다음, 해당 영상회의 포인트의 물리적 단말에게 프리셋 식별번호를 제공함으로써 원격의 카메라 제어가 수행되도록 한다.
타깃 물리적 단말을 이용한 영상 구성
S601 단계에서 타깃 위치가 인식되면, 영상처리부(115)는 S313 단계를 수행하는 과정에서 추적용 카메라가 촬영한 영상을 중심으로 영상 레이아웃을 구성할 수 있다.
앞서 설명한 것처럼, 영상처리부(115)는 각 논리적 단말 또는 물리적 단말별로 기설정된 레이아웃에 따르거나, 각 단말 쪽에서 요청하는 레이아웃에 맞추어 소스영상의 믹싱을 수행한다. 영상처리부(115)는 각 영상회의 포인트로 제공할 영상을 복수 개의 영상 셀(영역)로 구분하여 표시할 수 있다.
만약, 영상회의 포인트로 제공할 영상에 '타깃용'으로 설정된 영상 셀이 있는 경우에, S601 단계에서 카메라 추적 제어 이벤트가 생성되면, 영상처리부(115)는 추적용 카메라가 촬영한 영상(즉, 발언자 영상)을 '타깃용'으로 설정된 영상 셀에 표시할 수 있다. 예를 들어, 소스 오디오 신호의 세기가 가장 큰 물리적 단말에서 제공되는 영상이 타깃용으로 설정된 영상 셀에 표시될 수 있다. 또는, 모든 영상회의 포인트 중에서 오디오 신호의 세기가 가장 높은 논리적 단말에서 제공하는 모든 소스 영상을 발언자 영상으로 처리하여 표시할 수도 있다.
만약, 또 다른 영상 셀에 또 다른 발언자를 표시하도록 되어 있다면, 두 번째 발언 레벨이 높은 물리적 단말 또는 해당 논리적 단말의 모든 영상들을 표시할 수도 있다.
또한, 영상 레이아웃과 관련되어 발언자를 인식하고 촬영한다는 관점에서는, 반드시 PTZ 카메라일 필요는 없고 특정 위치의 발언자를 촬영하도록 고정된 고정형 카메라도 무방하다. 따라서 본 발명의 논리적 단말이 물리적 단말의 수만큼의 고정형 카메라를 보유한 경우에도 소스 오디오 신호의 세기를 비교하는 방법으로 발언자를 인식하고, 그 인식 결과에 따라 발언자를 촬영한 영상을 중심으로 영상 레이아웃을 배치할 수 있다.
논리적 단말에 대한 영상회의 서비스 제공 (오디오처리)
본 발명의 영상회의 시스템(100)은 논리적 단말이라는 기능을 제공하기 때문에, 종래의 영상회의 시스템 또는 장치와 달리 서버(110)에서의 오디오 신호처리가 종래와 달라진다.
서버(110)의 오디오처리부(117)는 통화연결부(113)가 영상회의에 참여 중인 각 포인트로부터 수신한 RTP 패킷으로부터 오디오 신호를 디코딩한다. 도 7의 영상회의 시스템(100)은 도 1의 영상회의 시스템(100)을 오디오 신호의 처리의 측면에서 도시한 것이다. 앞서 설명한 것처럼, 각 영상회의 단말(11, 13, 15, 17, 19)은 영상/음성 코덱(Codec)을 구비하고, 개별적으로 발언자의 음성을 오디오 신호로 변환하는 마이크(11-1, 13-1, 15-1, 17-1, 19-1)와 오디오 출력을 위한 스피커(11-2, 13-2, 15-2, 17-2, 19-2)를 구비하고 있다.
앞서 설명한 것처럼, 각 영상회의 단말(11, 13, 15, 17, 19)은 서버(110)와 개별적으로 SIP 세션을 형성할 뿐만 아니라 각각이 영상회의용 단말이다. 따라서, 다른 설정을 하지 않으면, 서버(110)가 구성한 영상회의에 참여한 모든 물리적 단말은 논리적 단말의 구성 여부와 관계없이 오디오 신호를 SIP 세션을 통해 서버(110)로 전송할 수 있다. 이하에서는 도 8을 참조하여 오디오처리부(117)에 의한 오디오 신호처리과정을 설명한다. 도 8의 방법은 S307 및 S309 단계를 통해 SIP 세션이 생성된 후에 진행된다.
<소스 오디오 수신단계: S801>
도 7를 참조하면, 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)은 서버(110)와 SIP 세션을 개별적으로 형성하고 있으며, 각자 마이크(11-1, 13-1, 15-1, 17-1, 19-1)로 입력되는 음성 또는 오디오를 오디오 신호로 변환하여 RTP 패킷의 형태로 서버(110)에게 제공한다. 따라서 서버(110)의 통화연결부(113)는 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 제공하는 모든 RTP 패킷을 수신한다. 이 단계는 소스 영상 수신에 관한 S311 단계에 대응된다.
<소스 오디오 처리단계: S803>
오디오처리부(117)는 SIP 세션을 통해 수신된 RTP 패킷을 디코딩하여 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 제공한 오디오 신호(이하, '소스 오디오 신호'라 함)를 획득하고, 각 영상회의 포인트로 제공할 오디오 신호(이하, '출력용 오디오 신호'라 함)로 다시 믹싱한다. S313 단계에 대응된다.
각 영상회의 포인트로 제공할 출력용 오디오 신호는 다른 영상회의 포인트에서 제공하는 오디오 신호를 믹싱한 것인데, 이때 다양한 방법이 가능하다.
(방법 1) 우선, 각 영상회의 포인트가 물리적 단말인지 논리적 단말인지를 불문하고, 해당 영상회의 포인트에서 제공되는 모든 오디오 신호를 믹싱할 수 있다. 예를 들어, 제1 논리적 단말(130) 쪽으로 보낼 출력용 오디오 신호에는 제2 논리적 단말(150)과 제5 물리적 단말(19)이 제공한 소스 오디오 신호가 믹싱되어야 하므로, 오디오처리부(117)는 제3 물리적 단말(15), 제4 물리적 단말(17) 및 제5 물리적 단말(19)이 제공한 소스 오디오 신호를 믹싱한다. 제2 논리적 단말(150) 쪽으로 보낼 오디오 신호에는 제1 논리적 단말(130)과 제5 물리적 단말(19)이 제공한 소스 오디오 신호가 믹싱되어야 하므로, 오디오처리부(117)는 제1 물리적 단말(11), 제2 물리적 단말(13) 및 제5 물리적 단말(19)이 제공한 소스 오디오 신호를 믹싱한다. 제5 물리적 단말(19)로 보낼 오디오 신호에는 제1 논리적 단말(130)과 제2 논리적 단말(150)이 제공한 소스 오디오 신호가 믹싱되어야 하므로, 오디오처리부(117)는 제1 물리적 단말(11), 제2 물리적 단말(13), 제3 물리적 단말(15) 및 제4 물리적 단말(17)이 제공한 소스 오디오 신호를 믹싱한다.
(방법 2) 다른 영상회의 포인트가 논리적 단말이면, 해당 논리적 단말에 속하는 물리적 단말 중 선택된 하나의 물리적 단말이 제공하는 오디오 신호만을 출력용 오디오 신호에 믹싱할 수도 있다. 예를 들어, 제1 논리적 단말(130) 쪽으로 보낼 출력용 오디오 신호에는 제2 논리적 단말(150)과 제5 물리적 단말(19)이 제공한 소스 오디오 신호가 믹싱되어야 한다. 제2 논리적 단말(150)에는 제3 물리적 단말(15)과 제4 물리적 단말(17)이 포함되므로, 오디오처리부(117)는 제3 물리적 단말(15)과 제4 물리적 단말(17) 중에서 선택된 하나의 단말에서 제공한 소스 오디오 신호만을 제5 물리적 단말(19)이 제공한 소스 오디오 신호와 믹싱하는 것이다. 이때 믹싱을 위해 선택되는 소스 오디오 신호가 반드시 출력담당-물리적 단말이 제공하는 소스 오디오 신호일 필요는 없다.
이러한 방식을 채택하는 이유는 다양할 수 있다. 예를 들어, 이 방식의 구체적 적용단계에서, 제2 논리적 단말(150) 측 발언자의 위치에 가장 가까운 마이크를 통해 입력받은 오디오 신호가 믹싱용으로 선택되고 제2 논리적 단말(150)의 나머지 물리적 단말이 제공하는 오디오 신호는 믹싱하지 않을 수 있다. 이렇게 하면, 발언자의 발언이 제2 논리적 단말(150)의 모든 마이크(15-1, 17-1)를 입력될 때 발생하는 미세한 시간 차이로 인해 오디오나 음성이 명료하지 않게 들리지 않게 되는 문제를 해결할 수 있다.
<출력용 오디오 신호 전송: S805>
오디오처리부(117)는 각 영상회의 포인트로 제공하기 위해 다시 믹싱한 '출력용 오디오 신호'를 기설정된 오디오 신호 포맷으로 압축하고 RTP 패킷으로 인코딩하여 다시 각 영상회의 포인트로 전송한다. 다만, 논리적 단말 측에는 아래에서 설명하는 출력담당-물리적 단말로 '출력용 오디오 신호'가 전송된다.
출력담당-물리적 단말
논리적 단말 설정과 무관하게, 서버(110)는 영상회의에 참여 중인 모든 물리적 단말과 SIP 세션을 형성하며, 오디오 신호는 그 SIP 세션을 통해 전송된다. 이때, 제1 포인트(A)와 제2 포인트(B)처럼 영상회의 포인트가 논리적 단말이면 오디오처리부(117)는 출력담당-물리적 단말에게만 새로 인코딩한 오디오 신호를 전송하고, 제3 포인트(C)처럼 영상회의 포인트가 논리적 단말이 아닌 물리적 단말이면 오디오처리부(117)는 종래와 동일하게 그 물리적 단말에게 새로 인코딩한 오디오 신호를 전송한다. 이를 위해, 서버(110)의 단말등록부(111)는 논리적 단말의 등록 과정에서, 논리적 단말을 구성하는 물리적 단말 중 하나를 '출력담당-물리적 단말'로 입력받아 등록한다. '출력담당-물리적 단말'은 앞서 설명한 논리적 단말의 '대표 단말일 수도 있고, 대표 단말과 다른 단말로 정할 수도 있다.
논리적 단말이 영상회의에 참여하는 경우, 다른 영상회의 포인트가 제공하는 오디오 신호는 논리적 단말을 구성하는 모든 물리적 단말을 통해 출력되는 것이 아니라, 출력담당-물리적 단말을 통해서만 출력된다. 그렇지 않으면, 동일한 오디오 신호가 복수 개의 스피커를 통해 미세한 시간차를 두고 출력되기 때문에 명료한 오디오를 출력할 수 없다. 그 밖에도 출력담당-물리적 단말을 정하지 않으면, 에코 제거에 관하여 복잡한 경우의 수가 발생하기 때문에도 적절하지 않다.
따라서 논리적 단말을 구성하는 모든 물리적 단말이 발언자의 음성 등을 오디오 신호를 변환하여 서버(110)로 제공할 수는 있지만, 서버(110)가 제공하는 오디오 신호는 오직 출력담당-물리적 단말에게 제공된다.
도 7을 참조하면, 제1 포인트(A)의 제1 논리적 단말(130)에서는 제1 물리적 단말(11)이 출력담당-물리적 단말로 등록되었고, 제2 포인트(B)의 제2 논리적 단말(150)에서는 제4 물리적 단말(17)이 출력담당-물리적 단말로 등록되었다고 가정하자.
오디오처리부(117)는 제1 포인트(A)로 제공할 출력용 오디오 신호(15b+17b+19b)를 출력담당-물리적 단말인 제1 물리적 단말(11)에게만 제공하고, 제2 포인트(B)로 제공할 출력용 오디오 신호(11b+13b+19b)를 제4 물리적 단말(17)에게만 제공한다. 제3 포인트(C)는 물리적 단말이므로, 오디오처리부(117)는 제3 포인트(C)로 제공할 출력용 오디오 신호(11b+13b+15b+17b)를 제5 물리적 단말(19)에게 전송한다.
논리적 단말을 구성하는 물리적 단말 중 출력담당-물리적 단말이 아닌 단말에는 오디오 신호가 없는 RTP 패킷을 전송할 수 있다. 여기서, '오디오 신호가 없다'는 것은 예를 들어, 진폭이 없는 오디오 신호를 포함한다. 실시 예에 따라서는 오디오 신호용 RTP 패킷 자체를 전송하지 않을 수도 있다.
따라서 논리적 단말인 제1 포인트(A)에서는 제1 물리적 단말(11)이 자신의 스피커(11-2)를 통해 출력용 오디오 신호(15b+17b+19b)를 출력하고, 제2 물리적 단말(13)의 스피커(13-2)를 통해서는 어떤 오디오도 출력되지 않는다. 마찬가지로, 논리적 단말인 제2 포인트(B)에서는 제4 물리적 단말(17)이 자신의 스피커(17-2)를 통해 출력용 오디오 신호(11b+13b+19b)를 출력하고, 제3 물리적 단말(15)의 스피커(15-2)를 통해서는 어떤 오디오도 출력되지 않는다.
논리적 단말에서의 페어링 에코 캔슬링 (도 9)
앞서 설명한 것처럼, 서버(110)가 구성한 영상회의에 참여한 모든 물리적 단말은 논리적 단말의 구성 여부와 관계없이 각각이 영상회의용 단말이기 때문에, 자신의 마이크로 입력되는 소스 오디오 신호를 자신의 스피커로 출력하지 않는다.
또한, 서버(110)가 구성한 영상회의에 참여한 물리적 단말은 논리적 단말의 구성 여부와 관계없이 에코 제거 기능을 구비할 수 있다. 그러나 입력되는 소스 오디오 신호에서 에코를 제거하기 위해서는 기준이 되는 오디오 신호(출력용 오디오 신호)가 있어야 하는데, 논리적 단말로 전송할 출력용 오디오 신호는 출력담당-물리적 단말에게만 전송된다. 따라서 논리적 단말에 속하면서 출력담당-물리적 단말이 아닌 영상회의 단말은 에코 제거 기능을 수행할 기준 오디오 신호를 보유하지 못한다.
도 7의 예에서, 제1 논리적 단말(130)에서는 제1 물리적 단말(11)이 출력담당-물리적 단말로 설정되어 있기 때문에, 오디오처리부(117)는 제1 논리적 단말(130)로 전송해야 할 출력용 오디오 신호를 제1 물리적 단말(11)에게만 전송하고, 제2 물리적 단말(13)에게는 전송하지 않는다. 이해를 위해 설명하면, 오디오처리부(117)가 제2 물리적 단말(13)에게 어떠한 RTP 패킷도 전송하지 않는 것을 의미하는 것은 아니며, 단지 출력을 위한 제1 물리적 단말(11)에게 제공한 오디오 신호가 제공되지 않는 것이다.
반대로, 제1 논리적 단말(130) 쪽에서는 제1 물리적 단말(11)과 제2 물리적 단말(13)이 각각 자신의 마이크(11-1, 13-1)를 통해 수신한 소스 오디오 신호(11b, 13b)를 서버(110)로 전송한다. 이때, 출력담당-물리적 단말인 제1 물리적 단말(11)은 서버(110)로부터 출력을 위한 오디오 신호를 수신했기 때문에, 마이크(11-1)로 입력된 신호에 대해 에코 제거를 수행할 수 있다. 그러나 제2 물리적 단말(13)은 출력담당-물리적 단말이 아니므로 서버(110)로부터 출력용 오디오 신호를 수신하지 못했고 에코 제거의 기준이 되는 신호를 보유하지 못한 상태다.
따라서 제2 물리적 단말(13)은 마이크(13-1)로 입력된 소스 오디오 신호에 대해 에코 제거를 수행할 수 없다. 따라서 본 발명은 영상회의 서버(110)의 에코처리부(123)가 에코 제거 기능을 수행한다.
에코처리부(123)는 각 영상회의 포인트로 제공하기 위한 출력용 오디오 신호를 믹싱하기 전에, 에코 제거 기능을 수행하며, 필요에 따라 기본적인 잡음 제거를 수행할 수도 있다. 본 발명의 에코 제거는 종래의 일반적인 영상회의 시스템 또는 장비에서의 에코 제거와 완전히 다르다. 이하에서는 본 발명의 특징적인 에코 제거 기능을 '페어링 에코 캔슬링(Paring Echo Cancelling)'이라 한다.
에코처리부(123)는 논리적 단말 측에서 수신된 소스 오디오가 출력담당-물리적 단말이 제공한 것이 아니면, 그 논리적 단말로 전송한 출력용 오디오 신호를 이용하여 에코를 제거한다. 이하에서는 도 9를 참조하여, 영상회의 서버(110)의 에코 제거방법을 설명한다. 도 9의 방법도 도 3의 S307 및 S309 단계에 따라 서버(110)와 각 물리적 단말 사이에 SIP 세션이 생성된 상태에서 수행된다.
우선, S801 단계에서 오디오처리부(117)가 영상회의에 참여한 각 물리적 단말(11, 13, 15, 17, 19)로부터 소스 오디오 신호를 수신하면, 에코처리부(123)는 해당 소스 오디오 신호가 논리적 단말에 속하는 물리적 단말로서 출력담당-물리적 단말이 아닌 단말이 제공한 신호인지 판단한다(S901, S903).
S901, S903 단계의 판단결과, 해당 소스 오디오 신호가 논리적 단말에 속하는 물리적 단말로서 출력담당-물리적 단말이 아닌 단말이 제공한 신호이면, 에코처리부(123)는 해당 논리적 단말에게 전송하였던 출력용 오디오 신호를 기준으로 에코 제거 기능을 수행한다. 에코처리부(123)의 에코 제거 알고리즘은 입력된 오디오 신호에서 출력 오디오 신호와 일치하는 파형을 제거하는 것으로서 통상 알려진 에코 제거 알고리즘을 사용할 수 있다. 도 7의 예에서, 에코처리부(123)는 제2 물리적 단말(13)이 제공하는 소스 오디오 신호를 출력담당-물리적 단말인 제1 물리적 단말(11)에게 전송하였던 출력용 오디오 신호와 비교하여 에코를 제거한다. 만약, 제2 물리적 단말(13)이 제공하는 소스 오디오 신호에 에코가 있었다면, 제1 물리적 단말(11)에게 전송한 출력용 오디오 신호와 동일한 파형이므로, 에코 제거 알고리즘에 의해 제거될 수 있다(S905).
S901, S903 단계의 판단결과, 해당 오디오 신호가 논리적 단말로부터 전송된 것이 아니거나, 논리적 단말에 속하는 물리적 단말로서 출력담당-물리적 단말이 제공한 신호이면, 에코처리부(123)는 에코 제거 기능를 수행하지 않아도 된다. 출력담당-물리적 단말이 자체에서 에코 제거 기능을 구비하여 에코를 제거할 수 있기 때문이다. 다른 방법으로, S603 단계와 동일하게 제1 물리적 단말(11)에게 이미 전송하였던 출력용 오디오 신호와 비교하면서 에코를 제거할 수 있다.
이상의 방법으로, 본 발명의 페어링 에코 캔슬링이 수행된다.
(실시 예) 논리적 단말에서의 오디오 처리 및 에코 제거의 다른 방법
앞에서 설명한 예에서, 오디오처리부(117)는 출력담당-물리적 단말에게만 출력용 오디오 신호를 제공하는 것으로 설명하였으나, 반드시 이에 한정될 필요는 없다. 예를 들어, 논리적 단말을 구성하는 모든 물리적 단말에게 동일한 출력용 오디오 신호를 제공할 수 있다. 다만, 출력담당-물리적 단말만이 해당 출력용 오디오 신호를 출력하고, 나머지 물리적 단말은 단순히 에코 제거용 기준 오디오 신호로 사용한다.
오디오처리부(117)는 논리적 단말을 구성하는 모든 물리적 단말에게 동일한 출력용 오디오 신호를 보내되, 출력담당-물리적 단말에게 제공하는 RTP 패킷에는 '출력용'으로 표시하고, 나머지 물리적 단말에게 제공하는 RTP 패킷에는 해당 오디오 신호를 '에코제거용'으로 표시한다. 이 경우, 에코 제거는 각 물리적 단말에서 수행되므로, 서버(110)는 에코처리부(123)를 구비할 필요가 없다.
예를 들어, 도 7의 예에서, 오디오처리부(117)는 제1 논리적 단말(130)로 제공할 출력용 오디오 신호가 있는 경우에, 출력담당-물리적 단말인 제1 물리적 단말(11)에게는 '출력용'으로 표시하여 전송하고, 제2 물리적 단말(13)에게는 '에코제거용'으로 표시하여 전송한다.
이에 따라, 제1 물리적 단말(11은 출력용 오디오 신호를 스피커(11-2)를 통해 출력하고, 제2 물리적 단말(13)은 서버(110)로부터 제공받은 출력용 오디오 신호를 스피커(13-2)를 통해 출력하지 않고 보유하며, 마이크(13-1)를 통해 수신하는 오디오 신호에서 에코를 제거하는 용도로 사용한다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (22)

  1. 영상회의 서버의 영상회의 서비스 제공방법에 있어서,
    복수 개의 물리적 단말을 제1 논리적 단말로 등록함으로써 상기 복수 개의 물리적 단말이 하나의 영상회의 포인트(Point)처럼 동작하도록 등록하되, 상기 제1 논리적 단말의 등록정보에는 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크 사이의 배치 관계를 등록하는 등록단계;
    복수 개 영상회의 포인트들 사이의 영상회의를 연결하되, 상기 제1 논리적 단말에 대해서는 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하는 호연결단계;
    상기 복수 개 영상회의 포인트가 제공하는 소스 영상과 소스 오디오 신호를 수신하되, 상기 제1 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상과 소스 오디오 신호를 수신하는 소스 수신단계;
    상기 복수 개 마이크 사이의 배치 관계를 기초로, 상기 복수 개의 물리적 단말이 제공한 상기 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 상기 제1 논리적 단말에서 추적 제어 대상이 되는 타깃의 위치를 인식하는 타깃 인식단계; 및
    상기 타깃 위치를 기초로 상기 복수 개의 물리적 단말에 연결된 카메라들 중 하나를 추적용 카메라로 선택하고, 상기 추적용 카메라가 상기 타깃을 촬영하도록 제어하는 카메라 추적단계를 포함하여, 상기 제1 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  2. 제1항에 있어서,
    상기 제1 논리적 단말에 포함된 물리적 단말이 복수 개의 카메라-자세를 프리셋한 경우에,
    상기 카메라 추적단계는, 상기 타깃 인식단계에서 인식한 타깃의 위치에 대응하는 카메라-자세의 식별번호를 상기 복수 개 물리적 단말 중에서 상기 추적용 카메라가 연결된 물리적 단말에게 제공함으로써, 상기 추적용 카메라가 자세를 바꾸어 타깃을 추적하도록 제어하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  3. 제2항에 있어서,
    상기 제1 논리적 단말의 등록정보에는, 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계가 등록되며,
    상기 카메라 추적단계는 상기 타깃 인식단계에서 인식된 타깃 위치에 대응하는 가상의 타깃 위치를 확인하여 상기 등록정보에서 상기 추적용 카메라와 상기 카메라-자세의 식별번호를 추출하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  4. 제3항에 있어서,
    상기 등록단계는 상기 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계를 도식적으로 입력받기 위한 화면을 사용자에게 표시하는 단계를 더 포함하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  5. 제2항에 있어서,
    상기 소스 수신단계를 통해 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 제1 논리적 단말의 복수 개 물리적 단말에게 분배하는 멀티 스크린 영상 제공단계;
    상기 소스 오디오 수신단계를 통해 수신한 전체 소스 오디오 중에서 다른 영상회의 포인트에서 제공한 오디오 신호를 상기 제1 논리적 단말에게 제공할 출력용 오디오 신호로 믹싱하는 오디오 처리단계; 및
    상기 제1 논리적 단말에 속하는 복수 개의 물리적 단말 중에서 출력담당-물리적 단말에게 상기 출력용 오디오 신호를 전송하는 오디오 출력단계를 포함하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  6. 제5항에 있어서,
    상기 멀티 스크린 영상 제공단계는,
    상기 제1 논리적 단말의 복수 개의 물리적 단말 각각으로부터 수신한 소스 영상을 상기 다른 영상회의 포인트에게 제공할 영상에 배치하되, 상기 복수 개의 물리적 단말 중 상기 타깃 위치에 대응되는 물리적 단말로부터 제공되는 소스 영상을 타깃용으로 설정된 영역에 배치하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  7. 제5항에 있어서,
    상기 멀티 스크린 영상 제공단계는 상기 복수 개 영상회의 포인트들 중에서 상기 타깃의 위치에 대응되는 논리적 단말에서 제공하는 모든 소스 영상을 타깃용으로 설정된 영역에 배치하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법
  8. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제어명령은 상기 카메라-자세의 식별번호 중 하나로서, 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말로부터 제공되거나 사용자 모바일 단말기로부터 제공되거나 다른 영상회의 포인트로부터 제공되는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  9. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 타깃 인식단계는,
    상기 복수 개 마이크 사이의 배치 관계와 상기 복수 개의 물리적 단말이 제공한 상기 소스 오디오 신호의 세기를 기초로 상기 제1 논리적 단말에서 타깃의 위치를 인식하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  10. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 타깃 인식단계는,
    상기 소스 영상에 대한 영상처리를 통해 발언 중인 사람의 입을 인식하는 방법으로 상기 제1 논리적 단말에서 타깃의 위치를 인식하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  11. 제1항에 있어서,
    상기 호연결단계는,
    발신측 포인트로부터 호 연결 요청 메시지를 수신하는 단계;
    상기 호 연결 요청 메시지 수신에 따라 발신측과 수신측을 연결하는 중에, 상기 발신측 또는 수신측이 상기 제1 논리적 단말인지 여부를 조회하는 단계;
    상기 조회 결과에 따라 상기 발신측이 제1 논리적 단말의 물리적 단말이면, 상기 제1 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계; 및
    상기 조회 결과에 따라 상기 호 연결 요청된 수신측이 제2 논리적 단말의 물리적 단말이면, 상기 제2 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계를 수행하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  12. 영상회의 서비스 제공할 수 있는 영상회의 서버에 있어서,
    복수 개의 물리적 단말을 하나의 영상회의 포인트(Point)처럼 동작하는 제1 논리적 단말로 등록하되, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크 사이의 배치 관계를 등록하는 단말등록부;
    상기 제1 논리적 단말을 포함하는 복수 개 영상회의 포인트들 사이의 영상회의를 연결하되 상기 제1 논리적 단말에 대해서는 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하며, 상기 복수 개 영상회의 포인트들로부터 소스 영상 및 소스 오디오 신호를 수신하되 상기 제1 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상 및 소스 오디오 신호를 수신하는 통화연결부; 및
    상기 복수 개 마이크 사이의 배치 관계를 기초로, 상기 복수 개의 물리적 단말이 제공한 상기 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 상기 제1 논리적 단말에서 추적 제어 대상이 되는 타깃의 위치를 인식하는 타깃인식부; 및
    상기 타깃 위치를 기초로 상기 복수 개의 물리적 단말에 연결된 카메라들 중 하나를 추적용 카메라로 선택하고, 상기 추적용 카메라가 상기 타깃을 촬영하도록 제어하는 카메라추적부를 포함하여, 상기 제1 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 하는 것을 특징으로 하는 영상회의 서버.
  13. 제12항에 있어서,
    상기 제1 논리적 단말에 포함된 물리적 단말이 복수 개의 카메라-자세를 프리셋한 경우에,
    상기 카메라추적부는, 상기 타깃 인식단계에서 인식한 타깃의 위치에 대응하는 카메라-자세의 식별번호를 상기 복수 개 물리적 단말 중에서 상기 추적용 카메라가 연결된 물리적 단말에게 제공함으로써, 상기 추적용 카메라가 자세를 바꾸어 타깃을 추적하도록 제어하는 것을 특징으로 하는 영상회의 서버.
  14. 제13항에 있어서,
    상기 제1 논리적 단말의 등록정보에는, 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계가 등록되며,
    상기 카메라추적부는 상기 타깃 위치에 해당하는 가상의 타깃 위치를 확인하여 상기 등록정보에서 상기 추적용 카메라와 상기 카메라-자세의 식별번호를 추출하는 것을 특징으로 하는 영상회의 서버.
  15. 제14항에 있어서,
    상기 단말등록부는,
    상기 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계를 도식적으로 입력받기 위한 화면을 사용자에게 표시하는 것을 특징으로 하는 영상회의 서버.
  16. 제12항에 있어서,
    상기 통화연결부가 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 제1 논리적 단말의 복수 개 물리적 단말에게 분배하도록 처리하는 영상처리부; 및
    상기 통화연결부가 수신한 전체 소스 오디오 중에서 다른 영상회의 포인트에서 제공한 오디오를 상기 제1 논리적 단말에게 제공할 출력용 오디오 신호로 믹싱하며, 상기 제1 논리적 단말에 속하는 복수 개의 물리적 단말 중에서 출력담당-물리적 단말에게 상기 출력용 오디오 신호를 전송하는 상기 오디오처리부를 포함하는 것을 특징으로 하는 영상회의 서버.
  17. 제16항에 있어서,
    상기 영상처리부는,
    상기 제1 논리적 단말의 복수 개의 물리적 단말 각각으로부터 수신한 소스 영상을 상기 다른 영상회의 포인트에게 제공할 영상에 배치하되, 상기 복수 개의 물리적 단말 중 상기 타깃 위치에 대응되는 물리적 단말로부터 제공되는 소스 영상을 타깃용으로 설정된 영역에 배치하는 것을 특징으로 하는 영상회의 서버
  18. 제16항에 있어서,
    상기 영상처리부는 상기 복수 개 영상회의 포인트들 중에서 상기 타깃의 위치에 대응되는 논리적 단말에서 제공하는 모든 소스 영상을 타깃용으로 설정된 영역에 배치하는 것을 특징으로 하는 영상회의 서버.
  19. 제13항 내지 제18항 중 어느 한 항에 있어서,
    상기 제어명령은 상기 카메라-자세의 식별번호 중 하나로서, 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말로부터 제공되거나 사용자 모바일 단말기로부터 제공되거나 다른 영상회의 포인트로부터 제공되는 것을 특징으로 하는 영상회의 서버.
  20. 제12항 내지 제18항 중 어느 한 항에 있어서,
    상기 타깃인식부는,
    상기 복수 개 마이크 사이의 배치 관계와 상기 복수 개의 물리적 단말이 제공한 상기 소스 오디오 신호의 세기를 기초로 상기 제1 논리적 단말에서 타깃의 위치를 인식하는 것을 특징으로 하는 영상회의 서버.
  21. 제12항 내지 제18항 중 어느 한 항에 있어서,
    상기 타깃인식부는,
    상기 소스 영상에 대한 영상처리를 통해 발언 중인 사람의 입을 인식하는 방법으로 상기 제1 논리적 단말에서 타깃의 위치를 인식하는 것을 특징으로 하는 영상회의 서버.
  22. 제12항에 있어서,
    상기 통화연결부는,
    발신측 포인트로부터 호 연결 요청 메시지에 따라 발신측과 수신측을 연결하는 중에, 상기 발신측 또는 수신측이 상기 제1 논리적 단말인지 여부를 조회하고, 상기 발신측이 제1 논리적 단말의 물리적 단말로 조회되면 상기 제1 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하고, 상기 호 연결 요청된 수신측이 제2 논리적 단말의 물리적 단말로 조회되면, 상기 제2 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 것을 특징으로 하는 영상회의 서버.
PCT/KR2019/001905 2018-05-23 2019-02-18 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 WO2019225836A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/616,242 US20210336813A1 (en) 2018-05-23 2019-02-18 Videoconferencing server for providing videoconferencing by using multiple videoconferencing terminals and camera tracking method therefor
JP2020564909A JP2021525035A (ja) 2018-05-23 2019-02-18 複数のビデオ会議用端末を用いてビデオ会議を提供できるビデオ会議サーバ及びそのカメラ追跡方法
EP19807483.3A EP3813361A4 (en) 2018-05-23 2019-02-18 VIDEO CONFERENCE SERVER TO DELIVER A VIDEO CONFERENCE BY USING A VARIETY OF VIDEO CONFERENCE DEVICES AND CAMERA FOLLOWING METHODS THEREOF

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180058605A KR101918676B1 (ko) 2018-05-23 2018-05-23 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법
KR10-2018-0058605 2018-05-23

Publications (1)

Publication Number Publication Date
WO2019225836A1 true WO2019225836A1 (ko) 2019-11-28

Family

ID=64328227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001905 WO2019225836A1 (ko) 2018-05-23 2019-02-18 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법

Country Status (5)

Country Link
US (1) US20210336813A1 (ko)
EP (1) EP3813361A4 (ko)
JP (1) JP2021525035A (ko)
KR (1) KR101918676B1 (ko)
WO (1) WO2019225836A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368628B2 (en) 2020-10-19 2022-06-21 Light Wave Technology Inc. System for tracking a user during a videotelephony session and method of use thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114184A (ko) 2021-02-08 2022-08-17 한밭대학교 산학협력단 온라인 강의 시스템 및 방법
CN114095290B (zh) * 2021-09-30 2024-03-22 联想(北京)有限公司 一种信息处理方法、信息处理装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000037652A (ko) * 1998-12-01 2000-07-05 전주범 영상회의 시스템에서의 음원 추적에 의한 카메라 제어 방법
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム
KR20070054769A (ko) * 2005-11-24 2007-05-30 삼성전자주식회사 이동통신단말기에서 화상통화 연결 방법
KR20140003150A (ko) * 2012-06-29 2014-01-09 (주)티아이스퀘어 네트워크를 통해 다자간 영상 회의 서비스를 제공하는 방법 및 시스템
KR20140098573A (ko) * 2013-01-31 2014-08-08 한국전자통신연구원 영상 회의 서비스 제공 장치 및 방법
KR20160062787A (ko) 2014-11-25 2016-06-03 (주)유프리즘 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143473A (ja) * 1993-11-19 1995-06-02 Nec Eng Ltd カメラプリセット機能付テレビ会議端末
JP2001339703A (ja) * 2000-05-26 2001-12-07 Nec Corp テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法
JP2009017330A (ja) * 2007-07-06 2009-01-22 Sony Corp テレビ会議システム、テレビ会議方法およびテレビ会議プログラム
US8892079B1 (en) * 2012-09-14 2014-11-18 Google Inc. Ad hoc endpoint device association for multimedia conferencing
EP3070876A1 (en) * 2015-03-17 2016-09-21 Telefonica Digital España, S.L.U. Method and system for improving teleconference services

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000037652A (ko) * 1998-12-01 2000-07-05 전주범 영상회의 시스템에서의 음원 추적에 의한 카메라 제어 방법
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム
KR20070054769A (ko) * 2005-11-24 2007-05-30 삼성전자주식회사 이동통신단말기에서 화상통화 연결 방법
KR20140003150A (ko) * 2012-06-29 2014-01-09 (주)티아이스퀘어 네트워크를 통해 다자간 영상 회의 서비스를 제공하는 방법 및 시스템
KR20140098573A (ko) * 2013-01-31 2014-08-08 한국전자통신연구원 영상 회의 서비스 제공 장치 및 방법
KR20160062787A (ko) 2014-11-25 2016-06-03 (주)유프리즘 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3813361A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368628B2 (en) 2020-10-19 2022-06-21 Light Wave Technology Inc. System for tracking a user during a videotelephony session and method of use thereof

Also Published As

Publication number Publication date
EP3813361A1 (en) 2021-04-28
US20210336813A1 (en) 2021-10-28
JP2021525035A (ja) 2021-09-16
EP3813361A4 (en) 2022-03-09
KR101918676B1 (ko) 2018-11-14

Similar Documents

Publication Publication Date Title
US8004556B2 (en) Conference link between a speakerphone and a video conference unit
EP1763241B1 (en) Spatially correlated audio in multipoint videoconferencing
WO2019225836A1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법
JP5129989B2 (ja) 会議レイアウト制御及び制御プロトコル
US20120086769A1 (en) Conference layout control and control protocol
US20060132595A1 (en) Speakerphone supporting video and audio features
US20070186002A1 (en) Videophone and method for a video call
EP1868347A2 (en) Associating independent multimedia sources into a conference call
WO2022211476A1 (en) Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos
US8390665B2 (en) Apparatus, system and method for video call
WO2019221369A1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 오디오 에코 제거방법
US20220224555A1 (en) Method and system for providing telecommunications
WO2012124929A2 (ko) 다자간 화상 회의 시스템 및 방법
WO2019022332A1 (ko) 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법
JP2768248B2 (ja) 多地点テレビ会議システム
KR970007009B1 (ko) 실시간 영상회의 시스템
KR20000044065A (ko) 화상회의 시스템의 카메라 제어장치
JPH11275237A (ja) テレビ電話会議サポートシステム
KR20000044079A (ko) 화상회의 시스템의 카메라 제어방법
JP2560447B2 (ja) 多地点間テレビ会議システム
JP2022188950A (ja) ネットワーク統合システム
JPH03283983A (ja) テレビ会議端末
JPH05227529A (ja) 多地点間遠隔会議制御方式
JPH02117291A (ja) テレビ会議システム
JPH02104086A (ja) ３者通話テレビ電話会議方式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19807483

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020564909

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019807483

Country of ref document: EP

Effective date: 20201223