KR20170025273A

KR20170025273A - Method and apparatus for managing temporary floor in multipoint video communication

Info

Publication number: KR20170025273A
Application number: KR1020150121504A
Authority: KR
Inventors: 이용준; 윤희태; 김민정; 강성훈; 최보영
Original assignee: 삼성에스디에스 주식회사
Priority date: 2015-08-28
Filing date: 2015-08-28
Publication date: 2017-03-08

Abstract

A method for managing a temporary right to speak in multipoint video communication according to one embodiment of the present invention comprises: a step of receiving a request for a temporary right to speak from a terminal of an audience who participates in multipoint video communication; a step of transmitting the request for the temporary right to speak to a terminal of a presenter; a step of giving the request for the right to speak to the audience if an approval for the request for the temporary right to speak is received from the terminal of the presenter; and a step of automatically returning the right to speak to the presenter if the temporary right to speak of the audience is terminated.

Description

TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for managing a temporary voice in a multi-

본 발명은 다자간 영상 통신에서 임시 발언권을 관리하는 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 다자간 영상 통신에서 청중의 임시 발언권 요청과 발표자의 승인을 통해서, 발언권을 가진 발표자의 발표 중간에 청중이 질문이나 의견 등을 이야기 할 수 있는 임시 발언권을 명시적으로 얻는 방법 및 그 방법을 수행하는 장치에 관한 것이다.The present invention relates to a method and apparatus for managing temporary voice rights in multi-party video communication. More specifically, the present invention relates to a method and system for explicitly obtaining a temporary voice to allow an audience to talk about a question or an opinion during presentation of a speaker having a voice, through requesting temporary voice of the audience and approval of the speaker in multi- To the device.

다자간 영상 통신이란, 인터넷 등을 이용하여 원격지에 있는 복수의 단말과 영상 및 음성 데이터를 양방향으로 통신하는 것을 말한다. 다자간 영상 통신은 화상 회의, 원격 진료, 온라인 강의와 같이 다양한 분야에 활용될 수 있다. 또한, 그 활용도를 높이기 위하여 화면 공유나, 파일 공유, 화이트보드와 같은 기능을 추가적으로 제공할 수 있다.Multipurpose video communication refers to the bidirectional communication of video and audio data with a plurality of terminals located at a remote location using the Internet or the like. Multilateral video communication can be used in various fields such as video conferencing, telemedicine, and online lectures. In addition, functions such as screen sharing, file sharing, and whiteboard can be additionally provided to enhance the utilization.

다자간 영상 통신에서는 화면을 균등하게 분할하고 각각의 참여자의 영상을 동일 크기로 할당하여 제공하는 영상 레이아웃을 이용하기도 하나, 참여자가 많은 경우에는 발언권을 가진 참여자의 영상을 다자간 영상 통신 화면의 주 영역에, 그 외의 참여자의 영상은 부 영역에 할당하여 제공하는 영상 레이아웃을 이용하는 것이 일반적이다. 이러한 영상의 크기 대비를 통해 다자간 영상 통신에 참여한 참여자의 시선을 발언권을 가진 발표자의 영상에 집중시키는 효과를 얻을 수 있다.In multi-party video communication, it is also possible to use an image layout that equally divides the screen and allocates the images of the participants to the same size. However, when there are many participants, the image of the participant having the floor is transmitted to the main area of the multi- , And images of other participants are allocated to the sub-areas and used to provide the video layout. Through the contrast of the image size, it is possible to concentrate the gaze of the participant participating in the multilayer video communication on the image of the presenter having the voice.

이를 위해서는 다자간 영상 통신에 참여한 참여자 중에서 발언권을 가진 참여자 즉 발표자와 그 외의 참여자 즉 청중을 구분하는 것이 중요하다. 발표자와 청중을 구분하는 방법으로 MCU(Multipoint Control Unit)와 같은 하드웨어나 소프트웨어를 통해 음성인식을 기반으로 액티브 스피커(Active Speaker)를 자동으로 판단하는 방법이 있다. 액티브 스피커를 자동으로 판단하고, 현재 발표자의 영상을 다자간 영상 통신 화면의 주 영역에 제공하는 자동화된 방법 외에도, 미리 정해진 스케줄링에 의해 또는 그때그때 진행자의 조작에 의해 발표자를 지정하고 지정된 발표자의 영상을 다자간 영상 통신 화면의 주 영역에 제공하는 수동적인 방법도 있다.For this purpose, it is important to distinguish among the participant who participated in the multilateral video communication, that is, the speaker who has the voice, the speaker and the other participants, that is, the audience. There is a method of automatically discriminating an active speaker based on speech recognition through hardware or software such as a multipoint control unit (MCU) as a method of distinguishing between a speaker and a speaker. In addition to an automated method of automatically determining an active speaker and providing an image of the current speaker to the main area of the multi-party video communication screen, a presenter may be designated by predetermined scheduling or by manipulation of the host at that time, There is also a passive method to provide to the main area of the multi-video communication screen.

다만, 액티브 스피커를 이용한 자동화된 방법 또는 스케줄링 등에 의한 수동적인 방법 그 어느 것에 의해 발언권을 제어하더라도 발표자의 발표 중간에 청중이 질문이나 의견 등을 이야기 할 수 있는 방법은 극히 제한적이다. 액티브 스피커를 이용한 자동화된 방법에서 청중이 발언권을 얻기 위해서는 현재의 발표자보다 더 큰 목소리로 이야기를 해야 하기 때문에 발표자의 말을 끊는 상황이 발생하거나 반대로 발표자의 발표가 다 끝날 때까지 기다려야 하는 상황이 발생한다. 스케줄링 등에 의한 수동적인 방법에서도 청중이 발언권을 얻기 위해서는 진행자의 별도의 조작을 통해 청중에게 발언권을 부여하고, 청중의 발언권이 종료되면 다시 발표자에게 발언권을 부여하는 등의 조작을 해야 하는 불편함이 발생한다.However, even if the voice is controlled by an automated method using an active speaker or a passive method such as scheduling, the way in which the audience can talk about a question or an opinion during the presentation of the speaker is extremely limited. In an automated method using active speakers, the audience has to talk in a louder voice than the present speaker in order to get a voice, so there is a situation in which the speaker is disconnected or conversely the speaker has to wait until the presentation is over do. In order to obtain the voice in the passive method by scheduling and the like, it is inconvenient for the audience to give a voice to the audience through a separate operation of the host and to give the voice to the speaker again after the voice of the audience is ended do.

대한민국 공개특허 공보 10-2014-0055252Korean Patent Publication No. 10-2014-0055252

본 발명이 해결하고자 하는 과제는 다자간 영상 통신에서 임시 발언권을 관리하는 방법 및 그 장치를 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for managing a temporary voice in a multi-party video communication.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the above-mentioned technical problems, and other technical problems which are not mentioned can be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위한 본 발명의 일 태양에 따른 다자간 영상 통신에서 임시 발언권 관리 방법은, 다자간 영상 통신에 참여한 청중의 단말로부터 임시 발언권 요청을 수신하는 단계와 발표자의 단말에 상기 임시 발언권 요청을 송신하는 단계와 상기 발표자의 단말로부터 상기 임시 발언권 요청에 대한 승인을 수신하면, 상기 청중에게 임시 발언권을 부여하는 단계 및 상기 청중의 임시 발언권이 종료되면, 상기 발표자에게 발언권이 자동으로 복귀되는 단계를 포함할 수 있다. 여기서, 청중은 현재 발언권을 가지지 않은 참여자이고, 발표자는 현재 발언권을 가진 참여자를 말한다.According to another aspect of the present invention, there is provided a method for managing a temporary voice in a multi-party video communication, comprising the steps of: receiving a temporary voice request from a terminal of an audience participating in a multi-party video communication; The method comprising: granting a temporary voice to the audience upon receiving approval for the temporary voice request from the terminal of the speaker; and automatically returning the voice to the speaker when the temporary voice of the voice is terminated . Here, the audience is a participant who does not currently have a voice, and a speaker is a participant who has a voice.

일 실시예에서, 상기 임시 발언권 요청을 수신하는 단계는, 상기 청중의 단말로부터 상기 발표자의 식별자를 수신하는 단계 및 발표자가 상기 발표자에서 다른 참여자로 변경이 되면, 상기 임시 발언권 요청을 자동으로 철회하는 단계를 포함할 수 있다.In one embodiment, the step of receiving the provisional floor request includes receiving an identifier of the presenter from a terminal of the audience and automatically withdrawing the provisional floor request when the presenter changes from the presenter to another participant Step < / RTI >

다른 실시예에서, 상기 임시 발언권 요청을 송신하는 단계는, 상기 발표자의 단말에 상기 청중의 정보를 더 송신하는 단계를 포함할 수 있다.In another embodiment, transmitting the temporary voice request may further comprise transmitting the information of the audience to the speaker's terminal.

또 다른 실시예에서, 상기 청중에게 임시 발언권을 부여하는 단계는, 상기 임시 발언권 요청이 승인되었음을 알리는 메시지를 다자간 영상 통신에 참여한 참여자의 단말에 송신하는 단계를 포함할 수 있다.In yet another embodiment, the step of granting a temporary voice to the audience may include transmitting a message to the terminal of the participant participating in the multi-party video communication informing that the temporary voice request is approved.

또 다른 실시예에서, 상기 청중에게 임시 발언권을 부여하는 단계는, 상기 청중의 영상을 다자간 영상 통신 화면의 주 영역에 표시하고, 상기 발표자의 영상을 부 영역에 표시하여 다자간 영상 통신을 제공하는 단계를 포함할 수 있다.In another embodiment, the step of granting a temporary voice to the audience may include the steps of displaying the video of the audience on the main area of the multi-party video communication screen and displaying the video of the speaker on the sub area to provide multi- . &Lt; / RTI >

또 다른 실시예에서, 상기 청중에게 임시 발언권을 부여하는 단계는, 기 설정된 발언 시간을 임시 발언 시간으로 하여 상기 청중에게 임시 발언권을 부여하는 단계를 포함할 수 있다.In yet another embodiment, the step of granting a temporary voice to the audience may include granting a temporary voice to the audience with a predetermined speaking time as a temporary speaking time.

또 다른 실시예에서, 상기 임시 발언권 요청을 수신하는 단계는, 상기 청중의 단말로부터 발언 시간을 더 수신하는 단계를 포함하고, 상기 청중에게 임시 발언권을 부여하는 단계는, 상기 수신한 발언 시간을 임시 발언 시간으로 하여 상기 청중에게 임시 발언권을 부여하는 단계를 포함할 수 있다.In yet another embodiment, the step of receiving the temporary floor request further comprises receiving a speaking time from the terminal of the audience, wherein the step of granting a temporary speaking right to the audience comprises: And giving a temporary voice to the audience as a speech time.

또 다른 실시예에서, 상기 발표자에게 발언권이 자동으로 복귀되는 단계는, 상기 임시 발언권이 종료되었음을 알리는 메시지를 다자간 영상 통신에 참여한 참여자의 단말에 송신하는 단계를 포함할 수 있다.In another embodiment, the step of automatically returning the voice to the speaker may include transmitting a message to the participant terminal participating in the multi-party video communication to inform that the temporary voice is terminated.

또 다른 실시예에서, 상기 발표자에게 발언권이 자동으로 복귀되는 단계는, 상기 발표자의 영상을 다자간 영상 통신 화면의 주 영역에 표시하고, 상기 청중의 영상을 부 영역에 표시하여 다자간 영상 통신을 제공하는 단계를 포함할 수 있다.In another embodiment, the step of automatically returning the voice to the speaker may include displaying the video of the speaker in the main area of the multi-party video communication screen and displaying the video of the audience in the sub area to provide multi- Step < / RTI >

또 다른 실시예에서, 상기 발표자에게 발언권이 자동으로 복귀되는 단계는, 상기 청중의 음성을 인식하여, 기 정해진 시간 이상 발언이 없으면 상기 임시 발언권이 종료된 것으로 판단하는 단계를 포함할 수 있다.In another embodiment, the step of automatically returning the voice to the speaker may include recognizing the voice of the audience and determining that the temporary voice has been terminated if there is no more than the predetermined time.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 태양에 따른 다자간 영상 통신에서 임시 발언권 관리 방법은, 다자간 영상 통신에 참여한 청중의 단말로부터 임시 발언권 요청과 임시 발언 컨텐츠를 수신하는 단계와 발표자의 단말에 상기 임시 발언권 요청을 송신하는 단계와 상기 발표자의 단말로부터 상기 임시 발언권 요청에 대한 승인을 수신하면, 상기 임시 발언 컨텐츠를 다자간 영상 통신으로 제공하는 단계 및 상기 임시 발언 컨텐츠가 종료되면, 상기 임시 발언권이 종료된 것으로 판단하고 상기 발표자에게 발언권이 자동으로 복귀되는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for managing a temporary voice in a multi-party video communication, the method comprising: receiving a temporary voice request and temporary speech content from a terminal of an audience participating in a multi- The method comprising the steps of: transmitting a temporary voice request; and receiving, when receiving the approval for the temporary voice request from the terminal of the speaker, the temporary speech contents in a multi-party video communication; and when the temporary voice contents are terminated, And the step of automatically returning the voice to the presenter may be included.

일 실시예에서, 상기 임시 발언권 요청을 송신하는 단계는, 상기 임시 발언 컨텐츠의 음성을 인식하여, 상기 임시 발언 컨텐츠의 발언 내용을 텍스트화 하는 단계 및 상기 텍스트화한 발언 내용의 지문을 상기 발표자의 단말에 더 송신하는 단계를 포함할 수 있다.In one embodiment, the step of transmitting the temporary floor request may include the steps of recognizing a voice of the temporary speaking content and textualizing the utterance contents of the temporary speaking content, and transmitting a fingerprint of the textualized speaking content to the speaker And further transmitting to the terminal.

다른 실시예에서, 상기 임시 발언권 요청을 송신하는 단계는, 상기 임시 발언 컨텐츠의 재생 시간을 발언 시간으로 더 송신하는 단계를 포함할 수 있다.In another embodiment, the step of transmitting the temporary voice request may further include the step of transmitting the reproduction time of the temporary speech content at the speech time.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 태양에 따른 다자간 영상 통신에서 임시 발언권 관리 방법은, 다자간 영상 통신에 참여한 청중의 단말로부터 특정 발표자에 대한 임시 발언권 요청을 수신하는 단계와 발언권의 제어 권한을 가진 참여자인 진행자의 단말에 상기 임시 발언권 요청을 송신하는 단계와 상기 진행자의 단말로부터 상기 임시 발언권 요청에 대한 승인을 수신하면, 상기 청중에게 임시 발언권을 부여하는 단계 및 상기 청중의 임시 발언권이 종료되면, 상기 특정 발표자에게 발언권을 자동으로 부여하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for managing a temporary voice in a multi-party video communication, the method comprising: receiving a temporary voice request for a specific speaker from a terminal of an audience participating in the multi- Transmitting a temporary floor request to a terminal of a participant who is a participant and receiving an approval for the provisional floor request from the terminal of the host when the provisional floor of the audience is terminated , And automatically giving a voice to the specific speaker.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 태양에 따른 다자간 영상 통신에서 임시 발언권 관리 방법은, 다자간 영상 통신에 참여한 청중의 단말로부터 특정 발표자에 대한 임시 발언권 요청과 임시 발언 컨텐츠를 수신하는 단계와 발언권의 제어 권한을 가진 참여자인 진행자의 단말에 상기 임시 발언권 요청을 송신하는 단계와 상기 진행자의 단말로부터 상기 임시 발언권 요청에 대한 승인을 수신하면, 상기 임시 발언 컨텐츠를 다자간 영상 통신으로 제공하는 단계 및 상기 임시 발언 컨텐츠가 종료되면, 상기 임시 발언권이 종료된 것으로 판단하고 상기 특정 발표자에게 발언권을 자동으로 부여하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for managing a temporary voice in a multi-party video communication, the method comprising: receiving a temporary voice request for a specific speaker from a terminal of an audience participating in a multi- The method comprising the steps of: transmitting the provisional voice request to a terminal of a participant having a control right of the participant, and providing the provisional speech contents to the multi-party video communication upon receiving approval for the provisional voice request from the terminal of the facilitator; And judging that the provisional voice is terminated when the provisional speech content is terminated, and automatically giving a voice to the specific speaker.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 태양에 따른 다자간 영상 통신에서 임시 발언권 관리 장치는, 네트워크 인터페이스와 하나 이상의 프로세서와 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리 및 다자간 영상 통신에 참여한 참여자의 정보 및 참여자의 영상을 저장하는 스토리지를 포함할 수 있다. 여기서, 상기 컴퓨터 프로그램은, 다자간 영상 통신에 참여한 청중의 단말로부터 임시 발언권 요청을 수신하는 오퍼레이션과 발언권을 가진 발표자의 단말에 상기 임시 발언권 요청을 송신하는 오퍼레이션과 상기 발표자가 상기 임시 발언권 요청을 승인하면, 상기 청중에게 임시 발언권을 부여하는 오퍼레이션 및 상기 청중의 임시 발언권이 종료되면, 상기 발표자에게 발언권이 자동으로 복귀되는 오퍼레이션을 포함할 수 있다.According to another aspect of the present invention, there is provided an apparatus for managing a temporary voice in a multi-party video communication, the apparatus comprising: a network interface; at least one processor; a memory for loading a computer program executed by the processor; And a storage for storing information of a participant participating in communication and an image of a participant. Here, the computer program may further comprise: an operation for receiving a temporary voice request from an end user participating in the multi-party video communication, an operation for transmitting the temporary voice request to the terminal of the speaker having voice, and a step of, when the speaker approves the temporary voice request An operation of giving a temporary voice to the audience, and an operation of automatically returning the voice to the speaker when the temporary voice of the audience is terminated.

상기와 같은 본 발명에 따르면, 청중이 임시 발언권을 요청하고 발표자가 이를 승인함으로써, 발언권을 가진 발표자의 발표 중간에라도 청중이 질문이나 의견 등을 이야기 할 수 있는 임시 발언권을 명시적으로 얻을 수 있다. 즉, 오프라인 회의에서 손들기와 같은 제스처를 통해서 발표자에게 의사표시를 하는 것처럼 온라인 회의에서도 본 발명을 통해 간단히 임시 발언권을 요청하는 의사표시를 할 수 있다.According to the present invention as described above, the audience can request the provisional voice and the presenter can approve the provisional voice so that the audience can explicitly obtain a temporary voice to speak the question or the opinion even during the presentation of the speaker having the voice. That is, as in the case of presenting an intention to a presenter through a gesture such as a hand-off in an offline meeting, the present invention can easily display a request for a temporary voice in an online conference.

또한, 청중이 임시 발언권을 얻어서 질문을 하는 동안에는 청중의 영상을 다자간 영상 통신 화면의 주 영역에 발표자의 영상을 부 영역에 표시하고, 청중의 임시 발언권이 종료된 후에는 발표자의 영상을 다자간 영상 통신 화면의 주 영역에 청중의 영상을 부 영역에 표시함으로써, 청중의 질문과 발표자의 답변을 오프라인에서 대화가 오고 가는 것처럼 제공하여 다자간 영상 통신에 참여하는 참여자에게 다자간 영상 통신에 보다 집중할 수 있는 환경을 제공하는 효과가 있다.In addition, while the audience obtains a temporary voice and questions, the image of the audience is displayed in the main area of the multi-screen video communication screen in the sub area, and after the provisional voice of the audience is finished, By displaying the audience's image in the main area of the screen in the sub area, it provides the audience's questions and the presenter's answer as if the conversation is coming and going offline, so that the participant participating in the multi-party video communication can concentrate more on the multi- There is an effect to provide.

또한, 청중의 임시 발언권이 종료되면 발표자에게 자동으로 발언권이 복귀되도록 함으로써, 액티브 스피커를 이용한 자동화된 발언권 제어 방법에서는 발표자의 말을 끊거나 발표가 끝나기를 기다리는 것이 아니라 임시 발언권 요청을 통한 임시 발언권 획득이라는 자연스러운 회의 문화를 정착시킬 수 있고, 스케줄링 등에 의한 수동적인 발언권 제어 방법에서는 발언권 조정을 위한 별도의 수작업을 줄일 수 있다.In addition, when the temporary voice of the audience is terminated, the speaker is automatically returned to the speaker, so that the automated voice control method using the active speaker does not wait for the speaker to finish speaking or announcement, And a passive voice control method based on scheduling or the like can reduce the manual work for adjusting the voice.

또한, 청중의 임시 발언권 요청과 함께 임시 발언 컨텐츠를 수신하고, 발표자가 임시 발언권 요청을 승인하면 수신한 임시 발언 컨텐츠를 재생함으로써, 청중이 임시 발언이 필요할 때마다 임시 발언 영상/음성을 녹화/녹음하여 이를 다자간 영상 통신을 통해서 재생해 줄 것을 발표자에게 요청할 수 있다. 게다가 임시 발언 컨텐츠의 음성을 분석하여 텍스트화하여 지문으로 제공하면 발표자는 청중의 질문 중에서 답변이 필요한 질문들만 선택해서 임시 발언 컨텐츠를 재생하고 해당 임시 발언 컨텐츠에 대해서 답변할 수 있는 편의성을 얻을 수 있다.Also, by receiving the temporary speech contents together with the request of the temporary voice of the audience, and reproducing the temporary speech contents received when the presenter approves the temporary voice request, the voice / video of the temporary speech / voice is recorded / And can request the presenter to reproduce it through the multi-media video communication. Furthermore, if the voice of the temporary speech contents is analyzed and provided as a text, the speaker can select the questions requiring the answers from the audience's questions to reproduce the temporary speech contents and obtain the convenience of responding to the corresponding temporary speech contents .

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood to those of ordinary skill in the art from the following description.

도 1은 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 관리하는 방법의 순서도이다.
도 2 내지 도 4는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 관리하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신을 이용한 화상 회의 그래픽 사용자 인터페이스(Graphic User Interface)의 예시도이다.
도 6 내지 도 9는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 요청하고 이를 승인하는 기능을 발표자에게 제공하는 그래픽 사용자 인터페이스(Graphic User Interface)의 예시도이다.
도 10 내지 도 11은 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 요청하고 임시 발언을 하는 기능을 청중에게 제공하는 그래픽 사용자 인터페이스(Graphic User Interface)의 예시도이다.
도 12는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 관리하는 방법의 순서도이다.
도 13 내지 도 14는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언 컨텐츠를 이용하는 기능을 발표자 및 청중에게 제공하는 그래픽 사용자 인터페이스(Graphic User Interface)의 예시도이다.
도 15는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 관리하는 장치의 하드웨어 구성도이다.1 is a flowchart of a method for managing ad-hoc voice in multi-party video communication in accordance with some embodiments of the present invention.
FIGS. 2 to 4 are flowcharts for explaining a method of managing a temporary voice in a multi-party video communication according to some embodiments of the present invention.
Figure 5 is an illustration of a graphical user interface (GUI) for video conferencing using multi-party video communication in accordance with some embodiments of the present invention.
FIGS. 6-9 illustrate examples of a graphical user interface that provides a presenter with a function of requesting and approving a temporary voice in a multi-party video communication according to some embodiments of the present invention.
10-11 are diagrams illustrating examples of a graphical user interface (GUI) for providing an audience with a function of requesting a temporary voice and making a temporary speech in a multi-party video communication according to some embodiments of the present invention.
12 is a flowchart of a method for managing temporary voice in multi-party video communication according to some embodiments of the present invention.
13 to 14 are diagrams illustrating examples of a graphical user interface (GUI) for providing a speaker and a user with a function of using temporary speech contents in a multi-party video communication according to some embodiments of the present invention.
FIG. 15 is a hardware block diagram of an apparatus for managing a temporary voice in multi-party video communication according to some embodiments of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.

이하 본 발명에서는, 다자간 영상 통신에 참여한 참여자 중에서 현재 발언권을 가지지 않은 참여자를 청중이라 하고, 현재 발언권을 가진 참여자를 발표자라 하며, 발언권의 제어 권한을 가진 참여자를 진행자라고 한다. 액티브 스피커를 이용하여 자동화된 방법으로 발언권을 제어하는 경우에는 진행자가 없을 수도 있다. 그리고, 스케줄링 등에 의한 수동적인 방법으로 발언권을 제어하는 경우라고 하더라도 상황에 따라서는 발표자가 진행자의 역할을 겸할 수도 있다.In the present invention, among participants participating in the multi-party video communication, a participant who does not have a current voice is called an audience, a participant who has a current voice is a speaker, and a participant who has control of a voice is a facilitator. There may be no host when controlling the floor in an automated manner using active speakers. Even if the floor is controlled by a passive method such as scheduling, the presenter may also serve as the facilitator depending on the situation.

또한 발표자는 다자간 영상 통신에 참여한 참여자 중에서 특정 참여자로 고정된 경우일 수도 있으나, 상황에 따라 다른 참여자로 변경되는 경우일 수도 있다. 전자의 경우는 특정 발표자가 특정 주제에 관하여 발표하는 온라인 세미나, 강사와 학생이 온라인으로 실시간 강의를 진행하는 원격 강의, 의사와 환자 간의 원격 진료를 예로 들 수 있다. 후자의 경우는 화상 회의를 예로 들 수 있다. 그리고 다자간 영상 통신이 진행되는 전체에 걸쳐서 발표자가 여러 명일 수는 있어도, 각 순간순간의 발표자는 한명인 경우로 가정한다. 물론 동시에 여러 참여자가 상대방과 무관하게 자기가 하고 싶은 말만 할 수도 있으나 이를 다자간 영상 통신을 이용한 올바른 활용예라 보기는 어렵다. 대화는 오고 가는 것이어야 하기 때문이다. 이러한 경우를 미연에 방지하기 위하여 스케줄링 등에 의한 수동적인 발언권 제어 방법에서는 발표자를 제외한 청중의 단말로부터는 영상 데이터만을 수신 받고 음성 데이터는 소거하기도 한다.In addition, the presenter may be fixed as a specific participant among the participants participating in the multi-party video communication, but it may be changed to another participant depending on the situation. In the former case, an online seminar that a specific speaker presents about a specific topic, a remote lecture where a lecturer and a student conduct a live lecture online, and a remote doctor between a doctor and a patient are examples. In the latter case, video conferencing is an example. In addition, even though there may be several presenters throughout the entire multi-party video communication, it is assumed that the presenters at the moment of each moment are one. Of course, it is possible for several participants to say only what they want to say regardless of the other party, but it is difficult to see this as an example of correct use of multi-party video communication. The conversation must be coming and going. In order to prevent such a case in advance, passive voice control methods such as scheduling and the like may only receive video data from the terminals of the audience other than the presenter and erase the voice data.

이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 관리하는 방법의 순서도이다.1 is a flowchart of a method for managing ad-hoc voice in multi-party video communication in accordance with some embodiments of the present invention.

다자간 영상 통신에서 발언권을 가진 발표자의 발표 중간에 이를 듣고 있는 청중이 발표 내용에 대해 질문이나 의견을 이야기 하고 싶을 때는 임시 발언권을 요청할 수 있다(S1100). 이러한 임시 발언권 요청 기능은 사용자에게 친근한 이름으로 "손들기"라는 기능으로 제공될 수 있다. 이러한, 청중의 "손들기" 요청은 마우스 인터랙션이나 키보드 입력, 단말에 따라 터치나 플리킹 등의 제스쳐 또는 손을 드는 행위를 인식한 비디오 분석 등의 다양한 입력 방법을 통해서 발생할 수 있다.In the case of a speaker who has a voice in multi-party video communication, if an audience listening to the voice of the speaker wants to talk about the contents of the presentation, he / she can request a temporary voice (S1100). This temporary voice request function can be provided with a function called "hand up" as a user-friendly name. Such a "hand lift" request of the audience may occur through a variety of input methods, such as mouse interaction, keyboard input, video analysis that recognizes gestures such as touching or flicking or hand gestures depending on the terminal.

종래기술에도 "손들기"와 유사하게 질문이나 의견을 발표자에게 전달하는 기능이 있었으나, 대부분 텍스트로 간단하게 표시하는 수준이었다. 예를 들면 다자간 영상 통신에서 제공하는 부가기능 중 채팅창에 청중이 질문을 입력하는 정도였다. 이런 경우 다른 청중의 채팅 입력으로 인해 질문이 채팅창 화면의 스크롤 위로 올라가서 발표자가 미처 질문이나 의견 내용을 확인하지 못하는 경우가 발생할 수도 있다. 즉 종래기술에서 청중이 발표 내용에 대해 발표자에게 의견을 표시하는 기능은 비명시적으로 제공되는 경우가 많았다. 이에 비해 본 발명은 임시 발언권 요청을 명시적으로 제공하는 차이점이 있다.In the prior art, there was a function of conveying a question or opinion to the presenter similar to "hand-up", but it was mostly a level of displaying text simply. For example, among the additional functions provided by the multi-party video communication, it was enough for the audience to input a question into the chat window. In such a case, chat input from other audiences may cause the question to float over the scroll of the chat window screen, and the presenter may not be able to confirm any questions or comments. In other words, in the prior art, the function of displaying opinions to the presenter about the contents of the presentation by the audience was often unexplained. In contrast, the present invention differs from the present invention in that it explicitly provides a temporary voice request.

서버가 청중의 단말로부터 임시 발언권 요청을 수신하게 되면, 이를 발표자의 단말에 송신하여 어느 청중으로부터 임시 발언권 요청이 있었는지 표시할 수 있다(S1200). 발표자는 임시 발언권 요청을 한 청중들의 목록을 확인할 수 있으며 상황에 따라 임시 발언권 요청을 승인할 수 있다(S1300). 아직 임시 발언권 요청을 승인하기 어려운 상황이라면, 발표자의 단말에 임시 발언권을 요청한 청중들의 목록이 그대로 표시가 될 것이고, 추후에 발표자가 그 중에서 특정 청중을 선택하여 임시 발언권 요청을 승인하는 경우에는 해당 청중에게 임시 발언권을 부여한다(S1400). 만약 발언권의 제어 권한을 가진 진행자가 별도로 있는 경우에는 임시 발언권 요청은 발표자 대신 진행자의 단말에 송신될 수 있다. 이때에는 진행자가 임시 발언권 요청을 승인하는 경우에, 해당 청중에게 임시 발언권을 부여한다.When the server receives the temporary voice request from the terminal of the audience, the server transmits the temporary voice request to the speaker of the speaker so as to indicate from which audience the temporary voice request is made (S1200). The presenter can check the list of audiences who made a request for a temporary voice, and may approve a request for a temporary voice, depending on the situation (S1300). If it is still difficult to approve a request for a temporary voice, the list of listeners who requested a temporary voice to the presenter's terminal will be displayed as it is, and if the presenter selects a specific audience among them and approves the temporary voice request, (S1400). If there is another moderator who has the authority to control the floor, the provisional floor request can be sent to the moderator's terminal instead of the presenter. At this time, if the moderator approves the request for provisional voice, the voice is given to the audience.

액티브 스피커를 이용하여 자동으로 발언권을 제어하는 경우라 하더라도, 발표자의 임시 발언권 요청의 승인이 있게 되면, 현재의 액티브 스피커와는 무관하게 기 설정된 발언 시간 동안 임시 발언권을 부여 받은 청중이 발언권을 가지게 된다. 즉 발표자에게 질문이나 의견 등을 이야기하기 위해 발표자보다 더 큰 목소리로 이야기를 하지 않아도 임시 발언권 요청을 통해 자연스럽게 임시 발언권을 획득할 수 있다. 이와 같이 임시 발언권을 요청하고 승인하는 과정을 통해 임시 발언권을 획득하려는 합의가 다자간 영상 통신에 참여한 참여자들의 의식 속에 자리잡게 되면 원활한 의사소통을 위한 건전한 회의 문화를 정착시키는 효과도 있다.Even if the floor is automatically controlled using the active speaker, if the presenter's request for provisional floor rights is granted, the audience who has been given the provisional floor for the preset speaking time has the floor regardless of the current active speaker . In other words, even if you do not speak in a louder voice than the presenter in order to talk to the presenter about a question or an opinion, you can naturally get a temporary voice through a temporary voice request. In this way, when the consent to acquire the temporary voice through the process of requesting and approving the temporary voice is established in the consciousness of the participants participating in the multi-party video communication, there is also an effect of establishing a sound culture of meeting for smooth communication.

임시 발언권을 부여 받은 청중의 임시 발언권이 종료가 되면(S1500), 발언권은 다시 발표자에게 자동으로 복귀하게 된다(S1600). 즉 임시 발언권을 부여 받은 청중의 질문이나 의견에 대해 발표자가 피드백을 할 수 있도록 자동으로 발언권을 복귀시키는 것이다.When the provisional voice of the audience to whom the provisional voice is given ends (S1500), the voice is automatically returned to the presenter (S1600). In other words, the voice is automatically restored so that the speaker can give feedback on the question or opinion of the audience who is granted the temporary voice.

액티브 스피커를 이용하여 자동으로 발언권을 제어하는 경우라 하더라도, 청중의 임시 발언권이 종료되면, 현재의 액티브 스피커와는 무관하게 기 설정된 발언 시간 동안 원래의 발표자가 발언권을 가지게 된다. 또한, 스케줄링에 의해 또는 진행자에 의해 수동적으로 발언권을 제어하는 경우라고 하더라도, 임시 발언권의 종료와 함께 자동으로 원래의 발표자에게 발언권을 복귀시킴으로써 발언권 복귀를 위한 진행자의 추가 조작을 줄일 수 있다.Even when the voice is automatically controlled using the active speaker, when the temporary voice of the audience is terminated, the voice of the original speaker is held for the predetermined speaking time regardless of the current active speaker. Further, even when the talk right is manually controlled by scheduling or by the host, the talker can be automatically returned to the original speaker along with the end of the temporary talk, thereby reducing the additional operation of the host for returning the talk.

도 2는 다자간 영상 통신에서 임시 발언권을 관리하는 방법의 일반적인 경우를 설명하기 위한 흐름도이다.2 is a flowchart for explaining a general case of a method for managing a temporary voice in a multi-party video communication.

도 2의 흐름도를 참고하면, 청중 1(115)이 발표자(111)의 발표 중간에 서버(10)에 손들기 요청을 보낸다. 청중 1(115)로부터 손들기 요청을 수신한 서버(10)는 발표자(111)의 단말에 손들기 요청이 들어왔음을 알릴 수 있다. 청중 1(115)로부터 들어온 손들기 요청을 확인한 발표자(111)는 이를 승인할 수 있다. 발표자(111)의 손들기 요청 승인이 있게 되면 서버(10)는 다자간 영상 통신에 참여한 전체 참여자에게 손들기 요청의 승인을 알림 메시지로 알리고 임시 발언권을 청중 1(115)에게 부여할 수 있다. 청중 1(115)이 임시 발언권을 부여 받기 전까지는 발표자(111)가 발언권을 가진 상황이므로 다자간 영상 통신 화면의 주 영역에 발표자(111)의 영상을 표시한다(A단계).Referring to the flow chart of FIG. 2, the audience 1 (115) sends a hand-over request to the server (10) during the presentation of the speaker (111). The server 10 that has received the hand-over request from the audience 1 (115) may notify the terminal of the presenter 111 that a hand-over request has been received. The speaker 111 confirming the hand lifting request from the audience 1 (115) can approve it. When the handwritten request of the presenter 111 is approved, the server 10 informs all participants participating in the multi-party video communication of approval of the hand-over request as a notification message and gives a temporary voice to the audience 1 (115). The presenter 111 displays the image of the presenter 111 in the main area of the multi-view video communication screen (step A) until the audience 1 (115) is given a temporary voice.

임시 발언권을 가진 청중 1(115)이 발표자(111)의 발표 내용에 대해 질문이나 의견을 이야기하는 동안에는 청중 1(115)의 영상을 다자간 영상 통신 화면의 주 영역에 표시한다(B단계).While the audience (1) 115 having the temporary voice has a question or an opinion about the announcement of the speaker 111, the image of the audience 1 (115) is displayed in the main area of the multi-party video communication screen (step B).

그러다가 청중 1(115)의 임시 발언권이 종료되면, 서버(10)는 임시 발언권이 종료되었음을 다자간 영상 통신에 참여한 전체 참여자에게 알림 메시지로 알리고, 발언권을 다시 발표자(111)에게 복귀시킨다. 발언권이 복귀가 되면 발표자(111)는 청중 1(115)의 질문이나 의견에 대해 피드백을 하면 된다. 이 때에는 발표자(111)가 발언권을 가진 상황이므로 다자간 영상 통신 화면의 주 영역에 발표자(111)의 영상을 표시한다(C단계).Then, when the provisional voice of the audience 1 (115) is terminated, the server 10 informs all participants participating in the multi-party video communication that the provisional voice is terminated by a notification message and returns the voice to the speaker 111 again. When the right to speak returns, the presenter 111 can feedback the questions and opinions of the audience 1 (115). At this time, since the presenter 111 has a voice, the video of the presenter 111 is displayed in the main area of the multi-party video communication screen (step C).

A단계와 C단계에서는 발표자의 영상을 다자간 영상 통신 화면의 주 영역에 표시하고, B단계에서는 임시 발언권을 가진 청중의 영상을 다자간 영상 통신 화면의 주 영역에 표시하여 다자간 영상 통신에 참여한 참여자들에게 실제 오프라인 회의와 같이 발표자와 청중 사이에 질문과 답변이 오고 가는 느낌이 들도록 하여 다자간 영상 통신에 대한 집중도를 높일 수 있다.In step A and step C, the presenter's image is displayed in the main area of the multi-party video communication screen. In step B, the image of the audience with the temporary voice is displayed in the main area of the multi- As with actual offline meetings, it is possible to increase the concentration of multi-party video communication by making questions and answers come and go between the presenter and audience.

도 3은 다자간 영상 통신에서 임시 발언권을 관리하는 방법에서, 복수의 청중이 임시 발언권을 요청한 경우를 설명하기 위한 흐름도이다.FIG. 3 is a flowchart for explaining a case in which a plurality of audiences request a temporary voice in a method of managing a temporary voice in a multi-party video communication.

발표자(111)의 발표 중간에 여러 명의 청중이 임시 발언권을 요청할 수도 있다. 각각의 손들기 요청에 대해 서버(10)는 각각의 청중의 임시 발언권 요청을 발표자(111)에게 알리고, 발표자는 상황에 따라 임시 발언권을 주고 싶은 청중을 선택하여 임시 발언권 요청을 승인할 수 있다. 도 3의 예시에서는 청중 1(115), 청중 2(117), 청중 3(119)의 손들기 요청에 대해, 발표자(111)가 청중 3(119)의 손들기 요청을 승인하였고, 서버(10)는 청중 3(119)의 손들기 요청 승인 알림 메시지를 다자간 영상 통신에 참여한 전체 참여자에게 알릴 수 있다. 청중 3(119)이 임시 발언권을 얻게 되면, 다자간 영상 통신 화면의 주 영역에는 청중 3(119)의 영상을 표시할 수 있다.During the presentation of the speaker (111), several audiences may request a temporary voice. For each hand lifting request, the server 10 informs the presenter 111 of a request for a provisional voice of each audience, and the presenter can approve the provisional voice request by selecting the audience to whom the presenter wishes to speak. 3, the presenter 111 approves the hand-over request of the audience 3 (119) for the hand-over request of the audience 1 (115), audience 2 (117), and audience 3 (119) May notify all participants participating in the multi-party video communication that the handout request acknowledgment message of the audience 3 (119) is notified. When the audience 3 119 obtains the temporary voice, the image of the audience 3 (119) can be displayed in the main area of the multi-party video communication screen.

즉, 일반적인 오프라인 회의와 마찬가지로 발표자가 "질문 있으신 분~" 하고 질문을 받을 때 어느 청중으로부터 질문을 받을지는 전적으로 발표자의 선택에 맡겨진다. 먼저 임시 발언권 요청을 하였다고 해서 발표자(111)가 그 청중의 임시 발언권 요청을 먼저 승인해야 하는 것은 아니다. 경우에 따라서는 모든 청중의 임시 발언권 요청을 순차적으로 승인할 수도 있고, 또는 모든 청중의 임시 발언권 요청을 무시할 수도 있는 것이다. 도 3의 경우처럼 청중 3(119)의 임시 발언권 요청을 먼저 승인한 뒤, 청중 3(110)의 임시 발언권이 종료되고 발언권이 다시 발표자(111)에게 복귀되면, 발표자(111)의 단말에는 청중 1(115)과 청중 2(117)의 임시 발언권 요청이 그대로 남아 있는 상태로 조회가 될 것이다. 추후 발표자(111)는 상황에 따라 청중 1(115)이나 청중 2(117)의 임시 발언권 요청을 뒤늦게라도 승인할 수 있다.In other words, just as in a typical offline meeting, when a presenter is asked "have a question", it is entirely up to the presenter to choose from which audience the question will be asked. Since the provisional voice request is made first, the speaker 111 does not have to first approve the provisional voice request of the audience. In some cases, it may approve a request for provisional voice of all the listeners in sequence, or it may ignore the request of a temporary voice of all the audience. 3, the temporary voice of the audience 3 (110) is terminated and the voice is returned to the speaker (111) again. After that, the speaker (111) 1 (115) and Audience 2 (117) requests will remain in place. Future presenter 111 may approve a request for a temporary voice of audience 1 (115) or audience 2 (117) later, depending on the situation.

도 4는 다자간 영상 통신에서 임시 발언권을 관리하는 방법에서, 복수의 발표자가 있는 경우를 설명하기 위한 흐름도이다.4 is a flowchart for explaining a case where a plurality of presenters is present in a method of managing temporary voice rights in the multi-party video communication.

앞서 설명한 것처럼 발표자는 다자간 영상 통신에 참여한 참여자 중에서 특정 1인으로 고정된 경우일 수도 있지만, 상황에 따라서는 발표자가 바뀔 수도 있다. 이는 다자간 영상 통신의 활용예에 따라서 달라질 수 있다. 온라인 세미나나 원격 진료 같은 경우에는 발표자가 세미나 발표자 또는 의사로 고정된 경우이겠지만, 팀 주간 보고 회의 같은 화상 회의라면 발표자가 순차적으로 각 팀원으로 변경될 수 있다. 오프라인 회의라면 질문을 위해서 손을 들었다가도 발표자가 변경이 되면 청중은 손을 내리게 될 것이다. 이와 유사하게 "손들기"는 "손들기 취소"를 통해 발표자의 승인이 있기 전이라면 임시 발언권 요청을 취소하는 기능을 청중에게 제공할 수 있다. 하지만, 이와 별개로 발표자가 변경되는 경우 시스템적으로 이전 발표자에 대한"손들기"를 자동으로 철회할 수도 있다.As described above, the presenter may be fixed to one specific participant in the multi-party video communication, but the presenter may change depending on the situation. This may vary depending on the application of the multi-party video communication. In the case of an online seminar or telemedicine, the presenter may be fixed as a seminar presenter or physician, but if the videoconference is a videoconference, such as a team weekly videoconference, the presenter may be changed sequentially to each team member. If it is an offline meeting, the audience will raise their hands when the speaker changes, even if they raise their hands for a question. Similarly, "Raise Hand" can provide the audience with the ability to cancel a request for a temporary voice request before the presenter's approval through "Cancel Raise Hand". However, apart from this, if the presenter changes, he or she may automatically withdraw "hand lift" systematically from the previous presenter.

도 4의 예시를 참고하면, 발표자 1(111)의 발표 중에 청중 1(115)이 임시 발언권을 요청하였다. 그러나 발표자 1(111)에 대한 청중 1(115)의 임시 발언권 요청이 승인되기 전에, 발표자가 발표자 1(111)에서 발표자 2(113)로 변경이 되었다면, 종전에 요청한 발표자 1(111)에 대한 청중 1(115)의 임시 발언권 요청은 의미가 없게 된다. 청중 1(115)은 발표자 1(111)의 발표 내용에 대해서 발표자 1(111)에게 임시 발언권을 요청한 것이지, 발표자 2(113)에게 임시 발언권을 요청한 것은 아니기 때문이다. 이런 경우 청중 1(115)이 임시 발언권 요청을 취소하기 전이라도 시스템적으로 청중 1(115)이 발표자 1(111)에게 요청한 임시 발언권 요청을 취소할 필요가 있다. 청중 1(115)의 임시 발언권 요청이 시스템적으로 자동으로 취소된 후 발표자 2(113)의 발표가 진행되는 중에 청중 2(117)의 발표자 2(113)에 대한 임시 발언권 요청이 있게 되면 서버(10)는 이를 다자간 영상 통신에 참여한 전체 참여자에게 알림 메시지로 알릴 수 있고 발표자 2(113)는 청중 2(117)의 임시 발언권 요청을 승인할 수 있다. 그러면 청중2(117)는 임시 발언권을 얻게 된다.Referring to the example of FIG. 4, audience 1 (115) requested a temporary voice during presentation of Speaker 1 (111). However, if the presenter is changed from Presenter 1 (111) to Presenter 2 (113) before the request for provisional voice of audience 1 (111) is approved for Presenter 1 (111) The request for the provisional voice of audience 1 (115) becomes meaningless. Audience 1 (115) requested a temporary voice to Speaker 1 (111) about the announcement of Speaker 1 (111), not because it requested a temporary voice to Speaker 2 (113). In this case, audience 1 (115) will need to systematically cancel the request for a temporary voice request to speaker 1 (111) even before audience 1 (115) cancels the provisional voice request. If a provisional voice request for audience 2 (113) of audience 2 (117) is made during the announcement of speaker 2 (113) after the request for provisional voice of audience 1 (115) is automatically canceled systematically, 10) can notify all participants participating in the multi-party video communication with a notification message and the speaker 2 (113) can approve the request for the temporary voice of the audience 2 (117). Audience 2 (117) then gains a temporary voice.

발표자 1(111)의 발표 중에는 다자간 영상 통신 화면의 주 영역에 발표자 1(111)의 영상을 표시하고(A 단계), 발표자 2(113)의 발표 중에는 다자간 영상 통신 화면의 주 영역에 발표자 2(113)의 영상을 표시하다가(B 단계), 발표자 2(113)에게 요청한 청중 2(117)의 임시 발언권 요청이 승인되어, 청중 2(117)가 임시 발언권을 얻게 되면, 청중 2(117)의 영상을 다자간 영상 통신 화면의 주 영역에 표시할 수 있다(C 단계). 추후 청중 2(117)의 임시 발언권이 종료되면, 다시 발표자 2(113)에게 자동으로 발언권이 복귀되고, 이때에는 다자간 영상 통신 화면의 주 영역에 발표자 2(113)의 영상을 표시할 수 있다. 발표자의 변경에 따른 발언권의 변동과, 임시 발언권 요청 및 승인에 따른 임시 발언권의 변동에 동기화하여 다자간 영상 통신 화면의 주 영역에 표시되는 참여자의 영상을 적절하게 변경할 수 있다.During the announcement of Presenter 1 (111), the image of Presenter 1 (111) is displayed in the main area of the multi-view video communication screen (Step A), and during the presentation of Presenter 2 (113) 113) is displayed (Step B). When the request for provisional voice of the audience 2 117 requested by the speaker 2 113 is approved and the audience 2 117 obtains the provisional voice, The image can be displayed in the main area of the multi-view video communication screen (step C). When the temporary voice of the second audience (117) ends, the voice of the second speaker (113) is automatically returned to the second speaker (113). At this time, the second speaker (113) can be displayed in the main area of the multi-party video communication screen. The image of the participant displayed in the main region of the multi-view video communication screen can be appropriately changed in synchronization with the change of the talk right according to the change of the speaker and the change of the temporary talk right according to the request and approval of the temporary talk right.

도 5는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신을 이용한 화상 회의 화면의 그래픽 사용자 인터페이스(Graphic User Interface)의 예시도이다.5 is an exemplary diagram of a graphical user interface of a video conference screen using multi-party video communication according to some embodiments of the present invention.

도 5에 예시된 그래픽 사용자 인터페이스는 다자간 영상 통신을 이용하여 팀 주간보고를 하는 화상 회의 화면(200)의 예시도이다. 도 5를 참고하면, 다자간 영상 통신 외에도 화상 회의를 좀 더 편하게 할 수 있도록 다양한 부가기능을 제공할 수 있다. 예를 들면, 발표자가 발표하는 내용의 프리젠테이션 문서를 볼 수 있는 "문서모드", 다자간 영상 통신에 참여한 참여자들과 화면을 공유하는 "화면공유", 파일을 공유하는 "파일공유", 화이트보드를 통해 실시간으로 의견을 나눌 수 있는 "화이트보드", 메모를 통해 참여자가 별도의 기록을 할 수 있는 "메모" 등의 부가기능을 제공할 수 있다. 이러한 기능들은 그래픽 사용자 인터페이스 화면의 왼쪽 영역(211)에서 제공될 수 있다. 한편, 오른쪽 영역(231)에서는 다자간 영상 통신을 위해 화상 회의에 참여한 참여자들의 목록과 현재 발표자의 영상을 표시하는 화면을 제공할 수 있다.The graphical user interface illustrated in FIG. 5 is an exemplary view of a video conference screen 200 for team weekly reporting using multi-party video communication. Referring to FIG. 5, in addition to multi-party video communication, various additional functions can be provided to facilitate video conferencing. For example, there are "document mode" for presenting presentations of presentations by presenters, "screen sharing" for sharing screens with participants participating in multi-way video communication, "file sharing" for sharing files, Quot; white board "for sharing opinions in real time through the user, and" memo " These functions may be provided in the left area 211 of the graphical user interface screen. Meanwhile, in the right area 231, a list of participants participating in the video conference for multi-party video communication and a screen for displaying the image of the present speaker can be provided.

그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에는 현재 화상 회의에 초대된 인원과 그 중에서 화상 회의에 참여한 인원을 상단에 숫자로 간단하게 표시해서 정보를 제공할 수 있다. 화상 회의의 영상을 보여주는 다자간 영상 통신 화면의 주 영역에는 현재 발표자의 영상을 표시할 수 있다. 다자간 영상 통신에 참여한 참여자 목록에서는 발표자와 청중을 구분하여 제공할 수 있다. 이는 아이콘을 통해서, 또는 목록의 표시에 차이를 두어 발표자가 누구인지 명시적으로 보여줄 수 있다. 예를 들면, 목록에서 발표자는 이름을 볼드체로 표시하거나, 발표자는 최상단에 위치시키거나, 발표자만 다른 색상으로 목록을 표시할 수도 있다. 도 5를 참고하면, 목록 최상단에 마이크 아이콘으로 표시된 "김태현"이 현재의 발표자임을 알 수 있다.In the right area 231 of the graphical user interface screen, the number of persons invited to the current video conference and the number of the persons who participated in the video conference among them can be displayed simply by numerals at the top to provide information. In the main area of the multi-screen video communication screen showing video of the video conference, the video of the present speaker can be displayed. In the list of participants participating in the multi-party video communication, presenters and audiences can be provided separately. This can be done explicitly through the icon or by differentiating the display of the list to indicate who the presenter is. For example, in the list, the presenter may display the name in bold, the presenter at the top, or the presenter only in a different color. Referring to FIG. 5, it can be seen that "Kim Tae Hyun ", indicated by a microphone icon, is the present speaker at the top of the list.

도 6은 도 5의 그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에 대해서, 임시 발언권 요청이 있는 경우를 발표자를 기준으로 보다 자세하게 설명하기 위한 예시도이다.FIG. 6 is an exemplary diagram for explaining in detail a case where a request for provisional voice is issued to the right area 231 of the graphical user interface screen of FIG. 5 based on the presenter.

도 6을 참고하면, 다자간 영상 통신을 위한 오른쪽 영역(231)은 상단에 발표자의 영상을 보여주기 위한 영역과(233), 다자간 영상 통신에 참여한 참여자의 목록을 보기 위한 버튼(237) 및 채팅 내용을 확인하기 위한 버튼(239)를 포함할 수 있다. 참여자의 목록을 보기 위한 버튼(237)이 활성화 되면, 현재 참여자의 목록이 제공되며, 발표자와 청중을 구분하여 표시할 수 있다. 도 6의 예시도에서는 발표자는 "김태현"이며, 그 외의 참여자 "한도준", "박태용" 및 "한여진"이 청중이다. 그리고 회의에 초대되었으나 아직 참여하지 못한 "이채영" 및 "송두철"의 이름도 목록에서 함께 확인할 수 있다. 발표자 "김태현"의 발표에 대해서 청중 세 명이 모두 임시 발언권을 요청한 상태이다. 청중의 임시 발언권 요청이 있게 되면 이를 별도의 아이콘으로 표시할 수 있다. 도 6의 예에서는 손들기 아이콘(243)을 통해 발표자에게 임시 발언권을 요청한 청중의 정보를 직관적으로 파악할 수 있도록 제공하고 있다. 또한 발표자에게 임시 발언권을 요청한 청중들의 통계정보를 별도의 아이콘(241)으로 표시하여 제공할 수 있다. 도 6을 참고하면 손들기 아이콘에 숫자 3을 표시하여 현재 임시 발언권을 요청한 청중의 숫자를 손쉽게 파악하도록 발표자에게 제공하고 있다.6, the right area 231 for the multi-party video communication includes an area for displaying the presenter's image at the upper part and a button 233 for viewing a list of participants participating in the multi- And a button 239 for confirming the user. When a button 237 for viewing a list of participants is activated, a list of current participants is provided, and the speaker and audience can be displayed separately. In the example of FIG. 6, the presenters are "Tae Hyun Kim" and the other participants "Han Do Joon", "Park Tae Yong" and "Aftershock" are audiences. Also, you can see the names of "Lee Chae Young" and "Song Du Chul" which were invited to the meeting but have not yet participated. All three of the audience have asked for a temporary voice over the presentation of the speaker "Kim Tae-hyun". When an audience has a temporary voice request, they can display it as a separate icon. In the example of FIG. 6, the presenting user can intuitively grasp the information of the audience requesting the temporary talk right through the hand lift icon 243. In addition, the statistical information of the audience who requests the speaker for the temporary voice can be displayed as a separate icon (241). Referring to FIG. 6, the number 3 is displayed on the hand-picker icon to provide a presenter with an easy way to grasp the number of audiences currently requesting a temporary voice.

도 7은 도 5의 그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에 대해서, 임시 발언권 요청의 승인이 있는 경우를 발표자를 기준으로 보다 자세하게 설명하기 위한 예시도이다.FIG. 7 is an exemplary diagram for explaining in more detail a case where approval of a provisional voice request is granted to the right area 231 of the graphical user interface screen of FIG. 5 based on the speaker.

도 7을 참고하면, 발표자 "김태현"이 청중 "한도준"의 임시 발언권 요청을 승인하였음을 알 수 있다. 이로 인해서 청중 "한도준"은 임시 발언권을 얻게 되었다. 임시 발언권을 얻게 되면, 다자간 영상 통신을 위한 화면의 주 영역(233)에는 청중 "한도준"의 영상이 표시되며, 이전의 발표자였던 "김태현"의 영상은 부 영역(235)에 표시가 된다. 또한 다자간 영상 통신에 참여한 참여자의 목록을 확인해보면, 발표자 "김태현" 옆에 현재 임시 발언권을 요청한 청중의 통계정보를 보여주는 숫자가 3에서 2로 변경되어 아이콘(241)으로 표시되고 있는 것을 확인할 수 있다. 임시 발언권을 요청하였으나 아직 승인 받지 못한 두 청중 "박태용" 및 "한여진"은 손들기 아이콘(243)이 그대로 표시가 되고 있고, 임시 발언권을 부여 받은 청중 "한도준"은 손들기 아이콘(243) 대신 임시 발언권을 얻었음을 알려주는 별도의 마이크 아이콘(245)이 표시되고 있다. 이를 통해서 발언권, 임시 발언권 요청 및 승인에 관한 정보를 한눈에 직관적으로 파악할 수 있도록 다자간 영상 통신에 참여한 참여자 목록을 구성할 수 있다.Referring to FIG. 7, it can be seen that the speaker "Kim Tae-hyun" approves the request for temporary voice of audience "Han Do-joon". As a result, audience "Han Do - joon" got a temporary voice. When the provisional voice is obtained, an image of audience "limit" is displayed in the main area 233 of the screen for the multi-party video communication, and an image of "Kim Tae-hyun" which was the previous speaker is displayed in the sub area 235. Also, when the list of the participants participating in the multi-party video communication is checked, it is confirmed that the number of the statistical information of the audience requesting the provisional voice right next to the speaker "Kim Tae-hyun" is changed from 3 to 2 and displayed as the icon (241) . The hand raised icon 243 is displayed as it is in the two audiences "Park Tae Yong" and "Aftershock" that have requested the provisional voice but not yet approved, and the audience "Han Do Joon" A separate microphone icon 245 indicating that the temporary voice is obtained is displayed. Through this, it is possible to construct a list of participants participating in the multi-party video communication so that the information about the voice, the temporary voice request and the approval can be intuitively grasped at a glance.

도 8은 도 5의 그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에 대해서, 임시 발언권이 종료된 경우를 발표자를 기준으로 보다 자세하게 설명하기 위한 예시도이다.FIG. 8 is an exemplary diagram for explaining in detail the case where the provisional voice is terminated with respect to the right area 231 of the graphical user interface screen of FIG. 5 on the basis of the presenter.

도 8을 참고하면, 임시 발언권을 부여 받은 청중 "한도준"의 임시 발언권이 종료되었음을 알 수 있다. 임시 발언권이 종료되면, 발언권은 다시 발표자 "김태현"에게 복귀된다. 이 경우 다자간 영상 통신 화면의 주 영역(233)에는 발표자 "김태현"의 영상이, 부 영역(235)에는 임시 발언권을 얻어서 의견이나 질문을 한 청중 "한도준"의 영상이 표시된다. 발표자가 질문을 한 청중의 영상을 보면서 답변을 할 수 있도록 하여, 청중의 질문에 대해서 발표자가 좀 더 효과적으로 피드백을 할 수 있다. 또한, 다른 청중으로 하여금 임시 발언권을 얻은 청중과 발표자 사이에 질문과 답변이 오고 가는 느낌이 들도록 화면을 구성하는 효과도 있다. "한도준"의 임시 발언권이 종료되고 발표자 "김태현"에게 발언권이 복귀가 되면, "한도준"의 임시 발언권 요청 아이콘은 사라지고, 아직 임시 발언권 요청을 승인 받지 못한 다른 청중의 손들기 아이콘(243)만 표시된다. 발표자 "김태현"은 "한도준"의 질문 및 의견에 대해 답변을 한 후, 상황에 따라 다른 청중인 "박태용"이나 "한여진"의 임시 발언권 요청을 승인할 수 있다.Referring to Fig. 8, it can be seen that the temporary voice of the audience "Han Do-joon" who has been granted the temporary voice is terminated. When the temporary voice is terminated, the voice is returned to the speaker "Kim Tae-hyun" again. In this case, the image of the presenter "Kim Tae-hyun" is displayed in the main area 233 of the multi-image communication screen, and the image of the audience "Han Do-joon" The presenters can feedback more effectively about the questions of the audience by allowing the presenter to answer the questions while viewing the images of the audience. It also has the effect of creating a screen that allows other audiences to feel questions and answers coming and going between the audiences and the presenter. When the temporary voice of "Han Do-joon" is terminated and the voice is returned to the speaker "Kim Tae-hyun", the "Han Do-joon" temporary call request icon disappears and only the hand raised icon 243 of the other audience do. The speaker "Kim Tae-hyun" can answer the question and opinions of "Han Do-joon" and approve the request of temporary voice of "Park Tae-yong" or "One aftershock" according to the situation.

도 9는 도 5의 그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에 대해서, 임시 발언권 요청에 대한 승인 및 임시 발언권의 종료에 대해서 알림 메시지를 보내는 경우를 보다 자세하게 설명하기 위한 예시도이다.FIG. 9 is a diagram for explaining in more detail a case in which a notification message is sent to the right area 231 of the graphical user interface screen of FIG. 5 for the approval of the temporary voice request and the end of the temporary voice.

도 9를 참고하면, 채팅 내용을 확인하기 위한 버튼(239)이 활성화 되면, 발표자 "김태현"의 발표 중에 다자간 영상 통신에 참여한 참여자들이 나눈 채팅 메시지를 확인할 수 있다. 또한 참여자들의 사용자 메시지 외에도 시스템에서 보낸 시스템 메시지도 함께 확인할 수 있다. 도 9에서는, 시스템 메시지로 발표자 "김태현"의 청중 "한도준"에 대한 임시 발언권 승인 알림 메시지(247) 및 "한도준"의 임시 발언권 종료에 대한 알림 메시지(249)를 확인할 수 있다. 또한 이러한 알림 메시지는 메시지 전송 시각과 함께 표시될 수 있다. 임시 발언권 요청과 승인 및 종료는 참여자 목록을 조회하는 화면에서도 아이콘 등을 통하여 직관적으로 파악할 수 있지만, 그 외에도 도 9의 예와 같은 시스템 알림 메시지를 통해서 관련된 정보를 더 제공함으로써 사용자 편의성을 강화하고 있다.Referring to FIG. 9, when the button 239 for confirming chat contents is activated, chat messages sent by participants participating in the multi-party video communication can be confirmed during the presentation of the speaker "Kim Tae-hyun". In addition to the user messages of participants, system messages sent from the system can also be checked. In Fig. 9, the temporary message permission notice message 247 and the notification message 249 regarding the termination of the temporary voice of "Hajimon" can be confirmed by the system message. Such a notification message may be displayed together with the message transmission time. The provisional voice request, approval, and termination can be intuitively grasped through an icon on the screen for inquiring the participant list, but the related information is further provided through the system notification message as in the example of FIG. 9, thereby enhancing user convenience .

도 10은 도 5의 그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에 대해서, 임시 발언권을 요청하는 경우를 청중을 기준으로 보다 자세하게 설명하기 위한 예시도이다.FIG. 10 is an exemplary diagram for explaining a case where a temporary voice is requested to the right area 231 of the graphical user interface screen of FIG. 5 in more detail on the basis of an audience.

도 10을 참고하면, "손들기"는 두 가지의 상태를 가진다. 하나는 손들기가 활성화된 상태(243)이며, 다른 하나는 손들기가 비활성화된 상태(242)이다. 처음 다자간 영상 통신이 시작되면 모든 청중의 손들기 상태는 비활성화된 상태(242)로 시작한다. 그러다가 청중이 발표자에게 임시 발언권을 요청하고 싶을 때는 비활성화된 상태의 손들기 아이콘(242)을 한번 클릭하면 서버로 손들기 요청이 송신되고, 활성화된 상태의 손들기 아이콘(243)으로 변경된다. 아직 손들기 요청을 발표자가 승인하기 전이라면 손들기 취소가 가능하며, 이는 활성화된 상태의 손들기 아이콘(243)을 다시 한번 클릭하는 것으로 갈음할 수 있다. 즉 활성화된 상태의 손들기 아이콘을(243)을 한번 클릭하면 서버로 손들기 취소가 송신되고, 비활성화 된 상태의 손들기 아이콘(242)로 변경되는 것이다. 이처럼 아이콘을 클릭할 때마다 손들기 상태가 전환이 되어, 간단한 클릭 한번으로 손들기 요청 또는 손들기 취소의 기능을 수행할 수 있다. 도 10을 참고하면, 청중 "한도준"은 아직 손들기 요청을 하지 않은 상태(242)이고, 다른 청중 "박태용" 및 "한여진"은 손들기 요청을 한 상태(2430)이다.Referring to Fig. 10, "lifting hands" has two states. One is the hand-activated state 243, and the other is the state 242 in which the hand-held state is inactive. When the first multi-party video communication is started, the handholding state of all the audience starts with the disabled state (242). Then, when the audience wishes to request a temporary talk right to the presenter, a single click on the inactive hand raise icon 242 sends a hand raise request to the server and changes to an activated hand raise icon 243. If the handwrite request has not yet been accepted by the presenter, the handwrite cancellation is possible, which can be replaced by clicking on the activated handwheel icon 243 again. That is, when the hand raised icon 243 is activated once, the hand raised cancellation is transmitted to the server, and the hand raised icon 242 is changed to the disabled state. Each time the icon is clicked, the state of the hand is switched, so that a simple click can perform a function of requesting a hand or canceling a hand. Referring to FIG. 10, the audience "Hanjoonjun" is a state 242 in which no hand-over request has been made yet, and the other listeners "Park Tae-yong"

본 발명의 몇몇 실시예에 따르면, 청중은 손들기 요청을 하면서 추가적으로 발언 시간을 전송할 수 있다. 발언 시간을 전송하지 않은 경우에는 기 설정된 발언 시간을 임시 발언 시간으로 하여 임시 발언권을 관리할 수 있으며, 발언 시간을 전송한 경우에는 전송한 발언 시간을 임시 발언 시간으로 하여 임시 발언권을 관리할 수 있다. 여기서 청중이 추가적으로 발언 시간을 전송할 수 있도록 몇몇 발언 시간을 선택을 위한 값으로 제공할 수 있다. 예를 들면, 15초, 30초, 45초, 60초와 같은 값을 선택 값으로 제공할 수 있다.According to some embodiments of the present invention, the audience may send additional talk time while making a hand-over request. In the case where the talk time is not transmitted, the temporary talk time can be managed by using the previously set talk time as the temporary talk time. If the talk time is transmitted, the talk time can be managed with the transmitted talk time as the temporary talk time . Here, some talk time can be provided as a value for selection so that the audience can additionally transmit the talk time. For example, values such as 15 seconds, 30 seconds, 45 seconds, and 60 seconds can be provided as selection values.

도 10을 참고하면, 발언 시간을 위한 선택 값으로 15초(251), 30초(253), 45초(255) 및 60초(미도시)의 4종류의 발언 시간을 제공하고 있으며 청중이 시계 아이콘을 클릭할 때마다 각 입력값으로 발언 시간 요청값이 변경된다. 즉, 처음 손들기 아이콘을 클릭하여 손들기를 활성화된 상태(243)으로 변경하면 발언 시간은 자동으로 15초(251)로 임시 발언권 요청이 전송되고, 필요에 따라 청중이 더 긴 시간을 발언 시간으로 요청하고 싶을 때는 15초를 가리키는 시계 아이콘(251)를 한번 더 클릭하면 된다. 그러면 시계 아이콘은 30초를 가리키는 아이콘(253)으로 변경이 되고 서버에는 30초를 발언 시간으로 요청한다는 정보를 송신하게 된다. 만약 30초보다 더 긴 시간을 발언 시간으로 얻고 싶을 때는 30초를 가리키는 시계 아이콘(253)을 한번 더 클릭하면 된다. 그러면 시계 아이콘은 45초를 가리키는 아이콘(255)으로 변경이 되고 서버에는 45초를 발언 시간으로 요청한다는 정보를 송신하게 된다. 만약 45초보다도 더 긴 시간을 발언 시간으로 얻고 싶을 때는 45초를 가리키는 시계 아이콘(255)을 한번 더 클릭하면 된다. 그러면 시계 아이콘은 60초를 가리키는 아이콘(미도시)으로 변경이 되고 서버에는 60초를 발언 시간으로 요청한다는 정보를 송신하게 된다. 만약 60초를 가리키는 시계 아이콘을 다시 한번 더 클릭한다면 발언 시간은 15초로 다시 변경이 될 수 있다. 즉 시계 아이콘을 클릭할 때마다 발언 시간으로 요청 가능한 몇 개의 입력 값이 순차적으로 선택될 수 있다. 이를 통하여 청중은 몇 번의 클릭만으로 원하는 발언 시간을 선택하여 임시 발언권을 요청할 수 있다. 도 10을 참고하면, 청중 "한도준"은 아직 임시 발언권을 요청하지 않아서 기본 발언 시간인 15초(251)로 아이콘이 설정되어 있으며, 청중 "박태용"은 30초(253)를 발언 시간으로 요청하였고, 다른 청중 "한여진"은 45초(255)를 발언 시간으로 요청한 상황이다.Referring to FIG. 10, four types of utterance times of 15 seconds (251), 30 seconds (253), 45 seconds (255) and 60 seconds (not shown) are provided as selection values for the utterance time, Each time the icon is clicked, the value of the talk time request is changed to each input value. That is, if the first hand lift icon is clicked and the hand lift is changed to the activated state (243), the talk time is automatically sent to the temporary talk request at 15 seconds (251), and if necessary, The user can click the clock icon 251 indicating 15 seconds again. Then, the clock icon is changed to the icon 253 indicating 30 seconds, and the server transmits information indicating that 30 seconds is requested at the talk time. If you want to get a longer time than 30 seconds, you can click on the clock icon 253 once more to indicate 30 seconds. Then, the clock icon is changed to the icon (255) indicating 45 seconds, and the server transmits information requesting 45 seconds as the talk time. If you want to get a longer time than 45 seconds, just click on the clock icon (255), which points to 45 seconds. Then, the clock icon is changed to an icon (not shown) indicating 60 seconds, and the server transmits information indicating that 60 seconds is requested at the talk time. If you click again on the clock icon that points to 60 seconds, the talk time can be changed back to 15 seconds. That is, every time the clock icon is clicked, a number of input values that can be requested as the speech time can be sequentially selected. This allows the audience to request a temporary voice by selecting the desired speaking time with just a few clicks. Referring to FIG. 10, the audience "Han Do-joon" has not yet requested a temporary voice, so the icon is set to 15 seconds (251), and the audience "Park Tae-yong" requests 30 seconds (253) , And another audience "One aftershock" requested 45 seconds (255) at the time of speech.

또한 청중이 요청한 발언 시간을 보여주는 시계 아이콘을 발표자가 보는 도 6의 화면에서 같이 보여줄 수도 있다. 즉 도 6의 화면에서 발표자는 손들기 아이콘을 통해 임시 발언권을 요청한 청중들의 목록을 확인할 수 있으며, 손들기 아이콘 옆에 부가적으로 표시되는 시계 아이콘을 통해 임시 발언권을 요청한 각 청중이 필요로 하는 발언 시간을 시각적으로 확인할 수도 있다. 경우에 따라서 발표자는 청중이 요청한 발언 시간을 수정하여 임시 발언권을 승인할 수도 있다. 즉 청중이 발언 시간을 30초로 임시 발언권을 요청하였더라도 시간 관계상 이를 15초로 변경한 다음 임시 발언권을 승인할 수도 있다. 발표자가 청중의 발언 시간을 변경하는 기능은 청중이 발언 시간을 선택하는 것과 동일하게 제공될 수 있다. 즉 각 청중이 요청한 발언 시간을 가리키는 시계 아이콘을 발표자가 클릭하여 발언 시간을 조정할 수 있다.Also, a clock icon showing the time of the utterance requested by the audience may be displayed on the screen of FIG. 6 as seen by the presenter. 6, the presenter can check the list of the audiences who requested the temporary voice via the hand-picker icon, and the voice that is required by each audience requesting the temporary voice via the clock icon additionally displayed beside the hand- You can also visually check the time. In some cases, the presenter may approve the occasional voice by modifying the spoken time requested by the audience. In other words, even if the audience requests a temporary voice with a talk time of 30 seconds, it may change the time to 15 seconds and approve the temporary voice. The ability of the speaker to change the speaker's speaking time can be provided the same as the audience chooses the speaking time. In other words, the presenter can click on the clock icon to indicate the time of the speech requested by each audience.

도 11은 도 5의 그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에 대해서, 임시 발언을 할 때 임시 발언 시간을 추가적으로 표시하는 경우를 청중을 기준으로 보다 자세하게 설명하기 위한 예시도이다.FIG. 11 is an exemplary diagram for explaining in detail the case where the temporary speaking time is additionally displayed when a temporary speech is made, with respect to the right area 231 of the graphical user interface screen of FIG. 5 on the basis of the audience.

앞서 도 10에서 살펴본 것처럼 청중이 임시 발언권을 요청하면서 필요한 발언 시간을 선택하여 임시 발언권을 요청할 수 있다. 또는 청중으로부터 발언 시간을 수신하지 않는 경우에는 기 설정된 발언 시간을 임시 발언 시간으로 하여 임시 발언권을 관리할 수 있다. 도 11을 참고하면, 임시 발언권을 부여 받은 청중의 영상을 다자간 영상 통신 화면의 주 영역(233)에 표시하면서, 해당 청중이 발언할 수 있는 임시 발언 시간(234)을 부가적으로 보여줄 수 있다. 여기서, 임시 발언 시간(234)은 시간이 갈수록 점차 감소하여 청중에게 제공될 수 있고, 청중은 이를 참고하여 의견이나 질문의 내용을 정리하여 발언할 수 있다. 도 11의 경우, 임시 발언권을 얻은 청중 "한도준"은 현재 23초의 임시 발언 시간이 남아 있으며, 계속해서 22초, 21초 이렇게 감소하게 된다. 그러면 청중 "한도준"은 남아 있는 시간을 참고하여 발언해야 할 내용을 간략하게 정리해서 발언할 수 있다.As shown in FIG. 10, the audience can request a temporary voice by requesting a temporary voice and selecting a necessary speaking time. Or when the talk time is not received from the audience, the temporary talk time can be managed with the predetermined talk time as the temporary talk time. 11, an image of the audience to whom the provisional voice is given can be displayed in the main area 233 of the multi-party video communication screen to additionally show the temporary speaking time 234 that the audience can utter. Here, the temporary speaking time 234 may gradually decrease with time and be provided to the audience, and the audience can refer to the opinion and the contents of the question to speak out. In the case of FIG. 11, the audience who obtained the provisional voice, "Han Do-joon", has 23 seconds of temporary speaking time remaining, and 22 seconds and 21 seconds thereafter. Then, the audience "Han Do-joon" can summarize the contents to be uttered by referring to the remaining time.

이상으로 도 1 내지 도 11을 이용하여 임시 발언권을 요청하고 승인하는 단계, 임시 발언권을 부여하고 종료되면 발표자에게 발언권이 자동으로 복귀되는 단계를 살펴보았다.Thus, the present invention has been described with reference to Figs. 1 to 11, in which a temporary voice is requested and approved, a temporary voice is given, and a voice is automatically returned to the speaker when the voice is terminated.

여기서 임시 발언권 요청을 위하여 청중의 단말로부터 임시 발언권 요청을 수신하는 단계는 발표자의 식별자 정보를 더 수신할 수 있다. 이때 수신한 발표자의 식별자 정보는 도 4에서 이미 설명한 것처럼 발표자가 변경되는 경우 청중의 임시 발언권 요청을 철회하기 위해 이용될 수 있다. 즉, 임시 발언권을 요청한 청중의 단말로부터 발표자의 식별자를 더 수신하고, 수신한 발표자의 식별자와 현재 발표자의 식별자가 다르다면 아직 발표자의 승인이 있기 전의 임시 발언권 요청을 자동으로 취소할 수 있다. 또는, 발표자가 임시 발언권 요청을 승인할 때에 청중이 임시 발언권을 요청한 발표자의 식별자와 현재 임시 발언권 요청을 승인하려는 발표자의 식별자를 비교하여 두 식별자가 동일한 경우에 한하여 임시 발언권 요청을 승인하고 발언권을 부여하도록 할 수 있다. 이를 통하여, 임시 발언권을 요청 받은 발표자만이 해당 임시 발언권 요청을 승인하도록 설정할 수 있다.Wherein receiving the temporary voice request from the terminal of the audience for the temporary voice request may further receive the identifier information of the speaker. At this time, the identifier information of the received presenter can be used to withdraw the provisional voice request of the audience when the presenter is changed as described above with reference to FIG. That is, if the identifier of the presenter is different from the identifier of the present speaker and the identifier of the present presenter is different from the terminal of the audience requesting the provisional voice, the provisional voice request may be automatically canceled before the presenter's approval. Alternatively, when the presenter approves the request for provisional voice, the identifier of the speaker who requested the provisional voice is compared with the identifier of the presenter to approve the current provisional voice request. Only when the two identifiers are identical, the request for temporary voice is approved and the voice is granted . In this way, only the presenter who has been requested for a temporary voice may be allowed to approve the temporary voice request.

임시 발언권 승인을 위하여 임시 발언권 요청을 발표자의 단말로 송신하는 단계는 발표자의 선택을 돕기 위하여 임시 발언권을 요청한 청중의 정보를 더 송신할 수 있다. 예를 들면 청중의 이름, 사진, 소속, 직책 등의 정보를 추가적으로 더 송신하여 어느 청중이 임시 발언권을 요청하였는지 발표자에게 안내를 하고, 발표자가 어느 청중에 대해 임시 발언권 요청을 승인할지 판단하는데 도움을 줄 수 있다. 도 5의 예에서는 청중의 이름과 사진을 발표자에게 제공하였다. 만약 청중의 단말로부터 임시 발언 시간을 더 수신하는 경우라면, 각 청중이 요청한 임시 발언 시간도 발표자에게 참고용으로 제공할 수 있다. 발표자는 각 청중이 요청한 임시 발언 시간을 참고하여, 임시 발언권 요청을 승인할지 여부를 결정할 수 있다.The step of sending a temporary voice request to the presenter's terminal for approval of the temporary voice may further transmit information of the audience requesting the temporary voice to assist the presenter's selection. For example, send additional information such as the name of the audience, photo, affiliation, position, etc., to help the presenter inform the audience about the request for a temporary voice, and help the presenter determine which audience to approve the temporary voice request You can give. In the example of FIG. 5, the name and picture of the audience were provided to the presenter. If more time is to be received from the terminal of the audience, the time of the utterance requested by each audience may also be provided to the presenter for reference. The presenter can determine whether or not to approve a temporary voice request by referring to the time of the utterance requested by each audience.

또한, 도 6의 예시처럼 임시 발언권을 요청한 청중들의 통계정보를 더 송신할 수 있다. 예를 들면 임시 발언권을 요청한 청중의 수와 같은 통계정보를 더 송신하여 발표자의 단말에 제공할 수 있다. 만약 청중의 단말로부터 임시 발언 시간을 더 수신하는 경우라면, 청중들이 요청한 임시 발언 요청 시간을 합산하여 발표자에게 참고용으로 제공할 수 있다. 예를 들면 임시 발언권을 요청한 청중의 수는 총5명이며, 총5명의 청중이 요청한 임시 발언 시간의 합산은 총5분이라는 통계정보를 발표자에게 제공할 수 있다. 이를 통해서 발표자가 청중들이 요청한 임시 발언 시간의 합계를 확인하고 발표 시간을 적절히 조절하여 발표 마지막에 질문을 위한 시간을 확보하도록 도울 수 있다.In addition, as in the example of FIG. 6, the statistical information of the audience requesting the temporary voice can be further transmitted. For example, statistical information such as the number of audiences requesting a temporary voice can be further transmitted and provided to the presenter's terminal. If more time is to be received from the terminal of the audience, the time of the request for the utterance can be summed up and provided to the presenter for reference. For example, the total number of audiences requesting a temporary voice is 5, and the sum of the temporary voice time requested by a total of 5 audiences can provide the presenter with statistical information of 5 minutes in total. This allows the presenter to identify the total amount of tentative remarks that the audience has requested and adjust the presentation time accordingly to help ensure time for questions at the end of the presentation.

임시 발언권 요청을 수신하는 단계는 청중의 단말로부터 임시 발언권 요청을 수신하는 것 외에 필요한 임시 발언 시간을 더 수신할 수 있다. 청중으로부터 발언 시간을 수신하지 않는 경우에는 기본적으로는 기 설정된 발언 시간을 임시 발언 시간으로 청중에게 허용할 수 있다. 그러나, 청중으로부터 발언 시간을 더 수신하는 경우에는, 이를 임시 발언 시간으로 하여 임시 발언권을 제어하는데 활용할 수 있다. 예를 들면 임시 발언권을 부여 받은 청중이 임시 발언을 하는 동안 화면의 주 영역에 청중이 의견이나 질문을 이야기 할 수 있는 임시 발언 시간을 함께 표시할 수 있다. 임시 발언이 진행되는 동안에 해당 시간이 감소되는 것을 화면에 함께 표시하면, 임시 발언권을 부여 받은 청중이 해당 시간을 효율적으로 활용할 수 있도록 도울 수 있다. 이를 통해서 다자간 영상 통신 시간이 불필요하게 길어지는 것을 방지할 수 있다. 또한 해당 임시 발언 시간이 종료되면 임시 발언권이 종료된 것으로 판단하고 발언권을 자동으로 발표자에게 복귀시킬 수 있다. 임시 발언권의 종료 여부를 판단하는 것은 임시 발언권을 부여 받은 청중의 음성을 인식하여 진행할 수도 있지만, 임시 발언 시간을 이용하여 보다 간편하게 관리할 수도 있다.The step of receiving the temporary voice request may further receive the necessary temporary voice time in addition to receiving the temporary voice request from the terminal of the audience. When the talk time is not received from the audience, basically, it is possible to allow the audience to speak the predetermined talk time at the temporary talk time. However, in the case of receiving more talk time from the audience, this can be utilized as a temporary talk time to control the temporary talk right. For example, during an occasional reminder of an audience with a temporary voice, the main area of the screen can be marked with a temporary reminder that allows the audience to speak their opinion or question. Displaying on the screen that the time is decreasing while the ephemeral remarks are in progress can help the audience with the ephemeral voice to use the time effectively. This makes it possible to prevent unnecessarily long multiparty video communication time. In addition, when the provisional speaking time ends, it is determined that the temporary speaking right has been terminated and the voice can be automatically returned to the presenter. Determining whether or not the provisional voice is terminated can be performed by recognizing the voice of the audience who is granted the temporary voice, but can be more easily managed using the temporary voice time.

임시 발언권이 종료되는 것으로 판단하는 단계는 앞서 예를 든 경우처럼 임시 발언 시간을 이용하여 임시 발언 시간이 종료되면 임시 발언권도 종료되는 것으로 자동으로 판단할 수도 있지만, 청중의 음성을 인식하여 일정 시간 이상 발언이 없으면 임시 발언권이 종료된 것으로 자동으로 판단하고 발언권을 발표자에게 자동으로 복귀시킬 수 있다. 즉, 임시 발언권의 부여는 청중의 요청 및 발표자의 승인을 통하여 수동적인 방법에 의해 명시적으로 진행되고, 임시 발언권의 종료는 임시 발언 시간의 만료 또는 음성 인식을 통해 자동적인 방법으로 종료 여부를 판단하고 발언권을 발표자에게 자동으로 복귀시킬 수 있다. 발언권을 관리하는 두 가지 방법인 액티브 스피커를 이용한 자동화된 방법과 스케줄링 등에 의한 수동적인 방법 각각의 장점만을 취하여 임시 발언권의 발생은 스케줄링 등에 의한 수동적인 방법으로, 임시 발언권의 소멸은 액티브 스피커를 이용한 자동화된 방법으로 관리함으로써 사용자 편의성을 강화할 수 있다. 그리고 발언권 관리 방법과 무관하게 임시 발언권을 얻은 청중에게, 발언권이 복귀된 발표자에게 일정 시간 이상의 발언 시간을 보장하여 질문과 답변을 충실히 수행할 수 있도록 한다.In the step of determining that the temporary voice is terminated, it is possible to automatically determine that the temporary voice is also terminated when the temporary voice time is ended by using the temporary voice time as in the case of the previous example. However, If there is no comment, it is automatically determined that the temporary voice is terminated and the voice can be automatically returned to the presenter. That is, the granting of the provisional voice is explicitly carried out by the passive method through the request of the audience and the presenter, and the termination of the provisional voice is judged by the expiration of the temporary speech time or automatic termination through voice recognition And the voice can be automatically returned to the presenter. There are two ways of managing the voice, an automated method using an active speaker, and a passive method using a scheduling method. Only the merits of each method are taken into consideration. The occurrence of a temporary voice is generated by a passive method such as scheduling and the disappearance of a temporary voice is controlled by an automatic So that user convenience can be enhanced. And, regardless of the method of managing the right to speak, the audience who has obtained the temporary voice is guaranteed to speak the speaker who has returned the voice for more than a certain period of time, so that the user can faithfully perform the question and answer.

도 12는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 관리하는 방법의 순서도이다.12 is a flowchart of a method for managing temporary voice in multi-party video communication according to some embodiments of the present invention.

도 1 내지 도 11을 통해서, 청중이 임시 발언권을 요청하고 발표자가 이를 승인하면 청중이 임시 발언권을 얻어서 실시간으로 다자간 영상 통신을 통해서 질문이나 의견을 발언하는 과정을 살펴보았다. 이러한 실시예 외에도 경우에 따라 청중은 임시 발언할 내용을 영상/음성으로 미리 녹화/녹음하여 이를 전송하고, 영상/음성 데이터의 전송과 함께 임시 발언권 요청을 할 수 있다. 이하, 청중이 녹화/녹음한 영상/음성 데이터를 임시 발언 컨텐츠라고 한다. 임시 발언 컨텐츠는 영상 데이터와 음성 데이터 중에서 하나 이상을 포함한다. 즉 음성 데이터만 있을 수도 있으며, 음성 데이터와 영상 데이터가 함께 있을 수도 있다.Through FIGS. 1 to 11, when the audience requests a temporary voice and the speaker approves the voice, the audience obtains a temporary voice to talk about the process of expressing a question or an opinion through multi-media communication in real time. In addition to these embodiments, the audience can pre-record / record the contents of a temporary speech by video / audio, transmit the voice / voice data, and request a temporary voice. Hereinafter, video / audio data recorded / recorded by the audience is referred to as temporary speech content. The provisional remark content includes at least one of video data and audio data. That is, there may be only voice data, and voice data and image data may be together.

청중이 질문할 임시 발언 컨텐츠를 송신하면(S2100), 서버는 청중 단말로부터 수신한 임시 발언 컨텐츠를 발표자의 단말에 송신하여 발표자가 임시 발언 컨텐츠의 목록을 확인할 수 있도록 한다(S2200). 발표자가 임시 발언 컨텐츠 목록에서 특정 임시 발언 켄턴츠를 선택하면(S2300), 다자간 영상 통신을 통해서 선택된 임시 발언 컨텐츠를 재생하고(S2400)하고 해당 임시 발언 컨텐츠의 재생이 종료되면(S2500), 임시 발언권이 종료된 것으로 판단하고 발표자에게 발언권을 자동으로 복귀시켜, 발표자가 재생된 임시 발언 컨텐츠에 대해 답변을 할 수 있도록 한다. 즉, 청중이 임시 발언권을 얻어 실시간으로 의견이나 질문을 발언하는 대신에, 필요할 때마다 의견이나 질문하고 싶은 내용을 짧은 영상/음성으로 녹화/녹음하여 발표자에게 전달할 수 있다.When the audience transmits a temporary remark content to be searched (S2100), the server transmits the temporary speech content received from the audience terminal to the speaker terminal so that the speaker can check the list of temporary speech contents (S2200). When the presenter selects a specific utterance utterance utterance in the temporary utterance contents list (S2300), the temporary utterance contents selected through the multiparty video communication is reproduced (S2400) and the reproduction of the utterance utterance contents is terminated (S2500) And the speaker is automatically returned to the presenter so that the presenter can respond to the reproduced temporary speech contents. In other words, instead of expressing opinions or questions in real time by obtaining the temporary voice, the audience can record / record the opinions or questions in short video / audio and transmit them to the presenter.

청중이 임시 발언권을 요청하고 발표자의 승인이 있기까지는 시간 차이가 있을 수 밖에 없다. 발표자가 임시 발언권 요청을 승인할지 여부도 전적으로 발표자의 선택에 달려 있으며 언제 승인할지 여부도 미지수이기 때문이다. 이러한 시간 차이로 인해 임시 발언권을 요청한 청중은 의견이나 질문할 내용을 잊지 않기 위해 따로 메모를 해야 할 필요가 있다. 만약 발표자가 발표 말미에 질문 등을 위한 시간을 배정하였다면, 청중은 임시 발언권을 얻고서 한번에 여러 개의 질문을 해야 하는 경우가 생길 수도 있다. 이런 경우 한번에 여러 개의 질문을 해야 하는 청중도, 한번에 여러 개의 질문에 대해 답변을 해야 하는 발표자도 불편할 수 있다. 그러나 실시간으로 임시 발언을 하기 위한 임시 발언권 요청 대신에, 임시 발언할 내용을 미리 영상/음성으로 녹화/녹음하고 이를 전송함과 동시에 임시 발언 컨텐츠를 재생하기 위한 임시 발언권 요청을 한다면, 청중도 발표자도 각각의 질문과 답변을 별개로 진행할 수 있어서 사용자 편의성을 확보할 수 있다.There will be a time difference until the audience requests a temporary voice and the speaker's approval is given. Whether or not the presenter will approve a provisional voice request is entirely up to the presenter's choice, and when to approve is also unknown. Because of this time difference, audiences who request a temporary voice need to make a separate note in order not to forget their comments or questions. If the presenter assigns a time for a question at the end of the presentation, the audience may be asked to ask several questions at once, obtaining a voice. In this case, the audience who needs to ask multiple questions at once may be inconvenient to presenters who have to answer multiple questions at once. However, instead of requesting a temporary voice to make a temporary speech in real time, if a temporary voice request is made to reproduce the temporary speech contents while recording / recording the temporary voice / video in advance, Each question and answer can be carried out separately, thus ensuring user convenience.

도 13은 도 5의 그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에 대해서, 임시 발언 컨텐츠를 녹화/녹음하는 경우를 청중을 기준으로 보다 자세하게 설명하기 위한 예시도이다.FIG. 13 is an exemplary diagram for describing in detail the case of recording / recording temporary speech contents on the right area 231 of the graphical user interface screen of FIG. 5 on the basis of an audience.

도 13을 참고하면, 청중이 발표자의 발표 중간에 질문하고 싶은 내용이 생기면 손들기 아이콘(242)을 클릭한다. 그러면 "임시 발언할 내용을 말씀하세요"와 같은 별도의 인터페이스(261)가 활성화 되고 청중은 "아까 언급하신 프로젝트의 구체적인 진행 일정이 궁금합니다."와 같은 질문을 할 수 있다. 이때 청중의 질문한 영상과 음성은 다자간 영상 통신을 통해서 전체 참여자에게 바로 송신이 되는 것이 아니라 별도로 녹화/녹음되어 발표자의 단말에만 송신될 수 있다. 발표자는 청중으로부터 수신한 임시 발언 컨텐츠를 확인하고 필요한 질문만 선택해서 임시 발언권을 부여하고 해당 임시 발언 컨텐츠를 재생하고, 재생이 종료되면 해당 질문에 대해서 답변을 할 수 있다.Referring to FIG. 13, when an audience has a question in the midst of a presenter's announcement, he clicks the raise icon 242. FIG. A separate interface 261, such as "Tell me what to say" is activated, and the audience can ask questions such as, "I am curious about the specific schedule of the project I mentioned above." At this time, the image and the voice of the inquiry of the audience are not directly transmitted to all the participants through the multi-view video communication but can be separately recorded / recorded and transmitted only to the presenter's terminal. The presenter can confirm the temporary speech content received from the audience, select only the necessary questions, grant a temporary voice, reproduce the corresponding temporary speech content, and reply to the question when the playback ends.

도 14는 도 5의 그래픽 사용자 인터페이스 화면의 오른쪽 영역(231)에 대해서, 임시 발언권 요청과 함께 임시 발언 컨텐츠를 수신한 경우를 발표자를 기준으로 보다 자세하게 설명하기 위한 예시도이다.FIG. 14 is an exemplary diagram for explaining in more detail the case where temporary speech content is received along with a temporary speech request for the right area 231 of the graphical user interface screen of FIG. 5 on the basis of the speaker.

도 14를 참고하면, 발표자 "김태현"은 총4개의 임시 발언권 요청(241)을 수신하였다. 이 중에서 한 개는 청중 "한도준"이 요청한 것(263)으로 7초의 임시 발언 컨텐츠를 수신하였고, 두 개는 청중 "박태용"이 요청한 것(263)으로 각각 7초와 8초의 임시 발언 컨텐츠이며, 나머지 한 개는 청중 "한여진"이 요청한 것(263)으로 12초의 임시 발언 컨텐츠이다. 임시 발언권이 필요한 청중으로부터 임시 발언 컨텐츠를 함께 수신하므로 해당 컨텐츠의 재생 시간을 필요한 발언 시간으로 취급할 수 있다. 발표자에게는 각각의 임시 발언권 요청에 대해서 임시 발언 컨텐츠의 재생 시간을 함께 제공하여 어느 임시 발언권 요청을 승인할지 여부를 판단하는데 도움을 줄 수 있다. 나아가, 청중으로부터 수신한 임시 발언 컨텐츠의 음성을 분석하여 청중이 발언한 내용을 텍스트화하여서 임시 발언 컨텐츠를 재생하지 않고도 확인할 수 있도록 제공하면, 사용자 편의성을 더욱 강화할 수 있다. 예를 들면, 도 14의 청중 "한여진"의 12초 길이의 임시 발언권 요청에 마우스를 오버하면, 임시 발연 컨텐츠를 녹화/녹음하면서 "한여진"이 발언한 내용인 "아까 언급하신 프로젝트의 구체적인 진행 일정이 궁금합니다."가 텍스트 지문으로 제공되어서, 어느 청중이 어떠한 질문을 했는지 미리 확인하고 임시 발언 컨텐츠를 재생할지 여부를 선택할 수 있다.Referring to FIG. 14, the speaker "Kim Tae Hyun" received a total of four temporary voice requests (241). One of them received a temporary speech content of 7 seconds by the audience "Han Do Joon" (263), two requested by the audience "Park Tae - yong" (263) The other one is a 12-second provisional statement content (263) requested by the audience "One Aftershock". Since the temporary remark content is received together with the audience who needs the temporary voice, the reproduction time of the content can be handled as a necessary speaking time. The presenter may be provided with a play time of the ephemeris content for each ephemeral voice request to help determine which ephemeral voice request is approved. Furthermore, by analyzing the voice of the temporary speech contents received from the audience and providing the text uttered by the audience so as to be verified without reproducing the temporary speech contents, user convenience can be further enhanced. For example, when a mouse over a request for a temporary voice of 12 seconds in the audience "one aftershock" in FIG. 14 is recorded, I'm curious about the schedule "is provided as a text fingerprint so that you can preview what questions the audience has asked and choose whether to play the ephemeral content.

지금까지 도 1 내지 도 14를 통해서 다자간 영상 통신에 참여한 참여자로 발표자와 청중이 있는 경우를 살펴보았다. 그러나 앞서 이야기 한 것처럼 참여자 중에는 발표자와 청중 외에도 발언권의 제어 권한을 가진 진행자가 있을 수 있다. 진행자가 별도로 있는 경우에는 청중의 임시 발언권 요청은 진행자에게 송신이 된다. 이때 청중의 임시 발언권 요청은 어느 발표자에 대한 임시 발언권 요청인지에 대한 정보가 함께 송신된다. 진행자가 특정 발표자에 대한 청중의 임시 발언권 요청을 승인하면, 청중에게 임시 발언권이 부여가 되고, 청중의 임시 발언권이 종료되면, 해당 특정 발표자에게 발언권이 자동으로 부여가 되서, 청중의 임시 발언에 대한 답변을 할 수 있다. 임시 발언 컨텐츠를 통해서 임시 발언권을 요청하는 경우에도, 진행자의 단말에 임시 발언권 요청을 송신하고 진행자가 임시 발언권 요청을 승인하면 임시 발언 컨텐츠가 다자간 영상 통신을 통해서 재생된다. 임시 발언 컨텐츠의 재생이 종료가 되면, 청중의 임시 발언권은 종료가 되고, 청중이 임시 발언권을 요청하면서 지정한 특정 발표자에게 발언권을 자동으로 부여한다. 진행자에 의한 수동적인 방법으로 발언권을 제어하는 경우에도, 임시 발언권의 요청과 종료시 자동으로 특정 발표자에게 발언권이 부여되도록 함으로써, 진행자의 발언권 제어를 위한 조작을 줄일 수 있다.1 to 14, participants who participated in the multi-party video communication were presenters and audiences. However, as mentioned above, there may be a participant who has the authority to control the voice in addition to the speaker and the audience. If there is a separate host, the request for temporary voice of the audience is sent to the host. At this time, the request for the temporary voice of the audience is transmitted together with information about the request of the temporary voice to the presenter. When a moderator approves a request for a temporary voice of an audience for a specific speaker, the voice is given to the audience, and when the voice of the audience ends, the voice is automatically given to the specific speaker, You can answer. Even when a temporary voice is requested through the provisional speech content, a provisional voice request is transmitted to the terminal of the facilitator, and when the facilitator approves the temporary voice request, the provisional voice contents are reproduced through the multi-party video communication. When the reproduction of the provisional remark content is terminated, the provisional voice of the audience is terminated, and the voice is automatically given to the specified presenter designated by the audience while requesting the provisional voice. Even when the floor is controlled by the passive method by the host, the floor is automatically given to the specific speaker at the time of requesting and ending the temporary floor, so that the operation for controlling the floor of the host can be reduced.

도 15는 본 발명의 몇몇 실시예에 따른 다자간 영상 통신에서 임시 발언권을 관리하는 장치의 하드웨어 구성도이다.FIG. 15 is a hardware block diagram of an apparatus for managing a temporary voice in multi-party video communication according to some embodiments of the present invention.

도 15를 참고하면, 다자간 영상 통신에 있어서 임시 발언권 관리 장치(10)는 하나 이상의 프로세서(510), 메모리(520), 스토리지(560) 및 인터페이스(570)을 포함할 수 있다. 프로세서(510), 메모리(520), 스토리지(560) 및 인터페이스(570)는 시스템 버스(550)를 통하여 데이터를 송수신한다.15, in the multi-party video communication, the temporary voice management apparatus 10 may include one or more processors 510, a memory 520, a storage 560, and an interface 570. [ The processor 510, the memory 520, the storage 560, and the interface 570 transmit and receive data via the system bus 550.

프로세서(510)는 메모리(520)에 로드 된 컴퓨터 프로그램을 실행하고, 메모리(520)는 상기 컴퓨터 프로그램을 스토리지(560)에서 로드(load) 한다. 상기 컴퓨터 프로그램은, 임시 발언권 요청 수신 오퍼레이션(521), 임시 발언권 요청 송신 오퍼레이션(523), 임시 발언권 부여 오퍼레이션(525) 및 발언권 복귀 오퍼레이션(529) 및 다자간 영상 화면 구성 오퍼레이션(미도시)를 포함할 수 있다.The processor 510 executes a computer program loaded into the memory 520 and the memory 520 loads the computer program from the storage 560. [ The computer program includes a temporary voice request operation 521, a temporary voice request transmission operation 523, a temporary voice grant operation 525 and a voice command return operation 529 and a multiparty video screen configuration operation (not shown) .

임시 발언권 요청 오퍼레이션(521)은 스토리지(560)에 저장된 발표자 데이터(561)와 청중 데이터(565)을 시스템 버스(550)을 통해 메모리(520)로 로드하고, 발표자의 발표 중에 청중으로부터 임시 발언권 요청을 수신할 수 있다.The temporary voice request operation 521 loads the presenter data 561 and the audience data 565 stored in the storage 560 to the memory 520 via the system bus 550 and transmits a temporary voice request Lt; / RTI >

임시 발언권 요청 송신 오퍼레이션(523)은 상기 로드 된 청중 데이터(565) 중에서 임시 발언권을 요청한 청중의 정보를 발표자 단말에 송신할 수 있다. 이 때 임시 발언권을 요청한 청중의 정보 및 임시 발언권 요청에 관한 통계정보를 송신할 수 있다.The temporary voice request transmission operation 523 may transmit information of the audience requesting the provisional voice among the loaded voice data 565 to the speaker terminal. At this time, the information of the audience requesting the temporary voice and the statistical information about the temporary voice request can be transmitted.

임시 발언권 부여 오퍼레이션(525)은 발표자의 임시 발언권 승인이 있게 되면, 청중에게 임시 발언권을 부여하고, 상기 임시 발언권이 종료되면 발언권 복귀 오퍼레이션(529)이 발표자에게 발언권을 자동으로 복귀시킬 수 있다. 임시 발언권 부여 오퍼레이션(525)과 임시 발언권 복귀 오퍼레이션(529)은 임시 발언권의 발생과 소멸에 따라, 다자간 영상 통신 화면의 주 영역에 표시될 청중의 영상과 발표자의 영상을 다자간 영상 화면 구성 오퍼레이션에게 전달할 수 있다.The temporary voice granting operation 525 gives a temporary voice to the audience when the presenter's voice is approved, and when the temporary voice is terminated, the voice command 529 can automatically return the voice to the presenter. The temporary voice granting operation 525 and the temporary voice guidance return operation 529 transmit the video of the audience to be displayed in the main area of the multipart video communication screen and the video of the presenter to the multipart video screen configuration operation .

다자간 영상 화면 구성 오퍼레이션은 다자간 영상 통신에 참여한 참여자의 단말로부터 각각의 영상과 음성 데이터를 네트워크 인터페이스(570)을 통하여 수신하고, 해당 영상을 시스템 버스(550)를 통하여 스토리지(560)의 영상 데이터(569)에 저장할 수 있다. 또한, 저장된 영상 데이터(569)를 시스템 버스(560)을 통하여 메모리(520)으로 로드하여 다자간 영상 통신에 필요한 화면을 구성할 수 있다. 발표자가 발언 중일 때에는 발표자의 영상을 다자간 영상 통신 화면의 주 영역에 표시하도록 다자간 영상 화면을 구성할 수 있다. 임시 발언권 부여 오퍼레이션(525)에 의해서 청중에게 임시 발언권을 부여한 경우에는 해당 청중의 영상을 다자간 영상 통신 화면의 주 영역에, 발표자의 영상을 부 영역에 표시하도록 다자간 영상 화면을 구성할 수 있다. 임시 발언권 복귀 오퍼레이션(529)에 의해서 발표자에게 발언권이 자동으로 복귀된 경우에는 발표자의 영상을 다자간 영상 통신 화면의 주 영역에, 청중의 영상을 부 영역에 표시하도록 다자간 영상 화면을 구성할 수 있다. 이렇게 구성한 다자간 영상 화면을 네트워크 인터페이스(570)를 통해 다자간 영상 통신에 참여한 각 참여자의 단말로 송신할 수 있다.The multi-view video screen configuration operation receives each video and audio data from a terminal of the participant participating in the multi-view video communication through the network interface 570 and transmits the video data to the storage 560 via the system bus 550 569). In addition, the stored image data 569 may be loaded into the memory 520 through the system bus 560 to form a screen necessary for multi-view video communication. When the presenter is speaking, a multi-image screen can be configured to display the presenter's image in the main area of the multi-view video communication screen. In the case where the provisional voice is given to the audience by the temporary voice granting operation 525, the multi-party video screen can be configured so that the video of the audience is displayed in the main area of the multipart video communication screen and the video of the speaker is displayed in the sub area. When the talk right is automatically returned to the presenter by the temporary voice command return operation 529, the multi-party video screen can be configured to display the presenter's image in the main area of the multi-party video communication screen and the audience image in the sub area. The multi-view image screen configured as described above can be transmitted to each participant terminal participating in the multi-view video communication through the network interface 570. [

다자간 영상 통신에서 임시 발언권 관리 장치 (10)는, 네트워크 인터페이스(570)을 통해 스토리지(560)에 저장된 발표자 데이터(561)와 청중 데이터(565)를 열람하고 확인하기 위한 인터페이스를 제공한다. 또한, 네트워크 인터페이스(570)을 통해 각 단말로부터 수신한 영상 데이터를 다자간 영상 화면 구성 오퍼레이션을 통해서 가공하여 이를 다시 네트워크 인터페이스(570)를 통해서 각 단말에 제공한다.The temporary talk management device 10 provides an interface for viewing and confirming the speaker data 561 and the audience data 565 stored in the storage 560 via the network interface 570. [ In addition, the image data received from each terminal through the network interface 570 is processed through a multipart screen configuration operation and is provided to each terminal through the network interface 570. [

도 15의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.Each component in FIG. 15 may refer to software or hardware such as an FPGA (Field Programmable Gate Array) or an ASIC (Application-Specific Integrated Circuit). However, the components are not limited to software or hardware, and may be configured to be addressable storage media, and configured to execute one or more processors. The functions provided in the components may be implemented by a more detailed component, or may be implemented by a single component that performs a specific function by combining a plurality of components.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

Claims

Receiving a temporary voice request from a terminal of an audience participating in the multi-party video communication;
Transmitting the provisional voice request to the presenter's terminal;
Granting a temporary voice to the audience upon receiving approval for the temporary voice request from the terminal of the speaker; And
And automatically returning the voice to the presenter when the temporary voice of the audience is terminated,
An audience is a participant who does not currently have a voice, and a speaker is a participant who currently has a voice,
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
Wherein the step of receiving the temporary floor request comprises:
Receiving an identifier of the presenter from a terminal of the audience; And
And automatically withdrawing the temporary voice request when the speaker changes from the speaker to another participant.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
Wherein the transmitting the temporary voice request comprises:
Further comprising transmitting to the terminal of the speaker the information of the audience.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method of claim 3,
The step of transmitting further information of the audience comprises:
And transmitting information of one or more of the name, photo, affiliation, title and position of the audience.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method of claim 3,
The step of transmitting further information of the audience comprises:
And transmitting statistical information regarding a request for a temporary voice request including information of other listeners who have made a temporary voice request for the voice other than the listener.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
The step of granting a temporary voice to the audience comprises:
And transmitting to the terminal of the participant participating in the multi-party video communication a message informing that the temporary voice request is approved.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
The step of granting a temporary voice to the audience comprises:
Displaying the image of the audience on a main area of the multi-view video communication screen and displaying the image of the speaker on the sub-area to provide multi-
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
The step of granting a temporary voice to the audience comprises:
And giving a temporary voice to the audience with a predetermined speaking time as a temporary speaking time.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
Wherein the step of receiving the temporary floor request comprises:
And further receiving a speech time from the terminal of the audience,
The step of granting a temporary voice to the audience comprises:
And giving a temporary voice to the audience with the received speech time as a temporary speech time.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

10. The method according to claim 8 or 9,
The step of granting a temporary voice to the audience comprises:
And displaying the temporary speaking time on a multi-party video communication screen to provide multi-
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

10. The method according to claim 8 or 9,
The step of automatically returning the voice to the presenter includes:
And judging that the provisional voice is terminated when the temporary speech time is terminated.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
The step of automatically returning the voice to the presenter includes:
And transmitting to the terminal of the participant participating in the multi-party video communication a message informing that the temporary voice has been terminated.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
The step of automatically returning the voice to the presenter includes:
Displaying the image of the presenter in a main area of a multi-view video communication screen and displaying the image of the audience in a sub-area to provide multi-
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

The method according to claim 1,
The step of automatically returning the voice to the presenter includes:
Recognizing the voice of the audience and determining that the temporary voice is terminated if there is no more than a predetermined time,
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

Receiving a temporary voice request and temporary speech content from a terminal of an audience participating in the multi-party video communication;
Transmitting the provisional voice request to the presenter's terminal;
Providing the provisional remark content to the multi-party video communication upon receiving approval for the provisional voice request from the terminal of the speaker; And
Determining that the provisional voice has been terminated and automatically returning the voice to the presenter when the provisional speech content is terminated;
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

16. The method of claim 15,
Wherein the transmitting the temporary voice request comprises:
Recognizing the speech of the provisional speech contents and textualizing the speech contents of the provisional speech contents; And
And further transmitting a fingerprint of the uttered speech content to the terminal of the speaker.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

16. The method of claim 15,
Wherein the transmitting the temporary voice request comprises:
And further transmitting a playback time of the temporary speech content as a speech time.
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

Receiving a temporary voice request for a specific speaker from a terminal of the audience participating in the multi-party video communication;
Transmitting the temporary floor request to a terminal of a host which is a participant having control authority of a floor;
Granting a temporary voice to the audience upon receiving approval for the temporary voice request from the terminal of the host; And
Automatically giving a voice to the specific speaker when the voice of the audience ends,
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

Receiving a temporary talk request for a specific speaker from a terminal of the audience participating in the multi-party video communication and a temporary speech content;
Transmitting the temporary floor request to a terminal of a host which is a participant having control authority of a floor;
Providing the temporary remark content to the multi-party video communication upon receiving approval for the temporary voice request from the terminal of the host; And
Determining that the provisional voice is terminated and automatically giving a voice to the specific speaker when the temporary speech content ends;
How to Manage Temporary Vowel Rights in Multiparty Video Communication.

Network interface;
One or more processors;
A memory for loading a computer program executed by the processor; And
A storage for storing information of participants participating in the multi-party video communication and images of participants,
The computer program comprising:
An operation for receiving a temporary voice request from a terminal of an audience participating in the multi-party video communication;
An operation of transmitting the temporary voice request to the terminal of the speaker having voice;
Granting a temporary voice to the audience if the speaker approves the temporary voice request; And
Comprising the step of automatically returning the voice to the presenter when the temporary voice of the audience is terminated,
A device for managing temporary voice in multi - party video communication.