WO2011010563A1 - ビデオ通話システム、主側端末、従側端末、プログラム - Google Patents

ビデオ通話システム、主側端末、従側端末、プログラム Download PDF

Info

Publication number
WO2011010563A1
WO2011010563A1 PCT/JP2010/061677 JP2010061677W WO2011010563A1 WO 2011010563 A1 WO2011010563 A1 WO 2011010563A1 JP 2010061677 W JP2010061677 W JP 2010061677W WO 2011010563 A1 WO2011010563 A1 WO 2011010563A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
communication right
slave
video
call
Prior art date
Application number
PCT/JP2010/061677
Other languages
English (en)
French (fr)
Inventor
田中 克明
和田 真
潤 山形
哲夫 楠
文弥 河口
大野 博
Original Assignee
コクヨ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コクヨ株式会社 filed Critical コクヨ株式会社
Publication of WO2011010563A1 publication Critical patent/WO2011010563A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567Multimedia conference systems

Definitions

  • the present invention relates to a system for realizing a video call function in which three or more parties can participate.
  • Video call systems that realize video lectures or video conferences between multiple points via the Internet or other communication lines are well known (see, for example, the following non-patent documents).
  • the compression rate of the communication line is prevented by increasing the compression rate of the video data and / or reducing the size or resolution of the video frame.
  • the meaning of video lectures or video conferences could be impaired by the inability to read the letters on whiteboard boards and documents, or the inability to understand the details of models and objects.
  • IP Internet Protocol
  • the present invention made in view of the above is intended to realize high-quality video exchanged with a relatively inexpensive investment in a video lecture or video conference in which three or more participants exist. To do.
  • the present invention is a system for realizing a video call function involving transmission / reception of video between a master terminal and a plurality of slave terminals via a telecommunication line, wherein the master terminal includes a plurality of slave terminals.
  • Information indicating that a communication right designation receiving unit that accepts an operation input that designates a slave terminal to which a mutual communication right is to be given and a mutual communication right that is given to a slave terminal that is designated to be given the mutual communication right A communication right granting information transmitting unit for transmitting the communication right granting information, a call receiving unit for receiving an image from a slave terminal currently giving the mutual communication right, and a slave granting the current mutual communication right.
  • a call output control unit that displays the video received from the side terminal on the display screen, and a call transmission unit that transmits the video captured by the camera at the installation location of the main side terminal to each of the plurality of slave terminals. Equipped A call receiving unit that receives images from the master terminal, a call output control unit that displays video received from the master terminal on the display screen, and a communication right provided from the master terminal. A communication right grant information receiving unit that receives the grant information, and a video that is captured by the camera at the installation location of the slave terminal only when the communication right grant information is received and the mutual communication right is currently given.
  • the video call system is characterized in that it comprises a call sending unit for sending calls to.
  • the system can be operated with a relatively inexpensive investment without using a dedicated line, MCU, or IP multicast.
  • the call transmission unit of the slave terminal collects the sound (collects the sound of the site) with the microphone at the location where the slave terminal is installed only when the right of mutual communication is received and the mutual communication right is currently given.
  • the voice receiving unit of the master side terminal receives the voice that comes from the slave terminal that currently gives the mutual communication right, and sends the voice to the master terminal.
  • the call output control unit of the side terminal outputs the sound received from the slave side terminal that currently gives the mutual communication right from the speaker, and the call transmission unit of the main side terminal is a microphone at the installation location of the main side terminal.
  • the voice collected in step 1 is transmitted to each of the plurality of slave terminals, and the voice received from the slave terminal that is currently given mutual communication rights is sent to the slave terminal that is not currently given mutual communication rights.
  • the communication unit receives the voice from the master terminal and the call output control unit of the slave terminal outputs the voice received from the master terminal from the speaker, the voice of the master terminal And only the audio
  • the communication bandwidth consumption can be further saved.
  • each person's right to speak can be controlled as appropriate, and orderly lecture management and conference management become possible. In a simple way, you can block your private language and field.
  • the communication right designation receiving unit of the master side terminal can receive a designation that the slave terminals that give mutual communication rights should be sequentially switched every predetermined time, and the communication right granting information transmitting unit of the master terminal is If it is a system that sequentially switches the slave terminal of the other party that sends the communication right granting information when the designation that the slave terminal that grants the mutual communication right should be switched sequentially every predetermined time is received, When viewed from the user, for example, the video (and audio) of the user of the slave terminal is automatically switched every tens of seconds to several minutes. As a result, it becomes easy to grasp the movement of the users of all the slave terminals.
  • a communication right request information transmitting unit for transmitting communication right request information, which is information indicating that a communication right is requested, wherein the master terminal is a communication brought from a slave terminal that is not currently granted a mutual communication right.
  • a communication right request information receiving unit for receiving right request information, and a communication right request output control unit for displaying on the display screen which communication terminal request information is received from which slave terminal; Then, the user of the slave terminal can request the mutual communication right from the user of the master terminal as required. In addition, it becomes possible for the user of the main terminal to select a partner to which the mutual communication right is given in consideration of the request of the user of the slave terminal.
  • the master terminal and the slave terminal can be shared, which contributes to a reduction in the production cost of the terminal.
  • the figure which shows the hardware resource which the terminal in the embodiment comprises. Functional block diagram of the terminal.
  • the video call system has terminals 1 distributed in various places connected to an electric communication line 2 such as the Internet, WAN (Wide Area Network), LAN (Local Area Network), and the like. It is constructed to connect to each other via the communication. At least one of the terminals 1 is the master terminal 11, and the remaining plurality are slave terminals 12.
  • an electric communication line 2 such as the Internet, WAN (Wide Area Network), LAN (Local Area Network), and the like. It is constructed to connect to each other via the communication.
  • At least one of the terminals 1 is the master terminal 11, and the remaining plurality are slave terminals 12.
  • the terminal 1 includes a processor 1a, a main memory 1b, an auxiliary storage device 1c, an operation input device 1d, a microphone 1e, a speaker 1f, an audio codec 1g, a camera 1h, a display 1i, a video codec 1j, and a communication interface.
  • Hardware resources such as 1k are provided, and these are controlled by a controller (system controller, I / O controller, etc.) 11 to perform a cooperative operation.
  • the auxiliary storage device 1c is a hard disk drive, a flash memory, an optical disk drive, or the like.
  • the operation input device 1d is a push button that can be operated with a finger, a pointing device such as a touch panel, a track pad, or the like.
  • a remote controller capable of wireless communication with the terminal 1 is assumed.
  • the audio codec 1g encodes the sound collected via the microphone 1e, or decodes the encoded audio information and outputs the sound from the speaker 1f.
  • the video codec 1j encodes video captured through the camera 1h, decodes encoded video information, and displays and outputs it on the screen of the display 1i.
  • Each of the audio codec 1g and the video codec 1j can be implemented as software instead of hardware.
  • the communication interface 1g is a device for performing information communication via the telecommunication line 2 and is typified by NIC (Network Interface Card) or wireless LAN transceiver, but besides these, USB (Universal Serial Bus), IEEE 1394, etc.
  • NIC Network Interface Card
  • USB Universal Serial Bus
  • IEEE 1394 IEEE 1394
  • the terminal 1 is basically a dedicated device manufactured for the purpose of constructing this system. However, it does not prevent the terminal 1 according to the present invention from being configured by installing a program necessary for a general-purpose personal computer, workstation, video game machine or the like.
  • the program to be executed by the processor 1a is stored in the auxiliary storage device 1c.
  • the program is read from the auxiliary storage device 1c into the main memory 1b and decoded by the processor 1a.
  • the terminal 1 operates the hardware resource according to the program, and exhibits the function of the master terminal 11 shown in FIG. 3 and the function of the slave terminal 12 shown in FIG.
  • the main terminal 11 includes a telephone directory storage unit 111, a call request transmission unit 112, a call reception unit 113, a call output control unit 114, a call transmission unit 115, a communication right request information reception unit 116, and a communication right request output control unit 117.
  • the telephone directory storage unit 111 stores identification information of one or more (for example, a maximum of 100) terminal 1 and attribute information related to the terminal 1 using a storage area of the main memory 1b or the auxiliary storage device 1c. .
  • the identification information is information for identifying a communication destination represented by, for example, an IP address, a SIP (Session Initiation Protocol) address, or another URI.
  • the attribute information is information related to the other party's name or name, affiliation, location, and other destinations, and is character string information in this embodiment.
  • FIG. 5 illustrates information stored in the telephone directory storage unit 111.
  • the telephone directory storage unit 111 stores identification information and attribute information in association with an ID number or the like for each terminal 1 for other terminals 1 that can be candidates for a video call partner.
  • the identification information and attribute information of the other terminal 1 may be manually input directly, or may be transmitted from another terminal 1 or a computer connected via the telecommunication line 2.
  • the terminal 1 accepts input of identification information and attribute information of the other terminal 1 via the operation input device 1d or receives it using the function of the communication interface 1k and registers it in the telephone book (or address book). That is, it is stored in the telephone directory storage unit 111.
  • identification information and attribute information related to other terminals 1 that have made a video call in the past are shown as a past call history in the phone book.
  • attribute information information indicating whether the call was made (calling) from us or received (received) from the other party, and the date and time when the video call was made with the terminal 1 are shown.
  • the time stamp and the like are also stored.
  • information to that effect and a time stamp indicating the date and time of the lecture or conference are stored. I can leave.
  • the call request transmission unit 112 uses a function of the communication interface 1k to make a call request for making a video call with the terminal 1 participating in the lecture or conference. send.
  • the call request is transmitted from the master terminal 11 to the slave terminal 12.
  • the mode in which the call request is transmitted from the slave terminal 12 to the master terminal 11 is not disturbed.
  • the main terminal 11 displays on the screen of the display 1i a list of other terminals 1 that can be candidates for video call destinations, that is, candidates for participation in lectures or conferences.
  • FIG. 6 shows a candidate list display example.
  • the terminal 1 that is first displayed as a candidate is the terminal 1 that has participated in a lecture or a meeting in the past (the history information is left in the telephone directory storage unit 111).
  • the main terminal 11 reads identification information from the telephone directory storage unit 111 for each of the plurality of candidate terminals 1. Then, based on the identification information, a live icon request that is information requesting the terminal 1 to transmit a live icon (symbol B in the figure) is transmitted.
  • the live icon is a real-time video or still image taken at the place where the terminal 1 is installed.
  • the size of the live icon (for example, 192 ⁇ 108 pixels) is smaller than the size of the image exchanged during the video lecture or video conference (for example, 1920 ⁇ 1080 pixels).
  • the frame rate of the live icon is affected by the bandwidth of the telecommunication line 2 to which each terminal 1 is connected, but is about 5 fps or more.
  • the terminals 1 are interconnected in a peer-to-peer manner via the telecommunication line 2. That is, when conducting a video lecture or video conference, it is not necessary to use another relay server or a relay machine such as an MCU.
  • a live icon request can be immediately transmitted to the terminal 1 using the identification information.
  • the identification information requires address resolution, such as a SIP address
  • the invitee terminal 12 and the callee terminal 12 can be contacted by transmitting an invitation message to another computer (for example, a SIP proxy server) using the identification information. Establish a session between them, and then send a live icon request.
  • the identification information is transmitted to another computer having an address resolution capability (for example, a DNS (Domain Name System) server), and an IP address corresponding to the identification information is received from the computer.
  • a live icon request is transmitted to the terminal 1 using.
  • the terminal 1 that has received the live icon request normally transmits the live icon captured by the camera 1h to the terminal 1 that has caused the live icon request.
  • the main terminal 11 receives the live icon returned from each terminal 1, and displays it on the screen of the display 1i together with the attribute information (reference symbol A in the figure) of the terminal. Since the live icon cannot be displayed for the terminal 1 that has not received the live icon, an image or a character string indicating that fact is displayed. In the example shown in FIG. 6, the display of “Connecting ...” (reference symbol C in the figure) indicates that a live icon request is transmitted to the terminal 1 and a response is awaited.
  • the display of “communication impossible” indicates that a response has not been returned until a certain time has elapsed after transmitting a live icon request to the terminal 1, that is, for some reason (the power supply of the terminal 1 is The communication line to which the terminal 1 is connected is interrupted, etc., indicating that it is impossible to establish a session with the terminal 1.
  • a display of “not displayable” indicates that a live icon request is transmitted to the terminal 1, but the live icon request is rejected, in other words, a response that the live icon is not transmitted is live. Indicates that it was sent instead of an icon.
  • busy symbol F in the figure
  • a live icon request is transmitted to the terminal 1, but a response indicating that a video call is already being made with another terminal 1 is sent instead of the live icon. It shows that it has come.
  • the master terminal 1 sends operation inputs for designating a plurality of slave terminals 12 to be participants in the video lecture or video conference from the candidates displayed on the screen via the operation input device 1d.
  • the user of the master terminal 1 operates the operation input device 1d to move the cursor (symbol G in the figure), and clicks the information display column (symbols A and B in the figure) of the desired slave terminal 12.
  • the main terminal 1 that has received this operation knows the terminal 1 corresponding to the clicked display field as a participant, and starts the video call to the terminal 1 based on the identification information related to the terminal 1. Send the requested call request.
  • the call receiving unit 113 receives the video and audio transmitted from the slave terminal 12 due to the transmission of the call request using the function of the communication interface 1k. However, transmission of video and audio to the master terminal 11 is limited to the slave terminal 12 that currently has a mutual communication right, and the call receiver 113 also receives the slave terminal 12. Only the video and audio captured and picked up at
  • the call output control unit 114 displays the video during a call received from the slave terminal 12 on the screen of the display 1i and outputs the voice during the call received from the slave terminal 12 through the speaker 1f.
  • FIG. 7 shows a display output example of the image of the other party during the video call in the main terminal 11.
  • a video symbol H in the figure
  • the call output control unit 114 displays on the call screen a small self-portrait (symbol I in the figure) captured by the camera 1h at the location where the main terminal 11 is installed.
  • the call sending unit 115 sends the video captured by the camera 1h at the installation location of the main terminal 11 and the sound collected by the microphone 1e to all the slave terminals 12 participating in the video lecture or video conference. , Using the function of the communication interface 1k. In the present embodiment, the voice of the slave terminal 12 that currently has the right to communicate is distributed and shared to the terminals 1 of all participants via the master terminal 11. Therefore, the call transmitting unit 115 has the mutual communication right for all the slave terminals 12 that do not have the mutual communication right together with the own voice collected at the installation location of the main terminal 11. The voice received from the slave terminal 12 is also transmitted. At that time, the call transmission unit 115 sends out voice data obtained by superimposing the received voice on the voice collected by the microphone 1e.
  • the communication right request information receiving unit 116 receives the communication right request information, which is information from the slave terminal 12 to request the mutual communication right, using the function of the communication interface 1k.
  • the communication right request receiving unit also receives cancellation information, which is information indicating that the request for mutual communication right, which is provided from the slave terminal 12, is cancelled.
  • the communication right request output control unit 117 displays on the screen of the display 1i which of the slave terminals 12 has received the communication right request information.
  • FIG. 8 shows a display example of the communication right request.
  • This control screen displays a list of attribute information (symbol J in the figure) and its current status for all slave terminals 12 participating in the video lecture or video conference.
  • “in communication” indicates that a session has been established with the slave terminal 12, and the slave terminal 12 of the other party has sent from the master terminal 11.
  • the video and audio that are being played will be received.
  • the display of “request to speak” indicates that the communication right request information has been received from the slave terminal 12.
  • the display of “request to speak” is returned to the display of “in communication”.
  • the display of “disconnected” indicates that the session with the slave terminal 12 has been disconnected for some reason.
  • the control screen is displayed only when the user of the main terminal 11 performs a predetermined operation via the operation input device 1d during the video lecture or video conference.
  • the purpose of not always displaying the control screen is to prevent the mental concentration of the user of the main terminal 11, particularly a lecturer or a lecturer. If the user of the main terminal 11 has clicked the “return” button (symbol S in the figure), the control screen shown in FIG. 8 is hidden and shown in FIG. Return to the original call screen.
  • the above-described live icon may be displayed on the control screen shown in FIG. 8 instead of displaying “in communication” or “disconnecting”.
  • the master terminal 11 that has received a predetermined operation for displaying the control screen transmits a live icon request to each slave terminal 12, and the slave terminal 12 that has received the live icon request captures a live icon image. And return it to the main terminal 11. Then, the main terminal 11 displays the received live icon in the control screen. Further, when the master terminal 11 receives an operation for concealing the control screen, that is, a click operation of the “return” button, information indicating that the slave terminal 12 requests transmission of the live icon to each slave terminal 12 is displayed. Send. Receiving this, the slave terminal 12 stops capturing and transmitting the live icon image.
  • the communication right designation accepting unit 118 accepts an operation input for designating the slave terminal 12 to which the mutual communication right is to be given from among the plurality of slave terminals 12 via the operation input device 1d.
  • the user of the master side terminal 1 operates the operation input device 1d on the control screen shown in FIG. 8 to move the cursor (symbol O in the figure) and displays it in the desired slave terminal 12 column. Click the “Select” button (symbol P in the figure).
  • the master side terminal 11 that has received this operation knows the slave side terminal 12 corresponding to the clicked button as the terminal 12 that should be given the mutual communication right.
  • an image or a character string (symbol Q in the figure) indicating that is displayed instead of the “select” button.
  • the communication right designation accepting unit 118 can accept designation that the slave terminals 12 that give mutual communication rights should be sequentially switched every predetermined time.
  • a button symbol R in the figure
  • These buttons are used to select the time of the switching cycle. In the illustrated example, any one of “10 seconds”, “30 seconds”, “1 minute”, and “3 minutes” is selected.
  • the user of the main terminal 1 operates the operation input device 1d to move the cursor and clicks a button having a desired cycle time.
  • the master side terminal 11 that has received this operation knows that it has been designated that the slave side terminal 12 to which the mutual communication right is to be switched in the time period corresponding to the clicked button.
  • the communication right granting information transmitting unit 119 provides the communication right granting information, which is information indicating that the mutual communication right is given to the slave terminal 12 designated to be given the mutual communication right, and the function of the communication interface 1k. Use to send.
  • the communication right granting information transmitting unit transmits the communication right granting information to the slave terminal 12 designated by the user of the master terminal 11, and at the same time, the slave terminal 12 having the mutual communication right until then.
  • the communication right revocation information indicating that the mutual communication right is lost is transmitted to the terminal.
  • the user of the master side terminal 11 specifies that the slave side terminal 12 that grants the mutual communication right at every predetermined time should be sequentially switched, the user has the right of mutual communication at every time period selected by the user.
  • the communication right revocation information is transmitted to the slave terminal 12 that is performing communication, and the communication right grant information is transmitted to the slave terminal 12 that does not have the mutual communication right corresponding to the next order.
  • the slave terminal 12 includes a call request receiving unit 121, a call receiving unit 122, a call output control unit 123, a communication right request receiving unit 124, a communication right request information transmitting unit 125, a communication right granting information receiving unit 126, and a call transmitting unit. 127.
  • the call request receiving unit 121 receives a call request transmitted from the main terminal 11 which is a partner of a video call using the function of the communication interface 1k. Upon reception of the call request, it is determined that the slave terminal 12 and the master terminal 11 participate in mutual communication and that the slave terminal 12 participates in a video lecture or video conference hosted by the master terminal 11.
  • the call receiving unit 122 receives video and audio transmitted from the main terminal 11 by using the function of the communication interface 1k.
  • the video received by the call receiving unit 122 is a video shot at the main terminal 11.
  • the voice received by the call receiving unit 122 is only the voice collected by the main terminal 11 when the slave terminal 12 currently has the mutual communication right. Is the voice collected at the master terminal 11 and the voice collected at the slave terminal 12 having the mutual communication right.
  • the call output control unit 123 displays the video during the call received from the main terminal 11 on the screen of the display 1i, and outputs the sound during the call received from the main terminal 11 from the speaker 1f.
  • FIG. 9 shows a display output example of the image of the other party during the video call in the slave terminal 12.
  • a video image symbol T in the figure
  • the call output control unit 123 displays a small image of the self (photograph U in the figure) captured by the camera 1h at the place where the slave terminal 12 is installed in the call screen.
  • the communication right request accepting unit 124 accepts an operation input for requesting a mutual communication right from the user of the main terminal 11 via the operation input device 1d.
  • a “speak request” button (reference symbol V) is displayed.
  • the user of the slave terminal 12 who wishes to grant the mutual communication right operates the operation input device 1d to move the cursor (not shown) and clicks the “Request to speak” button. To do.
  • the slave terminal 12 that has received this operation knows that it has been instructed to request the mutual communication right.
  • the communication right request information transmitting unit 125 transmits the communication right request information to the main terminal 11 using the function of the communication interface 1k when receiving an operation input for requesting the mutual communication right. .
  • an image or character string (symbol W in the figure) indicating that is displayed on the call screen of the slave terminal 12 as shown in FIG.
  • a “cancel desired” button (symbol X in the figure) is displayed.
  • the communication right grant information receiving unit 126 receives the communication right grant information provided from the main terminal 11 by using the function of the communication interface 1k. Further, the communication right grant information receiving unit 126 also receives the communication right revocation information provided from the main terminal 11.
  • the call transmission unit 127 receives the video captured by the camera 1h and the sound collected by the microphone 1e only when the communication right granting information is received and the mutual communication right is currently given.
  • the main terminal 11 is transmitted using the function of the communication interface 1k. After receiving the communication right revocation information from the main terminal 11, since the mutual communication right is lost, transmission of its own video and audio toward the main terminal 11 is stopped. Even during the period before the mutual communication right is given, it does not transmit its own video and audio.
  • Step S1 the master terminal 11 receives the video and audio transmitted from the slave terminal 12 having the mutual communication right (step S1), and receives the received video and audio via the display 1i and the speaker 1f.
  • Step S2 the self-image captured by the camera 1h and the own sound collected by the microphone 1e are transmitted to all the slave terminals 12 participating in the video lecture or video conference (step S3).
  • step S3 the slave terminal 12 that does not have the mutual communication right superimposes and transmits the voice received from the slave terminal 12 that has the mutual communication right on its own voice.
  • the master terminal 11 When the master terminal 11 receives the communication right request information from any of the slave terminals 12 (step S4), it informs that the user of the slave terminal 12 is requesting the mutual communication right. Information is displayed on the screen of the display 1i (step S5).
  • step S6 when the master terminal 11 receives an operation input for designating the slave terminal 12 that gives the right of mutual communication by the user of the master terminal 11 (step S6), the master terminal 11 receives the designated slave terminal 12 from the user. Communication right granting information is transmitted toward (step S7). At the same time, the communication right revocation information is transmitted to the slave terminal 12 that has had the mutual communication right so far (step S8).
  • the main terminal 11 repeats the above steps S1 to S8 until the end of the video lecture or video conference (step S9).
  • the slave terminal 12 receives the video and audio transmitted from the master terminal 11 (step S10), and outputs the received video and audio via the display 1i and the speaker 1f (step S10). S11).
  • the slave terminal 12 receives the communication right request information for the master terminal 11 when receiving an operation input for requesting the mutual communication right by the user of the master terminal 12 (step S12). Transmit (step S13).
  • the slave terminal 12 is given the mutual communication right (step S14), in other words, on the condition that the communication right grant information is received from the master side terminal 11, the own terminal 12 has taken its own image.
  • the video and the voice collected by the microphone 1e are transmitted to the main terminal 11 (step S15).
  • the transmission of its own video and audio continues until the given mutual communication right expires, that is, until communication right revocation information is received from the main terminal 11.
  • the slave terminal 12 repeats the above steps S10 to S15 until the end of the video lecture or video conference (step S16).
  • the present invention is not limited to the embodiment described in detail above.
  • the terminal that is currently given the mutual communication right is supposed to be able to transmit the voice. It is good also as what can transmit / receive arbitrarily.
  • the bit rate of audio data is an order of magnitude smaller than that of video data, and transmission from all terminals participating in a lecture or conference to all other terminals does not necessarily cause a shortage of communication bandwidth. Because it is considered.
  • the mutual communication right is given to only one slave terminal.
  • the mutual communication right may be given to a plurality of slave terminals simultaneously.
  • a plurality of slave terminals to which mutual communication rights are given are transmitted to the master terminal as their own video (and audio), and the master terminal that receives them transmits video from a plurality of slave terminals. (And voice) are output simultaneously.
  • a plurality of main terminals may be provided.
  • the own video (and audio) is transmitted from the slave terminal having the mutual communication right to each master terminal. It is also allowed for the main terminals to mutually transmit and receive their own video (and audio).
  • video, audio, communication right granting information and other information are transmitted and received between terminals in a peer-to-peer form.
  • these may be transmitted and received via a relay device such as an MCU or a relay server. It does not prevent it.
  • the present invention can be used, for example, as a system for realizing a video lecture or video conference between multiple points.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ヘゲモニーを握る主側端末11の映像は全ての従側端末12に恒常的に配信する一方、従側端末12の映像は主側端末11にのみ送信するものとし、さらに、主側端末11から相互交信権を与えられた従側端末12のみが主側端末11に対して映像を送信するシステムとした。これにより、三者以上が同時に参加できるものでありながら、映像を相互に送受信する者が一部に制限され、やりとりする映像を高品位化したとしても通信帯域を不足させるおそれが低減する。本システムは、専用回線やMCU、あるいはIPマルチキャストを使用することを必要とせず、比較的安価な投資で運用することができる。

Description

ビデオ通話システム、主側端末、従側端末、プログラム
 本発明は、三者以上が参加することのできるビデオ通話機能を実現するためのシステムに関する。
 インターネットその他の通信回線を介して多地点間でのビデオ講義またはビデオ会議等を実現するビデオ通話システムが周知である(例えば、下記非特許文献を参照)。
 既存のシステムでは、映像データの圧縮率を高め、及び/または、映像フレームの寸法若しくは解像度を小さくして、通信回線の帯域幅の圧迫を予防している。しかし、ホワイトボードの板書や書類の文字が読めなかったり、模型や実物の細部がよく分からなかったりして、ビデオ講義またはビデオ会議の意義を損ねることがあった。
 やりとりする映像の高品位化は皆が等しく要望するところであるが、三者以上の者がそれぞれに向けて高品位の映像を送信しようとすれば即座に通信帯域が不足してしまう。通信帯域が不足すれば、映像のフレーム落ちや音声の中断が発生し、重要な話題に関する講義や会議には最早適さなくなる。これを避けるには、十分な大きさの最低通信速度が保証されたベストエフォート型でない専用回線を使用する、または各参加者(地点)間にMCU(Multi-point Control Unit)を設置することが有効ではある。だが、何れも巨額の投資を要する点は否めない。
 IP(Internet Protocol)マルチキャスト技術の利用も考えられるものの、現状、インターネット等の公衆回線上でマルチキャスト通信を行うことは一般に許されてはいない。
"XVD CamCast(R)CX"、[online]、[平成21年7月14日検索]、インターネット<URL http://www.marubeni-sys.com/bs/xvd/cx.html>
 以上に鑑みてなされた本発明は、三者以上の参加者が存在するビデオ講義またはビデオ会議等において、比較的安価な投資でやりとりする映像の高品位化を実現することを所期の目的とする。
 本発明では、主側端末と複数の従側端末との間で電気通信回線を介して映像の送受信を伴うビデオ通話機能を実現するシステムであって、主側端末が、複数の従側端末の中から相互交信権を与えるべき従側端末を指定する操作入力を受け付ける交信権指定受付部と、相互交信権を与えるべきものとして指定された従側端末に対して相互交信権を与える旨の情報である交信権付与情報を発信する交信権付与情報発信部と、現在相互交信権を与えている従側端末からからもたらされる画像を受信する通話受信部と、現在相互交信権を与えている従側端末から受信した映像をディスプレイの画面に表示させる通話出力制御部と、当該主側端末の設置場所においてカメラで撮影した映像を複数の従側端末の各々に対して発信する通話発信部とを具備し、従側端末が、主側端末からからもたらされる画像を受信する通話受信部と、主側端末から受信した映像をディスプレイの画面に表示させる通話出力制御部と、主側端末からもたらされる交信権付与情報を受信する交信権付与情報受信部と、交信権付与情報を受信し現在相互交信権が与えられている場合に限り、当該従側端末の設置場所においてカメラで撮影した映像を主側端末に対して発信する通話発信部とを具備していることを特徴とするビデオ通話システムを構成した。
 ビデオ講義やビデオ会議等において、現実には、全ての参加者が他の全ての参加者の映像を必要としている訳ではない。講義でも会議でも、全参加者が対等であるということは通常考えられない。講義では講師または講演者が、会議では議長や司会者がヘゲモニーを握っているのが常態である。また、多数の者が同時に発言するということも殆どの場合ない。本発明は、このような事情に着目したものであり、ヘゲモニーを握る主側端末の映像は全ての従側端末に恒常的に配信する一方、従側端末の映像は主側端末にのみ送信するものとし、さらに、現在相互交信権を有している従側端末のみが主側端末に対して映像を送信するものとしたのである。
 本発明によれば、三者以上が同時に参加できるシステムでありながら、映像を相互に送受信する者は一部に制限されるので、やりとりする映像を高品位化したとしても通信帯域をパンクさせるおそれは低減する。そして、専用回線やMCU、あるいはIPマルチキャストを使用することなく、比較的安価な投資でシステムを運用することができる。
 前記従側端末の通話発信部は、交信権付与情報を受信し現在相互交信権が与えられている場合に限り、当該従側端末の設置場所においてマイクで収音(現場の音を集めることを言い、録音を含む)した音声を主側端末に対して発信し、前記主側端末の通話受信部は、現在相互交信権を与えている従側端末からからもたらされる音声を受信し、前記主側端末の通話出力制御部は、現在相互交信権を与えている従側端末から受信した音声をスピーカから音声出力させ、前記主側端末の通話発信部は、当該主側端末の設置場所においてマイクで収音した音声を複数の従側端末の各々に対して発信するとともに、現在相互交信権を与えている従側端末から受信した音声を現在相互交信権を与えていない従側端末に対して発信し、前記従側端末の通話受信部は、主側端末からからもたらされる音声を受信し、前記従側端末の通話出力制御部は、主側端末から受信した音声をスピーカから音声出力させるシステムとすれば、主側端末の音声及び相互交信権を有している従側端末の音声のみを各参加者に配信するものとなる。これにより、通信帯域幅の消費量の一層の節約を図ることができる。のみならず、各者の発言権を適宜にコントロールできるようになり、秩序ある講義運営、会議運営が可能となる。卑近な言い方をすれば、私語や野次を遮断することができる。
 前記主側端末の交信権指定受付部は、所定時間毎に相互交信権を与える従側端末を順次切り替えるべき旨の指定を受け付けることができ、前記主側端末の交信権付与情報発信部は、所定時間毎に相互交信権を与える従側端末を順次切り替えるべき旨の指定を受け付けた場合に、交信権付与情報を発信する相手先の従側端末を順次切り替えるシステムとすれば、主側端末の使用者から見て、例えば数十秒ないし数分毎に従側端末の使用者の映像(さらには、音声)が自動的に切り替わるようになる。ひいては、全ての従側端末の使用者の動静を掌握することが容易となる。
 前記従側端末は、相互交信権を要求するべき旨の操作入力を受け付ける交信権要求受付部と、相互交信権を要求するべき旨の操作入力を受け付けた場合に、主側端末に対して相互交信権を要求する旨の情報である交信権要求情報を発信する交信権要求情報発信部とをさらに具備し、前記主側端末は、現在相互交信権を与えていない従側端末からもたらされる交信権要求情報を受信する交信権要求情報受信部と、何れの従側端末から交信権要求情報を受信したかをディスプレイの画面に表示させる交信権要求出力制御部とをさらに具備しているシステムとすれば、従側端末の使用者が必要に応じて主側端末の使用者に対し相互交信権を要求することが可能になる。並びに、主側端末の使用者が、従側端末の使用者の要望を参酌して、相互交信権を与える相手先を選択することが可能になる。
 前記主側端末が前記従側端末としての機能をも兼備しているならば、主側端末と従側端末とを共通化でき、端末の製作コストの低減に資する。
 本発明によれば、三者以上の参加者が存在するビデオ講義またはビデオ会議等において、比較的安価な投資でやりとりする映像の高品位化を実現することが可能となる。
本発明の一実施形態のビデオ通話システムの概要を示す図。 同実施形態における端末が具備するハードウェア資源を示す図。 同端末の機能ブロック図。 同端末の機能ブロック図。 電話帳記憶部に記憶蓄積している情報を例示する図。 端末上での画面表示例を示す図。 端末上での画面表示例を示す図。 端末上での画面表示例を示す図。 端末上での画面表示例を示す図。 端末上での画面表示例を示す図。 端末がプログラムに従い実行する処理の手順を示すフローチャート。 端末がプログラムに従い実行する処理の手順を示すフローチャート。
 本発明の一実施形態を、図面を参照して説明する。図1に示すように、本実施形態のビデオ通話システムは、各所に分散して設置される端末1を、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)等の電気通信回線2を介して相互通信可能に接続して構築される。それら端末1のうちの少なくとも一つが主側端末11となり、残りの複数が従側端末12となる。
 図2に示すように、端末1は、プロセッサ1a、メインメモリ1b、補助記憶デバイス1c、操作入力デバイス1d、マイク1e、スピーカ1f、オーディオコーデック1g、カメラ1h、ディスプレイ1i、ビデオコーデック1j、通信インタフェース1k等のハードウェア資源を備え、これらがコントローラ(システムコントローラ、I/Oコントローラ等)1lにより制御されて連携動作するものである。
 補助記憶デバイス1cは、ハードディスクドライブ、フラッシュメモリ、光学ディスクドライブ、その他である。
 操作入力デバイス1dは、手指で操作可能な押下ボタンや、タッチパネル、トラックパッド等のポインティングデバイスであるが、本実施形態では端末1と無線交信可能なリモートコントローラを想定している。
 オーディオコーデック1gは、マイク1eを介して収音した音声を符号化したり、符号化されている音声情報を復号化してスピーカ1fから音声出力したりする。ビデオコーデック1jは、カメラ1hを介して撮影した映像を符号化したり、符号化されている映像情報を復号化してディスプレイ1iの画面に表示出力したりする。オーディオコーデック1g、ビデオコーデック1jはそれぞれ、ハードウェアでなくソフトウェアとして実装することも可能である。
 通信インタフェース1gは、電気通信回線2を介した情報通信を行うためのデバイスであり、NIC(Network Interface Card)や無線LANトランシーバに代表されるが、これら以外にUSB(Universal Serial Bus)、IEEE1394等のインタフェースを採用することもできる。
 端末1は、基本的には、本システムを構築する目的で製作された専用の機器である。但し、汎用のパーソナルコンピュータ、ワークステーション、ビデオゲーム機等に必要なプログラムをインストールして本発明に係る端末1を構成することを妨げるものではない。
 プロセッサ1aによって実行されるべきプログラムは補助記憶デバイス1cに格納されており、プログラムの実行の際には補助記憶デバイス1cからメインメモリ1bに読み込まれ、プロセッサ1aによって解読される。端末1は、プログラムに従い上記ハードウェア資源を作動して、図3に示す主側端末11の機能、並びに図4に示す従側端末12の機能を発揮する。
 主側端末11としては、電話帳記憶部111、通話要求発信部112、通話受信部113、通話出力制御部114、通話発信部115、交信権要求情報受信部116、交信権要求出力制御部117、交信権指定受付部118、交信権付与情報発信部119を具備する。
 電話帳記憶部111は、一または複数(例えば、最大100件)の端末1の識別情報及び当該端末1に係る属性情報を、メインメモリ1bまたは補助記憶デバイス1cの記憶領域を利用して記憶する。識別情報は、例えばIPアドレス、SIP(Session Initiation Protocol)アドレスその他のURIに代表される、通信の宛先を識別する情報である。属性情報は、相手先の氏名または名称、所属、所在地その他の相手先に関する情報であり、本実施形態では文字列情報である。図5に、電話帳記憶部111が記憶している情報を例示する。電話帳記憶部111は、ビデオ通話の相手先の候補となり得る他の端末1について、各端末1毎に、識別情報及び属性情報をID番号等に関連づけて記憶する。
 他の端末1の識別情報及び属性情報は、直接手入力されることもあれば、電気通信回線2を介して接続している他の端末1またはコンピュータから送信されてくることもある。端末1は、他の端末1の識別情報及び属性情報の入力を操作入力デバイス1dを介して受け付け、または通信インタフェース1kの機能を利用して受信し、電話帳(または、アドレス帳)に登録する、即ち電話帳記憶部111に記憶する。
 過去にビデオ通話を行ったことのある他の端末1に係る識別情報及び属性情報を、過去の通話履歴として、電話帳に蓄積しておくことも可能である。この場合には、属性情報として、当方からの発呼(発信)であったのか相手方からの受呼(着信)であったのかを示す情報や、その端末1とビデオ通話を行った日時を示すタイムスタンプ等を併せて記憶する。特に、図5に示しているように、過去に開催したビデオ講義またはビデオ会議に参加した複数の端末1について、その旨の情報や、講義または会議の開催日時を示すタイムスタンプ等を記憶しておくことができる。
 通話要求発信部112は、ビデオ講義またはビデオ会議を開催するにあたり、その講義または会議に参加する端末1との間で、ビデオ通話を行うための通話要求を、通信インタフェース1kの機能を利用して発信する。ビデオ講義またはビデオ会議を開始するには、主側端末11と各従側端末12との間でそれぞれセッションを確立する必要がある。原則として、通話要求は、主側端末11から従側端末12に向けて送信する。但し、通話要求を従側端末12から主側端末11に送信する態様を妨げない。
 主側端末11は、ビデオ通話の相手先の候補、即ち講義または会議の参加候補となり得る他の端末1の一覧を、ディスプレイ1iの画面に表示させる。図6に、候補の一覧表示例を示す。最初に候補として表示させるのは、過去に講義または会議に参加したことのある(その履歴情報が電話帳記憶部111に残されている)端末1である。主側端末11は、候補である複数の端末1の各々について、電話帳記憶部111から識別情報を読み出す。そして、その識別情報に基づき、当該端末1に対してライブアイコン(図中符号B)の送信を要求する情報であるライブアイコン要求を発信する。ライブアイコンは、端末1の設置場所で撮影されたリアルタイムの映像または静止画像である。ライブアイコンの寸法(例えば、192×108ピクセル)は、ビデオ講義またはビデオ会議時にやりとりされる映像の寸法(例えば、1920×1080ピクセル)よりも小さい。ライブアイコンのフレームレートは、各端末1が接続している電気通信回線2の帯域幅の影響を受けるが、5fps程度かそれ以上である。
 本実施形態のシステムでは、原則として、端末1同士を電気通信回線2を介してピアツーピアの形で相互接続する。即ち、ビデオ講義またはビデオ会議を実施するにあたって、他の中継サーバやMCU等の中継機を使用する必要がない。識別情報がIPアドレスのようなアドレス解決を要しないものである場合には、その識別情報を用いて即座に端末1にライブアイコン要求を送信することができる。識別情報がSIPアドレスのようなアドレス解決を要するものである場合には、その識別情報を用いて他のコンピュータ(例えば、SIPプロキシサーバ)に招待メッセージを送信する等して受呼側端末12との間でセッションを確立し、その後にライブアイコン要求を発信する。あるいは、その識別情報をアドレス解決能力を備えた他のコンピュータ(例えば、DNS(Domain Name System)サーバ)に送信して当該識別情報に対応したIPアドレス等をこのコンピュータから受信し、このIPアドレス等を用いて端末1にライブアイコン要求を送信する。
 ライブアイコン要求を受信した端末1は、通常の場合、カメラ1hで撮影したライブアイコンを、そのライブアイコン要求をもたらした端末1に向けて発信する。主側端末11では、各端末1から返信されるライブアイコンを受信して、当該端末の属性情報(図中符号A)とともにディスプレイ1iの画面に表示させる。ライブアイコンを受信できていない端末1については、ライブアイコンを表示させることができないので、その旨を示す画像または文字列を表示させる。図6に示す例において、「接続中・・・」の表示(図中符号C)は、その端末1に対してライブアイコン要求を送信し、応答待ちであることを示す。「通信不可」の表示(図中符号D)は、その端末1に対してライブアイコン要求を送信した後一定時間が経過するまでに応答が返ってこなかった、つまり何らかの理由(端末1の電源が切られている、端末1が接続する通信回線に支障が発生している、等々)で当該端末1とのセッション確立が不能であることを示す。「表示不可」の表示(図中符号E)は、その端末1に対してライブアイコン要求を送信したが、ライブアイコン要求を拒絶する、換言すればライブアイコンの送信を行わない旨の応答がライブアイコンの代わりに送られてきたことを示す。「通話中」の表示(図中符号F)は、その端末1に対してライブアイコン要求を送信したが、既に別の端末1とビデオ通話中である旨の応答がライブアイコンの代わりに送られてきたことを示す。
 しかして、主側端末1は、画面に表示させている候補の中から、ビデオ講義またはビデオ会議の参加者となる複数の従側端末12を指定する操作入力を、操作入力デバイス1dを介して受け付ける。主側端末1の使用者は、操作入力デバイス1dを操作してカーソル(図中符号G)を移動させ、所望の従側端末12の情報表示欄(図中符号A、B)をクリックする。この操作を受け付けた主側端末1は、クリックされた表示欄に対応した端末1を参加者として知得し、当該端末1に係る識別情報に基づき、当該端末1に対してビデオ通話の開始を要求する通話要求を発信する。当該従側端末12に係る識別情報がアドレス解決を要するものであったとしても、ライブアイコン要求の送信段階で既にセッション確立またはアドレス解決が済んでいる場合には、直接従側端末12に通話要求を送信することができる。そうでなければ、ライブアイコン要求送信時と同様にしてセッション確立またはアドレス解決を図り、当該従側端末12に通話要求を送信する。因みに、ライブアイコンの代わりに「通信不可」または「通話中」の旨を表示している端末1は、参加者として指定できない(その端末1に係る情報表示欄にカーソルを移動させることができない)ようにしている。
 通話受信部113は、前記通話要求を発信したことに起因して従側端末12から発信される映像及び音声を、通信インタフェース1kの機能を利用して受信する。但し、主側端末11に向けて映像及び音声を送信するのは現在相互交信権を有している従側端末12に限られており、通話受信部113が受信するのも当該従側端末12において撮影及び収音された映像、音声のみである。
 通話出力制御部114は、従側端末12から受信した通話中の映像をディスプレイ1iの画面に表示させるとともに、従側端末12から受信した通話中の音声をスピーカ1fから音声出力させる。図7に、主側端末11における、ビデオ通話中の相手先の映像の表示出力例を示す。この通話画面には、現在相互交信権を有している従側端末12において撮影された映像(図中符号H)が大きく映し出される。加えて、通話出力制御部114は、同通話画面内に、主側端末11の設置場所にてカメラ1hで撮影した自己の映像(図中符号I)を小さく表示させる。
 通話発信部115は、主側端末11の設置場所にてカメラ1hで撮影した映像及びマイク1eで収音した音声を、ビデオ講義またはビデオ会議に参加している全ての従側端末12に対して、通信インタフェース1kの機能を利用して発信する。なお、本実施形態では、現在相互交信権を有している従側端末12の音声を、主側端末11を介して全参加者の端末1に配信、共有することとしている。よって、通話発信部115は、相互交信権を有していない全ての従側端末12に対し、主側端末11の設置場所にて収音した自己の音声とともに、相互交信権を有している従側端末12から受信した音声をも送信する。その際、通話発信部115は、マイク1eで収音した音声に受信した音声を重畳して得た音声データを送出する。
 交信権要求情報受信部116は、従側端末12からもたらされる、相互交信権を要求する旨の情報である交信権要求情報を、通信インタフェース1kの機能を利用して受信する。また、交信権要求受信部は、従側端末12からもたらされる、相互交信権の要求をキャンセルする旨の情報であるキャンセル情報をも受信する。
 交信権要求出力制御部117は、何れの従側端末12から交信権要求情報を受信したかをディスプレイ1iの画面に表示させる。図8に、交信権要求の表示例を示す。このコントロール画面では、ビデオ講義またはビデオ会議に参加している全ての従側端末12について、属性情報(図中符号J)及びその現在状況を一覧表示する。図8に示す例において、「通信中」の表示(図中符号K)は、その従側端末12との間でセッションが確立しており、相手方の従側端末12が主側端末11から送出している映像及び音声を受信できているであろうことを示す。そして、「発言希望」の表示(図中符号L)は、その従側端末12から交信権要求情報を受信したことを示す。交信権要求情報をもたらした従側端末12からキャンセル情報が発信され、これを受信したときには、「発言希望」の表示を「通信中」の表示に戻す。因みに、「切断」の表示(図中符号M)は、何らかの理由でその従側端末12との間のセッションが切断されたことを示す。
 コントロール画面は、ビデオ講義またはビデオ会議中、主側端末11の使用者が操作入力デバイス1dを介して所定の操作を行ったときにはじめて表示させる。コントロール画面を常に表示させないのは、主側端末11の使用者、特に講師や講演者等の精神的な集中を妨げないようにする意図である。主側端末11の使用者の手により、「戻る」ボタン(図中符号S)をクリックする操作がなされた暁には、図8に示しているコントロール画面を隠蔽して、図7に示している本来の通話画面に復帰させる。
 なお、図8に示すコントロール画面上で、「通信中」の表示や「切断」の表示等の代わりに、上述したライブアイコンを表示させるようにしてもよい。この場合、コントロール画面を表示させるための所定の操作を受け付けた主側端末11が各従側端末12にライブアイコン要求を送信し、ライブアイコン要求を受信した従側端末12がライブアイコン画像を撮影して主側端末11に返送する。そして、主側端末11が、受信したライブアイコンをコントロール画面内に表示させる。また、主側端末11は、コントロール画面を隠蔽するための操作即ち「戻る」ボタンのクリック操作を受け付けたときに、各従側端末12に向けてライブアイコンの送信停止を要求する旨の情報を送信する。これを受信した従側端末12は、ライブアイコン画像の撮影及び送信を停止する。
 図7に示している通話画面を表示している期間中に交信権要求情報を受信した場合には、その旨(図中符号N)を隅部に小さく表示させる。交信権要求を受信した旨の表示は、同じ従側端末12からキャンセル情報を受信したときには消去する。
 交信権指定受付部118は、複数の従側端末12の中から相互交信権を与えるべき従側端末12を指定する操作入力を、操作入力デバイス1dを介して受け付ける。主側端末1の使用者は、図8に示すコントロール画面上で、操作入力デバイス1dを操作してカーソル(図中符号O)を移動させ、所望の従側端末12の欄に表示している「選択」ボタン(図中符号P)をクリックする。この操作を受け付けた主側端末11は、クリックされたボタンに対応した従側端末12を、相互交信権を与えるべき端末12として知得する。但し、現在既に相互交信権を与えている従側端末12については、「選択」ボタンに代えて、その旨を示す画像または文字列(図中符号Q)を表示させておく。
 また、交信権指定受付部118は、所定時間毎に相互交信権を与える従側端末12を順次切り替えるべき旨の指定を受け付けることができる。図8に示す画面上には、相互交信権を与える相手先を自動的に切り替えるためのボタン(図中符号R)を表示している。これらボタンは、切り替え周期の時間を選定させるものである。図示例では、「10秒」、「30秒」、「1分」並びに「3分」の何れかから選択させるようにしている。主側端末1の使用者は、図8に示すコントロール画面上で、操作入力デバイス1dを操作してカーソルを移動させ、所望の周期時間のボタンをクリックする。この操作を受け付けた主側端末11は、クリックされたボタンに対応した時間周期で、相互交信権を与える従側端末12を切り替えるべき旨の指定がなされたことを知得する。
 交信権付与情報発信部119は、相互交信権を与えるべきものとして指定された従側端末12に対して、相互交信権を与える旨の情報である交信権付与情報を、通信インタフェース1kの機能を利用して発信する。交信権付与情報送信部は、主側端末11の使用者によって指定された従側端末12に向けて交信権付与情報を送信し、同時に、それまで相互交信権を有していた従側端末12に向けて相互交信権を失わせる旨の交信権失効情報を送信する。
 主側端末11の使用者により、所定時間毎に相互交信権を与える従側端末12を順次切り替えるべき旨の指定がされたときには、使用者が選定した時間周期毎に、現在相互交信権を有している従側端末12に交信権失効情報を送信し、その次の順番に該当する相互交信権を有していない従側端末12に交信権付与情報を送信する。
 従側端末12としては、通話要求受信部121、通話受信部122、通話出力制御部123、交信権要求受付部124、交信権要求情報発信部125、交信権付与情報受信部126、通話発信部127を具備する。
 通話要求受信部121は、ビデオ通話の相手先となる主側端末11から発信される通話要求を、通信インタフェース1kの機能を利用して受信する。通話要求の受信により、従側端末12と主側端末11との相互通信、及び従側端末12が主側端末11の主催するビデオ講義またはビデオ会議に参加することが確定する。
 通話受信部122は、主側端末11から発信される映像及び音声を、通信インタフェース1kの機能を利用して受信する。通話受信部122が受信する映像は、主側端末11において撮影された映像である。他方、通話受信部122が受信する音声は、当該従側端末12が現在相互交信権を有している場合には、主側端末11において収音された音声のみであるが、現在相互交信権を有していない場合には、主側端末11において収音された音声及び相互交信権を有している従側端末12において収音された音声である。
 通話出力制御部123は、主側端末11から受信した通話中の映像をディスプレイ1iの画面に表示させるとともに、主側端末11から受信した通話中の音声をスピーカ1fから音声出力させる。図9に、従側端末12における、ビデオ通話中の相手先の映像の表示出力例を示す。この通話画面には、主側端末11において撮影された映像(図中符号T)が大きく映し出される。加えて、通話出力制御部123は、同通話画面内に、当該従側端末12の設置場所にてカメラ1hで撮影した自己の映像(図中符号U)を小さく表示させる。
 交信権要求受付部124は、主側端末11の使用者に対して相互交信権を要求するべき旨の操作入力を、操作入力デバイス1dを介して受け付ける。従側端末12における通話画面には、「発言希望」ボタン(図中符号V)を表示している。相互交信権の付与を希望する従側端末12の使用者は、図9に示す画面上で、操作入力デバイス1dを操作してカーソル(図示せず)を移動させ、「発言希望」ボタンをクリックする。この操作を受け付けた従側端末12は、相互交信権を要求するべき旨が指令されたことを知得する。
 交信権要求情報発信部125は、相互交信権を要求するべき旨の操作入力を受け付けたときに、主側端末11に対し、交信権要求情報を、通信インタフェース1kの機能を利用して発信する。
 交信権要求情報の送信後、従側端末12の通話画面には、図10に例示するように、その旨を示す画像または文字列(図中符号W)を表示させるとともに、「発言希望」ボタンに代えて「希望中止」ボタン(図中符号X)を表示させる。従側端末12の使用者の手により、「希望中止」ボタンをクリックする操作がなされた暁には、主側端末11に対してキャンセル情報を発信し、「発言希望中」表示を消去し、「希望中止」ボタンを「発言希望」ボタンに戻す。
 交信権付与情報受信部126は、主側端末11からもたらされる交信権付与情報を、通信インタフェース1kの機能を利用して受信する。また、交信権付与情報受信部126は、主側端末11からもたらされる交信権失効情報をも受信する。
 通話発信部127は、交信権付与情報を受信し現在相互交信権が与えられている場合に限り、従側端末12の設置場所にてカメラ1hで撮影した映像及びマイク1eで収音した音声を、主側端末11に対して、通信インタフェース1kの機能を利用して発信する。主側端末11から交信権失効情報を受信した後は、相互交信権が失われるため、主側端末11に向けた自己の映像及び音声の送信を停止する。相互交信権が与えられる以前の期間も、自己の映像及び音声を送信しない。
 本実施形態のビデオ通話システムを構成する端末1が、ビデオ講義またはビデオ会議中に実行する処理の手順を概説する。図11に示すように、主側端末11は、相互交信権を有する従側端末12から送信された映像及び音声を受信し(ステップS1)、受信した映像及び音声をディスプレイ1i及びスピーカ1fを介して出力する(ステップS2)。それとともに、カメラ1hで撮影した自己の映像及びマイク1eで収音した自己の音声を、ビデオ講義またはビデオ会議に参加している全ての従側端末12に向けて送信する(ステップS3)。ステップS3にて、相互交信権を有していない従側端末12に対しては、自己の音声に、相互交信権を有する従側端末12から受信した音声を重畳して送出する。
 主側端末11は、何れかの従側端末12からもたらされる交信権要求情報を受信したときには(ステップS4)、当該従側端末12の使用者が相互交信権を要求している旨を報知する情報をディスプレイ1iの画面に表示させる(ステップS5)。
 また、主側端末11は、当該主側端末11の使用者による、相互交信権を与える従側端末12を指定する操作入力を受け付けたときに(ステップS6)、指定された従側端末12に向けて交信権付与情報を送信する(ステップS7)。同時に、それまで相互交信権を有していた従側端末12に向けて交信権失効情報を送信する(ステップS8)。
 主側端末11は、上記のステップS1ないしS8を、ビデオ講義またはビデオ会議の終了まで反復する(ステップS9)。
 図12に示すように、従側端末12は、主側端末11から送信された映像及び音声を受信し(ステップS10)、受信した映像及び音声をディスプレイ1i及びスピーカ1fを介して出力する(ステップS11)。
 従側端末12は、当該主側端末12の使用者による、相互交信権を要求する旨を指令する操作入力を受け付けたときに(ステップS12)、主側端末11に向けて交信権要求情報を送信する(ステップS13)。
 そして、従側端末12は、相互交信権が与えられている(ステップS14)、換言すれば主側端末11から交信権付与情報を受信していることを条件として、カメラ1hで撮影した自己の映像及びマイク1eで収音した自己の音声を、主側端末11に向けて送信する(ステップS15)。自己の映像及び音声の送出は、与えられていた相互交信権が失効する、即ち主側端末11から交信権失効情報を受信するまでの間継続する。
 従側端末12は、上記のステップS10ないしS15を、ビデオ講義またはビデオ会議の終了まで反復する(ステップS16)。
 なお、本発明は以上に詳述した実施形態に限られるものではない。まず、上記実施形態では、複数の従側端末のうち、現在相互交信権が与えられている端末のみが音声を発信できるものとしていたが、音声については相互交信権の有無にかかわらず各端末間で任意に送受信できるものとしてもよい。音声データのビットレートは映像データに比して桁違いに小さく、講義または会議に参加している全ての端末から他の全ての端末に向けて送信することとしても必ずしも通信帯域の不足を招かないと考えられるからである。
 また、上記実施形態では、相互交信権をただ一つの従側端末に与えるものとしていたが、相互交信権を同時に複数の従側端末に与えられるようにしてもよい。この場合、相互交信権が与えられた複数の従側端末から主側端末に向けて自己の映像(及び、音声)が送信され、これを受信した主側端末では複数の従側端末からの映像(及び、音声)が同時に出力されることとなる。
 主側端末を複数設けてもよい。この場合には、相互交信権を有している従側端末から各主側端末に向けて自己の映像(及び、音声)が送信される。主側端末同士で自己の映像(及び、音声)を相互に送受信することも許される。
 さらに、上記実施形態では、端末間で映像、音声、交信権付与情報その他の情報をピアツーピアの形で送受信していたが、これらをMCUまたは中継サーバ等の中継機を経由して送受信することを妨げるものではない。
 その他、各部の具体的構成や処理の手順等は、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
 本発明は、例えば、多地点間でのビデオ講義またはビデオ会議を実現するシステムとして利用することができる。
 1…端末
 11…主側端末
 12…従側端末

Claims (9)

  1. 主側端末と複数の従側端末との間で電気通信回線を介して映像の送受信を伴うビデオ通話機能を実現するシステムであって、
    主側端末が、
    複数の従側端末の中から相互交信権を与えるべき従側端末を指定する操作入力を受け付ける交信権指定受付部と、
    相互交信権を与えるべきものとして指定された従側端末に対して相互交信権を与える旨の情報である交信権付与情報を発信する交信権付与情報発信部と、
    現在相互交信権を与えている従側端末からからもたらされる画像を受信する通話受信部と、
    現在相互交信権を与えている従側端末から受信した映像をディスプレイの画面に表示させる通話出力制御部と、
    当該主側端末の設置場所においてカメラで撮影した映像を複数の従側端末の各々に対して発信する通話発信部とを具備し、
    従側端末が、
    主側端末からからもたらされる画像を受信する通話受信部と、
    主側端末から受信した映像をディスプレイの画面に表示させる通話出力制御部と、
    主側端末からもたらされる交信権付与情報を受信する交信権付与情報受信部と、
    交信権付与情報を受信し現在相互交信権が与えられている場合に限り、当該従側端末の設置場所においてカメラで撮影した映像を主側端末に対して発信する通話発信部とを具備している
    ことを特徴とするビデオ通話システム。
  2. 前記従側端末の通話発信部は、交信権付与情報を受信し現在相互交信権が与えられている場合に限り、当該従側端末の設置場所においてマイクで収音した音声を主側端末に対して発信し、
    前記主側端末の通話受信部は、現在相互交信権を与えている従側端末からからもたらされる音声を受信し、
    前記主側端末の通話出力制御部は、現在相互交信権を与えている従側端末から受信した音声をスピーカから音声出力させ、
    前記主側端末の通話発信部は、当該主側端末の設置場所においてマイクで収音した音声を複数の従側端末の各々に対して発信するとともに、現在相互交信権を与えている従側端末から受信した音声を現在相互交信権を与えていない従側端末に対して発信し、
    前記従側端末の通話受信部は、主側端末からからもたらされる音声を受信し、
    前記従側端末の通話出力制御部は、主側端末から受信した音声をスピーカから音声出力させる請求項1記載のビデオ通話システム。
  3. 前記主側端末の交信権指定受付部は、所定時間毎に相互交信権を与える従側端末を順次切り替えるべき旨の指定を受け付けることができ、
    前記主側端末の交信権付与情報発信部は、所定時間毎に相互交信権を与える従側端末を順次切り替えるべき旨の指定を受け付けた場合に、交信権付与情報を発信する相手先の従側端末を順次切り替える請求項1または2記載のビデオ通話システム。
  4. 前記従側端末は、
    相互交信権を要求するべき旨の操作入力を受け付ける交信権要求受付部と、
    相互交信権を要求するべき旨の操作入力を受け付けた場合に、主側端末に対して相互交信権を要求する旨の情報である交信権要求情報を発信する交信権要求情報発信部とをさらに具備し、
    前記主側端末は、
    現在相互交信権を与えていない従側端末からもたらされる交信権要求情報を受信する交信権要求情報受信部と、
    何れの従側端末から交信権要求情報を受信したかをディスプレイの画面に表示させる交信権要求出力制御部とをさらに具備している請求項1、2または3記載のビデオ通話システム。
  5. 前記主側端末が前記従側端末としての機能をも兼備している請求項1、2、3または4記載のビデオ通話システム。
  6. 請求項1、2、3、4または5記載のビデオ通話システムを構成するために用いられるものであって、
    複数の従側端末の中から相互交信権を与えるべき従側端末を指定する操作入力を受け付ける交信権指定受付部と、
    相互交信権を与えるべきものとして指定された従側端末に対して相互交信権を与える旨の情報である交信権付与情報を発信する交信権付与情報発信部と、
    現在相互交信権を与えている従側端末からからもたらされる画像を受信する通話受信部と、
    現在相互交信権を与えている従側端末から受信した映像をディスプレイの画面に表示させる通話出力制御部と、
    当該主側端末の設置場所においてカメラで撮影した映像を複数の従側端末の各々に対して発信する通話発信部と
    を具備する主側端末。
  7. 請求項1、2、3、4または5記載のビデオ通話システムを構成するために用いられるものであって、コンピュータを、
    複数の従側端末の中から相互交信権を与えるべき従側端末を指定する操作入力を受け付ける交信権指定受付部、
    相互交信権を与えるべきものとして指定された従側端末に対して相互交信権を与える旨の情報である交信権付与情報を発信する交信権付与情報発信部、
    現在相互交信権を与えている従側端末からからもたらされる画像を受信する通話受信部、
    現在相互交信権を与えている従側端末から受信した映像をディスプレイの画面に表示させる通話出力制御部、並びに、
    当該主側端末の設置場所においてカメラで撮影した映像を複数の従側端末の各々に対して発信する通話発信部
    として機能させるプログラム。
  8. 請求項1、2、3、4または5記載のビデオ通話システムを構成するために用いられるものであって、
    主側端末からからもたらされる画像を受信する通話受信部と、
    主側端末から受信した映像をディスプレイの画面に表示させる通話出力制御部と、
    主側端末からもたらされる交信権付与情報を受信する交信権付与情報受信部と、
    交信権付与情報を受信し現在相互交信権が与えられている場合に限り、当該従側端末の設置場所においてカメラで撮影した映像を主側端末に対して発信する通話発信部と
    を具備する従側端末。
  9. 請求項1、2、3、4または5記載のビデオ通話システムを構成するために用いられるものであって、コンピュータを、
    主側端末からからもたらされる画像を受信する通話受信部、
    主側端末から受信した映像をディスプレイの画面に表示させる通話出力制御部、
    主側端末からもたらされる交信権付与情報を受信する交信権付与情報受信部、並びに、
    交信権付与情報を受信し現在相互交信権が与えられている場合に限り、当該従側端末の設置場所においてカメラで撮影した映像を主側端末に対して発信する通話発信部
    として機能させるプログラム。
PCT/JP2010/061677 2009-07-21 2010-07-09 ビデオ通話システム、主側端末、従側端末、プログラム WO2011010563A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-170612 2009-07-21
JP2009170612A JP2011029731A (ja) 2009-07-21 2009-07-21 ビデオ通話システム、主側端末、従側端末、プログラム

Publications (1)

Publication Number Publication Date
WO2011010563A1 true WO2011010563A1 (ja) 2011-01-27

Family

ID=43499033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/061677 WO2011010563A1 (ja) 2009-07-21 2010-07-09 ビデオ通話システム、主側端末、従側端末、プログラム

Country Status (3)

Country Link
JP (1) JP2011029731A (ja)
TW (1) TW201112755A (ja)
WO (1) WO2011010563A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012191A1 (ja) 2016-07-12 2018-01-18 Necプラットフォームズ株式会社 ビデオ会議システム、アプリケーションサーバ、デバイス、ビデオ会議方法、及びビデオ会議用プログラムを格納した非一時的なコンピュータ可読媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708493B (zh) * 2019-09-30 2021-07-20 视联动力信息技术股份有限公司 一种获取参与视联网会议的权限的方法及装置
CN113993093B (zh) * 2021-12-24 2022-03-18 嘉兴域途科技有限公司 4g/5g条件下双向呼叫多端远程视频通信方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298653A (ja) * 1995-04-25 1996-11-12 Canon Inc テレビ会議システム及びその端末装置
JPH10164539A (ja) * 1996-11-29 1998-06-19 Nec Corp 多画面伝送式多地点テレビ会議システム
JPH11341458A (ja) * 1998-05-25 1999-12-10 Nippon Telegr & Teleph Corp <Ntt> 多地点間通信会議システム,会議用サーバ装置,会議用クライアント装置およびそれらのプログラム記録媒体
JP2003304337A (ja) * 2002-04-08 2003-10-24 Nec Corp 遠隔会議システムにおける発言管理システム
JP2006333389A (ja) * 2005-05-30 2006-12-07 Mitsubishi Electric Corp テレビ会議制御装置
JP2008227950A (ja) * 2007-03-13 2008-09-25 Sony Corp テレビ会議装置、同期方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298653A (ja) * 1995-04-25 1996-11-12 Canon Inc テレビ会議システム及びその端末装置
JPH10164539A (ja) * 1996-11-29 1998-06-19 Nec Corp 多画面伝送式多地点テレビ会議システム
JPH11341458A (ja) * 1998-05-25 1999-12-10 Nippon Telegr & Teleph Corp <Ntt> 多地点間通信会議システム,会議用サーバ装置,会議用クライアント装置およびそれらのプログラム記録媒体
JP2003304337A (ja) * 2002-04-08 2003-10-24 Nec Corp 遠隔会議システムにおける発言管理システム
JP2006333389A (ja) * 2005-05-30 2006-12-07 Mitsubishi Electric Corp テレビ会議制御装置
JP2008227950A (ja) * 2007-03-13 2008-09-25 Sony Corp テレビ会議装置、同期方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012191A1 (ja) 2016-07-12 2018-01-18 Necプラットフォームズ株式会社 ビデオ会議システム、アプリケーションサーバ、デバイス、ビデオ会議方法、及びビデオ会議用プログラムを格納した非一時的なコンピュータ可読媒体
US10440326B2 (en) 2016-07-12 2019-10-08 Nec Platforms, Ltd. Video conference system and video conference method

Also Published As

Publication number Publication date
TW201112755A (en) 2011-04-01
JP2011029731A (ja) 2011-02-10

Similar Documents

Publication Publication Date Title
US8319816B1 (en) Methods, systems and program products for efficient communication of data between conference servers
WO2011139322A2 (en) Network-attached display device as an attendee in an online collaborative computing session
WO2010045857A1 (zh) 会议终端、会议服务器、会议系统及数据处理方法
JP2006254328A (ja) 音声映像通信システム
WO2014187282A1 (zh) 一种建立视频会议界面的方法、装置及视频终端
KR20140098573A (ko) 영상 회의 서비스 제공 장치 및 방법
JP2007329582A (ja) グループ通信サーバ
WO2015154608A1 (zh) 一种视频会议资料共享方法、系统及装置
US20160173820A1 (en) Video Communication Method and Device
JP2011045028A (ja) 会議中継装置、会議システム及びコンピュータプログラム
WO2016155262A1 (zh) 基于网守的视频会议系统及视频会议的召集方法
JP2015041885A (ja) テレビ会議システム
JP5327917B2 (ja) 電子会議システム、帯域管理方法および帯域管理プログラム
CN102387154B (zh) 一种实现多方多媒体通讯的方法
KR20190031671A (ko) 이종 네트워크간 오디오 컨퍼런스 시스템 및 방법
WO2016206471A1 (zh) 多媒体业务处理方法、系统及装置
WO2011010563A1 (ja) ビデオ通話システム、主側端末、従側端末、プログラム
CN101904162B (zh) 连接装置及其连接方法
JP5481693B2 (ja) ビデオ通話システム、発呼側端末、受呼側端末、プログラム
CN202334590U (zh) 一种多方多媒体通讯系统中的应用服务器
WO2012155732A1 (zh) 移动终端以及基于移动终端实现远程会议的方法
JP2006236178A (ja) 通信管理システム
WO2012043290A1 (ja) ビデオ通話システム、主側端末、従側端末
JP2003274023A (ja) 通信会議システムと通信会議方法と通信会議プログラム
JP2007026199A (ja) 多地点会議システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10802183

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10802183

Country of ref document: EP

Kind code of ref document: A1