WO2013140949A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2013140949A1
WO2013140949A1 PCT/JP2013/054698 JP2013054698W WO2013140949A1 WO 2013140949 A1 WO2013140949 A1 WO 2013140949A1 JP 2013054698 W JP2013054698 W JP 2013054698W WO 2013140949 A1 WO2013140949 A1 WO 2013140949A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
communication
information processing
external device
smartphone
Prior art date
Application number
PCT/JP2013/054698
Other languages
English (en)
French (fr)
Inventor
小林 佳和
五十嵐 克人
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2013140949A1 publication Critical patent/WO2013140949A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and an information processing program.
  • Patent Document 1 discloses a technology that uses, for example, a microphone, a touch sensor, a graphical input, a keyboard, a mouse, and the like in order to enable bidirectional operation between the system and the user in a video conference. It is disclosed.
  • the configuration cannot be flexibly rearranged according to the communication load in performing communication via the network.
  • An object of the present invention is to provide a technique for solving the above-described problems.
  • an apparatus provides: A communication means for performing data communication with a portable terminal; Determining means for determining whether or not a communication load with the portable terminal exceeds a predetermined reference value; Proposed means for proposing distributed communication to other mobile terminals to the user of the mobile terminal via the mobile terminal when the communication load exceeds the predetermined reference value; Control means for controlling the communication means so as to perform distributed communication using the portable terminal and the other portable terminal when communication between the other portable terminal and the communication means is established; Equipped with.
  • the method according to the present invention comprises: A communication step for performing data communication with a mobile terminal; A determination step for determining whether or not a communication load with the portable terminal exceeds a predetermined reference value; When the communication load exceeds the predetermined reference value, a proposal step for proposing distributed communication to another mobile terminal to the user of the mobile terminal via the mobile terminal; When communication with the other mobile terminal is established, a control step for controlling to perform communication using the mobile terminal and the other mobile terminal in a distributed manner; including.
  • a program provides: A communication step for performing data communication with a mobile terminal; A determination step for determining whether or not a communication load with the portable terminal exceeds a predetermined reference value; When the communication load exceeds the predetermined reference value, a proposal step for proposing distributed communication to another mobile terminal to the user of the mobile terminal via the mobile terminal; When communication with the other mobile terminal is established, a control step for controlling to perform communication using the mobile terminal and the other mobile terminal in a distributed manner; Is executed on the computer.
  • a system provides: A communication means for performing data communication with a portable terminal; Determination means for determining whether or not a communication load with the portable terminal exceeds a predetermined reference value; Proposed means for proposing distributed communication to other mobile terminals to the user of the mobile terminal via the mobile terminal when the communication load exceeds the predetermined reference value; Control means for controlling the communication means so as to perform distributed communication using the portable terminal and the other portable terminal when communication between the other portable terminal and the communication means is established; An information processing apparatus comprising: The mobile terminal and the other mobile terminal; including.
  • the configuration when performing communication via a network, the configuration can be flexibly rearranged according to the communication load.
  • the information processing apparatus 101 is an apparatus that communicates with the user 140 using at least two portable terminals 120 and 130.
  • the information processing apparatus 101 includes a communication unit 111, a determination unit 112, a suggestion unit 113, and a control unit 114.
  • the communication unit 111 performs data communication with the mobile terminal 120.
  • the determination unit 112 determines whether or not the communication load with the mobile terminal 120 exceeds a predetermined reference value.
  • the proposing unit 113 proposes distributed communication to other mobile terminals to the user 140 of the mobile terminal 120 via the mobile terminal 120 when the communication load exceeds a predetermined reference value.
  • the control unit 114 controls the communication unit 111 so as to perform distributed communication using the mobile terminal 120 and the other mobile terminal 130.
  • the information processing apparatus can propose distributed communication to another mobile terminal according to the communication load with the mobile terminal and perform distributed communication using the other mobile terminal. .
  • the configuration scale can be changed according to the communication load, communication via the network can be performed more effectively and efficiently.
  • FIG. 2 is a diagram for explaining the overall mechanism of the information processing system 200 according to the present embodiment.
  • the information processing system 200 includes a cloud server 201 as an information processing device, smartphones 204 and 205, and displays 241 and 242 as external devices. Although not shown, these displays 241 and 242 are connected to the camera internally or externally. That is, a camera is also included as an external device.
  • the information processing system 200 further includes a hub 240 and a microphone 243 connected to the smartphone 204, and constitutes a video conference system as a whole.
  • an example in which two displays are connected to the smartphone 204 is shown as an example, but the present invention is not limited to this, and a plurality of the same type of external devices may be connected simultaneously.
  • the cloud server 201 includes a registration unit 210 for registering various types of information, a communication load determination unit 220 for determining a communication load, and a suggestion unit 230 for proposing use of another mobile terminal.
  • the registration unit 210 includes a connection device table 211 for registering external devices connected to the mobile terminal.
  • the smartphone 204 activates the video conference application in the cloud server 201 via the network by the operation of the user A.
  • the video conference application of the cloud server 201 recognizes the displays 241 and 242 and the microphone 243 connected to the smartphone 204 and registers them in the connected device table 211.
  • the cloud server 201 acquires audio
  • the cloud server 201 displays the conference material and the image of the other party on the displays 241 and 242 via the smartphone 204. In this way, the video conference is executed.
  • the communication load determination unit 220 of the cloud server 201 monitors the communication load with the smartphone 204 and determines whether or not a predetermined reference value has been exceeded.
  • the suggestion unit 230 of the cloud server 201 displays a proposal message 280 regarding the use of another mobile terminal on the display 241 or the display 242.
  • the display 242 displays that it should be connected to another portable terminal.
  • the cloud server 201 refers to the connection device table 211 to detect the connection change and updates the connection device table 211. Further, the cloud server 201 causes the display 242 to display the screen data originally transmitted for display on the display 242 via the smartphone 205.
  • the predetermined reference value is not necessarily a fixed value.
  • a value representing the communication capability of the smartphone 204 may be used.
  • the communication capability of the smartphone 204 at the time when the communication load occurs may be compared with the communication load to determine whether or not the communication load is greater.
  • the proposing unit 230 proposes the use of another mobile terminal when the communication load is large with respect to the communication capability.
  • the communication load determination unit 220 may determine the communication load by a method of directly monitoring the communication amount between the smartphone 204 and the cloud server 201, but is not limited thereto. For example, the number of interruptions of communication between the smartphone 204 and the cloud server 201 may be counted, and when the number exceeds a predetermined value, it may be determined that the communication load approximately exceeds a predetermined reference value. .
  • the cloud server 201 holds identification information of an external device (in this case, displays 241 and 242 in this case) connected to a mobile terminal (in this case, the smartphone 204) as a history.
  • the cloud server 201 detects that the external device once disconnected (in this case, the display 242) is reconnected by relaying to another mobile terminal (in this case, the smartphone 205). In that case, the cloud server 201 transmits the display data that has been transmitted to the display 242 that has been disconnected once, via a new portable terminal (in this case, the smartphone 205). Further, the proposing unit 230 notifies the external device (display 242) that the problem has been solved, and displays it. If the problem of the communication load is not solved by the reconnection of the external device once, reconnection to another external device is proposed again. Thereby, the problem caused by the communication load can be solved without any special effort of the user.
  • FIG. 3 is a diagram for explaining the internal configuration and peripheral configuration of the smartphone 204.
  • the smartphone 204 includes a web browser 321 as an application, a display 322, a microphone 323, a camera 324, a communication interface (communication I / F) 325, and an external interface (I / F) 326.
  • the smartphone 204 activates the Web browser 321 in accordance with a user operation, and accesses the cloud server 201 via the communication interface 325 and the Internet 350.
  • the display 322 displays the access screen provided from the cloud server 201.
  • the display 322 has a touch panel function, and a video conference application prepared in the cloud server 201 is activated by the operation.
  • the cloud server 201 receives access from the smartphone 204, receives login information, identifies the user of the smartphone 204, activates the video conference application, and registers the user of the smartphone 204 as the participant.
  • the smartphone 204 may prepare a “video conference” icon as a part of the internal application.
  • activation of the video conference application in the virtual PC in the cloud server 201, generation of the video conference space, and application for participation in the video conference may be performed. .
  • Such automation can effectively reduce the user's operation burden.
  • the external interface 326 of the smartphone 204 is, for example, a USB interface, and acquires device descriptors when connected to the displays 241 and 242 and the microphone 243 via the hub 240.
  • USB is exemplified as the external interface, but the present invention is not limited to this, and an external interface such as HDMI or wireless LAN may be used.
  • device information such as a device descriptor is transmitted to the cloud server 201.
  • the virtual PC provided in the cloud server 201 communicates with the displays 241 and 242 and the microphone 243 using a virtual interface instead of the smartphone 204.
  • the smartphone 204 operates as a simple communication relay station.
  • the cloud server 201 transmits data for an external device using the USBoverIP protocol.
  • the communication interface 325 of the smartphone 204 cancels (unencapsulates) IP encapsulation, generates pure USB data, and transmits the pure USB data to the external device.
  • the smartphone 204 includes a display 322, a microphone 323, and a camera 324, these may be used for transmission / reception of video conferencing images and audio contents. For example, when a display is not connected as an external device, a screen may be displayed on the display 322 of the smartphone 204. Alternatively, the microphone 323 inside the smartphone 204 may be used when a microphone is not connected as an external device. Further, the camera 324 of the smartphone 204 may be used to photograph a conference participant or a conference material, and transmit the image to the other party. When the display 241 and the microphone 243 are externally connected, priority is given to the output to them, and the display 322 and the microphone 323 of the smartphone 204 may be activated when all of them are disconnected.
  • FIG. 4 shows the internal configuration of the cloud server 201.
  • the cloud server 201 includes a registration unit 210, a video conference screen generation unit 402, a communication load determination unit 220, a proposal unit 230, a user instruction reception unit 405, a distributed processing control unit 406, and a communication control unit 407.
  • the registration unit 210 registers a conference participant table 411, a user database 412, and a conference content database 413.
  • the conference participant table 411 registers information for identifying participants participating in the conference.
  • the user database 412 stores personal specific information registered as a user of the video conference system (or a user of the cloud server 201 itself).
  • the conference content database 413 is a database that accumulates content (such as document data) used in a video conference.
  • the video conference screen generation unit 402 collects content from the conference content database 413 and generates image data to be displayed on the display screen used for the video conference.
  • the generated image data is sent to a mobile terminal such as the smartphone 204 via the communication control unit 407 and displayed on the displays 241 and 242 as external devices.
  • the communication load determination unit 220 monitors the communication load during the video conference. This communication load is monitored for each mobile terminal for relay. The communication load may be obtained from the communication speed. Here, the communication load between the smartphone 204 and the cloud server 201 is started, and it is determined whether or not the size exceeds a predetermined reference value.
  • the communication load determination unit 220 determines whether the total value exceeds a predetermined value when there are a plurality of external devices connected to the mobile terminal. That is, in the case of FIG. 2, it is determined whether or not the total value of the image data and audio data output to the displays 241 and 242 using the smartphone 204 exceeds a predetermined value. Furthermore, the communication load determination unit 220 also detects a communication load for each external device.
  • the suggestion unit 230 includes other external devices (here, the displays 241 and 242 and the microphone 243) connected to the mobile terminal so that the communication load can be averaged between the mobile terminal and other mobile terminals. Select an external device to connect to your mobile device. For example, the proposing unit 230 selects an external device having the largest communication load from a plurality of external devices connected to the mobile terminal, and proposes to the user to reconnect to another mobile terminal.
  • other external devices here, the displays 241 and 242 and the microphone 243
  • the proposing unit 230 selects an external device having the largest communication load from a plurality of external devices connected to the mobile terminal, and proposes to the user to reconnect to another mobile terminal.
  • the communication load for each portable terminal can be obtained by switching the display 241 to the smartphone 205 as another portable terminal. Can be averaged.
  • the proposing unit 230 proposes the use of another mobile terminal. This proposal may be performed using, for example, the display of the smartphone 204 as a mobile terminal, or may be displayed on the screen of an external device (display 242 in FIG. 2) to be connected.
  • the user instruction receiving unit 405 receives a user instruction in the video conference. For example, an instruction may be received from the user to add the smartphone 205 as one of mobile terminals used for the video conference via the smartphone 204.
  • the smartphone 205 may be authenticated by distributing a password from the cloud server 201 to the smartphone 204 and inputting the password to the smartphone 205.
  • the smartphone 205 can be used as a relay station for the video conference using the authority of the user of the smartphone 204. In this way, even if the smartphone 205 is not registered in advance as a terminal that can be used for a video conference, the user can easily use the smartphone 205 for load distribution.
  • the technique which distributes the burden for every device with the smart phone 204 and the smart phone 205 was demonstrated here, the structure which changes the sharing of a relay apparatus for every device may be sufficient.
  • the cloud server 201 can clearly confirm that the user desires cooperation between the smartphones 204 and 205 due to the presence of the password.
  • the cloud server 201 displays a message prompting the other smartphone 205 to log in to the video conference application because the load is too large for the first smartphone 204.
  • a password is given to the message, and by specifying the password with another smartphone, the video conference application determines that the two smartphones are distributed processing smartphones in the same place.
  • a new comfortable video conference can be executed simply by connecting the new smartphone 205 to the removed display 242.
  • the cloud server 201 can detect reconnection when the device descriptor transmitted from the smartphone 204 comes from the smartphone 205. Then, the smartphone 205 can be used as a new mobile terminal.
  • the distributed processing control unit 406 performs distributed control using the originally used mobile terminal and the newly added mobile terminal. Specifically, screen data to be displayed on the display 242 is sent to the smartphone 205. In addition, when using a plurality of mobile terminals as relay devices, control is performed so that a part of output data to a device connected to one mobile terminal is transmitted to a device connected to another mobile terminal. Also good.
  • the smartphone 204 accesses the cloud server 201 via the Internet, and instructs the cloud server 201 to execute and participate in the video conference (S505).
  • the cloud server 201 activates the video conference application and registers users X, Y, and the like as the participants (S507).
  • the smartphone 204 detects connections of external devices necessary for the video conference such as the displays 241 and 242, the microphone 243, and other cameras, and acquires the external device information (S509).
  • the cloud server 201 registers all the identification information of the external devices such as the displays 241, 242, the microphone 243, and other cameras connected to the smartphone 204 (S511).
  • the cloud server 201 transmits display data referred to in the video conference to the smartphone 204 as USBoverIP data (S513).
  • the smartphone 204 unencapsulates the received display data IP capsule and transmits it as pure USB data to the displays 241 and 242 (S515).
  • the displays 241 and 242 perform display based on the received display data (S517).
  • the smartphone 204 transmits the imaging data to the cloud server 201 via the smartphone 204.
  • the mobile terminal operates as a relay device of a video conference system using an external device, and establishes a connection with the video conference application existing in the cloud server 201 via the Internet. Then, the cloud server 201 connects to a video conference system of a connection destination (conference partner) (not shown) via the Internet.
  • the communication load determination unit 220 monitors whether or not there is a possibility that the communication band is insufficient and the quality of the video and audio is lowered when using the video conference (S519).
  • the proposal unit 230 determines that there is over traffic (S521)
  • the proposal unit 230 generates and transmits a proposal message (S523). That is, when there is another portable terminal that is held by a conference participant and is not used, it is proposed to add the portable terminal for connection.
  • other portable terminals can be identified from the conference participant table 411 or the user database 412 registered in the registration unit 210, “The communication band is insufficient. Do you want to connect Mr. B's smartphone? ”And a new connection method for increasing the number of mobile terminals as relay devices is proposed.
  • the proposal message is relayed through the smartphone 204 (S525) and displayed on the displays 241 and 242 (S527).
  • the video conference application records the types of mobile terminals used in video conferences held in the past, location information of video conferences, applications used, external devices, etc. (knowledge) May be stored as In such a history, it may be possible to propose a setting for a multi-display conference that is most suitable for the mobile terminal that is currently in use, from the setting items that realize the multi-display connection. In addition, an item determined to be optimal may be set and automatically connected.
  • the user When the user decides to use the smartphone 205 as a portable terminal for distributed processing, the user operates the smartphone 205 to perform a participation process as a relay device for the TV conference on the cloud server 201 (S529).
  • the smartphone 205 may be authenticated by distributing a password from the cloud server 201 to the smartphone 204 and inputting the password to the smartphone 205.
  • the cloud server 201 registers the smartphone 205 as a mobile terminal used for the TV conference (S531).
  • an external device here, the display 242
  • the smartphone 205 acquires device information (a device descriptor of the display 242) (S533) and transmits it to the cloud server 201.
  • the cloud server 201 performs device registration (S534).
  • transmission data to an external device or the like is distributed and transmitted to a plurality of smartphones 204 and 205 (S537).
  • the smartphones 204 and 205 are relayed (S539 and S543) and transmitted to the displays 241 and 242.
  • step S1201 the communication load determination unit 220 determines whether the total value of communication loads between the smartphone A (here, the smartphone 204) and a plurality of external devices (here, the displays 241 and 242) exceeds a predetermined value. judge.
  • step S1203 the communication load determination unit 220 detects the communication load for each external device.
  • the suggestion unit 230 includes an external device to be connected to the smartphone 205 (here, so that the communication load can be averaged between the smartphone 204 and the smartphone 205 among a plurality of external devices connected to the smartphone 204). Then, display 242) is selected.
  • step S1207 the user is suggested to connect the selected external device to the smartphone 205.
  • step S1301 the communication load determination unit 220 determines whether the total value of communication loads between the smartphone A (here, the smartphone 204) and a plurality of external devices (here, the displays 241 and 242) exceeds a predetermined value. judge.
  • step S1303 the communication load determination unit 220 detects the communication load for each external device.
  • step S 1305 the suggestion unit 230 selects an external device having the largest communication load among a plurality of external devices connected to the smartphone 204 as an external device to be connected to the smartphone 205.
  • step S1307 the user is suggested to connect the selected external device to the smartphone 205.
  • the external device On the cloud server 201 side, from a predetermined device list (a device with a history of connection in the past or a device connected to a smartphone) and the communication speed of the current smartphone, the external device is connected via another smartphone. Connect the connected display.
  • a predetermined device list a device with a history of connection in the past or a device connected to a smartphone
  • the communication speed of the current smartphone the external device is connected via another smartphone. Connect the connected display.
  • ⁇ Pattern that can realize multi-display connection comfortably is stored in the data center as knowledge, and multi-display conference settings that are optimal for the video conference environment to be implemented are made.
  • An item determined to be optimal may be set and automatically connected.
  • the satisfaction level of the conference participants may be collected as a history such as 5 * and used as a reference for the next setting candidate menu presentation.
  • a conversation or chat during a meeting may be analyzed, and a part such as a bad sound may be automatically identified and accumulated as a history by measuring satisfaction.
  • the sharing range of the setting menu may be equipped with a function that can change the disclosure and sharing range according to the wishes of the company or organization by detailed device parameters, general frame setting, shared conference system setting, etc. .
  • process innovation may be proposed by computing resources of the mobile terminals of conference participants.
  • A is in a meeting and B also participates in the same meeting, a plurality of screens are displayed by combining two smartphones A and B.
  • the system resources may be calculated to provide a plurality of screens so as to provide a plurality of optimal screens using the smartphone of A.
  • the application running on the cloud server 201 that is displayed on the smartphone 204 in three screens may be changed to two Mr. A and one Mr. B.
  • the number of portable terminals may be increased by the distributed processing.
  • a portable terminal such as a smartphone may be used as a backup, and the output destination may be switched to a built-in device included in the portable terminal.
  • the occurrence of a malfunction in the device can be recognized by a known technique such as no screen display or no sound. After a certain amount of time has elapsed since the malfunction occurred, display “Cannot connect” and display “Do you want to switch to smartphone device and reconnect?”.
  • FIG. 6 is a diagram showing the contents of the connected device table 211.
  • the connected device table 211 registers external devices connected to each mobile terminal. When the display Q is switched to the smartphone B, the contents are updated as shown in FIG.
  • the connected device table 211 may separately register external devices connected in the past. Then, the fact of reconnection will become clearer.
  • the connected device table 211 desirably maintains the device information (device descriptor or the like) of the external device connected to the smartphone even after the external device is disconnected from the smartphone.
  • the distributed processing control unit 406 detects that an external device (here, display Q) is connected to another mobile terminal (here, smartphone B), it uses the maintained device information to communicate between them.
  • the communication control unit 407 may be controlled so as to establish communication and perform communication using a mobile terminal and another mobile terminal in a distributed manner.
  • the cloud server 201 includes a CPU 801, a ROM 802, a communication control unit 407, a RAM 804, and a storage 805.
  • the CPU 801 is a central processing unit and controls the entire cloud server 201 by executing various programs.
  • a ROM 802 is a read-only memory, and stores various parameters and the like in addition to a boot program to be executed first by the CPU 801.
  • a RAM 804 is a random access memory and temporarily stores various data.
  • display data 845, audio data 847, and the like for output to an external device are temporarily stored.
  • the storage 805 stores the above-described user database 412 and conference content database 413 as well as the video conference application 855 in an executable manner.
  • the video conference application 855 has at least a communication load monitoring module 856 and a distributed processing module 857.
  • the CPU 801 serves as a registration unit 210, a video conference screen generation unit 402, a communication load determination unit 220, a suggestion unit 230, a user instruction reception unit 405, a distributed processing control unit 406, and a communication control unit 407. Function.
  • step S901 login processing is performed using information from the smartphone 204, and in step S903, a video conference application is activated.
  • step S905 information such as conference participants and mobile terminals used is acquired. Furthermore, the device information of the connected external device is acquired via the portable terminal.
  • step S907 when a video conference is started, conference data is transmitted and received in step S909. Specifically, document image data for a conference, image data taken during the conference, audio data, and the like are transmitted and received.
  • step S911 it is determined whether the communication load for each portable terminal is equal to or less than a predetermined value. If it is equal to or smaller than the predetermined value, the process proceeds to step S921, and the processes in steps S909 and S911 are repeated until the conference is ended.
  • step S913 if the communication load of a certain mobile terminal is greater than or equal to a predetermined value, the process proceeds to step S913, and additional use of another mobile terminal is proposed.
  • the cloud server 201 can identify such other available portable terminals, the other portable terminals are identified and proposed.
  • step S917 it is determined whether or not the external device has been changed. If there is a change of connection, the process proceeds to step S919 to perform distribution processing. Whether or not the connection has been changed can be determined based on whether or not a device descriptor of an external device relaying a certain portable terminal has been sent via another portable terminal.
  • communication processing is distributed to the mobile terminals added by reconnection. Specifically, data exchanged with the connected external device is communicated via a new portable terminal.
  • step S923 when a conference end instruction is received from the portable terminal in step S921, the process proceeds to step S923 to perform a video conference end process.
  • a portable mobile terminal such as a mobile phone as a relay device for the conference system
  • a high-quality video conference system can be provided at a low cost and more simply than using a mobile phone alone.
  • the cloud server can propose distributed communication to other mobile terminals according to the communication load with the mobile terminal, and can perform distributed communication using other mobile terminals.
  • the configuration scale can be changed according to the communication load, communication via the network can be performed more effectively and efficiently.
  • the user can perform distributed communication simply by switching the external device in response to the proposal from the server 201, and can reduce the troublesome troublesome setting.
  • the TV conference system has been described.
  • the present invention is not limited to this, and can be applied to any system that performs communication via a network.
  • FIGS. 1 and 2 An information processing apparatus according to the third embodiment of the present invention will be described with reference to FIGS.
  • This embodiment is different from the second embodiment in that the server 201 can grasp a mobile terminal that can be used as a relay device in a video conference. Since other configurations and operations are the same as those of the second embodiment, description thereof is omitted here.
  • FIG. 10 is a sequence diagram showing an overall processing flow of the information processing system according to the present embodiment.
  • the difference from FIG. 5 is only step S1007 and step S1027, and the other processes are the same as those described in FIG. 5, and therefore the same processes are denoted by the same reference numerals and the description thereof is omitted.
  • step S1007 the video conference application 855 is activated in the cloud server 201 and the participant is registered.
  • the participant is registered.
  • the video conference application 855 is activated in the cloud server 201 and the participant is registered.
  • the participant is registered.
  • FIG. 11 is a diagram showing the contents of the conference participant table 1111 according to the present embodiment.
  • the video conference application registers conference participants notified from the user in the conference participant table 1111 and registers portable terminals that can be used by each conference participant for connection to the cloud server 201.
  • the registration here may be performed, for example, with reference to the user database 412 in which the association between the user and the mobile terminal is originally registered.
  • Such a conference participant table 1111 is prepared for each conference. If the conference participant table 1111 is registered, the server 201 can specify a mobile terminal that can be used as a relay device in the video conference. Therefore, the proposing unit 230 can identify and propose a mobile phone as a relay device to be connected next with reference to the conference participant table 1111 in step S523. Thereby, in step S1027, the smartphone 205 displays a proposal message.
  • the server can grasp a mobile terminal that can be used as a relay device in a communication field. And the connection with a device can be directly proposed with respect to the portable terminal which should be used as a relay apparatus.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention with a computer, a program installed in the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. . In particular, at least non-transitory computer readable media are within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】通信負荷に応じて構成規模を変更し、ネットワークを介したコミュニケーションをより効果的かつ効率的に行なうこと。 【解決手段】携帯端末との間でデータ通信を行なう通信手段と、携帯端末との間の通信負荷が所定値を超えたか否かを判定する判定手段と、通信負荷が所定値を超えた場合に、携帯端末を介して、携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案手段と、他の携帯端末と通信手段との通信が確立した場合に、携帯端末と他の携帯端末とを用いて分散して通信を行なうように通信手段を制御する制御手段と、を備えた。

Description

情報処理装置、情報処理方法、および情報処理プログラム
 本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
 上記技術分野において、特許文献1には、テレビ会議において、システムとユーザの間の双方向動作を可能とするために、例えば、マイクロフォン、タッチセンサ、グラフィカル入力、キーボード、マウス等を利用する技術が開示されている。
特開2010-238239号公報
 しかしながら、上記文献に記載の技術では、ネットワークを介したコミュニケーションを行なうにあって、通信負荷に応じて柔軟に構成を組み替えられるものではなかった。
 本発明の目的は、上述の課題を解決する技術を提供することにある。
 上記目的を達成するため、本発明に係る装置は、
 携帯端末との間でデータ通信を行なう通信手段と、
 前記携帯端末との間の通信負荷が、所定の基準値を超えたか否かを判定する判定手段と、
 前記通信負荷が前記所定の基準値を超えた場合に、前記携帯端末を介して、前記携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案手段と、
 前記他の携帯端末と前記通信手段との通信が確立した場合に、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように前記通信手段を制御する制御手段と、
 を備えた。
 上記目的を達成するため、本発明に係る方法は、
 携帯端末との間でデータ通信を行なう通信ステップと、
 前記携帯端末との間の通信負荷が所定の基準値を超えたか否かを判定する判定ステップと、
 前記通信負荷が前記所定の基準値を超えた場合に、前記携帯端末を介して、前記携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案ステップと、
 前記他の携帯端末との通信が確立した場合に、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように制御する制御ステップと、
 を含む。
 上記目的を達成するため、本発明に係るプログラムは、
 携帯端末との間でデータ通信を行なう通信ステップと、
 前記携帯端末との間の通信負荷が所定の基準値を超えたか否かを判定する判定ステップと、
 前記通信負荷が前記所定の基準値を超えた場合に、前記携帯端末を介して、前記携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案ステップと、
 前記他の携帯端末との通信が確立した場合に、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように制御する制御ステップと、
 をコンピュータに実行させる。
 上記目的を達成するため、本発明に係るシステムは、
 携帯端末との間でデータ通信を行なう通信手段と、
 前記携帯端末との間の通信負荷が所定の基準値を超えたか否かを判定する判定手段と、
 前記通信負荷が前記所定の基準値を超えた場合に、前記携帯端末を介して、前記携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案手段と、
 前記他の携帯端末と前記通信手段との通信が確立した場合に、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように前記通信手段を制御する制御手段と、
 を備えた情報処理装置と、
 前記携帯端末および前記他の携帯端末と、
 を含む。
 本発明によれば、ネットワークを介したコミュニケーションを行なうにあたり、通信負荷に応じて柔軟に構成を組み替えられる。
本発明の第1実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第2実施形態に係る情報処理システムの利用形態例を示す図である。 本発明の第2実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第2実施形態に係るクラウドサーバの構成を示すブロック図である。 本発明の第2実施形態に係る情報処理システムの全体的な処理の流れを説明するシーケンス図である。 本発明の第2実施形態に係る情報処理システムで用いられるテーブルを示す図である。 本発明の第2実施形態に係る情報処理システムで用いられるテーブルを示す図である。 本発明の第2実施形態に係るクラウドサーバのハードウェア構成を示すブロック図である。 本発明の第2実施形態に係るクラウドサーバの処理の流れを示すフローチャートである。 本発明の第3実施形態に係る情報処理システムの処理の流れを示すシーケンス図である。 本発明の第3実施形態に係る情報処理システムで用いられるテーブルを示す図である。 本発明の第2実施形態に係るクラウドサーバの処理の流れを示すフローチャートである。 本発明の第2実施形態に係るクラウドサーバの処理の流れを示すフローチャートである。
 以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
 [第1実施形態]
 本発明の第1実施形態としての情報処理装置101について、図1を用いて説明する。情報処理装置101は、少なくとも2つの携帯端末120、130を用いてユーザ140とコミュニケーションを行なう装置である。
 図1に示すように、情報処理装置101は、通信部111、判定部112、提案部113、および制御部114を含む。
 通信部111は、携帯端末120との間でデータ通信を行なう。また、判定部112は、携帯端末120との間の通信負荷が所定の基準値を超えたか否かを判定する。さらに、提案部113は、通信負荷が所定の基準値を超えた場合に、携帯端末120を介して、携帯端末120のユーザ140に対して、他の携帯端末への分散通信を提案する。他の携帯端末130と通信部111との通信が確立した場合、制御部114は、携帯端末120と他の携帯端末130とを用いて分散して通信を行なうように通信部111を制御する。
 以上のように構成することにより、情報処理装置は、携帯端末との通信負荷に応じて、他の携帯端末への分散通信を提案し、他の携帯端末を用いた分散通信を行なうことができる。結果として、通信負荷に応じて構成規模を変更できるため、ネットワークを介したコミュニケーションをより効果的かつ効率的に行なうことが可能となる。
 [第2実施形態]
 (システム全体構成)
 次に本発明の第2実施形態に係る情報処理システムについて、図2を用いて説明する。図2は、本実施形態に係る情報処理システム200の全体的な仕組みを説明するための図である。
 情報処理システム200は、情報処理装置としてのクラウドサーバ201と、スマートフォン204、205と、外部デバイスとしてのディスプレイ241、242を含む。図示はしていないがこれらのディスプレイ241、242は、内部的または外部的にカメラに接続されているものとする。つまり、外部デバイスとしてカメラも含む。また、情報処理システム200は、さらに、スマートフォン204に接続されたハブ240とマイク243とを含み、全体としてテレビ会議システムを構成している。ここでは例として2台のディスプレイをスマートフォン204に接続する例を示しているが、本発明はこれに限定されるものではなく、同一種類の外部デバイスを複数同時に接続してもよい。
 また、クラウドサーバ201は、各種情報を登録するための登録部210と、通信負荷を判定するための通信負荷判定部220と、他の携帯端末の利用を提案するための提案部230とを含む。また、登録部210は、携帯端末に接続された外部デバイスを登録するための接続デバイステーブル211を備えている。
 スマートフォン204は、ユーザAの操作により、ネットワークを介してクラウドサーバ201内のテレビ会議アプリケーションを起動させる。クラウドサーバ201のテレビ会議アプリケーションは、スマートフォン204に接続されたディスプレイ241、242およびマイク243を認識し、接続デバイステーブル211に登録する。そして、クラウドサーバ201は、スマートフォン204を介して、会議参加者A、Bなどの音声を取得して、会議の相手方に送る。一方、クラウドサーバ201は、会議資料や相手方の画像を、スマートフォン204を介してディスプレイ241、242に表示する。このようにテレビ会議が実行される。
 クラウドサーバ201の通信負荷判定部220は、スマートフォン204との間の通信負荷を監視し、所定の基準値を超えたか否かを判定する。スマートフォン204の通信負荷が所定の基準値を超えると、クラウドサーバ201の提案部230は、ディスプレイ241またはディスプレイ242に対して、他の携帯端末の利用に関する提案メッセージ280を表示する。ここでは、ディスプレイ242に表示される表示データによる通信負荷が大きいとすると、ディスプレイ242に、他の携帯端末につなぎ替えるべきである旨を表示する。ユーザが、この提案に従って、ディスプレイ242をスマートフォン204からスマートフォン205につなぎ替えると、クラウドサーバ201は、接続デバイステーブル211を参照してそのつなぎ替えを検出し、接続デバイステーブル211を更新する。さらに、クラウドサーバ201は、元々ディスプレイ242に表示させるために送信していた画面データを、スマートフォン205を経由してディスプレイ242に表示させる。
 ここで所定の基準値は固定値とは限らない。例えば、スマートフォン204の通信能力を表わす値であってもよい。特に、通信負荷が発生した時点での、スマートフォン204の通信能力と、その通信負荷とを比較して、通信負荷の方が大きいか否かを判定してもよい。提案部230は、通信負荷が通信能力に対して大きい場合に、他の携帯端末の利用を提案する。通信負荷判定部220は、スマートフォン204とクラウドサーバ201との間の通信量を直接監視する方法で通信負荷を判定してもよいがこれに限定されるものではない。例えば、スマートフォン204とクラウドサーバ201との間の通信の中断回数をカウントして、その回数が所定値を超えた場合に、近似的に通信負荷が所定の基準値を超えたと判断してもよい。
 クラウドサーバ201は、携帯端末(この場合はスマートフォン204)に接続された外部デバイス(この場合はディスプレイ241、242)の識別情報を履歴として保持している。クラウドサーバ201は、一旦切断された外部デバイス(この場合はディスプレイ242)が、他の携帯端末(この場合はスマートフォン205)を中継して、再接続されたことを検出する。その場合、クラウドサーバ201は、一旦切断されたディスプレイ242に送信していた表示データを、新たな携帯端末(この場合はスマートフォン205)を介して送信する。さらに、提案部230は、外部デバイス(ディスプレイ242)に対して問題が解決したことを通知し、表示させる。一度の外部デバイスのつなぎ替えで、通信負荷の問題が解決しなかった場合には、再度、他の外部デバイスへのつなぎ替えを提案する。これにより、ユーザの特別な労力なしに通信負荷によって生じていた問題は解決できる。
 (スマートフォン内部構成)
 図3は、スマートフォン204の内部構成および周辺構成を説明するための図である。スマートフォン204は、アプリケーションとしてのWebブラウザ321と、ディスプレイ322とマイク323とカメラ324と通信インタフェース(通信I/F)325と外部インタフェース(I/F)326とを備えている。スマートフォン204は、ユーザの操作に応じて、Webブラウザ321を起動して、通信インタフェース325およびインターネット350を介してクラウドサーバ201にアクセスする。ディスプレイ322は、クラウドサーバ201から提供されたアクセス画面を表示する。ディスプレイ322はタッチパネル機能を備えており、その操作によって、クラウドサーバ201に用意されたテレビ会議アプリケーションを起動する。クラウドサーバ201は、スマートフォン204からのアクセスを受けて、ログイン情報を受信し、スマートフォン204のユーザを特定して、テレビ会議アプリケーションを起動し、その参加者としてスマートフォン204のユーザを登録する。スマートフォン204は、内部アプリケーションの一部として「テレビ会議」アイコンを用意してもよい。その「テレビ会議」アイコンのクリックに応じて、クラウドサーバ201へのログイン、クラウドサーバ201内の仮想PCにおけるテレビ会議アプリケーションの起動、テレビ会議スペースの生成、およびテレビ会議への参加申請を行なえばよい。そのように自動化することにより、ユーザの操作負担を効果的に軽減できる。スマートフォン204の外部インタフェース326は、例えばUSBインタフェースであり、ハブ240を介してディスプレイ241、242やマイク243に接続されると、それらのデバイスディスクリプタを取得する。
 ここでは外部インタフェースとして、USBを例示したが、本発明はこれに限定されるものではなく、HDMIや無線LANなどの外部インタフェースを用いてもよい。
 スマートフォン204内に、それらの外部デバイス用のデバイスドライバが存在しない場合、クラウドサーバ201にデバイスディスクリプタ等のデバイス情報を送信する。クラウドサーバ201内に設けられた仮想PCは、デバイス情報を受信すると、スマートフォン204の代わりに仮想インタフェースを用いて、ディスプレイ241、242やマイク243との通信を行なう。その場合、スマートフォン204は、単なる通信中継局として動作する。クラウドサーバ201は、USBoverIPのプロトコルで外部デバイス用のデータを送信する。スマートフォン204の通信インタフェース325は、そのようなUSBoverIPデータを受信すると、IPのカプセリングを解除し(アンカプセリングし)、純粋なUSBデータを生成して、外部インタフェース326から外部デバイスに送信する。
 スマートフォン204は、ディスプレイ322、マイク323およびカメラ324を備えているため、これらをテレビ会議の画像、音声コンテンツの送受信に用いてもよい。例えば、外部デバイスとしてディスプレイが接続されていない場合には、スマートフォン204のディスプレイ322に画面を表示してもよい。あるいは、外部デバイスとしてマイクが接続されていない場合に、スマートフォン204の内部のマイク323を用いてもよい。さらには、スマートフォン204のカメラ324を用いて、会議参加者を撮影したり会議資料を撮影したりして、その画像を相手側に送信してもよい。ディスプレイ241やマイク243が外部接続されている場合にはそれらへの出力を優先し、それらが全て切断された時点で、スマートフォン204のディスプレイ322やマイク323をアクティブにしてもよい。
 (クラウドサーバの内部構成)
 図4に、クラウドサーバ201の内部構成を示す。クラウドサーバ201は、登録部210とテレビ会議画面生成部402と通信負荷判定部220と提案部230とユーザ指示受付部405と分散処理制御部406と通信制御部407とを備えている。登録部210は、接続デバイステーブル211のほか、会議参加者テーブル411、ユーザデータベース412、会議用コンテンツデータベース413を登録している。会議参加者テーブル411は、会議に参加している参加者を特定する情報を登録している。一方、ユーザデータベース412は、テレビ会議システムのユーザ(またはクラウドサーバ201自体のユーザ)として登録された個人の特定情報を蓄積している。例えば、ユーザごとに、クラウドサーバ201にアクセスする可能性のある機器(パーソナルコンピュータやスマートフォンなど)の特定情報(デバイスIDやIPアドレスやMACアドレスなど)を登録する。会議用コンテンツデータベース413は、テレビ会議に用いられるコンテンツ(文書データなど)を蓄積するデータベースである。
 テレビ会議画面生成部402は、会議用コンテンツデータベース413などからコンテンツを収集して、テレビ会議に用いられるディスプレイの画面に表示すべき画像データを生成する。生成された画像データは、通信制御部407を介して、スマートフォン204などの携帯端末に送られ、外部デバイスとしてのディスプレイ241、242に表示される。
 通信負荷判定部220は、テレビ会議中の通信負荷を監視している。この通信負荷は、中継用の携帯端末ごとに監視されている。通信速度から通信負荷を求めてもよい。ここでは、スマートフォン204とクラウドサーバ201との間の通信負荷を開始し、その大きさが所定の基準値を超えたか否かを判定する。
 通信負荷判定部220は、携帯端末に接続された外部デバイスが複数存在する場合に、その合計値が所定値を超えたか否かを判定する。つまり、図2の場合には、スマートフォン204を用いてディスプレイ241、242に出力する画像データおよび音声データのデータ量の合計値が所定値を超えたか否かを判定する。さらに通信負荷判定部220は、それぞれの外部デバイスごとの通信負荷も検出する。
 そして、提案部230は、携帯端末に接続された複数の外部デバイス(ここでディスプレイ241、242およびマイク243)のうち、携帯端末と他の携帯端末とで通信負荷が平均化できるように、他の携帯端末に接続すべき外部デバイスを選択する。例えば、提案部230は、携帯端末に接続された複数の外部デバイスのうち、最も通信負荷の大きな外部デバイスを選択して、他の携帯端末に接続しなおすようにユーザに対して提案する。
 例えば、ディスプレイ241、242およびマイク243との間の通信負荷の比が、50:30:10の場合、ディスプレイ241を他の携帯端末としてのスマートフォン205につなぎ替えることにより、携帯端末ごとの通信負荷を平均化できる。
 通信負荷判定部220において、いずれかの携帯端末における通信負荷が所定の基準値を超えたと判定されると、提案部230は、他の携帯端末の利用を提案する。この提案は、例えば携帯端末としてのスマートフォン204のディスプレイを用いて行なってもよいし、つなぎ替えるべき外部デバイス(図2ではディスプレイ242)の画面上に表示してもよい。
 ユーザ指示受付部405は、テレビ会議におけるユーザの指示を受け付ける。例えば、ユーザから、スマートフォン204を介して、テレビ会議に用いる携帯端末の一つとしてスマートフォン205を加えるように指示を受け付けてもよい。例えば、クラウドサーバ201からスマートフォン204に対してパスワードを配信し、そのパスワードを、スマートフォン205に入力することで、スマートフォン205の認証を行なってもよい。
 例えば、スマートフォン205が、クラウドサーバ201の契約ユーザの利用端末として登録されていない場合でも、スマートフォン204のユーザの権限を利用して、スマートフォン205をテレビ会議の中継局として用いることが可能となる。このようにすれば、スマートフォン205が、あらかじめテレビ会議に利用できる端末として登録されていなくても、ユーザは気軽に負荷分散のためにスマートフォン205を利用することができる。なお、ここではスマートフォン204とスマートフォン205とでデバイスごとの負担を分散される技術について説明したが、デバイスごとに中継装置の分担を変える構成でもよい。
 クラウドサーバ201は、パスワードの存在によってスマートフォン204、205の連携をユーザが望んでいることを明確に確認することができる。クラウドサーバ201は1台目のスマートフォン204に対して、負荷が大きすぎるので他のスマートフォン205でもテレビ会議アプリケーションにログインするように促すメッセージを表示する。メッセージにはパスワードが付与されており、他のスマートフォンでそのパスワードを指定することにより、テレビ会議アプリケーションは、2つのスマートフォンを同じ場所に存在する、分散処理用のスマートフォンと判断する。
 すなわち、ディスプレイのつなぎ替えの場合には、外したディスプレイ242に新しいスマートフォン205をつなげるだけで新たに快適なテレビ会議の実行が可能となる。クラウドサーバ201は、スマートフォン204から送信されてきたデバイスディスクリプタが、スマートフォン205から来ることにより、つなぎ替えを検出できる。そして、スマートフォン205を新たな携帯端末として使用することができる。
 分散処理制御部406は、元々用いていた携帯端末と新たに加えられた携帯端末とを用いて分散制御を行なう。具体的には、ディスプレイ242に表示すべき画面データについては、スマートフォン205に送られるようになる。また、複数の携帯端末を中継装置として利用する場合には、ある携帯端末に接続されたデバイスへの出力データの一部を、別の携帯端末に接続されたデバイスに送信するように制御してもよい。
 (全体的な処理の流れ)
 より詳細な処理の流れについて、図5を用いて説明する。図5において、まず、スマートフォン204は、インターネットを介してクラウドサーバ201にアクセスし、テレビ会議の実行および参加をクラウドサーバ201に指示する(S505)。クラウドサーバ201は、テレビ会議アプリケーションを起動して、その参加者としてユーザX、Yなどを登録する(S507)。
 次に、スマートフォン204は、ディスプレイ241、242、マイク243、その他カメラなどのテレビ会議に必要な外部デバイスの接続を検出し、それらの外部デバイス情報を取得する(S509)。クラウドサーバ201は、スマートフォン204に接続された、ディスプレイ241、242、マイク243、その他カメラなどの外部デバイスの識別情報を全て登録する(S511)。次にクラウドサーバ201は、テレビ会議において参照する表示データを、USBoverIPデータとしてスマートフォン204に向けて送信する(S513)。スマートフォン204は、受信した表示データのIPカプセルをアンカプセリングして、純粋なUSBデータとして、ディスプレイ241、242に送信する(S515)。ディスプレイ241、242は、受信した表示データに基づいて表示を行なう(S517)。このとき、ディスプレイ241、242に設けられたカメラでの撮像を行なっている場合には、スマートフォン204は、その撮像データを、スマートフォン204を中継させてクラウドサーバ201に送る。
 このように、携帯端末は外部デバイスを使用するテレビ会議システムの中継装置として動作して、インターネットを介してクラウドサーバ201に存在しているテレビ会議アプリケーションと接続を確立する。そして、クラウドサーバ201は、インターネットを介して図示しない接続先(会議の相手)のテレビ会議システムと接続する。
 テレビ会議が始まると、通信負荷判定部220は、テレビ会議を使用しているときに通信帯域が不足して映像と音声の品質が低下する可能性があるか否かを監視する(S519)。通信負荷判定部220がオーバートラフィックであると判定すると(S521)、提案部230が提案メッセージの生成および送信を行なう(S523)。すなわち、会議の参加者が保有し、使用していない別の携帯端末が存在する場合には、その携帯端末を加えて接続することを提案する。登録部210に登録された会議参加者テーブル411やユーザデータベース412から、他の携帯端末を特定できる場合には、「通信帯域が不足しています。Bさんのスマートフォンを加えて接続しますか。」といった表示を行って、中継装置としての携帯端末を増やす新しい接続方法を提案する。提案メッセージは、スマートフォン204を中継して(S525)、ディスプレイ241、242に表示される(S527)。
 テレビ会議アプリケーションは、過去に開催したテレビ会議で利用した携帯端末の種別、テレビ会議の位置情報、利用アプリケーションや外部デバイスなどを履歴(ナレッジ)
として記憶してもよい。このような履歴の中で、マルチディスプレイ接続を実現した設定項目から、現在使用中の携帯端末に最適なマルチディスプレイ会議の設定の提案を行ってもよい。また、最適と判断した項目を設定し自動で接続してもよい。
 ユーザは、分散処理用の携帯端末としてスマートフォン205を用いることを決心すると、スマートフォン205を操作して、クラウドサーバ201に対して、TV会議へ中継装置としての参加処理を行なう(S529)。例えば、クラウドサーバ201からスマートフォン204に対してパスワードを配信し、そのパスワードを、スマートフォン205に入力することで、スマートフォン205の認証を行なってもよい。
 これに応じて、クラウドサーバ201では、スマートフォン205をTV会議に用いる携帯端末として登録する(S531)。さらに、スマートフォン205に外部デバイス(ここではディスプレイ242)が接続されると、スマートフォン205は、デバイス情報(ディスプレイ242のデバイスディスクリプタ)を取得して(S533)、クラウドサーバ201に送信する。クラウドサーバ201は、デバイス登録を行なう(S534)。
 これにより、中継装置となる携帯端末(スマートフォン204、205)が増加することになるため、その設定に変更して、テレビ会議の再接続を行なう(S535)。
 分散処理では、外部デバイスなどへの送信データを、複数のスマートフォン204、205に分散させて送信する(S537)。この場合、表示データの送信(S537)に際し、スマートフォン204、205を中継させて(S539、S543)ディスプレイ241、242に対して送信する。
 このように、テレビ会議を使用しているときに通信帯域が低下した際には、代替手段として複数のユーザ端末を使用することを提案して、複数のユーザ端末を中継装置として用いることで通信品質を向上させる方法を提供することが可能となる。
 このように、携帯電話などの携帯端末を中継装置として用い、携帯端末に外部接続したデバイスを用いてクラウドと連携した音声テレビ会議システムを実現することで、携帯電話単体を使用するよりも高品質なテレビ会議システムを実現できる。
 次に、図12において、スマートフォンと外部デバイスとをどう組み合わせるかの決定方法の一例について説明する。ステップS1201では、通信負荷判定部220がスマートフォンA(ここではスマートフォン204)と複数の外部デバイス(ここでは、ディスプレイ241、242)との間の通信負荷の合計値が所定値を超えたか否かを判定する。次に、ステップS1203では、通信負荷判定部220が外部デバイスごとに通信負荷を検出する。さらに、ステップS1205において、提案部230は、スマートフォン204に接続された複数の外部デバイスのうち、スマートフォン204とスマートフォン205とで通信負荷が平均化できるように、スマートフォン205に接続すべき外部デバイス(ここではディスプレイ242)を選択する。ステップS1207では、選択した外部デバイスをスマートフォン205に接続するように、ユーザに対して提案する。
 次に、図13において、スマートフォンと外部デバイスとをどう組み合わせるかを決定する方法のほかの例について説明する。ステップS1301では、通信負荷判定部220がスマートフォンA(ここではスマートフォン204)と複数の外部デバイス(ここでは、ディスプレイ241、242)との間の通信負荷の合計値が所定値を超えたか否かを判定する。次に、ステップS1303では、通信負荷判定部220が外部デバイスごとに通信負荷を検出する。さらに、ステップS1305において、提案部230は、スマートフォン204に接続された複数の外部デバイスのうち、最も通信負荷の大きな外部デバイスを、スマートフォン205に接続すべき外部デバイスとして選択する。ステップS1307では、選択した外部デバイスをスマートフォン205に接続するように、ユーザに対して提案する。
 クラウドサーバ201側では、あらかじめ定めたデバイス一覧(過去に接続した履歴のあるデバイスや、スマートフォンに接続してあるデバイス)と、現在のスマートフォンの通信速度から、もう1台のスマートフォンを介して、外部接続のディスプレイをつなぐ。
 マルチディスプレイ接続が快適に実現できるパターンをナレッジとしてデータセンタに蓄え、実施するテレビ会議の環境に最適なマルチディスプレイ会議の設定を行なう。蓄積したナレッジから成功した設定項目から提案する。最適と判断した項目を設定し自動で接続してもよい。あるいは、過去に開催した会議に対して、会議参加者の満足度を5つ☆などで履歴として集めて、次回の設定候補メニュー提示の参考にしてもよい。また、一例として、会議中の会話やチャットを分析して、音が悪いなどの部分を自動で識別して、満足度を計測することで履歴として蓄積してもよい。設定メニューの共有範囲は、詳細な機器のパラメータや、大枠の設定、共有する会議システムの設定などで、会社や団体の希望にあわわせて公開や共有範囲を変えられる機能を具備してもよい。
 また、会議参加者の携帯端末のリソース演算をしてプロセス革新の提案を行ってもよい。一例として、Aが会議中でBも同じ会議に参加なら、AとBの2台のスマートフォンを組み合わせて複数の画面を表示する。また、会議参加者がAのみであれば、Aのスマートフォンを用いて最適な複数の画面を提供するように、システムリソースの演算をして複数のスクリーンを提供してもよい。クラウドサーバ201で実行しているアプリケーションを、スマートフォン204で3画面表示していたものを、Aさん2つ、Bさん1つのように変更してもよい。また、カメラ、スキャナや顕微鏡追加で画面数(コンテンツ数)を増やしたいときにも上記分散処理による携帯端末の増加を行なってもよい。
 外部デバイスに不具合が発生した際に、バックアップとしてスマートフォンなどの携帯端末を使用し、出力先を携帯端末が具備する内蔵デバイスに切り替えてもよい。機器に不具合が発生したことは、画面表示しなくなる、音が出なくなるなど公知の技術により認識することが可能である。不具合が発生して一定時間経過した後に「接続できない」時の表示を行って、「スマートフォンの機器に切り替えて再接続しますか」との表示を行なう。
 最後に、ユーザが再接続を選択したら、不具合が発生した外部デバイスを使用しない設定に切り替えて、テレビ会議の再接続を行なう。選択しなかった場合は、一定時間経過後、「スマートフォンの機器に切り替えて再接続しますか」の表示を消して、テレビ会議を継続して実施する。このように、テレビ会議の使用を開始する際、もしくは使用している際に、何らかの要因で外部デバイスが使用できない状態になったときには、代替手段として携帯電話やスマートフォンに内蔵されたデバイスに切り替えてテレビ会議を継続することが可能となる。
 (各種テーブルの内容)
 図6は、接続デバイステーブル211の内容を示す図である。接続デバイステーブル211は、携帯端末ごとに、それらに接続された外部デバイスを登録している。ディスプレイQがスマートフォンBにつなぎ替えられた場合には、図7に示すように、内容が更新される。接続デバイステーブル211は、過去に接続された外部デバイスを別途登録してもよい。そうすれば、つなぎ替えの事実がより明確になる。接続デバイステーブル211は、スマートフォンに接続されていた外部デバイスのデバイス情報(デバイスディスクリプタなど)を、スマートフォンから外部デバイスが切断されてからも維持することが望ましい。分散処理制御部406は、外部デバイス(ここではディスプレイQ)が、他の携帯端末(ここではスマートフォンB)に接続されたことを検出すると、維持したデバイス情報を用いて、それらの間の通信を確立し、携帯端末と他の携帯端末とを用いて分散して通信を行なうように通信制御部407を制御すればよい。
 (クラウドサーバのハードウェア構成)
 クラウドサーバ201のハードウェア構成について、図8を用いて説明する。クラウドサーバ201は、CPU801、ROM802、通信制御部407、RAM804、およびストレージ805を備えている。CPU801は中央処理部であって、様々なプログラムを実行することによりクラウドサーバ201全体を制御する。ROM802は、リードオンリメモリであり、CPU801が最初に実行すべきブートプログラムのほか、各種パラメータ等を記憶している。また、RAM804は、ランダムアクセスメモリであり、各種データを一時記憶している。ここでは、会議参加者テーブル411、接続デバイステーブル211のほか、外部デバイスに出力するための表示データ845、音声データ847、などと一時的に記憶する。
 一方、ストレージ805は、上述したユーザデータベース412、会議用コンテンツデータベース413のほか、テレビ会議アプリケーション855を実行可能に記憶している。テレビ会議アプリケーション855は、通信負荷監視モジュール856と分散処理モジュール857を少なくとも有している。テレビ会議アプリケーション855を実行することによってCPU801が、登録部210とテレビ会議画面生成部402と通信負荷判定部220と提案部230とユーザ指示受付部405と分散処理制御部406と通信制御部407として機能する。
 (クラウドサーバにおける処理の流れ)
 クラウドサーバ201における処理の流れについて図9のフローチャートを用いて説明する。
 まず、ステップS901において、スマートフォン204からの情報によりログイン処理を行ない、さらに、ステップS903において、テレビ会議アプリケーションを起動する。ステップS905において、会議参加者や使用携帯端末などの情報を取得する。さらに、携帯端末を介して、接続された外部デバイスのデバイス情報を取得する。
 ステップS907では、テレビ会議を開始すると、ステップS909において、会議用データの送受信が行なわれる。具体的には会議用の資料画像データ、会議中に撮影された画像データ、音声データなどを送受信する。ステップS911に進むと、携帯端末ごとの通信負荷が所定値以下か否かを判定する。所定値以下であれば、ステップS921に進み、会議が終了するまで、ステップS909とステップS911の処理を繰り返す。
 一方、ある携帯端末の通信負荷が所定値以上であれば、ステップS913に進み、他の携帯端末の追加的な利用を提案する。このとき、クラウドサーバ201が、そのような利用可能なほかの携帯端末を特定できる場合には、その他の携帯端末を特定して、提案する。
 ステップS917では、外部デバイスのつなぎ替えがあったか否かを判定する。つなぎ替えがあればステップS919に進み分散処理を行なう。つなぎ替えがあったか否かについては、ある携帯端末を中継していた外部デバイスのデバイスディスクリプタが、他の携帯端末を経由して送られてきたか否かによって判断できる。ステップS919の分散処理では、つなぎ替えにより追加された携帯端末に対して、分散して通信処理を行なう。具体的には、つなぎ替えられた外部デバイスとの間でやりとりされるデータについては新たな携帯端末を経由して通信する。
 最後にステップS921において、携帯端末から会議終了の指示を受信すると、ステップS923に進んでテレビ会議の終了処理を行なう。
 以上のように、会議システムの中継装置として携帯電話などの携帯型携帯端末を活用することで、携帯電話単体で使用するよりも高品質なテレビ会議システムを構築できる。また、屋外会議、建築現場、イベント会場など場所を問わずに外出先でも会議ができる安価で簡易に接続できるソリューションを提供する。
 また会議システムの中継装置として複数の携帯電話を活用することで、携帯電話単体で使用するよりも高品質なテレビ会議システムを、安価で簡易に提供できる。
 特に、クラウドサーバは、携帯端末との通信負荷に応じて、他の携帯端末への分散通信を提案し、他の携帯端末を用いた分散通信を行なうことができる。結果として、通信負荷に応じて構成規模を変更できるため、ネットワークを介したコミュニケーションをより効果的かつ効率的に行なうことが可能となる。ユーザは、サーバ201からの提案を受けて外部デバイスをつなぎ替えるだけで分散通信を行なうことができ、面倒な設定を行なう煩雑さを軽減できる。
 なお上記実施形態ではTV会議システムについて説明したが、本発明はこれに限定されるものではなく、ネットワークを介してコミュニケーションを行なうシステムであればいかなるものにも適用できる。
 [第3実施形態]
 本発明の第3実施形態に係る情報処理装置について、図10、11を用いて説明する。本実施形態では、テレビ会議において中継装置として利用できる携帯端末をサーバ201が把握できる点で上記第2実施形態と異なる。他の構成および動作は第2実施形態と同様であるためここでは説明を省略する。
 図10は、本実施形態に係る情報処理システムの全体的な処理の流れを示すシーケンス図である。図5との違いは、ステップS1007とステップS1027のみであり他の処理は図5で説明したものと同様であるため同じ処理については同じ符号を付して説明を省略する。
 ステップS1007では、クラウドサーバ201においてテレビ会議アプリケーション855を起動するとともに参加者を登録する。このとき、図11に示すように、会議参加者のそれぞれについて、名前などだけではなく、所有している携帯端末も登録する。
 図11は、本実施形態に係る会議参加者テーブル1111の内容を示す図である。テレビ会議アプリケーションは、ユーザから通知された会議参加者を会議参加者テーブル1111に登録するとともに、それぞれの会議参加者がクラウドサーバ201との接続に利用できる携帯端末を登録する。ここでの登録は、例えば、元々、ユーザと携帯端末との対応付けを登録したユーザデータベース412を参照して行なえばよい。
 このような会議参加者テーブル1111は、会議ごとに用意される。会議参加者テーブル1111を登録すれば、サーバ201は、そのテレビ会議において中継装置として用いることのできる携帯端末を特定することができる。したがって提案部230は、ステップS523において、会議参加者テーブル1111を参照して、次につなげるべき中継装置としての携帯電話を特定して提案することができる。これによりステップS1027において、スマートフォン205は、提案メッセージを表示する。
 以上、本実施形態によれば、サーバは、コミュニケーションの場において中継装置として使用できる携帯端末を把握することができる。そして、中継装置として使用すべき携帯端末に対して直接デバイスとの接続を提案することができる。
 [他の実施形態]
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
 また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。
 この出願は、2012年3月23日に出願された日本出願特願2012-068415を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

  1.  携帯端末との間でデータ通信を行なう通信手段と、
     前記携帯端末との間の通信負荷が、所定の基準値を超えたか否かを判定する判定手段と、
     前記通信負荷が前記所定の基準値を超えた場合に、前記携帯端末を介して、前記携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案手段と、
     前記他の携帯端末と前記通信手段との通信が確立した場合に、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように前記通信手段を制御する制御手段と、
     を備えた情報処理装置。
  2.  前記携帯端末に接続された外部デバイスを登録する登録手段をさらに備え、
     前記提案手段は、前記外部デバイスを、前記携帯端末から前記他の携帯端末につなぎ替えることを提案し、
     前記制御手段はさらに、前記他の携帯端末から、前記他の携帯端末に接続された前記外部デバイスのデバイス情報を受信し、前記携帯端末を介して前記外部デバイスに送信していたデータを前記他の携帯端末を介して前記外部デバイスに送信するように制御する請求項1に記載の情報処理装置。
  3.  前記携帯端末および他の携帯端末を、ネットワークを介したコミュニケーションに利用できる機器として登録する登録手段をさらに備え、
     前記提案手段は、前記登録手段を参照することにより、前記分散通信の提案を行なう請求項1に記載の情報処理装置。
  4.  前記判定手段は、前記携帯端末に接続された外部デバイスが複数存在する場合に、その複数の外部デバイスと通信を行なうための通信負荷の合計値が前記所定の基準値を超えたか否かを判定するとともに、前記外部デバイスごとに通信負荷を検出し、
     前記提案手段は、前記携帯端末に接続された複数の外部デバイスのうち、前記携帯端末と前記他の携帯端末とで通信負荷が平均化できるように、前記他の携帯端末に接続すべき前記外部デバイスを選択して、前記ユーザに対して提案する請求項3に記載の情報処理装置。
  5.  前記判定部は、前記携帯端末に接続された外部デバイスが複数存在する場合に、その複数の外部デバイスと通信を行なうための通信負荷の合計値が前記所定の基準値を超えたか否かを判定するとともに、前記外部デバイスごとに通信負荷を検出し、
     前記提案手段は、前記携帯端末に接続された複数の外部デバイスのうち、最も通信負荷の大きな外部デバイスを選択して、前記他の携帯端末に接続しなおすように前記ユーザに対して提案する請求項4に記載の情報処理装置。
  6.  前記登録手段は、前記携帯端末に接続されていた外部デバイスのデバイス情報を、前記携帯端末から前記外部デバイスが切断されてからも維持し、
     前記制御手段は、前記外部デバイスが、前記他の携帯端末に接続されたことを検出すると、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように前記通信手段を制御する請求項3乃至5のいずれか1項に記載の情報処理装置。
  7.  前記外部デバイスは、外部ディスプレイであり、
     前記通信手段は、前記外部ディスプレイを用いたテレビ会議用のデータ通信を行なう請求項3乃至6のいずれか1項に記載の情報処理装置。
  8.  携帯端末との間でデータ通信を行なう通信ステップと、
     前記携帯端末との間の通信負荷が所定の基準値を超えたか否かを判定する判定ステップと、
     前記通信負荷が前記所定の基準値を超えた場合に、前記携帯端末を介して、前記携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案ステップと、
     前記他の携帯端末との通信が確立した場合に、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように制御する制御ステップと、
     を含む情報処理方法。
  9.  携帯端末との間でデータ通信を行なう通信ステップと、
     前記携帯端末との間の通信負荷が所定の基準値を超えたか否かを判定する判定ステップと、
     前記通信負荷が前記所定の基準値を超えた場合に、前記携帯端末を介して、前記携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案ステップと、
     前記他の携帯端末との通信が確立した場合に、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように制御する制御ステップと、
     をコンピュータに実行させる情報処理プログラム。
  10.  携帯端末との間でデータ通信を行なう通信手段と、
     前記携帯端末との間の通信負荷が所定の基準値を超えたか否かを判定する判定手段と、
     前記通信負荷が前記所定の基準値を超えた場合に、前記携帯端末を介して、前記携帯端末のユーザに対して、他の携帯端末への分散通信を提案する提案手段と、
     前記他の携帯端末と前記通信手段との通信が確立した場合に、前記携帯端末と前記他の携帯端末とを用いて分散して通信を行なうように前記通信手段を制御する制御手段と、
     を備えた情報処理装置と、
     前記携帯端末および前記他の携帯端末と、
     を含む情報処理システム。
PCT/JP2013/054698 2012-03-23 2013-02-25 情報処理装置、情報処理方法、および情報処理プログラム WO2013140949A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-068415 2012-03-23
JP2012068415A JP5862398B2 (ja) 2012-03-23 2012-03-23 情報処理装置、情報処理方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2013140949A1 true WO2013140949A1 (ja) 2013-09-26

Family

ID=49222412

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/054698 WO2013140949A1 (ja) 2012-03-23 2013-02-25 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (2)

Country Link
JP (1) JP5862398B2 (ja)
WO (1) WO2013140949A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6268355B2 (ja) * 2014-07-04 2018-01-31 サイレックス・テクノロジー株式会社 中継装置、中継システムおよびプログラム
JP6514494B2 (ja) * 2014-11-28 2019-05-15 ローム株式会社 センサネットワークシステムおよびその動作方法
JP2017083964A (ja) * 2015-10-23 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理装置、サーバ装置、制御方法、およびプログラム
CN107995499B (zh) * 2017-12-04 2021-07-23 腾讯科技(深圳)有限公司 媒体数据的处理方法、装置及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062686A (ja) * 2002-07-30 2004-02-26 Dainippon Printing Co Ltd 並列処理システム、サーバ、並列処理方法、プログラム、及び、記録媒体
JP2011227810A (ja) * 2010-04-22 2011-11-10 Nomura Research Institute Ltd リモートデスクトップシステムおよび携帯通信端末

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062686A (ja) * 2002-07-30 2004-02-26 Dainippon Printing Co Ltd 並列処理システム、サーバ、並列処理方法、プログラム、及び、記録媒体
JP2011227810A (ja) * 2010-04-22 2011-11-10 Nomura Research Institute Ltd リモートデスクトップシステムおよび携帯通信端末

Also Published As

Publication number Publication date
JP5862398B2 (ja) 2016-02-16
JP2013200695A (ja) 2013-10-03

Similar Documents

Publication Publication Date Title
EP3114832B1 (en) Displaying video call data
US9485465B2 (en) Picture control method, terminal, and video conferencing apparatus
JP5849484B2 (ja) 伝送端末、表示データ送信方法、プログラム、情報提供装置及び伝送システム
US9024734B2 (en) Remote control device, a far-end device, a multimedia system and a control method thereof
US8368737B2 (en) Smart remote control devices for controlling video call devices
WO2019090726A1 (zh) 选择蓝牙设备的方法、终端和系统
JP6383109B2 (ja) ネットワーク接続方法、ネットワーク接続機器、端末、通信機器、ネットワーク接続システム、プログラム及び記録媒体
US11172530B2 (en) Communication establishment method and terminal
CN102859480A (zh) 屏幕共享
WO2016168154A1 (en) Visual configuration for communication session participants
US9041763B2 (en) Method for establishing video conference
EP2136531B1 (en) Processing video communication data
EP3217596B1 (en) Communication terminal, communication system, and data transmission method
JP5862398B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US20150092012A1 (en) Transmission management system, transmission system, and program for transmission management system
CN107534679A (zh) 针对通信会话的端点控制
EP4099690A1 (en) Enhanced video call method and system, and electronic device
US20150130890A1 (en) Transmission management system, transmission system, and transmission management system program
CN106453231A (zh) 信令获取、传输方法和装置
JP2016033811A (ja) セッション管理方法、セッション管理装置、セッション管理プログラム、および通話処理方法
CA2871719A1 (en) Transmission management system, transmission system, and transmission management system program
CN109729582B (zh) 信息交互方法、装置及计算机可读存储介质
CN102970207A (zh) 一种即时通信方法、客户端装置和即时通信系统
US8935324B2 (en) Apparatus and method for providing instant messaging and presence service in mobile communication system
CN115884186A (zh) 一种无线内部通话系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13765118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13765118

Country of ref document: EP

Kind code of ref document: A1