WO2012032592A1 - マルチユーザ通信のためのシステム、方法及び装置 - Google Patents

マルチユーザ通信のためのシステム、方法及び装置 Download PDF

Info

Publication number
WO2012032592A1
WO2012032592A1 PCT/JP2010/065230 JP2010065230W WO2012032592A1 WO 2012032592 A1 WO2012032592 A1 WO 2012032592A1 JP 2010065230 W JP2010065230 W JP 2010065230W WO 2012032592 A1 WO2012032592 A1 WO 2012032592A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data
display
terminal device
user
Prior art date
Application number
PCT/JP2010/065230
Other languages
English (en)
French (fr)
Inventor
鈴木 良宏
Original Assignee
船井電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 船井電機株式会社 filed Critical 船井電機株式会社
Priority to KR1020137005672A priority Critical patent/KR20130106357A/ko
Priority to EP10856942.7A priority patent/EP2615557A4/en
Priority to CN201080068965.4A priority patent/CN103080914B/zh
Priority to US13/001,540 priority patent/US8630395B2/en
Priority to PCT/JP2010/065230 priority patent/WO2012032592A1/ja
Publication of WO2012032592A1 publication Critical patent/WO2012032592A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline

Definitions

  • the present invention relates to a communication method, a display device, a user terminal device, a moderator terminal device, and a multi-user communication system including them.
  • a communication system in which a plurality of information terminal devices are interconnected by a network, and each user using the information terminal devices shares information transmitted and received through the network.
  • a communication system that realizes a virtual conference room by connecting a plurality of personal computers via a network and sharing information such as materials, display page positions and memos via the network.
  • Patent Document 1 discloses a technology that allows a large number of individuals participating in a meeting to share information displayed on a display device.
  • data input from the input device is converted into a form that can be displayed on the display device and displayed on the display device.
  • Patent Document 2 discloses an electronic conference system in which all users of a terminal device can see the same shared information.
  • the client terminal when a client terminal receives a user operation input, the client terminal transmits the operation input to a server via a network, and the server converts the operation input into a texture of a 3D layer object arranged in the virtual space. Write and transmit video information to the client terminal. Then, the client terminal displays the video information transmitted from the server.
  • text data having different transmission characteristics and data such as moving image data and audio data can be obtained without distinguishing the types of data transmitted and received between the devices. Are transmitted and received through the same communication path. However, in such a case, the data having different transmission characteristics interfere with each other and transfer fluctuations may occur, which may cause a problem that the data cannot be transferred accurately.
  • the present invention has been made in view of the above-described problems, and its purpose is to transfer data transmitted from a plurality of users accurately, simply, efficiently, and to display a structured display on a display screen. It is an object of the present invention to provide a communication method, a display device, a user terminal device, a moderator terminal device, and a multi-user communication system including them.
  • the communication method of the present invention is such that a plurality of users participate and display data transmitted from each information terminal device used by the plurality of users to the display device is displayed on the display unit of the display device.
  • the information terminal device includes a user terminal device that transmits the display data to the display device, and a moderator terminal device that manages the display data, and the moderator terminal device is Transmitting first information having data ID information for identifying the display data and position information indicating a display position of the display data on the display unit to the display device via a network;
  • a data communication path for transmitting the display data is established between the display device and the user terminal device, and the display device is configured to identify a communication path for identifying the data communication path.
  • Second information including information and the data ID information is transmitted to the user terminal device via the network, and the user terminal device specifies the display data by the communication path identification information.
  • the data is transmitted to the display device via a data communication path, and the display device displays the display data on the display unit based on the communication path identification information, the data ID information, and the position information.
  • the display device in the communication method in which a plurality of users participate and display data presented from each information terminal device used by the users is displayed on the display unit of the display device, the display device includes: User terminal apparatus that transmits display data when receiving data ID information for identifying the display data and position information indicating a position for displaying the display data from the moderator terminal apparatus that manages the display data A data communication path other than the network is established between the display device and the display device. Then, the display device transmits communication path identification information for identifying the established data communication path to the user terminal device via the network. Accordingly, the user terminal device can transmit the display data to the display device via the data communication path specified by the communication path identification information.
  • the display data is transmitted from the user terminal device to the display device via a dedicated data communication path different from the network. Therefore, even if the data transmitted / received through the network and the display data transmitted through the data communication path have different transmission characteristics from each other, they do not interfere with each other and transfer fluctuations in which the data transfer rate and the data reception interval vary. Etc. can be prevented. Therefore, it is possible to transfer the display data from the user terminal device to the display device accurately, simply and efficiently. Further, the display device can associate the display data received from the data communication path specified by the communication path identification information with the position information by the data ID information, and further display the display data at the display position indicated by the position information. Data can be displayed. Therefore, the display device can display and display the display data transmitted via the dedicated data communication path on the display screen of the display unit.
  • the user using the moderator terminal device can display data transmitted from the user terminal device to the display device via a dedicated data communication path different from the network, based on the data ID information and the position information, The display position of the display data on the display unit of the display device can be managed reliably and simply.
  • the data communication path is used by the terminal device other than the user terminal device or the display device, There is no possibility that display data transmitted and received through the data communication path is acquired or changed. Therefore, the security of data transfer via the data communication path can be further improved.
  • the data communication path may be a logical communication path through which the display data is transmitted.
  • the logical communication path is a logically viewed virtual communication line (logical line) of a physically viewed communication line. For example, even if there is physically one communication line, a plurality of logical lines can be set. Each logical line can perform different data communications.
  • the display data may be multimedia data in a format other than text format.
  • multimedia data in a format other than the text format such as moving image data and audio data is transmitted from the user terminal device to the display device through a dedicated data communication path different from the network. Therefore, even when data transmitted / received through the network (text data, etc.) and display data transmitted through the data communication path (multimedia data other than text format) have different transmission characteristics, they interfere with each other. Therefore, it is possible to prevent the occurrence of transfer fluctuations in which the data transfer speed and the data reception interval vary. Therefore, multimedia data in a format other than the text format can be transferred from the user terminal device to the display device more simply, efficiently and accurately.
  • the display device can associate the multimedia data received from the data communication path specified by the communication path identification information with the position information by the data ID information, and further display the multimedia data at the display position indicated by the position information. Multimedia data can be displayed. Therefore, the display device can structure and display the multimedia data received via the dedicated data communication path on the display screen of the display unit.
  • the moderator terminal device is set for each user who uses the data ID information, the position information, and the plurality of information terminal devices, and permits generation and change of the display data.
  • the first information having access right information indicating whether or not to transmit is transmitted to the display device via the network, and the display device and a user terminal device used by a user indicated by the access right information In the meantime, the data communication path through which the display data is transmitted may be established.
  • the moderator terminal device includes the first information including the data ID information, the position information, and user information indicating a user who is an owner of the display data.
  • the data communication path for transmitting the display data is established between the display device and a user terminal device used by the user indicated by the user information. It may be a thing.
  • the access right information transmitted from the moderator terminal device, or the direct data in which the display data is transmitted between the user terminal device used by the user indicated by the user information and the display device A communication path is established. Therefore, there is no need to create a mesh communication path network in order to share information between the display device and each information terminal device, and if necessary, the display device and the user terminal device that transmits display data It is only necessary to establish a direct data communication path between them. Further, the display device can associate the display data received from the data communication path with the position information by the data ID information, and can display the display data at the display position of the display unit indicated by the position information.
  • the moderator terminal device can indicate to the display device the user terminal device to which the data communication path should be established, based on the access right information or user information transmitted to the display device, the display device and the user terminal device It is possible to control the establishment of the data communication path.
  • the moderator terminal device is set for each user who uses the data ID information, the position information, and the plurality of information terminal devices, and generates and changes the display data.
  • the first information having access right information indicating whether or not to permit and user information indicating a user who is the owner of the display data is transmitted to the display device via the network, and the display The apparatus may display the display data on the display unit based on the communication path identification information, the data ID information, the position information, the user information, and the access right information.
  • the display device receives the display data received from the data communication path identified by the communication path identification information, the user information received from the moderator terminal apparatus by the data ID information, the access right information, A display unit that determines whether or not to display the display data identified by the data ID information based on the user information and the access right information, and indicates the display data by the position information Can be displayed at the display position. Therefore, the display data transferred from the user terminal device is managed by the data ID information, and the access right (that is, the access right) set for each of a plurality of users who use the information terminal device for the display data. Each display data displayed on the display unit of the display device is controlled according to whether or not the generation or change of the display data is permitted. Therefore, smooth communication according to each access right between a plurality of users is possible.
  • the display device is configured such that when a user permitted to generate and change the display data indicated by the access right information matches a user indicated by the user information, the communication path
  • the display data may be displayed on the display unit based on the identification information, the data ID information, and the position information.
  • the display device is permitted to have a user who is the owner of the display data identified by the data ID information and an access right to the display data (that is, generation or change of the display data is permitted).
  • the display data can be displayed on the display unit only when the user who has the same or not matches. That is, the display device specifies the display data received from the data communication path specified by the communication path identification information by the data ID information and displays the specified display data at the display position indicated by the position information. Therefore, smooth communication according to each access right between a plurality of users is possible.
  • the communication method configured as described above may be a communication method in an electronic conference in which the plurality of users participate.
  • each utterance (display data) presented in the virtual conference room (that is, the electronic conference system) can be reliably and easily managed by the data ID information, and the virtual conference
  • the virtual conference room Depending on the access rights set for each of a plurality of participants (users) participating in the room (that is, whether the presentation (display data) is permitted to be displayed or modified), the virtual conference room
  • the presented speech (display data) can be controlled. Therefore, a plurality of users participating in the virtual conference room can perform smooth communication according to their access rights.
  • the display device and the information terminal device may perform communication conforming to XMPP (eXtensible Messaging and Presence Protocol).
  • XMPP eXtensible Messaging and Presence Protocol
  • XMPP is an XML-based protocol (communication protocol) that is being standardized and standardized by XSF (XMPP Standards Foundation) independent of the XMPP working group of IETF (Internet Engineering Task Force).
  • XMPP runs a wide range of applications including instant messaging, presence ("what the person is now"), multi-person chat, voice or videophone, collaborative work, content syndication, generalized routing of XML data, etc.
  • XEP XMPP Extension Protocol
  • the data communication path is established between the display device and the user terminal device, and the display data is transmitted from the user terminal device to the display device via the data communication route.
  • XEP-0166 is a protocol (communication protocol) that defines a function for establishing a communication path for transmitting and receiving data between two communicable terminal devices. Protocols related to Jingle include XEP-0167 (Jingle RTP Sessions) and XEP-0177 (Jingle Raw UDP Transport Method).
  • XEP-0167 is a protocol (communication protocol) that defines a function for establishing a communication path for transmitting and receiving audio data, moving image data, and the like in a streaming format using RTP (Real-time Transport Protocol).
  • XEP-0177 Jingle Raw UDP Transport Method
  • UDP User Datagram Protocol
  • the first information and the second information may be an html (Hyper Text Markup Language) file in which meta information is expanded.
  • the html file with the expanded meta information is data in a format that can be expressed in html that is compatible with XMPP-compliant communication, and is a data communication established between the display device and the user terminal device.
  • the meta information includes attribute information corresponding to XMPP messaging such as data ID information, location information, communication path identification information, access right information, and user information.
  • attribute information for example, data ID information, location information, communication path identification information, access right information, user information, etc.
  • extension meta information.
  • each piece of meta information (for example, data ID information, location information, communication path identification information, user information, access right information, etc.) included in the first information and the second information is transferred to the Web. It can be mapped to the description in the html format used in the browser. That is, each meta information (data ID information, location information, communication path identification information, user information, access right information, etc.) included in the first information and the second information can be associated with the display element of html. Therefore, messaging by XMPP can be linked to Web and html.
  • the first information and the second information may be fragment information constituting display information for displaying on the display unit of the display device.
  • the information terminal device moderator terminal device, user terminal device
  • the display device can correct the display information for displaying on the display unit based on the received fragment information. That is, it is not necessary to transmit the entire display information.
  • the display device of the present invention includes a display unit that displays display data, a plurality of information that includes a moderator terminal device that manages the display data, and a user terminal device that transmits the display data.
  • a communication unit that communicates with a terminal device via a network; and the communication unit receives data ID information for identifying the display data from the moderator terminal device via the network; and
  • a control unit that opens a data communication path through which the display data is transmitted to the user terminal device when receiving the first information including position information indicating the display position of the display data;
  • the communication unit receives second information including communication path identification information for identifying the data communication path and the data ID information via the network.
  • the display unit transmits the data communication path specified by the communication path identification information from the user terminal apparatus based on the communication path identification information, the data ID information, and the position information.
  • the display data received by the communication unit is displayed.
  • the display device receives data ID information for identifying the display data and position information indicating a position for displaying the display data from the moderator terminal device that manages the display data. Then, a data communication path different from the network is established between the user terminal device that transmits the display data and the display device. Then, the display device transmits communication path identification information for identifying the established data communication path to the user terminal device via the network. Accordingly, the user terminal device can transmit the display data to the display device via the data communication path specified by the communication path identification information. Thus, the display data is transmitted from the user terminal device to the display device via a dedicated data communication path different from the network.
  • the display device can associate the display data received from the data communication path specified by the communication path identification information with the position information by the data ID information, and further display the display data at the display position indicated by the position information. Data can be displayed. Therefore, the display device can display and display the display data transmitted via the dedicated data communication path on the display screen of the display unit.
  • the data communication path is used by the terminal device other than the user terminal device or the display device, There is no possibility that display data transmitted and received through the data communication path is acquired or changed. Therefore, the security of data transfer via the data communication path can be further improved.
  • the data communication path may be a logical communication path through which the display data is transmitted.
  • the display data may be multimedia data in a format other than a text format.
  • multimedia data in a format other than text format such as moving image data and audio data is transmitted from the user terminal device to the display device
  • the multimedia data is transmitted to the network. Is transmitted on another dedicated data communication path. Therefore, even when data transmitted / received through the network (text data, etc.) and display data transmitted through the data communication path (multimedia data other than text format) have different transmission characteristics, they interfere with each other. Therefore, it is possible to prevent the occurrence of transfer fluctuations in which the data transfer speed and the data reception interval vary.
  • the display device can receive multimedia data in a format other than text, such as moving image data and audio data, from the user terminal device more easily and efficiently. Further, the display device can associate the multimedia data received from the data communication path specified by the communication path identification information with the position information by the data ID information, and further display the multimedia data at the display position indicated by the position information. Multimedia data can be displayed. Therefore, the display device can structure and display the multimedia data received via the dedicated data communication path on the display screen of the display unit.
  • the communication unit is set for each user who uses the data ID information, the position information, and the plurality of information terminal devices from the moderator terminal device, and generates the display data.
  • the control unit uses the user terminal device used by the user indicated by the access right information.
  • the data communication path through which the display data is transmitted may be opened.
  • the communication unit includes the data ID information, the position information, and user information indicating a user who owns the display data from the moderator terminal device.
  • the control unit opens the data communication path through which the display data is transmitted with the user terminal device used by the user indicated by the user right information. It is good to do.
  • the display device can directly access display information transmitted between the access right information transmitted from the moderator terminal device or the user terminal device used by the user indicated by the user information.
  • a data communication path can be established. Therefore, there is no need to create a mesh communication path network in order to share information between the display device and each information terminal device, and if necessary, the display device and the user terminal device that transmits display data It is only necessary to establish a data communication path between them.
  • the display device can associate the display data received from the data communication path with the position information by the data ID information, and can display the data at the display position indicated by the position information.
  • the communication unit is set for each user who uses the data ID information, the position information, and the plurality of information terminal devices via the network from the moderator terminal device. And receiving the first information having access right information indicating whether or not to permit generation and change of the display data and user information indicating a user who is an owner of the display data, The unit may display the display data based on the communication path identification information, the data ID information, the position information, the user information, and the access right information.
  • the display device receives the display data received from the data communication path identified by the communication path identification information, the user information received from the moderator terminal apparatus by the data ID information, the access right information, A display unit that determines whether or not to display the display data identified by the data ID information based on the user information and the access right information, and indicates the display data by the position information Can be displayed at the display position. Therefore, the display data transferred from the user terminal device is managed by the data ID information, and the access right (that is, the access right) set for each of a plurality of users who use the information terminal device for the display data. Each display data displayed on the display unit of the display device is controlled according to whether or not the generation or change of the display data is permitted. Therefore, smooth communication according to each access right between a plurality of users is possible.
  • the display unit The display data may be displayed based on the identification information, the data ID information, and the position information.
  • the display device is permitted to have a user who is the owner of the display data identified by the data ID information and an access right to the display data (that is, generation or change of the display data is permitted).
  • the display data can be displayed on the display unit only when the user who has the same or not matches. That is, the display device specifies the display data received from the data communication path specified by the communication path identification information by the data ID information and displays the specified display data at the display position indicated by the position information. Therefore, smooth communication according to each access right between a plurality of users is possible.
  • communication conforming to XMPP may be performed with the plurality of information terminal devices.
  • the display device can perform real-time messaging (information exchange) with a plurality of information terminal devices (moderator terminal device, user terminal device), and use data ID information.
  • the data that is messaged by XMPP and the data that is displayed on the display unit can be associated with each other easily and reliably.
  • the control is performed in accordance with at least one of the rules of XMPP XEP-0166 (Jingle), XEP-0167 (Jingle RTP Sessions), and XEP-0177 (Jingle Raw UDP Transport).
  • the unit may establish the data communication path with the user terminal device, and the communication unit may receive the display data from the user terminal device via the data communication path.
  • the display data is transmitted via a data communication path different from the network. Since the data is transmitted, the display device can reliably receive the display data via the data communication path without being affected by the interruption of data transfer.
  • the first information and the second information may be html files obtained by extending meta information.
  • the html file with expanded meta information is data in a format that can be expressed in html that is compatible with XMPP-compliant communication, and is transmitted through a data communication path established between the display device and the user terminal device.
  • the meta information includes attribute information corresponding to XMPP messaging such as data ID information, location information, communication path identification information, access right information, and user information.
  • attribute information data ID information, location information, communication path identification information, access right information, user information, etc.
  • each piece of meta information (data ID information, position information, communication path identification information, user information, access right information, etc.) included in the first information and the second information can be stored on the Web browser. It can be mapped to the description in the html format used. That is, each meta information (data ID information, location information, communication path identification information, user information, access right information, etc.) included in the first information and the second information can be associated with the display element of html. Therefore, messaging by XMPP can be linked to Web and html.
  • the first information and the second information may be fragment information constituting display information for displaying on the display unit.
  • the display device can correct the display information for displaying on the display unit based on the received fragment information. That is, it is not necessary to transmit the entire display information. Accordingly, since information transmitted and received between the display device and a plurality of information terminal devices (moderator terminal device, user terminal device) can be made lighter, the time required for communication can be shortened. At the same time, it is possible to greatly reduce the burden on the network between the display device and a plurality of information terminal devices (moderator terminal device, user terminal device). Therefore, a plurality of users participating in communication can perform more convenient communication.
  • the user terminal device includes a control unit that opens a data communication path for transmitting display data to be displayed on the display device to the display device, and a network from the display device to the network.
  • a communication unit that transmits display data to the display device.
  • a data communication path for transmitting display data different from the network is established between the user terminal apparatus and the display apparatus, and a communication path for identifying the data communication path
  • the identification information is transmitted from the display device to the user terminal device.
  • the user terminal device can transmit the display data to the display device via the data communication path specified by the communication path identification information.
  • the user terminal device transmits display data to the display device via a dedicated data communication path different from the network. Therefore, even if the data transmitted / received through the network and the display data transmitted through the data communication path have different transmission characteristics from each other, they do not interfere with each other and transfer fluctuations in which the data transfer rate and the data reception interval vary. Etc. can be prevented. Therefore, it is possible to transfer the display data from the user terminal device to the display device accurately, simply and efficiently.
  • the data communication path is used by the terminal device other than the user terminal device or the display device, There is no possibility that display data transmitted and received through the data communication path is acquired or changed. Therefore, the security of data transfer via the data communication path can be further improved.
  • the data communication path may be a logical communication path for transmitting the display data to be displayed on the display device.
  • the display data may be multimedia data in a format other than a text format.
  • the multimedia data is transmitted to the network. Transmits on a separate dedicated data communication path. Therefore, even when data transmitted / received through the network (text data, etc.) and display data transmitted through the data communication path (multimedia data other than text format) have different transmission characteristics, they interfere with each other. Therefore, it is possible to prevent the occurrence of transfer fluctuations in which the data transfer speed and the data reception interval vary. Therefore, multimedia data in a format other than the text format can be transferred from the user terminal device to the display device more simply, efficiently and accurately.
  • the user terminal device configured as described above may perform communication with the display device in conformity with XMPP.
  • the user terminal device can perform real-time messaging (information exchange) with the display device, and the data ID information can be transmitted to the display device and the data that is messaged by XMPP.
  • the display data to be transmitted can be simply and reliably associated with each other.
  • the control unit opens the data communication path specified by the communication path identification information with the display device, and the communication unit sends the display data to the display device through the data communication path. It may be transmitted.
  • the user terminal device can display data different from the network. Since the data is transmitted via the communication path, display data can be reliably transferred without being affected by interruption of data transfer.
  • the second information may be an html file in which meta information is extended.
  • the html file with expanded meta information is data in a format that can be expressed in html that is compatible with XMPP-compliant communication, and is transmitted through a data communication path established between the display device and the user terminal device.
  • It includes meta information that is information (attribute information) related to display data to be transferred.
  • the meta information includes attribute information corresponding to messaging by XMPP such as data ID information and communication path identification information.
  • each meta information (data ID information, communication path identification information, etc.) included in the second information can be mapped to the description in the html format used in the Web browser. . That is, each meta information (data ID information, communication path identification information, etc.) included in the second information can be associated with an html display element. Therefore, messaging by XMPP can be linked to Web and html.
  • the second information may be fragment information constituting display information for displaying on the display device.
  • the display device can correct the display information for displaying on the display unit based on the received fragment information. That is, it is not necessary to transmit the entire display information. Therefore, since the information transmitted from the user terminal device to the display device can be made lighter, the time required for communication can be shortened and the load on the network between the display device and the user terminal device can be reduced. Can be greatly reduced. Therefore, a plurality of users participating in communication can perform more convenient communication.
  • the presenter terminal device of the present invention identifies the display data in the presenter terminal device that manages the display data transmitted from the user terminal device to the display device.
  • the data ID information and the position information indicating the display position of the display data on the display unit of the display device, and the data ID information and the position information via the network to the display device.
  • a communication unit that transmits first information including:
  • the display data transferred from the user terminal device to the display device in a simple, efficient and accurate manner is associated with the position information by the data ID information, and further the display indicated by the position information.
  • the display data is displayed at the display position of the display unit of the apparatus. Therefore, the user using the moderator terminal device can display and display the display data transmitted from the user terminal device to the display device via the data communication path on the display screen of the display unit of the display device. Further, display data transmitted from the user terminal device to the display device via a dedicated data communication path different from the network by the data ID information and the position information, and a display unit of the display device for the display data It is possible to reliably and easily manage the display position on the screen.
  • the control unit is set for each user who uses a plurality of information terminal devices communicating with the display device, and indicates whether to permit generation and change of the display data
  • the right information may be generated, and the first information may further include the access right information.
  • control unit may generate user information indicating a user who is an owner of the display data, and the first information may further include the user information. Good.
  • the moderator terminal device can indicate the user terminal device to which the data communication path should be opened by transmitting the access right information or the user information to the display device.
  • the establishment of a data communication path between the display device and the user terminal device can be controlled.
  • the display device can establish a data communication path with the access right information transmitted from the moderator terminal device or the user terminal device used by the user indicated by the user information. Therefore, there is no need to create a mesh communication path network in order to share information between the display device and each information terminal device, and if necessary, the display device and the user terminal device that transmits display data It is only necessary to establish a data communication path between them.
  • the moderator terminal device configured as described above, communication with the display device in conformity with XMPP may be performed.
  • the moderator terminal device can perform real-time messaging (information exchange) with the display device, and data displayed by XMPP and the display device based on the data ID information.
  • the data displayed on the display unit can be simply and reliably associated with each other.
  • the first information may be an html file in which meta information is extended.
  • the html file with expanded meta information is data in a format that can be expressed in html (Hyper Text Markup Language) compatible with XMPP-compliant communication, and is opened between the display device and the user terminal device.
  • Meta information that is information (attribute information) related to display data transferred through the transmitted data communication path.
  • the meta information includes attribute information corresponding to XMPP messaging such as data ID information, location information, communication path identification information, access right information, and user information.
  • each meta information (data ID information, location information, user information, access right information, etc.) included in the first information is described in the html format used in the Web browser. Can be mapped. That is, each meta information (data ID information, position information, user information, access right information, etc.) included in the first information can be associated with an html display element. Therefore, messaging by XMPP can be linked to Web and html.
  • the first information may be fragment information constituting display information for displaying on the display unit of the display device.
  • the moderator terminal device when the moderator terminal device generates or changes some information included in the display information for display on the display unit of the display device, only the fragment information including the information is displayed. If it transmits to a display apparatus, the display apparatus can correct the display information for displaying on a display part based on the fragment
  • the multi-user communication system is configured such that a plurality of users participate and display data transmitted from each information terminal device used by the plurality of users to the display device described above is A multi-user communication system displayed on a display device, wherein the plurality of information terminal devices include the user terminal device described above and the moderator terminal device described above.
  • the display device receives data ID information for identifying the display data and position information indicating a position for displaying the display data from the moderator terminal device that manages the display data
  • the display device transmits the display data.
  • a data communication path different from the network is opened between the user terminal device and the display device.
  • the display device transmits communication path identification information for identifying the established data communication path to the user terminal device via the network. Accordingly, the user terminal device can transmit the display data to the display device via the data communication path specified by the communication path identification information.
  • the display device can associate the display data received from the data communication path specified by the communication path identification information with the position information by the data ID information, and further display the display data at the display position indicated by the position information. Data can be displayed. Therefore, the display device can display and display the display data transmitted via the dedicated data communication path on the display screen of the display unit.
  • the user using the moderator terminal device can display data transmitted from the user terminal device to the display device via a dedicated data communication path different from the network, based on the data ID information and the position information, The display position of the display data on the display unit of the display device can be managed reliably and simply.
  • the data communication path is used by the terminal device other than the user terminal device or the display device, There is no possibility that display data transmitted and received through the data communication path is acquired or changed. Therefore, the security of data transfer via the data communication path can be further improved.
  • the display data may be multimedia data in a format other than text format.
  • multimedia data in a format other than text format such as moving image data and audio data is transmitted from the user terminal device to the display device
  • the multimedia data is transmitted to the network. Is transmitted on another dedicated data communication path. Therefore, even when data transmitted / received through the network (text data, etc.) and display data transmitted through the data communication path (multimedia data other than text format) have different transmission characteristics, they interfere with each other. Therefore, it is possible to prevent the occurrence of transfer fluctuations in which the data transfer speed and the data reception interval vary. Therefore, multimedia data in a format other than the text format can be transferred from the user terminal device to the display device more simply, efficiently and accurately.
  • the display device can associate the multimedia data received from the data communication path specified by the communication path identification information with the position information by the data ID information, and further display the multimedia data at the display position indicated by the position information. Multimedia data can be displayed. Therefore, the display device can structure and display the multimedia data received via the dedicated data communication path on the display screen of the display unit.
  • the multi-user communication system configured as described above may be an electronic conference system.
  • each utterance (display data) presented in the virtual conference room (that is, the electronic conference system) can be reliably and easily managed by the data ID information, and the virtual conference
  • the virtual conference room Depending on the access rights set for each of a plurality of participants (users) participating in the room (that is, whether the presentation (display data) is permitted to be displayed or modified), the virtual conference room
  • the presented speech (display data) can be controlled. Therefore, a plurality of users participating in the virtual conference room can perform smooth communication according to their access rights.
  • the display device and the information terminal device may perform communication based on XMPP.
  • real-time messaging information exchange
  • data ID information data that is messaged by XMPP and display data displayed on the display unit of the display device can be associated with each other easily and reliably.
  • a data communication path for transmitting the display data is established between the display device and the user terminal device, and the display data is transferred from the user terminal device to the display device via the data communication path. It may be transmitted.
  • the display data is transmitted via a data communication path different from the network. Since the data is transmitted, the display data is reliably transferred via the data communication path without being affected by interruption of the data transfer.
  • the display data is transmitted to the display device via a data communication path different from the network connecting the display device and the information processing device. Therefore, even if the data transmitted / received through the network and the display data transmitted through the data communication path have different transmission characteristics from each other, they do not interfere with each other and transfer fluctuations in which the data transfer rate and the data reception interval vary. Etc. can be prevented. Therefore, it is possible to transfer the display data from the user terminal device to the display device accurately, simply and efficiently. Further, the display device can associate the display data received from the data communication path specified by the communication path identification information with the position information by the data ID information, and further display the display data at the display position indicated by the position information. Data can be displayed. Therefore, the display device can display and display the display data transmitted via the dedicated data communication path on the display screen of the display unit.
  • FIG. 1 is a conceptual diagram illustrating an example of a multi-user communication system according to the present invention.
  • the multi-user communication system of the present invention integrates various types of information presented by each participant in real time and has a structure on a display screen when a plurality of participants send information. Display. Therefore, for example, it can be used for an electronic conference system in which a plurality of users participating in a virtual conference room can discuss and present opinions.
  • an electronic conference system will be described as an example of the multi-user communication system of the present invention.
  • FIG. 2 is a configuration diagram showing the configuration of the electronic conference system according to the embodiment of the present invention.
  • the display device 10 and a plurality of information terminal devices 20 (201, 202a, 202b, 202c, 202d) communicate with each other via a network 30 (30a to 30e). Is going.
  • the information terminal device 20 includes a moderator terminal device 201 and a user terminal device 202 which will be described later.
  • each information terminal device 20 used by the plurality of users connects to the display device 10 via a data line 40 (data communication path) separate from the network 30.
  • the display data to be transmitted is displayed on the display device 10.
  • Display data (in particular, multimedia data in a format other than text format such as moving image data and audio data) presented to the electronic conference system 1 by each user participating in the electronic conference system 1 is displayed on the display device.
  • each information terminal device 20 moderator terminal device 201, user terminal devices 202a to 202d
  • a data line 40 40a to 40e
  • the data lines 40a to 40e are logical communication paths established on physical communication lines through which the networks 30a to 30e are communicated. Therefore, when establishing a direct data line 40 for directly transmitting display data between the display device 10 and each information terminal device 20, it is not necessary to provide a physical communication line separately from the network 30.
  • the logical communication path is a logically viewed virtual communication line (logical line) of a physically viewed communication line. For example, even if there is physically one communication line, a plurality of logical lines can be set, and different data communication can be performed for each logical line.
  • the network 30 and the data line 40 are different logical lines through the same physical communication line.
  • the electronic conference system 1 is constructed using XMPP (eXtensible Messaging and Presence Protocol) described later, and the display device 10 and the plurality of information terminal devices 20 perform communication conforming to XMPP. Therefore, in communication between the display device 10 and the plurality of information terminal devices 20, real-time messaging (information exchange) can be performed.
  • XMPP eXtensible Messaging and Presence Protocol
  • XMPP used in the electronic conference system 1 of this embodiment will be described.
  • XMPP is an XML (eXtensible Markup Language) -based protocol (communication protocol) that is being standardized and standardized by XSF (XMPP Standards Foundation) independent of the XMPP working group of the Internet Engineering Task Force (IETF).
  • XMPP runs a wide range of applications including instant messaging, presence ("what the person is now"), multi-person chat, voice or videophone, collaborative work, content syndication, generalized routing of XML data, etc.
  • XEP XMPP Extension Protocol
  • the electronic conference system 1 uses various protocols (communication rules) defined in XMPP.
  • XEP-0030 Service Discovery
  • XEP-0045 Multi-User Chat
  • XEP-0071 Xhtml-IM
  • XEP is important protocols for understanding the electronic conference system 1 of the present embodiment.
  • -0166 Jingle
  • XEP-0030 Service Discovery is a protocol (communication protocol) that defines a function for detecting information.
  • DISCO communication protocol
  • the information terminal device 20 searches for the electronic conference system 1 to participate by using this DISCO.
  • XEP-0045 Multi-User Chat
  • MUC multi-user chat function
  • this protocol also allows users to kick (forcibly move) and ban (exile) and chat room users. It defines a model for controlling a chat room by a function for assigning roles and affiliations to be described later.
  • a role is a temporary position or privilege level given to a user using chat.
  • the MUC defines “moderator” who can delete a user's kick and its remarks, “participant” who has the right to speak, and “visitor” who has no right to speak. Yes.
  • the affiliate is given to the user as being permanently effective even after using the chat.
  • the “owner” who opened the chat room, the “administer” who manages and operates the chat room, the “member” who is the other user, and the chat room that has been kicked There are provisions for “outcasts” that are not allowed to re-enter.
  • the electronic conference system 1 is operated using the XMPP protocol (communication protocol) as described above, in particular, a multi-user chat function based on MUC (XEP-0045).
  • the MUC function is provided by the display device 10 as will be described later.
  • XEP-0071 (Xhtml-IM) is a protocol (communication protocol) stipulated for exchanging instant messages including lightweight text markup (tagging) using a subset of html. With this protocol, it is possible to set a message format that uses a narrow range of commonly used html elements, attributes, and style properties suitable for instant messaging.
  • the display device 10 and the information terminal device 20 in the electronic conference system 1 according to the present embodiment transmit and receive XMPP messages such as text data in accordance with a protocol (communication protocol) further expanded from XEP-0071 (Xhtml-IM). It is carried out.
  • XEP-0166 is a protocol (communication protocol) that defines a function for establishing a communication path for transmitting and receiving data between two communicable terminal devices. Protocols related to Jingle include XEP-0167 (Jingle RTP Sessions) and XEP-0177 (Jingle Raw UDP Transport Method).
  • XEP-0167 is a protocol (communication protocol) that defines a function for establishing a communication path for transmitting and receiving audio data, moving image data, and the like in a streaming format using RTP (Real-time Transport Protocol).
  • XEP-0177 Jingle Raw UDP Transport Method
  • UDP User Datagram Protocol
  • Jingle XEP-0166 (Jingle) is referred to as Jingle.
  • XEP-0167 Jingle RTP Sessions
  • XEP-0177 Jingle Raw UDP Transport Method
  • FIG. 3 is a configuration diagram showing the configuration of the display device in the embodiment of the present invention.
  • the display device 10 performs communication conforming to XMPP with a plurality of information terminal devices 20 included in the electronic conference system 1.
  • the display device 10 is structured display information for displaying information such as agenda that summarizes statements (display data) presented by the participants (information terminal device 20) of the electronic conference system 1 in a structured state.
  • the drawing mechanism of html is used as the display information.
  • the display device 10 includes a display unit 11 that displays display data, and a communication unit 12 that communicates with the information terminal device 20 (moderator terminal device 201, user terminal device 202) via the network 30. And a storage unit 13 for storing structured display information, information transmitted and received by the communication unit 12, and a control unit 14 for controlling the display unit 11, the communication unit 12, and the storage unit 13.
  • the communication unit 12 includes a data ID (data ID information) for identifying display data, position information indicating a display position of display data on the display unit 11, and user information indicating a user who is the owner of the display data.
  • Information (first information) that is set for each user who uses the plurality of information terminal devices 20 and has access right information indicating whether or not to allow generation and change of display data is displayed as the moderator terminal device Received from the network 201 via the network 30. Further, when the data line 40 for transmitting display data is opened between the display device 10 and the user terminal device 202, the communication unit 12 establishes a stream ID (communication path identification) for identifying the data line 40.
  • Information (second information) including information) and data ID (data ID information) is transmitted to the user terminal device 202 via the network 30.
  • the control unit 14 and the user terminal device 202 In between, a data line 40 (data communication path) through which display data is transmitted is opened.
  • the information (first information) received from the moderator terminal device 201 includes access right information and user information. Therefore, the control unit 14 connects the data line 40 through which the display data is transmitted to the user terminal device 202 used by the user indicated by the access right information or user information received by the communication unit 12 from the moderator terminal device 201. Open.
  • control unit 14 integrates display data received from each information terminal device 20 to generate and edit structured display information, information included in the structured display information (such as html fragment information, The meta-information such as data ID, position information, access right information, user information, etc.) is corrected, and a document described in html is created from the entire structured display information.
  • the display unit 11 structures and displays the display data presented from each information terminal device 20 to the electronic conference system 1.
  • the display unit 11 includes a plurality of pieces of fragment information each having display data structured, and a structured display for displaying opinions, materials, proceedings, and the like presented to the electronic conference system 1 Based on information (display information), structured display is performed.
  • the display unit 11 is received by the communication unit 12 from the user terminal device 202 via the data line 40 specified by the stream ID based on the stream ID, data ID, and position information received from the moderator terminal device 201.
  • the display data to be displayed is displayed. That is, the display unit 11 associates the display data received from the user terminal device 202 via the data line 40 specified by the stream ID with the communication unit 12 and the position information by the data ID, and is further specified by the data ID.
  • the display data is displayed at the display position of the display unit 11 indicated by the position information.
  • the display unit 11 includes a stream ID received from the moderator terminal device 201, a data ID, position information, user information indicating a user who is the owner of display data, and a user who uses a plurality of information terminal devices.
  • Display data is displayed on the basis of access right information that is set for each and indicates whether to allow generation and change of display data. That is, when the user who is permitted to generate and change the display data indicated by the access right information matches the user indicated by the user information, the display unit 11 is based on the stream ID, the data ID, and the position information. Display the display data
  • FIG. 4 is a configuration diagram showing the configuration of the information terminal device in the embodiment of the present invention.
  • the information terminal device 20 includes a terminal display unit 21 (display unit) that displays data input by the user, and a terminal communication unit 22 (communication unit) that transmits and receives information to and from the display device 10. ), Terminal storage unit 23 (storage unit) for storing information transmitted / received by the terminal communication unit 22 and display data to be displayed on the display unit 11 of the display device 10, and transmission / reception operations and terminal storage unit 23 in the terminal communication unit 22.
  • Terminal control unit 24 control unit for controlling storage and reading operations of information and terminal input unit 25 (input unit) for the user to input data. As will be described later, the terminal control unit 24 also edits or reconfigures the html fragment information constituting the structured display information and its meta information as necessary.
  • Each information terminal device 20 has a role indicating a temporary privilege level in the electronic conference system 1 operated using the MUC function, such as “moderator” and “participant”. Is assigned.
  • the affiliation of each information terminal device 20 is not mentioned, but the “moderator” is “owner” and “administrator”. Assume an affiliate, and a “participant” has a “member” affiliate. Also, “visitors” and “outcasts” are not mentioned.
  • an information terminal device to which the role of “moderator” is given is referred to as the moderator terminal device 201, and an information terminal device to which the role of “participant” is given.
  • the user terminal device 202 will be described.
  • the moderator terminal device 201 is an information terminal device that performs proceedings in the electronic conference system 1 and manages display data displayed on the display unit 11 of the display device 10.
  • the terminal control unit 24 of the moderator terminal device 201 uses a data ID (data ID information) for identifying each display data displayed on the display unit 11 of the display device 10 or each information terminal device 20 (that is, the moderator).
  • Terminal device 201, user terminal device 202) access right information indicating an access right indicating whether or not to allow generation and change of display data for each user who uses the user, and user information indicating a user who owns the display data Etc. can be set.
  • the terminal communication unit 22 transmits information (first information) including a data ID, position information, user information, access right information, and the like to the display device 10 via the network 30.
  • the moderator terminal device 201 can also transmit display data to the display device 10 in the same manner as the user terminal device 202.
  • the user terminal device 202 is the information terminal device 20 that transmits display data to the display device 10.
  • the terminal control unit 24 negotiates with the display device 10 to open the data line 40, and In the meantime, apart from the network 30, a data line 40 for transmitting display data is opened.
  • the user terminal device 202 transmits a data ID (data ID information) for identifying display data and a stream ID (communication path identification information) for identifying the data line 40 from the display device 10 via the network 30. Is received from the terminal communication unit 22 via the data line 40 (data communication path), the display data corresponding to the data ID is transmitted to the display device 10.
  • the above-described establishment of the data line 40 and transmission of display data via the data line 40 are performed by XMPP XEP-0166 (Jingle), XEP-0167 (Jingle RTP Sessions), XEP-0177 (Jingle Raw UDP Transport). ) In accordance with at least one of the protocols (communication protocol).
  • the structured display information is structured information for displaying information on the display unit 11 of the display device 10, in which a plurality of pieces of information have a structural correlation. Further, the structure is not particularly limited, and may take a tree structure or the like.
  • each piece of information constituting the structured display information is referred to as html fragment information.
  • FIG. 5 is a configuration diagram showing a configuration of structured display information in the embodiment of the present invention. As shown in FIG. 5, in the structured display information, each html fragment information has a hierarchical correlation with the html fragment information n0 as a vertex.
  • the html fragment information that is one level higher than a certain html fragment information is called parent html fragment information
  • the html fragment that is one level lower than a certain html fragment information is called child html fragment information.
  • FIG. 6 is a view for explaining a display screen based on structured display information in the embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of an actual display screen based on structured display information in the embodiment of the present invention. As shown in FIG. 7, each information display frame on the display screen 111 of the display unit 11 corresponds to each html fragment information, and the display data (for example, text data, image data, video data, Audio data etc.) is displayed in the corresponding information display frame.
  • the display data for example, text data, image data, video data, Audio data etc.
  • the information that the html fragment information n0 has is displayed in the information display frame N0, and the html fragment information n1 and n2 that are the html fragment information (child html fragment information) in the hierarchy below the html fragment information n0. , N3 are displayed in information display frames N1, N2, and N3 arranged in the information display frame N0, respectively. Further, the information included in the html fragment information n11 and n12, which is the child html fragment information of the html fragment information n1, is displayed in the information display frames N11 and N12 arranged in the information display frame N1, respectively, and is a child of the html fragment information n2.
  • the information included in the html fragment information n21 that is html fragment information is displayed in the information display frame N21 arranged in the information display frame N2, and the html fragment information n31, n32, and n33 that is child html fragment information of the html fragment information n3. Is displayed in information display frames N31, N32, and N33 arranged in the information display frame N3.
  • Information included in the html fragment information n121 and n122 which are child html fragment information of the html fragment information n12 is displayed in the information display frames N121 and N122 arranged in the information display frame N12, respectively.
  • the information included in the child html fragment information is displayed in the information display frame arranged in the information display frame of the parent html fragment information.
  • each html fragment information constituting the structured display information has display data displayed on the display unit 11 of the display device 10.
  • Examples of the display data included in each html fragment information include text data, image data, moving image data, audio data, and the like.
  • Each html fragment information includes a unique data ID (data ID information) for identifying display data (that is, display data displayed on the display unit 11 of the display device 10) included in the html fragment information, and an html fragment.
  • Position information indicating the display position of the display data included in the information (that is, display data displayed on the display unit 11 of the display device 10) on the display unit 11, and a user who is the owner of the display data included in the html fragment information
  • User information access rights to html fragment information set for each user using the information terminal device 20 (moderator terminal device 201, user terminal device 202) (that is, generation or change of display data included in the html fragment information)
  • the information terminal device 20 moderator terminal device 201, user terminal device 202
  • the display position of the display data indicated by the position information may be specified by absolute coordinates in the information display frame of the parent html fragment information, or the document flow in the information display frame of the parent html fragment information. It is good also as what is arrange
  • the user information included in the meta information of each html fragment information may indicate the owner of the html fragment information, and the user indicated by the user information is a child html fragment with respect to the html fragment information.
  • Information may be generated or deleted.
  • each html fragment information is an access right to display data included in the html fragment information set for each user who uses each information terminal device (that is, whether generation or change of display data is permitted). Only authorized users can access the access right information. With the access right information, the user to whom the access right is granted can access the html fragment information, browse display data and meta information included in the html fragment information, and change or modify the contents.
  • the access right to the parent html fragment information is also inherited by the child html fragment information. That is, a user who has not been granted access right in the access right information of the parent html fragment information does not have access right to the child html fragment information.
  • the user who is given the access right in the access right information of the parent html fragment information also has the access right to the child html fragment information.
  • FIG. 8A to 8C show examples of html fragment information in this embodiment.
  • FIG. 8A is a diagram showing an example in which html fragment information having text data is expressed as an html document.
  • FIG. 8B is a diagram showing an example in which html fragment information having moving image data is expressed as an html document.
  • FIG. 8C is a diagram showing an example in which html fragment information having audio data is expressed as an html document.
  • position information indicating the display position of the moving image data displayed on the display unit 11 of the display device 10 or a unique data ID (data) for identifying the moving image data.
  • ID information user information indicating a user who is the owner of this moving image data
  • this html fragment information set for each user using the information terminal device 20 (moderator terminal device 201, user terminal device 202).
  • Access right information indicating the access right is described.
  • a unique stream ID (sid: communication path identification information) for identifying the data line 40 that transmits the moving image data to the display device 10 is described.
  • FIG. 9 is an operation diagram for explaining a procedure for establishing the electronic conference system according to the embodiment of the present invention.
  • the display device 10 establishes the electronic conference system 1 using the MUC function with the moderator terminal device 201.
  • step S101 the moderator terminal device 201 of the electronic conference system 1 transmits to the display device 10 a request for opening a virtual conference room (chat room).
  • step S102 the display device 10 issues a notification to the effect that the request has been received from the moderator terminal device 201.
  • step S103 the moderator terminal device 201 notifies the display device 10 that setting information for opening a virtual conference room is to be created.
  • step S104 the display device 10 transmits data form information for creating setting information to the moderator terminal device 201.
  • step S ⁇ b> 105 the moderator terminal device 201 creates setting information for opening a virtual conference room based on the data form information received from the display device 10, and transmits the created setting information to the display device 10.
  • step S106 the display device 10 notifies the moderator terminal device 201 that the setting information has been received.
  • the establishment of the electronic conference system 1 between the display device 10 and the moderator terminal device 201 opens a virtual conference room in which a plurality of users using the information terminal device 20 can participate. Is done.
  • FIG. 10 is an operation diagram for explaining a procedure for the information terminal device according to the embodiment of the present invention to participate in the electronic conference system.
  • a procedure in which the user terminal device 202a participates in a virtual conference room that is, the electronic conference system 1 will be described.
  • step S201 the user terminal device 202a searches for a virtual conference room (electronic conference system 1) opened by the display device 10 using XEP-0030 (Service Discovery), which is an XMPP protocol (communication protocol). . Thereby, the user terminal device 202a can discover the virtual meeting room (electronic conference system 1) opened by the display apparatus 10.
  • XEP-0030 Service Discovery
  • XMPP protocol communication protocol
  • step S202 the user terminal device 202a requests the display device 10 to enter a virtual conference room (electronic conference system 1).
  • step S203 the display device 10 transmits to the user terminal device 202a a notification to permit entry.
  • step S ⁇ b> 204 the display device 10 newly enters the other information terminal devices (the moderator terminal device 201 and the other user terminal device 202) that have already entered the virtual conference room (electronic conference system 1). Send notification that there was.
  • the user terminal device 202a can enter the virtual conference room (electronic conference system 1), and display device 10 and other information terminal devices (moderator terminal device 201 and other users).
  • the terminal device 202) can communicate with XMPP.
  • FIG. 11 is an operation diagram for explaining a procedure for initializing structured display information of the electronic conference system according to the embodiment of the present invention.
  • step S301 the moderator terminal device 201 that has established a virtual conference room (electronic conference system 1) with the display device 10 in steps S101 to S107 described above displays the agenda and the like in the electronic conference system 1 on the display device 10.
  • Structured display information to be displayed on the display unit 11 is created.
  • the structured display information created here includes the html fragment information having a structural correlation (for example, a tree structure).
  • the moderator terminal device 201 gives a unique data ID (that is, a data ID for identifying display data included in the html fragment information) to each html fragment information.
  • the moderator terminal device 201 for each html fragment information, as meta information, the attribute information as described above, that is, a position indicating the display position on the display screen 111 of the display data included in the html fragment information Information, user information indicating a user who is an owner of html fragment information, and an html fragment set for each user using each information terminal device 20 (moderator terminal device 201, user terminal device 202)
  • the access right information indicating the access right to the information (that is, whether or not the generation or change of information included in the html fragment information is permitted) is created.
  • step S ⁇ b> 302 the moderator terminal device 201 transmits the created html fragment information to the display device 10.
  • step S303 the display device 10 performs syntax analysis on each received html fragment information, and creates html fragment information corresponding to each received html fragment information. Further, the display device 10 checks that the data ID for identifying the created html fragment information does not overlap with the data IDs of other html fragment information. Then, the display device 10 creates structured structured display information including each piece of html fragment information.
  • step S304 the display device 10 further transmits structured display information obtained by structuring each created html fragment information to each information terminal device (moderator terminal device 201, user terminal device 202).
  • step S305 the display device 10 displays an initialization screen on the display unit 11 based on the initialized structured display information.
  • the initialization process of the structured display information is completed, and the initialization screen is displayed on the display unit 11 of the display device 10 based on the structured display information.
  • FIG. 12 is an operation diagram for explaining a procedure in which text data provided from the information terminal device according to the embodiment of the present invention is displayed on the display screen of the display device.
  • the user of the user terminal device 202a is allowed to speak, for example, or directly allowed by the user of the moderator terminal device 201 offline.
  • step S401 the moderator terminal device 201 creates html fragment information for speech necessary for the user terminal device 202a to speak in a virtual conference room (electronic conference system 1).
  • the speech html fragment information created by the moderator terminal device 201 is incorporated into the structured display information, thereby displaying the speech (text data) presented by the speaker (in this case, the user terminal device 202a).
  • the information display frame for this is set on the display screen 111 of the display unit 11 of the display device 10.
  • the moderator terminal device 201 uses the terminal control unit 24 to assign a unique data ID for identifying text data included in the speech html fragment information to a data ID corresponding to the text data included in the other html fragment information. While creating so that it may not overlap, the positional information which shows the display position of the speech (data) which the speaker (user terminal device 202a) displayed on the display part 11 of the display apparatus 10 presents is produced. Furthermore, the moderator terminal device 201 uses user information indicating a user who owns the data stored in the html fragment information for speech and the information terminal device 20 (the moderator terminal device 201 and the user terminal device 202).
  • This speech html fragment information is described as shown in FIG. 8A, for example. At this time, no text data is stored in the html fragment information for speech.
  • step S402 the moderator terminal device 201 transmits the html fragment information for speech to the display device 10 via the network 30e.
  • meta information such as data ID, user information, access right information, and position information indicating the display position of the text data displayed on the display unit 11 of the display device 10 is also transmitted to the display device 10 via the network 30e. Is done.
  • the html fragment information for speech is an html file obtained by extending meta information.
  • the html file with expanded meta information is data in a format that can be expressed in html that is compatible with XMPP-compliant communication, and is related to text data transferred from the user terminal device 202a to the display device 10.
  • Meta information that is information (attribute information) is included.
  • the meta information includes attribute information corresponding to messaging by XMPP such as a data ID, location information, access right information, and user information.
  • step S403 the display device 10 analyzes the syntax of the html fragment information for speech, and provides an information display frame that allows the speaker (in this case, the user terminal device 202a) to speak if the syntax is correct.
  • step S ⁇ b> 404 the display device 10 further includes, in each information terminal device 20 (the user terminal device 202 including the moderator terminal device 201 and the user terminal device 202 a), an utterance html fragment including the data ID created in S ⁇ b> 401.
  • Information is transmitted via the network 30 to notify the display screen 111 of the display unit 11 that an information display frame (in this case, an information display frame of the user terminal device 202a) that enables a speaker to speak is provided.
  • step S405 a message (text data) to be presented by the user terminal device 202a to the virtual conference room (electronic conference system 1) is input from the terminal input unit 25.
  • the text data input from the terminal input unit 25 is data stored in the speech html fragment information specified by the data ID.
  • the user terminal device 202a edits the speech html fragment information so as to add the text data input from the terminal input unit 25 to the speech html fragment information.
  • step S406 the user terminal device 202a transmits the html fragment information for speech having text data to the display device 10 via the network 30a.
  • the user terminal device 202a also sends the data ID, user information, access right information, etc. of the speech html fragment information to the display device 10 via the network 30a as meta information of the speech html fragment information. Send.
  • step S407 the display device 10 parses the html fragment information for speech received from the user terminal device 202a, and edits the structured display information based on the received html fragment information for speech. That is, the display device 10 determines whether or not the user who is given the access right to the speech html fragment information indicated by the access right information matches the user indicated by the user information. If the two match, the user using the user terminal device 202a is granted access rights to the utterance html fragment information (that is, generation or modification of data included in the utterance html fragment information). Therefore, the control unit 14 of the display device 10 edits the structured display information based on the received speech html fragment information.
  • the display device 10 includes the data ID (data ID information) edited in S407 in each information terminal device 20 (the user terminal device 202 including the moderator terminal device 201 and the user terminal device 202a).
  • the html fragment information for speech is transmitted via the network 30 to notify that the html fragment information for speech has been edited.
  • step S409 the display device 10 displays the proceedings in the virtual conference room (electronic conference system 1) on the display unit 11 based on the edited structured display information.
  • the display device 10 displays text data identified by the data ID on the display unit 11 based on the user information, the access right information, and the position information. That is, the display device 10 displays the text data stored in the html fragment information identified by the data ID at the display position on the display screen 111 indicated by the position information.
  • FIG. 13 is an operation diagram for explaining a procedure for displaying multimedia data in a format other than the text format provided from the information terminal device according to the embodiment of the present invention on the display screen of the display device.
  • the user of the user terminal device 202a is in a state where data should be presented, or that the user of the moderator terminal device 201 is allowed to directly present data offline, for example. To do.
  • step S501 the moderator terminal apparatus 201 creates html fragment information for speech necessary for the user terminal apparatus 202a to speak (present data) in a virtual conference room (electronic conference system 1).
  • the html fragment information for speech created by the moderator terminal device 201 is incorporated into the structured display information, thereby displaying the material (multimedia data) presented by the speaker (in this case, the user terminal device 202a).
  • An information display frame for this purpose is set on the display screen 111 of the display unit 11 of the display device 10.
  • the moderator terminal device 201 uses the terminal control unit 24 to transmit a unique data ID for identifying multimedia data included in the html fragment information for speech to data corresponding to the multimedia data included in the other html fragment information. While creating so that it may not overlap with ID, the positional information which shows the display position of the data (multimedia data) which the speaker (user terminal device 202a) displayed on the display part 11 of the display apparatus 10 presents is produced. Furthermore, the moderator terminal device 201 uses user information indicating a user who owns the data stored in the html fragment information for speech and the information terminal device 20 (the moderator terminal device 201 and the user terminal device 202). Create access right information that is set for each user and indicates the access right to the speech html fragment information (that is, whether or not to allow the creation or modification of multimedia data stored in the speech html fragment information), These are given to the html fragment information for speech as meta information.
  • the html fragment information for speech includes multimedia data that the user terminal device 202a presents to the electronic conference system 1 in addition to the data ID, position information, user information, access right information, and the like.
  • a stream ID (sid, communication path identification information) for identifying the data line 40a for transmitting is described. For example, when video data is presented, a ⁇ video /> tag is described as shown in FIG. 8B, and when audio data is presented, an ⁇ audio /> tag is described as shown in FIG. 8C.
  • the tag describing the stream ID is expanded according to the type of multimedia data transmitted via the data line 40a.
  • a tag describing the stream ID (for example, a ⁇ video /> tag as shown in FIG. 8B, FIG. 8C The ⁇ audio /> tag) does not describe the stream ID.
  • step S502 the moderator terminal apparatus 201 displays the data ID, the user information, the access right information, and the display position of the multimedia data displayed on the display unit 11 of the display apparatus 10 on the display apparatus 10 via the network 30e.
  • the html fragment information for speech (first information) having meta information such as the position information shown is transmitted.
  • the html fragment information (first information) for speech may be an html file in which meta information is extended.
  • the html file with the expanded meta information is data in a format that can be expressed in html that is compatible with XMPP-compliant communication, and is a data line established between the display device 10 and the user terminal device 202a.
  • the meta information includes attribute information corresponding to messaging by XMPP such as a data ID, location information, access right information, and user information.
  • attribute information data ID information, location information, access right information, user information, etc.
  • each meta information (data ID information, position information, user information, user information, Access right information) can be mapped to the description in the html format used in the Web browser. That is, each meta information (data ID information, position information, user information, access right information, etc.) included in the html fragment information for speech can be associated with the display element of html. Therefore, messaging by XMPP can be linked to Web and html.
  • step S503 the display device 10 performs syntax analysis of the html fragment information for speech, and provides an information display frame that enables display of materials (multimedia data) presented by the user terminal device 202a if the syntax is correct.
  • step S504 a tag describing a stream ID (for example, a ⁇ video /> tag as shown in FIG. 8B or an ⁇ audio /> tag as shown in FIG. 8C) is used when the html fragment information for speech is parsed.
  • the display device 10 determines that multimedia data such as moving image data and audio data is transmitted from the user terminal device 202a based on the meta information of the html fragment information for speech, and the user terminal device 202a.
  • setting for opening a data line 40a (data communication path) to which the multimedia data is transferred separately from the network 30a is started.
  • the data line 40a is set up and opened in accordance with XMPP applied protocols XEP-0166 (Jingle), XEP-0167 (Jingle RTP Sessions), XEP-0177 (Jingle Raw UDP Transport), and the like.
  • the display device 10 becomes the side that proposes the setting of the data line 40a, that is, the initiator of Jingle, and the user terminal device 202a accepts or rejects the setting of the data line 40a, that is, the side of Jingle. Become a responder.
  • step S505 the display device 10 transmits to the user terminal device 202a via the network 30a that it proposes to open a data line 40a for transferring multimedia data.
  • step 506 the user terminal device 202a transmits the confirmation of the proposal to the display device 10 via the network 30a.
  • step 507 negotiation (negotiation) on the setting contents for establishing the data line 40a between the display terminal 10 and the user terminal device 202a is XEPP0166 (Jingle), which is an XMPP application protocol. It is performed according to XEP-0167 (Jingle RTP Sessions), XEP-0177 (Jingle Raw UDP Transport) and the like.
  • the data line 40 can be set as an encrypted line.
  • the user terminal device 202a determines whether to agree or reject the proposal for opening the data line 40a. In the present embodiment, it is assumed that the user terminal device 202a has determined to agree as a result of the negotiation.
  • step S508 the user terminal device 202a transmits to the display device 10 via the network 30a that the user agrees to the setting proposal for the data line 40a.
  • step S509 the display device 10 transmits to the user terminal device 202a that the agreement of the proposal has been confirmed via the network 30a. Then, a direct data line 40a capable of directly transferring data is opened between the display device 10 and the user terminal device 202a as shown in FIG.
  • the data line 40a is a logical communication path established in a physical communication line through which the network 30a is communicated. Therefore, when establishing a direct data line 40a for directly transmitting display data between the display device 10 and the user terminal device 202a, it is not necessary to provide a physical communication line separately from the network 30a.
  • the logical communication path is a logically viewed virtual communication line (logical line) of a physically viewed communication line. For example, even if there is physically one communication line, a plurality of logical lines can be set, and different data communication can be performed for each logical line.
  • the network 30a and the data line 40a are different logical lines through the same physical communication line.
  • step S510 the display device 10 does not overlap the stream ID (sid: communication path identification information) for identifying the data line 40a established with the user terminal device 202a with the stream IDs of other communication lines.
  • the html fragment information for speech (second information) including the data ID and the stream ID as meta information is transmitted to each information terminal device 20 (moderator terminal device 201, user terminal device 202) via the network 30.
  • the information display frame (in this case, the information display frame of the user terminal device 202a) for displaying the material (multimedia data) presented by the speaker on the display screen 111 of the display unit 11 is notified.
  • the html fragment information (second information) for speech may be an html file in which meta information is extended.
  • the html file with expanded meta information is data in a format that can be expressed in html that is compatible with XMPP-compliant communication, and is a data communication established between the display device 10 and the user terminal device 202a. It includes meta information that is information (attribute information) related to display data transferred through a route.
  • the meta information includes attribute information corresponding to messaging by XMPP such as data ID (data ID information) and stream ID (communication path identification information).
  • each meta information (data ID, stream ID, etc.) included in the html fragment information for speech is changed to Web. It can be mapped to the description in the html format used in the browser. That is, each meta information (data ID, stream ID, etc.) included in the html fragment information for speech can be associated with the display element of html. Therefore, messaging by XMPP can be linked to Web and html.
  • step S511 the user terminal device 202a prepares to transmit multimedia data to be presented to the virtual conference room (electronic conference system 1) to the display device 10 via the data line 40a specified by the stream ID. Do.
  • step S512 the user terminal device 202a sends multimedia data to the display device 10 via the data line 40a specified by the stream ID, Jingle (XEP-0166), which is an XMPP application protocol, and related XMPP. Transfer is performed in a streaming system in accordance with regulations such as Jingle-RTP (XEP-0167) and Jingle-UDP (XEP-0177) which are application protocols.
  • Jingle-RTP XEP-0167
  • Jingle-UDP XEP-0177
  • step S513 the control unit 14 of the display device 10 uses the data ID to transfer the multimedia data transferred by the streaming method from the data line 40a specified by the stream ID, using the location information, user information, and access right information. Associate with meta information such as At this time, the control unit 14 of the display device 10 determines whether or not the user to whom the access right indicated by the access right information is given matches the user indicated by the user information. If the two match, the user using the user terminal device 202a has access rights to the speech html fragment information in which the multimedia data is stored (that is, the multimedia data included in the speech html fragment information). Generation or modification) is permitted.
  • the control unit 14 of the display device 10 stores the multimedia data stream-transferred from the data line 40 in the speech html fragment information, edits the structured display information, and based on the data ID and the position information.
  • the multimedia data is displayed at the display position on the display screen 111 of the display unit 11 indicated by the position information. Therefore, the user using the moderator terminal device 201 can reliably and easily manage the display position of the multimedia data displayed on the display unit 11 of the display device 10.
  • multimedia data such as moving image data and audio data is transferred by a streaming method
  • the transferred multimedia data is sequentially reproduced at a display position on the display screen 111 of the display unit 11 indicated by position information. You can also.
  • step S514 when the transfer of the multimedia data is completed, a process of closing the data line 40a between the display device 10 and the user terminal device 202a is performed. Further, the display device 10 ends its role as a Jingle initiator, and the user terminal device 202a ends its role as a Jingle responder.
  • the display data is transferred from the data line 40a established between the user terminal device 202a and the display device 10, but other information terminal devices (for example, the moderator terminal device 201) are used.
  • the user terminal devices 202b to 202d) can transfer the display data by opening a direct data line 40 in the same procedure.
  • the moderator terminal device 201 has a data ID (data ID information) for identifying display data and a position indicating the display position of the display data on the display unit 11 of the display device 10.
  • the html fragment information for speech (first information) having the information is transmitted to the display device 10 via the network 30.
  • a data line 40 (data communication path) through which display data is transmitted is opened separately from the network 30 between the display device 10 and the user terminal device 202.
  • the display device 10 transmits the html fragment information for speech (second information) having the stream ID (communication path identification information) for identifying the data line 40 and the data ID via the network 30 to the user terminal.
  • the user terminal device 202 transmits display data to the display device 10 via the data line 40 specified by the stream ID.
  • the display device 10 displays the display data on the display unit 11 based on the stream ID, the data ID, and the position information.
  • the display data is transmitted from the user terminal device 202 to the display device 10 via the dedicated data line 40 different from the network 30. Therefore, even when the data transmitted / received through the network 30 and the display data transmitted through the data line 40 have different transmission characteristics from each other, the data transfer speed and the data reception interval vary without interfering with each other. Occurrence of fluctuations can be prevented. Therefore, display data can be transferred from the user terminal device 202 to the display device 10 simply, efficiently and accurately. In addition, even when multimedia data in a format other than text format, such as video data and audio data, is streamed to the data communication path, the streaming transfer of the multimedia data does not continue to occupy the communication line.
  • multimedia data in a format other than text format such as video data and audio data
  • the display device 10 can associate the display data received from the data line 40 specified by the stream ID with the position information by the data ID, and further display the display data at the display position of the display unit 11 indicated by the position information. Can be displayed. Therefore, the display device 10 can display and display the display data transmitted via the dedicated data line 40 on the display screen 111 of the display unit 11 of the display device 10.
  • the user using the moderator terminal device 201 displays the data ID and the position information transmitted from the user terminal device 202 to the display device 10 via the dedicated data line 40 different from the network 30.
  • the data and the display position of the display data on the display unit 11 of the display device 10 can be reliably and easily managed.
  • the data line 40 is used by the terminal device other than the user terminal device 202 or the display device 10. Or display data transmitted / received through the data line 40 can be obtained or changed. Therefore, the security of data transfer via the data line 40 can be further improved.
  • the data line 40 established between the user terminal device 202 and the display device 10 can be a logical communication path through which display data is transmitted.
  • a direct data communication path for directly transmitting display data is established between the display device 10 and the user terminal device 202, it is not necessary to provide a physical communication line separately from the network 30. That is, by providing a data line 40 as a new logical communication path (logical line) different from the network 30 on a physical communication line through which the network 30 is communicated, a logically separate line from the network 30 is provided. Display data can be transmitted and received through the logical line.
  • multimedia data in a format other than the text format such as moving image data and audio data is transmitted from the user terminal device 202 to the display device 10 via the dedicated data line 40 different from the network 30.
  • the display device 10 can associate the multimedia data received from the data line 40 specified by the stream ID with the position information by the data ID, and further display the multimedia at the display position of the display unit 11 indicated by the position information. Data can be displayed. Therefore, the display device 10 can structure and display the multimedia data received via the dedicated data line 40 on the display screen 111 of the display unit 11.
  • the html fragment information for speech (first information) transmitted from the moderator terminal device 201 to the display device 10 via the network 30 is for each user who uses the plurality of information terminal devices 20.
  • access right information indicating whether or not to allow generation and change of display data
  • user information indicating a user who is the owner of the display data. Therefore, the display device 10 can establish a direct data line 40 through which display data is transmitted between the user terminal device 202 used by the user indicated by the access right information or the user information and the display device 10. Therefore, it is not necessary to create a mesh communication path network in order to share information between the display device 10 and each information terminal device 20, and a user terminal that transmits display data to the display device 10 as necessary.
  • the display device 10 can associate the display data received from the data line 40 with the position information by the data ID, and can display the display data at the display position of the display unit 11 indicated by the position information.
  • the moderator terminal device 201 can indicate to the display device 10 the user terminal device 202 that should open the data line 40 by the access right information or user information transmitted to the display device 10, the display device 10 and the user The establishment of the data line 40 with the terminal device 202 can be controlled.
  • the moderator terminal device 201 is set for each user who uses the data ID, the position information, and the plurality of information terminal devices 20, and determines whether or not to allow generation and change of display data.
  • Utterance html fragment information (first information) having the access right information indicating the user and the user information indicating the user who is the owner of the display data is transmitted to the display device 10 via the network 30, and the display device 10 can display the display data on the display unit 11 based on the stream ID, the data ID, the position information, the user information, and the access right information.
  • the display device 10 can associate the display data received from the data line 40 identified by the stream ID with the user information, access right information, and position information received from the moderator terminal device 201 by the data ID. Based on the user information and the access right information, it is determined whether or not to display the display data identified by the data ID, and the display data is displayed at the display position of the display unit 11 indicated by the position information. it can. Therefore, the display data transferred from the user terminal device 202 is managed by the data ID, and the access right (that is, set for each of a plurality of users using the information terminal device 20) (that is, the display data). Each display data displayed on the display unit 11 of the display device 10 is controlled according to whether or not the generation or change of the display data is permitted. Therefore, smooth communication according to each access right between a plurality of users is possible.
  • the display device 10 matches the stream ID, the data ID, and the position. Display data can be displayed on the display unit 11 based on the information. Accordingly, the display device 10 has a user who is the owner of the display data identified by the data ID, and a user who has an access right to the display data (that is, whether or not the generation or change of the display data is permitted). The display data can be displayed on the display unit 11 only when and match. That is, the display device 10 specifies the display data received from the data line 40 specified by the stream ID by the data ID, and displays the specified display data at the display position on the display unit 11 indicated by the position information. Therefore, smooth communication according to each access right between a plurality of users is possible.
  • a communication method in an electronic conference in which a plurality of users participate can be used. Therefore, each utterance (display data) presented in the virtual conference room (that is, the electronic conference system 1) can be reliably and easily managed by the data ID, and a plurality of participants participating in the virtual conference room. Remarks (display data) presented in the virtual conference room according to the access rights set for each participant (user) (that is, whether presentation or modification of the remarks (display data) is permitted) Therefore, a plurality of users participating in the virtual conference room can perform smooth communication according to their access rights.
  • the display device 10 and the plurality of information terminal devices 20 can perform communication based on XMPP. Therefore, real-time messaging (information exchange) can be performed between the display device 10 and the plurality of information terminal devices 20 (the moderator terminal device 201 and the user terminal device 202), and messaging is performed by XMPP using the data ID. And the display data displayed on the display unit 11 of the display device 10 can be easily and reliably associated with each other.
  • the establishment of the data line 40 between the display device 10 and the user terminal device 202 and the transmission of multimedia data from the user terminal device 202 to the display device 10 via the data line 40 are performed.
  • XMPP XEP-0166 Joint
  • XEP-0167 Joint RTP Sessions
  • XEP-0177 Joint Raw UDP Transport
  • the html fragment information for speech can be an html file in which meta information is extended.
  • the html file with the expanded meta information is data in a format that can be expressed in html that is compatible with XMPP-compliant communication, and is a data communication established between the display device 10 and the user terminal device 202. It includes meta information that is information (attribute information) related to display data transferred through a route.
  • the meta information includes attribute information corresponding to messaging by XMPP such as data ID, position information, stream ID, access right information, and user information.
  • attribute information for example, data ID, location information, stream ID, access right information, user information, etc.
  • extension for example, data ID, location information, stream ID, access right information, user information, etc.
  • each piece of meta information for example, data ID, position information, stream ID, user information, access right information
  • the html fragment information for speech first information and second information
  • each meta information data ID, position information, stream ID, user information, access right information, etc.
  • the display element of html can be associated. Therefore, messaging by XMPP can be linked to Web and html.
  • the speech html fragment information (second information) transmitted to the terminal device 202 is fragment information constituting structured display information (display information) for display on the display unit 11 of the display device 10. can do. Therefore, for example, a plurality of information terminal devices 20 (moderator terminal device 201, user terminal device 202) try to change some information included in structured display information for displaying on the display unit 11 of the display device 10. Then, if only the fragment information having the changed information is transmitted, the display device 10 can correct the structured display information for display on the display unit 11 based on the received fragment information.
  • the data line 40 (data communication path) different from the network 30 transmits multimedia data in a format other than the text format such as moving image data and audio data. You can also send the data.
  • the html drawing mechanism is used for the structured display information (display information).
  • DOM Document Object Model
  • DOM is a standardized API (Application Program Interface) for html and XML (eXtensible Markup Language).
  • the display device 10 and the plurality of information terminal devices 20 are configured to perform communication conforming to XMPP, but the present invention is not limited to this. Communication conforming to a protocol (communication protocol) similar to XMPP may be performed.
  • the establishment of the data line 40 for transferring display data (multimedia data) and the transmission of display data (multimedia data) are performed by Jingle (XEP-0166), which is an XMPP protocol, or Jingle. -Although it shall comply with at least one of the rules of RTP (XEP-0167) and Jingle-UDP (XEP-0177), it is not limited to this. Any communication protocol for establishing a communication path for transmitting and receiving data between two communicable terminal devices can be used.
  • each display device 10 there are a plurality of display devices 10 that perform display based on the structured display information, and each may be located at a remote place. In this case, each display device only needs to share the same structured display information.
  • each display device 10 can share structured display information in accordance with XEP-0060 (Publish-Subscribe), which is an XMPP application protocol (communication protocol).
  • XEP-0060 publish-Subscribe
  • XMPP application protocol communication protocol
  • the present invention provides a chat system in which a plurality of people who can freely write / read and view information in a community such as home, workplace, school, etc. can talk in real time, or a virtual conference between a plurality of users. It can be used for an electronic conference system where discussions and opinions can be presented in the room.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

 表示データを管理する司会者端末装置201は、表示データを識別するためのデータIDと、表示データの表示位置を示す位置情報とを有する発言用html断片情報(第1の情報)を、ネットワーク30を介して表示装置10に送信する。表示装置10とユーザ端末装置202との間に、データ回線40が開設される。表示装置10は、そのデータ回線40を識別するためのストリームIDとデータIDとを有する発言用html断片情報(第2の情報)を、ネットワーク30を介してユーザ端末装置202に送信する。ユーザ端末装置202は、ストリームIDによって特定されるデータ回線40を介して、表示データを表示装置10に送信する。表示装置10は、ストリームIDとデータIDと位置情報とに基づいて、その表示データを表示部11に表示する。

Description

[規則37.2に基づきISAが決定した発明の名称] マルチユーザ通信のためのシステム、方法及び装置
 本発明は、通信方法、表示装置、ユーザ端末装置、司会者端末装置、及びそれらを備えたマルチユーザ通信システムに関する。
 従来、複数の情報端末装置をネットワークで相互接続し、それらの情報端末装置を使用する各ユーザがそのネットワークを通じて送受信される情報を共有する通信システムが利用されている。たとえば、複数のパーソナルコンピュータをネットワークで接続し、そのネットワークを介して資料やその表示ページ位置およびメモ書きといった情報を共有することによって仮想定な会議室を実現した電子会議システムなどが挙げられる。
 この電子会議システムでは、所定のパーソナルコンピュータの表示画面をスクリーンに表示して、議事進行、情報伝達、質疑応答などを行う方法がある。
 たとえば、特許文献1では、会議などに参加している多数の個人が表示装置に表示された情報を共有できる技術が開示されている。この技術では、入力装置から入力されたデータが、入力モジュールにて様々な通信モダリティが処理された後、表示装置で表示できる形に変換され、表示装置に表示される。
 また、特許文献2では、端末装置のユーザ全員が同一の共有情報を見ることができる電子会議システムが開示されている。この電子会議システムでは、クライアント端末はユーザの操作入力を受けると、その操作入力をサーバにネットワークを介して伝達し、サーバはその操作入力を仮想空間内に配置されている3Dレイヤオブジェクトのテクスチャに書き込み、クライアント端末に映像情報を伝達する。そして、クライアント端末は、サーバから送信された映像情報を表示する。
特開2005-222535号公報 特開2000-194875号公報
 上述の特許文献1や特許文献2に開示された技術では、各装置間で送受信されるデータの種類を区別することなく、伝送特性の異なるテキストデータと、動画データや音声データなどのデータとが、同一の通信経路を通じて送受信されている。しかしながら、このような場合、伝送特性の異なるそれらのデータが互いに干渉し、転送揺らぎなどが発生して、データが正確に転送されないという問題が発生するおそれがある。
 本発明は、上記問題点に鑑みてされたものであって、その目的は、複数のユーザから発信されるデータを、簡便且つ効率よく、正確に転送し、表示画面上で構造化した表示を行うことができる通信方法、表示装置、ユーザ端末装置、司会者端末装置、及びそれらを備えたマルチユーザ通信システムを提供することを目的とする。
 上記目標を達成するために本発明の通信方法は、複数のユーザが参加し、前記複数のユーザが使用する各情報端末装置から表示装置に送信される表示データが前記表示装置の表示部にて表示される通信方法において、前記情報端末装置は、前記表示データを前記表示装置に送信するユーザ端末装置と、前記表示データを管理する司会者端末装置と、を有し、前記司会者端末装置は、前記表示データを識別するためのデータID情報と、前記表示部での前記表示データの表示位置を示す位置情報と、を有する第1の情報を、ネットワークを介して前記表示装置に送信し、前記表示装置と前記ユーザ端末装置との間に、前記表示データが送信されるデータ通信経路が開設され、前記表示装置は、前記データ通信経路を識別するための通信経路識別情報と、前記データID情報とを有する第2の情報を、前記ネットワークを介して前記ユーザ端末装置に送信し、前記ユーザ端末装置は、前記表示データを、前記通信経路識別情報によって特定される前記データ通信経路を介して前記表示装置に送信し、前記表示装置は、前記通信経路識別情報と前記データID情報と前記位置情報とに基づいて、前記表示データを前記表示部に表示する。
 上記構成の通信方法によれば、複数のユーザが参加し、それらのユーザが使用する各情報端末装置から提示される表示データが表示装置の表示部に表示される通信方法において、表示装置が、表示データを管理する司会者端末装置から、その表示データを識別するためのデータID情報と、その表示データを表示する位置を示す位置情報とを受信したとき、その表示データを送信するユーザ端末装置と表示装置との間にネットワークとは別のデータ通信経路が開設される。そして、表示装置は、開設されたデータ通信経路を識別するための通信経路識別情報を、ネットワークを介してユーザ端末装置に送信する。従って、ユーザ端末装置は、通信経路識別情報によって特定したデータ通信経路を介して、表示データを表示装置に送信できる。このように、表示データはネットワークとは別の専用のデータ通信経路を介してユーザ端末装置から表示装置に送信される。よって、ネットワークを通じて送受信されるデータと、データ通信経路を通じて送信される表示データとが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、表示データを、簡便且つ効率よく、正確に転送することができる。また、表示装置は、通信経路識別情報によって特定したデータ通信経路から受信した表示データを、データID情報によって、位置情報と関連付けることができ、さらに、位置情報が示す表示部の表示位置にその表示データを表示することができる。よって、表示装置は、専用のデータ通信経路を介して送信された表示データを、表示部の表示画面上で構造化して表示することができる。
 また、司会者端末装置を使用しているユーザは、データID情報と位置情報とによって、ユーザ端末装置からネットワークとは別の専用のデータ通信経路を介して表示装置に送信される表示データと、その表示データの表示装置の表示部での表示位置とを確実且つ簡便に管理することができる。また、ユーザ端末装置からデータ通信経路を介して表示装置に、直接に、表示データが転送されるので、そのユーザ端末装置や表示装置以外の端末装置によって、そのデータ通信経路が利用されたり、そのデータ通信経路を通じて送受信される表示データが取得或いは変更されたりされるおそれがなくなる。よって、データ通信経路を介したデータ転送のセキュリティ性をより高めることができる。
 上記構成の通信方法において、前記データ通信経路は、前記表示データが送信される論理的な通信経路であってもよい。なお、論理的な通信経路とは、物理的に見た通信回線が有する論理的に見た仮想の通信回線(論理回線)である。たとえば、物理的には通信回線が1本であっても、複数の論理回線を設定することができる。各論理回線では異なったデータ通信を行うことができる。
 このような構成とすることによって、表示装置と各情報端末装置との間に表示データを直接に送信する直通のデータ通信経路を開設するとき、ネットワークとは別に物理的な通信回線を設ける必要がない。すなわち、ネットワークが通じている物理的な通信回線に、ネットワークとは別の新たな論理的な通信経路(論理回線)を設けることにより、ネットワークとは論理的に別回線となる論理回線を通じて表示データを送受信することができる。従って、ネットワークを通じて送受信されるデータと、論理回線を通じて送信される表示データとが互いに干渉することがないので、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、表示データを、さらに簡便且つ効率よく、正確に転送することができる。
 上記構成の通信方法において、前記表示データは、テキスト形式以外の形式のマルチメディアデータであってもよい。このような構成とすることによって、ユーザ端末装置から表示装置に、動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータがネットワークとは別の専用のデータ通信経路で送信される。よって、ネットワークを通じて送受信されるデータ(テキストデータなど)と、データ通信経路を通じて送信される表示データ(テキスト形式以外の形式のマルチメディアデータ)とが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、テキスト形式以外の形式のマルチメディアデータを、さらに簡便且つ効率よく、正確に転送することができる。また、表示装置は、通信経路識別情報によって特定したデータ通信経路から受信したマルチメディアデータを、データID情報によって、位置情報と関連付けることができ、さらに、位置情報が示す表示部の表示位置にそのマルチメディアデータを表示することができる。よって、表示装置は、専用のデータ通信経路を介して受信したマルチメディアデータを、表示部の表示画面上で構造化して表示することができる。
 上記構成の通信方法において、前記司会者端末装置は、前記データID情報と、前記位置情報と、前記複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報とを有する前記第1の情報を、前記ネットワークを介して前記表示装置に送信し、前記表示装置と、前記アクセス権情報が示すユーザが使用するユーザ端末装置との間に、前記表示データが送信される前記データ通信経路が開設されるものとしてもよい。
 或いは、上記構成の通信方法において、前記司会者端末装置は、前記データID情報と、前記位置情報と、前記表示データの所有者であるユーザを示すユーザ情報と、を有する前記第1の情報を、前記ネットワークを介して前記表示装置に送信し、前記表示装置と、前記ユーザ情報が示すユーザが使用するユーザ端末装置との間に、前記表示データが送信される前記データ通信経路が開設されるものとしてもよい。
 このような構成とすることによって、司会者端末装置から送信されるアクセス権情報、或いはユーザ情報が示すユーザが使用するユーザ端末装置と表示装置との間に、表示データが送信される直通のデータ通信経路が開設される。従って、表示装置と各情報端末装置との間で情報を共有するためにメッシュ状の通信経路網をはる必要がなく、必要に応じて、表示装置と表示データを送信するユーザ端末装置との間に直通のデータ通信経路を開設するのみでよい。また、表示装置は、そのデータ通信経路から受信した表示データをデータID情報によって、位置情報と関連付けることができ、位置情報が示す表示部の表示位置にその表示データを表示することができる。また、司会者端末装置は、表示装置に送信したアクセス権情報或いはユーザ情報によって、データ通信経路を開設すべきユーザ端末装置を表示装置に示すことができるので、表示装置とユーザ端末装置との間のデータ通信経路の開設をコントロールすることができる。
 また、上記構成の通信方法において、前記司会者端末装置は、前記データID情報と、前記位置情報と、前記複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報と、前記表示データの所有者であるユーザを示すユーザ情報と、を有する前記第1の情報を、前記ネットワークを介して前記表示装置に送信し、前記表示装置は、前記通信経路識別情報と前記データID情報と前記位置情報と前記ユーザ情報と前記アクセス権情報とに基づいて、前記表示データを前記表示部に表示するものとしてもよい。
 このような構成とすることによって、表示装置は、通信経路識別情報によって識別されるデータ通信経路から受信した表示データを、データID情報によって、司会者端末装置から受信したユーザ情報、アクセス権情報、及び位置情報と関連付けることができ、ユーザ情報とアクセス権情報とに基づいて、データID情報により識別される表示データを表示するか否かを判断して、その表示データを位置情報が示す表示部の表示位置に表示することができる。従って、ユーザ端末装置から転送される表示データはデータID情報によって管理されるとともに、その表示データに対して、情報端末装置を使用している複数のユーザそれぞれに設定されたアクセス権(すなわち、その表示データの生成や変更が許可されているか否か)に応じて、表示装置の表示部に表示される各表示データがコントロールされる。よって、複数のユーザ間でそれぞれのアクセス権に応じた円滑なコミュニケーションが可能となる。
 また、上記構成の通信方法において、前記表示装置は、前記アクセス権情報が示す前記表示データの生成と変更とが許可されたユーザと、前記ユーザ情報が示すユーザとが一致するとき、前記通信経路識別情報と前記データID情報と前記位置情報とに基づいて、前記表示データを前記表示部に表示するとしてもよい。
 このような構成とすることによって、表示装置は、データID情報により識別される表示データの所有者であるユーザと、その表示データに対するアクセス権(すなわち、その表示データの生成や変更が許可されているか否か)を有するユーザとが一致した場合のみ、その表示データを表示部に表示することができる。すなわち、表示装置は、通信経路識別情報によって特定されるデータ通信経路から受信した表示データをデータID情報により特定し、特定した表示データを位置情報が示す表示部での表示位置に表示する。よって、複数のユーザ間でそれぞれのアクセス権に応じた円滑なコミュニケーションが可能となる。
 また、上記構成の通信方法において、前記複数のユーザが参加する電子会議での通信方法であるものとしてもよい。このような構成とすることによって、仮想の会議室(すなわち、電子会議システム)にて提示される各発言(表示データ)をデータID情報によって確実且つ容易に管理することができるとともに、仮想の会議室に参加している複数の参加者(ユーザ)それぞれに設定されたアクセス権(すなわち、その発言(表示データ)の提示や修正が許可されているか否か)に応じて、仮想の会議室に提示される発言(表示データ)をコントロールすることができる、よって、仮想の会議室に参加している複数のユーザは、それぞれのアクセス権に応じた円滑なコミュニケーションを可能とすることができる。
 また、上記構成の通信方法において、前記表示装置と前記情報端末装置とが、XMPP(eXtensible Messaging and Presence Protocol)に準拠した通信を行うものとしてもよい。このような構成とすることによって、表示装置と情報端末装置(司会者端末装置、ユーザ端末装置)との間でリアルタイムなメッセージング(情報交換)をすることができるとともに、データID情報により、XMPPによりメッセージングされるデータと表示装置の表示部に表示される表示データとを簡便且つ確実に対応付けることができる。
 なお、XMPPとは、IETF(Internet Engineering Task Force)のXMPPワーキンググループから独立したXSF(XMPP Standards Foundation)により規格・標準化が進められているXMLベースのプロトコル(通信規約)である。XMPPは、インスタントメッセージ、プレゼンス(「相手が今どういう状態にあるのか」)、多人数チャット、音声またはテレビ電話、協調作業、コンテンツ・シンジケーション、XMLデータの一般化ルーティングなどを含む広範囲のアプリケーションを動的に制御し、インターネットなどの通信システムにおいてリアルタイムなコミュニケーションを行うために、それぞれの目的に応じて規格化された複数の拡張プロトコル(XEP:XMPP Extension Protocol)からなっている。
 また、上記構成の通信方法において、前記表示装置と前記ユーザ端末装置との間の前記データ通信経路の開設、及び、前記ユーザ端末装置から前記表示装置への前記データ通信経路を介した前記表示データの送信は、XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて行われるものとしてもよい。このような構成とすることによって、表示装置とユーザ端末装置との間のネットワークにNAT(Network Address Translation)やファイヤウォールが配置されている場合であっても、表示データはネットワークとは別のデータ通信経路を介して送信されるので、データ転送が遮断されるなどの影響を受けることなく、データ通信経路を介して確実に表示データの転送が行われる。
 なお、XEP-0166(Jingle)は、2つの通信可能な端末装置の間にデータを送受信する通信経路を確立する機能を規定したプロトコル(通信規約)である。また、このJingleに関連するプロトコルとして、XEP-0167(Jingle RTP Sessions)やXEP-0177(Jingle Raw UDP Transport Method)などがある。XEP-0167は、RTP(Real-time Transport Protocol)を使って音声データや動画データなどをストリーミング方式で送受信する通信経路を確立する機能を規定したプロトコル(通信規約)である。また、XEP-0177(Jingle Raw UDP Transport Method)は、UDP(User Datagram Protpcol)を利用したデータの送受信を定義したプロトコル(通信規約)である。
 また、上記構成の通信方法において、前記第1の情報、及び前記第2の情報は、メタ情報を拡張したhtml(Hyper Text Markup Language)ファイルであってもよい。ここで、メタ情報を拡張したhtmlファイルとは、XMPPに準拠した通信に適合するhtmlにて表現し得る形式のデータであり、前記表示装置と前記ユーザ端末装置との間に開設されたデータ通信経路を通じて転送される表示データに関連する情報(属性情報)であるメタ情報を含んでいる。メタ情報としては、データID情報や、位置情報、通信経路識別情報、アクセス権情報、ユーザ情報などのXMPPによるメッセージングに対応する属性情報が含まれる。このように、メタ情報として、XMPPによるメッセージングに対応する属性情報(たとえば、データID情報、位置情報、通信経路識別情報、アクセス権情報、ユーザ情報など)を利用することを拡張と呼んでいる。
 このような構成とすることによって、第1の情報や第2の情報に含まれる各メタ情報(たとえば、データID情報や位置情報、通信経路識別情報、ユーザ情報、アクセス権情報など)を、Webブラウザで利用されているhtml形式での記述にマッピングすることができる。すなわち、第1の情報や第2の情報に含まれる各メタ情報(データID情報や位置情報、通信経路識別情報、ユーザ情報、アクセス権情報など)とhtmlの表示要素とを対応付けることができる。よって、XMPPによるメッセージングとWebやhtmlとを結びつけることができる。
 また、上記構成の通信方法において、前記第1の情報、及び前記第2の情報は、前記表示装置の前記表示部に表示を行うための表示情報を構成する断片情報であるものとしてもよい。このような構成とすることによって、例えば、情報端末装置(司会者端末装置、ユーザ端末装置)が、表示装置の表示部に表示を行うための表示情報が有する一部の情報を変更しようとするとき、変更された情報を有する断片情報のみを送信すれば、表示装置は、受信した断片情報に基づいて表示部に表示を行うための表示情報を修正することができる。すなわち、表示情報全体を送信する必要がない。従って、表示装置と情報端末装置(司会者端末装置、ユーザ端末装置)との間で送受信される情報をより軽量なものとすることができるので、通信に要する時間を短縮することができるとともに、表示装置と情報端末装置(司会者端末装置、ユーザ端末装置)との間のネットワークにかかる負担を大幅に低減することができる。よって、通信に参加している複数のユーザは、より利便性のよい通信を行うことができる。
 また、上記目標を達成するために本発明の表示装置は、表示データを表示する表示部と、前記表示データを管理する司会者端末装置及び前記表示データを送信するユーザ端末装置を有する複数の情報端末装置とネットワークを介して通信を行う通信部と、前記通信部が、前記司会者端末装置から前記ネットワークを介して、前記表示データを識別するためのデータID情報と、前記表示部での前記表示データの表示位置を示す位置情報と、を有する第1の情報を受信すると、前記ユーザ端末装置との間に、前記表示データが送信されるデータ通信経路を開設する制御部と、を備え、前記通信部は、前記データ通信経路を識別するための通信経路識別情報と、前記データID情報と、を有する第2の情報を、前記ネットワークを介して前記ユーザ端末装置に送信し、前記表示部は、前記通信経路識別情報と前記データID情報と前記位置情報とに基づいて、前記ユーザ端末装置から前記通信経路識別情報によって特定される前記データ通信経路を介して前記通信部が受信する前記表示データを表示する。
 上記構成の表示装置によれば、表示装置が表示データを管理する司会者端末装置から、その表示データを識別するためのデータID情報と、その表示データを表示する位置を示す位置情報とを受信したとき、その表示データを送信するユーザ端末装置と表示装置との間にネットワークとは別のデータ通信経路が開設される。そして、表示装置は、開設されたデータ通信経路を識別するための通信経路識別情報を、ネットワークを介してユーザ端末装置に送信する。従って、ユーザ端末装置は、通信経路識別情報によって特定したデータ通信経路を介して、表示データを表示装置に送信できる。このように、表示データはネットワークとは別の専用のデータ通信経路を介してユーザ端末装置から表示装置に送信される。よって、ネットワークを通じて送受信されるデータと、データ通信経路を通じて送信される表示データとが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、表示データを、簡便且つ効率よく、正確に転送することができる。また、表示装置は、通信経路識別情報によって特定したデータ通信経路から受信した表示データを、データID情報によって、位置情報と関連付けることができ、さらに、位置情報が示す表示部の表示位置にその表示データを表示することができる。よって、表示装置は、専用のデータ通信経路を介して送信された表示データを、表示部の表示画面上で構造化して表示することができる。
 また、ユーザ端末装置からデータ通信経路を介して表示装置に、直接に、表示データが転送されるので、そのユーザ端末装置や表示装置以外の端末装置によって、そのデータ通信経路が利用されたり、そのデータ通信経路を通じて送受信される表示データが取得或いは変更されたりされるおそれがなくなる。よって、データ通信経路を介したデータ転送のセキュリティ性をより高めることができる。
 上記構成の表示装置において、前記データ通信経路は、前記表示データが送信される論理的な通信経路であってもよい。このような構成とすることによって、表示装置と各情報端末装置との間に表示データを直接に送信する直通のデータ通信経路を開設するとき、ネットワークとは別に物理的な通信回線を設ける必要がない。すなわち、ネットワークが通じている物理的な通信回線に、ネットワークとは別の新たな論理的な通信経路(論理回線)を設けることにより、ネットワークとは論理的に別回線となる論理回線を通じて表示データを送受信することができる。従って、ネットワークを通じて送受信されるデータと、論理回線を通じて送信される表示データとが互いに干渉することがないので、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、表示データを、さらに簡便且つ効率よく、正確に転送することができる。
 上記構成の表示装置において、前記表示データは、テキスト形式以外の形式のマルチメディアデータであってもよい。このような構成とすることによって、ユーザ端末装置から表示装置に、動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータが送信される場合であっても、そのマルチメディアデータはネットワークとは別の専用のデータ通信経路で送信される。よって、ネットワークを通じて送受信されるデータ(テキストデータなど)と、データ通信経路を通じて送信される表示データ(テキスト形式以外の形式のマルチメディアデータ)とが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、表示装置は、ユーザ端末装置から動画データや音声データのようなテキスト以外の形式のマルチメディアデータを、さらに簡便且つ効率よく受信することができる。また、表示装置は、通信経路識別情報によって特定したデータ通信経路から受信したマルチメディアデータを、データID情報によって、位置情報と関連付けることができ、さらに、位置情報が示す表示部の表示位置にそのマルチメディアデータを表示することができる。よって、表示装置は、専用のデータ通信経路を介して受信したマルチメディアデータを、表示部の表示画面上で構造化して表示することができる。
 上記構成の表示装置において、前記通信部が、前記司会者端末装置から、前記データID情報と、前記位置情報と、前記複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報と、を有する前記第1の情報を、前記ネットワークを介して受信すると、前記制御部は、前記アクセス権情報が示すユーザが使用するユーザ端末装置との間に、前記表示データが送信される前記データ通信経路を開設するものとしてもよい。
 或いは、上記構成の表示装置において、前記通信部が、前記司会者端末装置から、前記データID情報と、前記位置情報と、前記表示データの所有者であるユーザを示すユーザ情報と、を有する前記第1の情報を、前記ネットワークを介して受信すると、前記制御部は、前記ユーザ権情報が示すユーザが使用するユーザ端末装置との間に、前記表示データが送信される前記データ通信経路を開設するものとしてもよい。
 このような構成とすることによって、表示装置は、司会者端末装置から送信されるアクセス権情報、或いはユーザ情報が示すユーザが使用するユーザ端末装置との間に、表示データが送信される直通のデータ通信経路を開設することができる。従って、表示装置と各情報端末装置との間で情報を共有するためにメッシュ状の通信経路網をはる必要がなく、必要に応じて、表示装置と表示データを送信するユーザ端末装置との間にデータ通信経路を開設するのみでよい。また、表示装置は、そのデータ通信経路から受信した表示データをデータID情報によって、位置情報と関連付けることができ、位置情報が示す表示部の表示位置にそのデータを表示することができる。
 また、上記構成の表示装置において、前記通信部は、前記司会者端末装置から前記ネットワークを介して、前記データID情報と、前記位置情報と、前記複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報と、前記表示データの所有者であるユーザを示すユーザ情報と、を有する前記第1の情報を受信し、前記表示部は、前記通信経路識別情報と前記データID情報と前記位置情報と前記ユーザ情報と前記アクセス権情報とに基づいて、前記表示データを表示するものとしてもよい。
 このような構成とすることによって、表示装置は、通信経路識別情報によって識別されるデータ通信経路から受信した表示データを、データID情報によって、司会者端末装置から受信したユーザ情報、アクセス権情報、及び位置情報と関連付けることができ、ユーザ情報とアクセス権情報とに基づいて、データID情報により識別される表示データを表示するか否かを判断して、その表示データを位置情報が示す表示部の表示位置に表示することができる。従って、ユーザ端末装置から転送される表示データはデータID情報によって管理されるとともに、その表示データに対して、情報端末装置を使用している複数のユーザそれぞれに設定されたアクセス権(すなわち、その表示データの生成や変更が許可されているか否か)に応じて、表示装置の表示部に表示される各表示データがコントロールされる。よって、複数のユーザ間でそれぞれのアクセス権に応じた円滑なコミュニケーションが可能となる。
 また、上記構成の表示装置において、前記表示部は、前記アクセス権情報が示す前記表示データの生成と変更とが許可されたユーザと、前記ユーザ情報が示すユーザとが一致するとき、前記通信経路識別情報と前記データID情報と前記位置情報とに基づいて、前記表示データを表示するものとしてもよい。
 このような構成とすることによって、表示装置は、データID情報により識別される表示データの所有者であるユーザと、その表示データに対するアクセス権(すなわち、その表示データの生成や変更が許可されているか否か)を有するユーザとが一致した場合のみ、その表示データを表示部に表示することができる。すなわち、表示装置は、通信経路識別情報によって特定されるデータ通信経路から受信した表示データをデータID情報により特定し、特定した表示データを位置情報が示す表示部での表示位置に表示する。よって、複数のユーザ間でそれぞれのアクセス権に応じた円滑なコミュニケーションが可能となる。
 また、上記構成の表示装置において、前記複数の情報端末装置と、XMPPに準拠した通信を行うものとしてもよい。このような構成とすることによって、表示装置は、複数の情報端末装置(司会者端末装置、ユーザ端末装置)との間でリアルタイムなメッセージング(情報交換)をすることができるとともに、データID情報により、XMPPによりメッセージングされるデータと表示部に表示されるデータとを簡便且つ確実に対応付けることができる。
 また、上記構成の表示装置において、XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて、前記制御部は、前記ユーザ端末装置との間に前記データ通信経路を開設し、前記通信部は、前記ユーザ端末装置から前記データ通信経路を介して、前記表示データを受信するものとしてもよい。このような構成とすることによって、表示装置とユーザ端末装置との間のネットワークにNATやファイヤウォールが配置されている場合であっても、表示データはネットワークとは別のデータ通信経路を介して送信されるので、表示装置は、データ転送が遮断されるなどの影響を受けることなく、データ通信経路を介して確実に表示データを受信することができる。
 また、上記構成の表示装置において、前記第1の情報、及び前記第2の情報は、メタ情報を拡張したhtmlファイルであってもよい。ここで、メタ情報を拡張したhtmlファイルとは、XMPPに準拠した通信に適合するhtmlにて表現し得る形式のデータであり、表示装置とユーザ端末装置との間に開設されたデータ通信経路を通じて転送される表示データに関連する情報(属性情報)であるメタ情報を含んでいる。メタ情報としては、データID情報や、位置情報、通信経路識別情報、アクセス権情報、ユーザ情報などのXMPPによるメッセージングに対応する属性情報が含まれる。ここで、このように、メタ情報として、XMPPによるメッセージングに対応する属性情報(データID情報、位置情報、通信経路識別情報、アクセス権情報、ユーザ情報など)を利用することを拡張と呼んでいる。
 このような構成とすることによって、第1の情報や第2の情報に含まれる各メタ情報(データID情報や位置情報、通信経路識別情報、ユーザ情報、アクセス権情報など)を、Webブラウザで利用されているhtml形式での記述にマッピングすることができる。すなわち、第1の情報や第2の情報に含まれる各メタ情報(データID情報や位置情報、通信経路識別情報、ユーザ情報、アクセス権情報など)とhtmlの表示要素とを対応付けることができる。よって、XMPPによるメッセージングとWebやhtmlとを結びつけることができる。
 また、上記構成の表示装置において、前記第1の情報、及び前記第2の情報は、前記表示部に表示を行うための表示情報を構成する断片情報であるものとしてもよい。このような構成とすることによって、例えば、複数の情報端末装置(司会者端末装置、ユーザ端末装置)が、表示部に表示を行うための表示情報が有する一部の情報を変更しようとするとき、変更された情報を有する断片情報のみを送信すれば、表示装置は、受信した断片情報に基づいて表示部に表示を行うための表示情報を修正することができる。すなわち、表示情報全体を送信する必要がない。従って、表示装置と複数の情報端末装置(司会者端末装置、ユーザ端末装置)との間で送受信される情報をより軽量なものとすることができるので、通信に要する時間を短縮することができるとともに、表示装置と複数の情報端末装置(司会者端末装置、ユーザ端末装置)との間のネットワークにかかる負担を大幅に低減することができる。よって、通信に参加している複数のユーザは、より利便性のよい通信を行うことができる。
 また、上記目標を達成するために本発明のユーザ端末装置は、表示装置に表示する表示データを送信するデータ通信経路を、前記表示装置との間に開設する制御部と、前記表示装置からネットワークを介して、前記表示データを識別するためのデータID情報と、前記データ通信経路を識別するための通信経路識別情報とを有する第2の情報を受信すると、前記データ通信経路を介して、前記表示データを前記表示装置に送信する通信部と、を備える。
 上記構成のユーザ端末装置によれば、ユーザ端末装置と表示装置との間に、ネットワークとは別の表示データが送信されるデータ通信経路が開設され、そのデータ通信経路を識別するための通信経路識別情報が表示装置からユーザ端末装置に送信される。従って、ユーザ端末装置は、通信経路識別情報によって特定したデータ通信経路を介して、表示データを表示装置に送信できる。このように、ユーザ端末装置は、表示データをネットワークとは別の専用のデータ通信経路を介して表示装置に送信する。よって、ネットワークを通じて送受信されるデータと、データ通信経路を通じて送信される表示データとが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、表示データを、簡便且つ効率よく、正確に転送することができる。
 また、ユーザ端末装置は、データ通信経路を介して表示装置に、直接に、表示データを送信するので、このユーザ端末装置や表示装置以外の端末装置によって、そのデータ通信経路が利用されたり、そのデータ通信経路を通じて送受信される表示データが取得或いは変更されたりされるおそれがなくなる。よって、データ通信経路を介したデータ転送のセキュリティ性をより高めることができる。
 上記構成のユーザ端末装置において、前記データ通信経路は、前記表示装置に表示する前記表示データを送信する論理的な通信経路であってもよい。このような構成とすることによって、ユーザ端末装置と表示装置との間に表示データを直接に送信する直通のデータ通信経路を開設するとき、ネットワークとは別に物理的な通信回線を設ける必要がない。すなわち、ネットワークが通じている物理的な通信回線に、ネットワークとは別の新たな論理的な通信経路(論理回線)を設けることにより、ネットワークとは論理的に別回線となる論理回線を通じて表示データを送信することができる。従って、ネットワークを通じて送受信されるデータと、論理回線を通じて送信される表示データとが互いに干渉することがないので、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、表示データを、さらに簡便且つ効率よく、正確に転送することができる。
 また、上記構成のユーザ端末装置において、前記表示データは、テキスト形式以外の形式のマルチメディアデータであってもよい。このような構成とすることによって、ユーザ端末装置は、表示装置に、動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータを送信する場合であっても、そのマルチメディアデータをネットワークとは別の専用のデータ通信経路で送信する。よって、ネットワークを通じて送受信されるデータ(テキストデータなど)と、データ通信経路を通じて送信される表示データ(テキスト形式以外の形式のマルチメディアデータ)とが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、テキスト形式以外の形式のマルチメディアデータを、さらに簡便且つ効率よく、正確に転送することができる。
 上記構成のユーザ端末装置において、前記表示装置と、XMPPに準拠した通信を行うものとしてもよい。このような構成とすることによって、ユーザ端末装置は、表示装置との間で、リアルタイムなメッセージング(情報交換)をすることができるとともに、データID情報により、XMPPによりメッセージングされるデータと表示装置に送信する表示データとを簡便且つ確実に対応付けることができる。
 また、上記構成のユーザ端末装置において、XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて、前記制御部は、前記表示装置との間に、前記通信経路識別情報によって特定される前記データ通信経路を開設し、前記通信部は、前記データ通信経路を介して、前記表示データを前記表示装置に送信するものとしてもよい。このような構成とすることによって、表示装置とユーザ端末装置との間のネットワークにNATやファイヤウォールが配置されている場合であっても、ユーザ端末装置は、表示データをネットワークとは別のデータ通信経路を介して送信するので、データ転送が遮断されるなどの影響を受けることなく、確実に表示データの転送を行うことができる。
 また、上記構成のユーザ端末装置において、前記第2の情報は、メタ情報を拡張したhtmlファイルであってもよい。ここで、メタ情報を拡張したhtmlファイルとは、XMPPに準拠した通信に適合するhtmlにて表現し得る形式のデータであり、表示装置とユーザ端末装置との間に開設されたデータ通信経路を通じて転送される表示データに関連する情報(属性情報)であるメタ情報を含んでいる。メタ情報としては、データID情報や、通信経路識別情報などのXMPPによるメッセージングに対応する属性情報が含まれる。このような構成とすることによって、第2の情報に含まれる各メタ情報(データID情報や通信経路識別情報など)を、Webブラウザで利用されているhtml形式での記述にマッピングすることができる。すなわち、第2の情報に含まれる各メタ情報(データID情報や通信経路識別情報など)とhtmlの表示要素とを対応付けることができる。よって、XMPPによるメッセージングとWebやhtmlとを結びつけることができる。
 また、上記構成のユーザ端末装置において、前記第2の情報は、前記表示装置に表示を行うための表示情報を構成する断片情報であるものとしてもよい。このような構成とすることによって、例えば、ユーザ端末装置が、表示装置の表示部に表示を行うための表示情報が有する一部の情報を変更しようとするとき、変更された情報を有する断片情報のみを送信すれば、表示装置は、受信した断片情報に基づいて表示部に表示を行うための表示情報を修正することができる。すなわち、表示情報全体を送信する必要がない。従って、ユーザ端末装置から表示装置に送信する情報をより軽量なものとすることができるので、通信に要する時間を短縮することができるとともに、表示装置とユーザ端末装置との間のネットワークにかかる負担を大幅に低減することができる。よって、通信に参加している複数のユーザは、より利便性のよい通信を行うことができる。
 また、上記目標を達成するために本発明の司会者端末装置は、上述のユーザ端末装置から上述の表示装置に送信される表示データを管理する司会者端末装置において、前記表示データを識別するためのデータID情報と、前記表示装置の表示部での前記表示データの表示位置を示す位置情報と、を生成する制御部と、前記表示装置にネットワークを介して、前記データID情報と前記位置情報とを有する第1の情報を送信する通信部と、を備える。
 上記構成の司会者端末装置によれば、ユーザ端末装置から表示装置に、簡便且つ効率よく、正確に転送される表示データは、データID情報によって位置情報と関連付けられ、さらに、位置情報が示す表示装置の表示部の表示位置にその表示データが表示される。よって、司会者端末装置を使用しているユーザは、ユーザ端末装置からデータ通信経路を介して表示装置に送信された表示データを、表示装置の表示部の表示画面上で構造化して表示させることができ、さらに、データID情報と位置情報とによって、ユーザ端末装置からネットワークとは別の専用のデータ通信経路を介して表示装置に送信される表示データと、その表示データの表示装置の表示部での表示位置とを確実且つ簡便に管理することができる。
 上記構成の司会者端末装置において、前記制御部は、前記表示装置と通信する複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報を生成し、前記第1の情報は、さらに、前記アクセス権情報を有するものとしてもよい。
 或いは、上記構成の司会者端末装置において、前記制御部は、前記表示データの所有者であるユーザを示すユーザ情報を生成し、前記第1の情報は、さらに、前記ユーザ情報を有するものとしてもよい。
 このような構成とすることによって、司会者端末装置は、アクセス権情報或いはユーザ情報を表示装置に送信することによって、データ通信経路を開設すべきユーザ端末装置を表示装置に示すことができるので、表示装置とユーザ端末装置との間のデータ通信経路の開設をコントロールすることができる。また、表示装置は、司会者端末装置から送信されるアクセス権情報、或いはユーザ情報が示すユーザが使用するユーザ端末装置との間に、データ通信経路を開設することができる。従って、表示装置と各情報端末装置との間で情報を共有するためにメッシュ状の通信経路網をはる必要がなく、必要に応じて、表示装置と表示データを送信するユーザ端末装置との間にデータ通信経路を開設するのみでよい。
 また、上記構成の司会者端末装置において、前記表示装置と、XMPPに準拠した通信を行うものとしてもよい。このような構成とすることによって、司会者端末装置は、表示装置との間で、リアルタイムなメッセージング(情報交換)をすることができるとともに、データID情報により、XMPPによりメッセージングされるデータと表示装置の表示部に表示されるデータとを簡便且つ確実に対応付けることができる。
 また、上記構成の司会者端末装置において、前記第1の情報は、メタ情報を拡張したhtmlファイルであってもよい。ここで、メタ情報を拡張したhtmlファイルとは、XMPPに準拠した通信に適合するhtml(Hyper Text Markup Language)にて表現し得る形式のデータであり、表示装置とユーザ端末装置との間に開設されたデータ通信経路を通じて転送される表示データに関連する情報(属性情報)であるメタ情報を含んでいる。メタ情報としては、データID情報や、位置情報、通信経路識別情報、アクセス権情報、ユーザ情報などのXMPPによるメッセージングに対応する属性情報が含まれる。
 このような構成とすることによって、第1の情報に含まれる各メタ情報(データID情報や位置情報、ユーザ情報、アクセス権情報など)を、Webブラウザで利用されているhtml形式での記述にマッピングすることができる。すなわち、第1の情報に含まれる各メタ情報(データID情報や位置情報、ユーザ情報、アクセス権情報など)とhtmlの表示要素とを対応付けることができる。よって、XMPPによるメッセージングとWebやhtmlとを結びつけることができる。
 また、上記構成の司会者端末装置において、前記第1の情報は、前記表示装置の前記表示部に表示を行うための表示情報を構成する断片情報であるものとしてもよい。このような構成とすることによって、司会者端末装置が、表示装置の表示部に表示を行うための表示情報が有する一部の情報の生成や変更をしたとき、その情報を有する断片情報のみを表示装置に送信すれば、表示装置はその断片情報に基づいて表示部に表示を行うための表示情報を修正することができる。すなわち、表示情報全体を送信する必要がない。従って、司会者端末装置と表示装置との間で送受信される情報をより軽量なものとすることができるので、通信に要する時間を短縮することができるとともに、表示装置と司会者端末装置との間のネットワークにかかる負担を大幅に低減することができる。よって、通信に参加している複数のユーザは、より利便性のよい通信を行うことができる。
 また、上記目標を達成するために本発明のマルチユーザ通信システムは、複数のユーザが参加し、前記複数のユーザが使用する各情報端末装置から上述の表示装置に送信される表示データが、前記表示装置にて表示されるマルチユーザ通信システムであって、前記複数の情報端末装置は、上述のユーザ端末装置と、上述の司会者端末装置とを有する。
 上記構成のマルチユーザ通信システムによれば、複数のユーザが参加し、それらのユーザが使用する各情報端末装置から提示される表示データが表示装置の表示部に表示されるマルチユーザ通信システムにおいて、表示装置は、表示データを管理する司会者端末装置から、その表示データを識別するためのデータID情報と、その表示データを表示する位置を示す位置情報とを受信したとき、その表示データを送信するユーザ端末装置と表示装置との間にネットワークとは別のデータ通信経路が開設される。そして、表示装置は、開設されたデータ通信経路を識別するための通信経路識別情報を、ネットワークを介してユーザ端末装置に送信する。従って、ユーザ端末装置は、通信経路識別情報によって特定したデータ通信経路を介して、表示データを表示装置に送信できる。このように、データはネットワークとは別の専用のデータ通信経路を介してユーザ端末装置から表示装置に送信される。よって、ネットワークを通じて送受信されるデータと、データ通信経路を通じて送信される表示データとが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、表示データを、簡便且つ効率よく、正確に転送することができる。また、表示装置は、通信経路識別情報によって特定したデータ通信経路から受信した表示データを、データID情報によって、位置情報と関連付けることができ、さらに、位置情報が示す表示部の表示位置にその表示データを表示することができる。よって、表示装置は、専用のデータ通信経路を介して送信された表示データを、表示部の表示画面上で構造化して表示することができる。
 また、司会者端末装置を使用しているユーザは、データID情報と位置情報とによって、ユーザ端末装置からネットワークとは別の専用のデータ通信経路を介して表示装置に送信される表示データと、その表示データの表示装置の表示部での表示位置とを確実且つ簡便に管理することができる。また、ユーザ端末装置からデータ通信経路を介して表示装置に、直接に、表示データが転送されるので、そのユーザ端末装置や表示装置以外の端末装置によって、そのデータ通信経路が利用されたり、そのデータ通信経路を通じて送受信される表示データが取得或いは変更されたりされるおそれがなくなる。よって、データ通信経路を介したデータ転送のセキュリティ性をより高めることができる。
 また、上記構成のマルチユーザ通信システムにおいて、前記表示データは、テキスト形式以外の形式のマルチメディアデータであってもよい。このような構成とすることによって、ユーザ端末装置から表示装置に、動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータが送信される場合であっても、そのマルチメディアデータはネットワークとは別の専用のデータ通信経路で送信される。よって、ネットワークを通じて送受信されるデータ(テキストデータなど)と、データ通信経路を通じて送信される表示データ(テキスト形式以外の形式のマルチメディアデータ)とが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、テキスト形式以外の形式のマルチメディアデータを、さらに簡便且つ効率よく、正確に転送することができる。また、表示装置は、通信経路識別情報によって特定したデータ通信経路から受信したマルチメディアデータを、データID情報によって、位置情報と関連付けることができ、さらに、位置情報が示す表示部の表示位置にそのマルチメディアデータを表示することができる。よって、表示装置は、専用のデータ通信経路を介して受信したマルチメディアデータを、表示部の表示画面上で構造化して表示することができる。
 上記構成のマルチユーザ通信システムは、電子会議システムであってもよい。このような構成とすることによって、仮想の会議室(すなわち、電子会議システム)にて提示される各発言(表示データ)をデータID情報によって確実且つ容易に管理することができるとともに、仮想の会議室に参加している複数の参加者(ユーザ)それぞれに設定されたアクセス権(すなわち、その発言(表示データ)の提示や修正が許可されているか否か)に応じて、仮想の会議室に提示される発言(表示データ)をコントロールすることができる、よって、仮想の会議室に参加している複数のユーザは、それぞれのアクセス権に応じた円滑なコミュニケーションを可能とすることができる。
 また、上記構成のマルチユーザ通信システムにおいて、前記表示装置と前記情報端末装置とが、XMPPに準拠した通信を行うものとしてもよい。このような構成とすることによって、表示装置と複数の情報端末装置(司会者端末装置、ユーザ端末装置)との間でリアルタイムなメッセージング(情報交換)をすることができるとともに、データID情報により、XMPPによりメッセージングされるデータと表示装置の表示部に表示される表示データとを簡便且つ確実に対応付けることができる。
 また、上記構成のマルチユーザ通信システムにおいて、XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて、前記表示装置と前記ユーザ端末装置との間に、前記表示データが送信されるデータ通信経路が開設されるとともに、前記ユーザ端末装置から前記データ通信経路を介して前記表示装置に、前記表示データが送信されるものとしてもよい。このような構成とすることによって、表示装置とユーザ端末装置との間のネットワークにNATやファイヤウォールが配置されている場合であっても、表示データはネットワークとは別のデータ通信経路を介して送信されるので、データ転送が遮断されるなどの影響を受けることなく、データ通信経路を介して確実に表示データの転送が行われる。
 本発明によれば、表示装置と情報処理装置とを接続するネットワークとは別のデータ通信経路を介して、表示データが、表示装置に送信される。よって、ネットワークを通じて送受信されるデータと、データ通信経路を通じて送信される表示データとが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置から表示装置に、表示データを、簡便且つ効率よく、正確に転送することができる。また、表示装置は、通信経路識別情報によって特定したデータ通信経路から受信した表示データを、データID情報によって、位置情報と関連付けることができ、さらに、位置情報が示す表示部の表示位置にその表示データを表示することができる。よって、表示装置は、専用のデータ通信経路を介して送信された表示データを、表示部の表示画面上で構造化して表示することができる。
本発明のマルチユーザ通信システムの一例を示す概念図である。 本発明の実施形態における電子会議システムの構成を示す構成図である。 本発明の実施形態における表示装置の構成を示す構成図である。 本発明の実施形態における情報端末装置の構成を示す構成図である。 本発明の実施形態における構造化表示情報の構成を示す構成図である。 本発明の実施形態における構造化表示情報に基づく表示画面を説明するための図である。 本発明の実施形態における構造化表示情報に基づく実際の表示画面の一例を示す図である。 テキストデータを有するhtml断片情報がhtml文書として表現された例を示す図である。 動画データを有するhtml断片情報がhtml文書として表現された例を示す図である。 音声データを有するhtml断片情報がhtml文書として表現された例を示す図である。 本発明の実施形態における電子会議システムが開設される手順を説明するための動作図である。 本発明の実施形態における情報端末装置が電子会議システムに参加するための手順を説明するための動作図である。 本発明の実施形態における電子会議システムの構造化表示情報の初期設定を行う手順を説明するための動作図である。 本発明の実施形態における情報端末装置から提供されるテキストデータが表示装置の表示画面に表示される手順を説明するための動作図である。 本発明の実施形態における情報端末装置から提供されるテキスト形式以外の形式のマルチメディアデータが表示装置の表示画面に表示される手順を説明するための動作図である。
 本発明について、以下に図面を参照して説明する。図1は、本発明のマルチユーザ通信システムの一例を示す概念図である。図1に示すように、本発明のマルチユーザ通信システムは、複数の参加者が情報発信を行う場において、各参加者から提示される多種多様な情報をリアルタイムに統合し、表示画面上に構造化して表示する。従って、たとえば、仮想の会議室に参加している複数のユーザが議論や意見の提示をすることができる電子会議システムなどに利用することができる。以下では、本発明のマルチユーザ通信システムについて、電子会議システムを例として説明する。
 図2は、本発明の実施形態における電子会議システムの構成を示す構成図である。図2に示すように、電子会議システム1は、表示装置10と、複数の情報端末装置20(201、202a、202b、202c、202d)とが、ネットワーク30(30a~30e)を介して通信を行っている。情報端末装置20は、後述する司会者端末装置201とユーザ端末装置202とを有する。
 また、電子会議システム1では、複数のユーザが参加し、それら複数のユーザが使用する各情報端末装置20から表示装置10に、ネットワーク30とは別のデータ回線40(データ通信経路)を介して送信される表示データが、表示装置10にて表示される。電子会議システム1に参加しているユーザが各情報端末装置20を通じて電子会議システム1に提示する表示データ(特に、動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータ)は、表示装置10と各情報端末装置20(司会者端末装置201、ユーザ端末装置202a~202d)との間に必要に応じて開設されるデータ回線40(40a~40e)を介して表示装置10に送信され、表示装置10にて、構造化された状態で表示される。
 なお、このデータ回線40a~40eは、それぞれ、ネットワーク30a~30eが通じている物理的な通信回線に開設される論理的な通信経路である。そのため、表示装置10と各情報端末装置20との間に表示データを直接に送信する直通のデータ回線40を開設するとき、ネットワーク30とは別に物理的な通信回線を設ける必要がない。ここで、論理的な通信経路とは、物理的に見た通信回線が有する論理的に見た仮想の通信回線(論理回線)である。たとえば、物理的には通信回線が1本であっても、複数の論理回線を設定することができ、論理回線毎に異なったデータ通信を行うことができる。たとえば、ネットワーク30とデータ回線40とは、同一の物理的な通信回線を通じているが、異なる論理回線である。
 また、電子会議システム1は、後述するXMPP(eXtensible Messaging and Presence Protocol)を利用して構築されており、表示装置10と複数の情報端末装置20とは、XMPPに準拠した通信を行う。よって、表示装置10と複数の情報端末装置20との間の通信では、リアルタイムなメッセージング(情報交換)をすることができる。
 ここで、本実施形態の電子会議システム1にて利用されるXMPPについて説明しておく。XMPPとは、IETF(Internet Engineering Task Force)のXMPPワーキンググループから独立したXSF(XMPP Standards Foundation)により規格・標準化が進められているXML(eXtensible Markup Language)ベースのプロトコル(通信規約)である。XMPPは、インスタントメッセージ、プレゼンス(「相手が今どういう状態にあるのか」)、多人数チャット、音声またはテレビ電話、協調作業、コンテンツ・シンジケーション、XMLデータの一般化ルーティングなどを含む広範囲のアプリケーションを動的に制御し、インターネットなどの通信システムにおいてリアルタイムなコミュニケーションを行うために、それぞれの目的に応じて規格化された複数の拡張プロトコル(XEP:XMPP Extension Protocol)からなっている。
 本実施形態の電子会議システム1は、このXMPPに規定されている様々なプロトコル(通信規約)を利用している。ここで、本実施形態の電子会議システム1を理解する上で重要なプロトコルであるXEP-0030(Service Discovery)、XEP-0045(Multi-User Chat)、XEP-0071(Xhtml-IM)、及びXEP-0166(Jingle)について説明しておく。
 XEP-0030(Service Discovery)は、情報を検出する機能を規定したプロトコル(通信規約)である。以下では、DISCOと呼ぶこととする。本実施形態の電子会議システム1では、後述するように、情報端末装置20は、このDISCOを利用して、参加する電子会議システム1を検索している。
 XEP-0045(Multi-User Chat)は、ネットワーク上の仮想的な空間における特定のコミュニティ(チャットルーム)内で複数のXMPPユーザがメッセージを交換できるマルチユーザチャット機能を規定しているプロトコル(通信規約)である。以下では、MUCと呼ぶこととする。また、このプロトコルでは、チャットルームのトピックやチャットルームへの招待といった標準的なチャット機能に加えて、ユーザをキック(強制退去)やバン(追放)する機能や、チャットルームの利用者に対して後述するロール(role)及びアフィリエイション(affiliation)を任命する機能などによりチャットルームを制御するモデルを規定している。
 ここで、ロールとは、チャットを利用している利用者に与えられる一時的なポジション又は特権レベルである。MUCでは、ユーザのキックやその発言の削除などができる「司会者」(moderator)、発言権をもつ「参加者」(participant)及び発言権のない「訪問者」(visitor)などが規定されている。また、アフィリエイションは、チャット利用後も永続的に有効なものとして利用者に与えられるものである。MUCでは、チャットルームを開設した「所有者」(owner)、チャットルームを管理・運営する「管理者」(administer)、その他の利用者である「会員」(member)、及びキックされてチャットルームへの再入室が許可されない「追放者」(outcast)などが規定されている。
 本実施携態の電子会議システム1は、上述のようなXMPPのプロトコル(通信規約)、特に、MUC(XEP-0045)に準拠したマルチユーザチャット機能などを利用して運営されている。また、このMUC機能は、後述するように表示装置10により提供されている。
 また、XEP-0071(Xhtml-IM)は、htmlのサブセットを用いた軽量なテキストのマークアップ(タグ付け)を含むインスタントメッセージの交換に関して規定しているプロトコル(通信規約)である。このプロトコルにより、インスタントメッセージの利用に適した一般的に使用されるhtml要素、属性、スタイルのプロパティの狭い範囲を利用したメッセージのフォーマットを設定することができる。本実施形態の電子会議システム1における表示装置10及び情報端末装置20は、このXEP-0071(Xhtml-IM)をさらに拡張したプロトコル(通信規約)に準拠して、テキストデータなどのXMPPメッセージの送受信を行っている。
 また、XEP-0166(Jingle)は、2つの通信可能な端末装置の間にデータを送受信する通信経路を確立する機能を規定したプロトコル(通信規約)である。また、このJingleに関連するプロトコルとして、XEP-0167(Jingle RTP Sessions)やXEP-0177(Jingle Raw UDP Transport Method)などがある。XEP-0167は、RTP(Real-time Transport Protocol)を使って音声データや動画データなどをストリーミング方式で送受信する通信経路を確立する機能を規定したプロトコル(通信規約)である。また、XEP-0177(Jingle Raw UDP Transport Method)は、UDP(User Datagram Protpcol)を利用したデータの送受信を定義したプロトコル(通信規約)である。以下では、XEP-0166(Jingle)をJingleと呼ぶ。また、XEP-0167(Jingle RTP Sessions)をJingle-RTPと呼び、XEP-0177(Jingle Raw UDP Transport Method)をJingle-UDPと呼ぶこととする。
 本実施形態の電子会議システム1では、表示装置10と情報端末装置20との間で、動画データや音声データなどのマルチメディアデータの送受信を行う場合には、後述するように、Jingle(XEP-0166)や、関連するプロトコル(通信規約)であるJingle-RTP(XEP-0167)、Jingle-UDP(XEP-0177)などの規約に準じて、表示装置と情報端末装置との間に、マルチメディアデータを転送するためのデータ回線40(データ通信経路)を確立し、そのデータ回線40を介してマルチメディアデータが転送される。
<装置構成>
 次に、本実施形態における電子会議システム1が有する表示装置10の具体的な構成について、図を参照して詳細に説明する。図3は、本発明の実施形態における表示装置の構成を示す構成図である。
 表示装置10は、電子会議システム1が有する複数の情報端末装置20と、XMPPに準拠した通信を行う。また、表示装置10は、電子会議システム1の参加者(情報端末装置20)が提示する発言(表示データ)をまとめた議事などの情報を構造化した状態で表示するための構造化表示情報(表示情報)として、html(Hyper Text Markup Language)の描画機構を利用している。
 図3に示すように、表示装置10は、表示データを表示する表示部11と、情報端末装置20(司会者端末装置201、ユーザ端末装置202)とネットワーク30を介して通信を行う通信部12と、構造化表示情報や通信部12が送受信する情報などを記憶する記憶部13と、表示部11や通信部12、記憶部13を制御する制御部14と、を備えている。
 通信部12は、表示データを識別するためのデータID(データID情報)と、表示部11での表示データの表示位置を示す位置情報と、表示データの所有者であるユーザを示すユーザ情報と、複数の情報端末装置20を使用するユーザ毎に設定され、表示データの生成と変更とを許可する否かを示すアクセス権情報と、を有する情報(第1の情報)を、司会者端末装置201からネットワーク30を介して受信する。また、通信部12は、表示装置10とユーザ端末装置202との間に表示データを送信するためのデータ回線40が開設されると、そのデータ回線40を識別するためのストリームID(通信経路識別情報)とデータID(データID情報)とを有する情報(第2の情報)を、ネットワーク30を介してユーザ端末装置202に送信する。
 制御部14は、通信部12が司会者端末装置201からネットワーク30を介して、データID(データID情報)や位置情報などを有する情報(第1の情報)を受信すると、ユーザ端末装置202との間に、表示データが送信されるデータ回線40(データ通信経路)を開設する。なお、司会者端末装置201から受信する情報(第1の情報)は、アクセス権情報やユーザ情報を有している。よって、制御部14は、通信部12が司会者端末装置201から受信するアクセス権情報又はユーザ情報が示すユーザが使用するユーザ端末装置202との間に、表示データが送信されるデータ回線40を開設する。
 また、制御部14は、各情報端末装置20から受信する表示データを統合して、構造化表示情報の生成や編集、構造化表示情報に含まれる情報(後述するような、html断片情報や、そのメタ情報であるデータID、位置情報、アクセス権情報、ユーザ情報など)の修正、構造化表示情報全体からhtmlで記述された文書を作成することなども行う。
 表示部11は、各情報端末装置20から電子会議システム1に提示される表示データを構造化して表示する。具体的には、表示部11は、個々に表示データを有する複数の断片情報が構造化されてなるとともに、電子会議システム1に提示される意見や資料、議事などを表示するための構造化表示情報(表示情報)に基づいて、構造化した表示を行う。
 また、表示部11は、司会者端末装置201から受信するストリームIDとデータIDと位置情報とに基づいて、ユーザ端末装置202からストリームIDによって特定されるデータ回線40を介して通信部12が受信する表示データを表示する。すなわち、表示部11は、ユーザ端末装置202からストリームIDによって特定したデータ回線40を介して通信部12が受信した表示データと、データIDによって、位置情報と関連付け、さらに、データIDによって特定される表示データを、位置情報が示す表示部11の表示位置に表示する。
 また、表示部11は、司会者端末装置201から受信するストリームIDと、データIDと、位置情報と、表示データの所有者であるユーザを示すユーザ情報と、複数の情報端末装置を使用するユーザ毎に設定され、表示データの生成と変更とを許可する否かを示すアクセス権情報とに基づいて、表示データを表示する。すなわち、表示部11は、アクセス権情報が示す表示データの生成と変更とが許可されたユーザと、ユーザ情報が示すユーザとが一致するとき、ストリームIDとデータIDと位置情報とに基づいて、表示データを表示する
 次に、本実施形態における電子会議システム1が有する情報端末装置20の具体的な構成について、図を参照して詳細に説明する。情報端末装置20は、電子会議システム1が有する表示装置10と、XMPPに準拠した通信を行う。図4は、本発明の実施形態における情報端末装置の構成を示す構成図である。
 図4に示すように、情報端末装置20は、ユーザが入力したデータなどを表示する端末表示部21(表示部)と、表示装置10に対して情報の送受信を行う端末通信部22(通信部)と、端末通信部22が送受信する情報や表示装置10の表示部11に表示させる表示データなどを記憶する端末記憶部23(記憶部)と、端末通信部22における送受信動作や端末記憶部23における情報の記憶や読み出し動作などを制御する端末制御部24(制御部)と、ユーザがデータを入力するための端末入力部25(入力部)と、を備えている。また、後述するように、端末制御部24は、必要に応じて、構造化表示情報を構成するhtml断片情報やそのメタ情報の編集や再構成なども行う。
 また、各情報端末装置20には、「司会者」(moderator)及び「参加者」(participant)といった、MUC機能を利用して運営されている電子会議システム1における一時的な特権レベルを示すロールが割り当てられている。なお、本実施形態の電子会議システム1では、各情報端末装置20のアフィリエイションについては言及しないが、「司会者」(moderator)が「所有者」(owner)及び「管理者」(administer)のアフィリエイションを持ち、「参加者」(participant)は「会員」(member)のアフィリエイションを持つものとする。また、「訪問者」(visitor)や「追放者」(outcast)などにはついては言及しない。以下では、仮想の会議室(電子会議システム1)において、「司会者」というロールが与えられた情報端末装置を司会者端末装置201とし、「参加者」というロールが与えられた情報端末装置をユーザ端末装置202として説明する。
 司会者端末装置201は、電子会議システム1での議事進行を行ない、表示装置10の表示部11に表示される表示データを管理する情報端末装置である。司会者端末装置201の端末制御部24は、表示装置10の表示部11に表示される各表示データを識別するためのデータID(データID情報)や、各情報端末装置20(すなわち、司会者端末装置201、ユーザ端末装置202)を使用するユーザ毎に表示データの生成と変更とを許可する否かを示すアクセス権を示すアクセス権情報、その表示データの所有者となるユーザを示すユーザ情報などを設定することができる。また、端末通信部22は、ネットワーク30を介して表示装置10に、データIDや、位置情報、ユーザ情報、アクセス権情報などを有する情報(第1の情報)を送信する。なお、司会者端末装置201は、ユーザ端末装置202と同様に、表示データを表示装置10に送信することもできる。
 ユーザ端末装置202は、表示データを表示装置10に送信する情報端末装置20である。ユーザ端末装置202は、表示装置10からデータ回線40を開設する旨を受信すると、端末制御部24は、表示装置10とデータ回線40を開設するための交渉(ネゴシエーション)を行い、表示装置10との間に、ネットワーク30とは別に、表示データを送信するためのデータ回線40を開設する。また、ユーザ端末装置202は、表示装置10からネットワーク30を介して、表示データを識別するためのデータID(データID情報)と、データ回線40を識別するためのストリームID(通信経路識別情報)とを有する情報(第2の情報)を受信すると、データ回線40(データ通信経路)を介して、端末通信部22からそのデータIDに対応する表示データを表示装置10に送信する。なお、上述のデータ回線40の開設や、データ回線40を介しての表示データの送信は、XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかのプロトコル(通信規約)に準じて行われる。
 次に、電子会議システム1における議事などを表示するための構造化表示情報について説明する。構造化表示情報は、複数の情報がそれぞれ構造的な相関を有して成り、表示装置10の表示部11に表示を行うための構造化された情報である。また、その構造は、特に限定されるものではなく、木構造などをとり得る。以下では、構造化表示情報を構成する個々の情報を、html断片情報と呼ぶこととする。図5は、本発明の実施形態における構造化表示情報の構成を示す構成図である。図5に示すように、構造化表示情報は、各html断片情報は、html断片情報n0を頂点として、階層的な相関を有している。ここで、このような構造において、あるhtml断片情報に対して1つ上の階層にあるhtml断片情報は親html断片情報と呼び、あるhtml断片情報に対して1つ下の階層にあるhtml断片情報は子html断片情報と呼ぶこととする。
 次に、複数のhtml断片情報から構成される構造化表示情報に基づいて表示装置10の表示部11に表示される表示画面について説明する。図6は、本発明の実施形態における構造化表示情報に基づく表示画面を説明するための図である。また、図7は、本発明の実施形態における構造化表示情報に基づく実際の表示画面の一例を示す図である。図7に示すように、表示部11の表示画面111における各情報表示枠は各html断片情報と対応しており、それぞれのhtml断片情報が有する表示データ(例えばテキストデータ、画像データ、動画データ、音声データなど)は、対応する情報表示枠内に表示される。
 例えば、表示画面111において、html断片情報n0が有する情報は情報表示枠N0内に表示され、html断片情報n0の下の階層のhtml断片情報(子html断片情報)であるhtml断片情報n1、n2、n3が有する情報は、情報表示枠N0内に配置された情報表示枠N1、N2、N3内にそれぞれ表示される。また、html断片情報n1の子html断片情報であるhtml断片情報n11、n12が有する情報は情報表示枠N1内に配置された情報表示枠N11、N12内にそれぞれ表示され、html断片情報n2の子html断片情報であるhtml断片情報n21が有する情報は情報表示枠N2内に配置された情報表示枠N21内に表示され、html断片情報n3の子html断片情報であるhtml断片情報n31、n32、n33が有する情報は情報表示枠N3内に配置された情報表示枠N31、N32、N33内にそれぞれ表示される。また、html断片情報n12の子html断片情報であるhtml断片情報n121、n122が有する情報は情報表示枠N12内に配置された情報表示枠N121、N122内にそれぞれ表示される。このように、構造化表示情報に基づく表示部11の表示画面111では、子html断片情報が有する情報は、親html断片情報の情報表示枠内に配置された情報表示枠内に表示される。
 また、構造化表示情報を構成する各html断片情報は、それぞれ、表示装置10の表示部11に表示される表示データを有している。各html断片情報が有するこの表示データは、たとえば、テキストデータ、画像データ、動画データ、音声データなどが挙げられる。
 また、各html断片情報は、html断片情報が有する表示データ(すなわち、表示装置10の表示部11に表示される表示データ)を識別するための固有のデータID(データID情報)や、html断片情報が有する表示データ(すなわち、表示装置10の表示部11に表示される表示データ)の表示部11での表示位置を示す位置情報、html断片情報が有する表示データの所有者であるユーザを示すユーザ情報、情報端末装置20(司会者端末装置201、ユーザ端末装置202)を使用しているユーザ毎に設定されたhtml断片情報に対するアクセス権(すなわち、html断片情報が有する表示データの生成や変更などを許可するか否か)を示すアクセス権情報などを、html断片情報が有する表示データに関連する情報であるメタ情報として有している。なお、本来のhtmlでは、上述のようなアクセス権情報、ユーザ情報などを記述する文法はない。しかしながら、電子会議システム1では、マルチユーザ通信システムにおいてhtmlを利用するために、各html断片情報に、アクセス権情報、ユーザ情報の記述などの拡張を行っている。
 ここで、位置情報が示す表示データの表示位置は、親html断片情報の情報表示枠内での絶対座標で指定されていてもよいし、親html断片情報の情報表示枠内でその文書フローに合わせて配置されて表示されるものとしてもよい。たとえば、html断片情報が<div>で囲まれて記述されている場合には、親html断片情報の情報表示枠内での絶対座標で表示位置が指定され、html断片情報が<par>で囲まれて記述されている場合には、親html断片情報の情報表示枠内でその文書フローに合わせて配置されて表示されるものとしてもよい。
 また、各html断片情報のメタ情報が有するユーザ情報は、そのhtml断片情報の所有者を示すものであってもよく、そのユーザ情報が示すユーザは、そのhtml断片情報に対して、子html断片情報の生成や削除をすることができるものとしてもよい。
 また、各html断片情報は、各情報端末装置を使用するユーザ毎に設定されたそのhtml断片情報が有する表示データに対するアクセス権(すなわち、表示データの生成や変更などが許可されているか否か)を示すアクセス権情報に許可されたユーザのみがアクセスすることができる。アクセス権情報によって、アクセス権が付与されたユーザは、そのhtml断片情報にアクセスして、html断片情報が有する表示データやメタ情報の閲覧、その内容の変更や修正などを行うことができる。なお、親html断片情報に対するアクセス権は、子html断片情報にも継承される。すなわち、親html断片情報のアクセス権情報で、アクセス権が付与されなかったユーザは、子html断片情報に対してもアクセス権を有していない。また、親html断片情報のアクセス権情報で、アクセス権が付与されたユーザは、子html断片情報に対してもアクセス権を有していることとなる。
 図8A~図8Cに、本実施形態におけるhtml断片情報の例を示す。図8Aは、テキストデータを有するhtml断片情報がhtml文書として表現された例を示す図である。また、図8Bは、動画データを有するhtml断片情報がhtml文書として表現された例を示す図である。また、図8Cは、音声データを有するhtml断片情報がhtml文書として表現された例を示す図である。
 図8Aでは、html断片情報のメタ情報として、表示装置10の表示部11に表示されるテキストデータの表示位置を示す位置情報や、このテキストデータを識別するための固有のデータID(データID情報)、このテキストデータの生成日時を示す生成日時情報、このテキストデータの内容が変更された最新の日時を示す更新日時情報、このテキストデータの所有者であるユーザを示すユーザ情報、情報端末装置20(司会者端末装置201、ユーザ端末装置202)を使用しているユーザ毎に設定されたこのhtml断片情報に対するアクセス権(すなわち、html断片情報が有するテキストデータの生成や変更などを許可するか否か)を示すアクセス権情報が記述され、さらに、表示装置10の表示部11に表示させるテキストデータが記述されている。
 また、図8Bでは、html断片情報のメタ情報として、表示装置10の表示部11に表示される動画データの表示位置を示す位置情報や、この動画データを識別するための固有のデータID(データID情報)、この動画データの所有者であるユーザを示すユーザ情報、情報端末装置20(司会者端末装置201、ユーザ端末装置202)を使用しているユーザ毎に設定されたこのhtml断片情報に対するアクセス権を示すアクセス権情報が記述されている。さらに、<video/>タグ内には、この動画データを表示装置10に送信するデータ回線40を識別するための固有のストリームID(sid:通信経路識別情報)が記述されている。
 また、図8Cでは、html断片情報のメタ情報として、表示装置10の表示部11に表示される音声データの表示位置を示す位置情報や、この音声データを識別するための固有のデータID(データID情報)、この音声データの所有者であるユーザを示すユーザ情報、情報端末装置20(司会者端末装置201、ユーザ端末装置202)を使用しているユーザ毎に設定されたこのhtml断片情報に対するアクセス権を示すアクセス権情報が記述されている。さらに、<audio/>タグ内には、この音声データを表示装置10に送信するデータ回線40を識別するための固有のストリームID(sid:通信経路識別情報)が記述されている。
<電子会議システムの動作>
 次に、本実施形態の電子会議システム1の具体的な動作について説明する。図9は、本発明の実施形態における電子会議システムが開設される手順を説明するための動作図である。ここでは、表示装置10は、司会者端末装置201との間にMUC機能を利用した電子会議システム1を確立する。
 ステップS101では、電子会議システム1の司会者端末装置201が、表示装置10に、仮想の会議室(チャットルーム)の開設を要求する旨を送信する。
 ステップS102では、表示装置10が、司会者端末装置201から確かに要求を受け取った旨の通知を発行する。
 ステップS103では、司会者端末装置201が、表示装置10へ仮想の会議室を開設するための設定情報を作成する旨を通知する。
 ステップS104では、表示装置10が、司会者端末装置201へ設定情報を作成するためのデータフォーム情報を送信する。
 ステップS105では、司会者端末装置201が、表示装置10から受信したデータフォーム情報に基づき、仮想の会議室を開設するための設定情報を作成し、作成した設定情報を表示装置10へ送信する。
 ステップS106では、表示装置10が、司会者端末装置201へ設定情報を確かに受け取った旨の通知を行う。
 このように、表示装置10と司会者端末装置201との間に電子会議システム1が確立されることにより、情報端末装置20を使用する複数のユーザが参加することができる仮想の会議室が開設される。
 次に、開設された仮想の会議室(電子会議システム1)にユーザ端末装置202が参加する手順について説明する。図10は、本発明の実施形態における情報端末装置が電子会議システムに参加するための手順を説明するための動作図である。ここでは、たとえば、ユーザ端末装置202aが、仮想の会議室(すなわち、電子会議システム1)に参加する手順を説明する。
 ステップS201において、ユーザ端末装置202aは、XMPPのプロトコル(通信規約)であるXEP-0030(Service Discovery)を利用して、表示装置10が開設した仮想の会議室(電子会議システム1)を検索する。これにより、ユーザ端末装置202aは、表示装置10により開設された仮想の会議室(電子会議システム1)を発見できる。
 ステップS202において、ユーザ端末装置202aは、表示装置10に仮想の会議室(電子会議システム1)へ入室する要求を行う。
 ステップS203では、表示装置10は、ユーザ端末装置202aに、入室を許可する旨の通知を送信する。
 そして、ステップS204において、表示装置10は、既に仮想の会議室(電子会議システム1)に入室していた他の情報端末装置(司会者端末装置201及び他のユーザ端末装置202)へ新しい入室者があった旨の通知を送信する。
 上記のステップS201~204により、ユーザ端末装置202aは、仮想の会議室(電子会議システム1)に入室することができ、表示装置10や他の情報端末装置(司会者端末装置201及び他のユーザ端末装置202)とXMPPに準拠した通信を行うことができる。
 次に、電子会議システム1に参加している情報端末装置20が、構造化表示情報を共有する手順を説明する。図11は、本発明の実施形態における電子会議システムの構造化表示情報の初期設定を行う手順を説明するための動作図である。
 ステップS301では、前述のステップS101~S107において表示装置10との間に仮想の会議室(電子会議システム1)を確立した司会者端末装置201は、電子会議システム1における議事などを表示装置10の表示部11に表示させるための構造化表示情報を作成する。なお、前述したように、ここで作成される構造化表示情報はhtml断片情報が構造的な相関(例えば、木構造など)を有して成っている。
 また、司会者端末装置201は、各html断片情報に固有のデータID(すなわち、html断片情報が有する表示データを識別するためのデータID)を付与する。このほか、司会者端末装置201は、各html断片情報に対して、メタ情報として、前述のような属性情報、すなわち、html断片情報が有する表示データの表示画面111上での表示位置を示す位置情報や、html断片情報の所有者(owner)であるユーザを示すユーザ情報、各情報端末装置20(司会者端末装置201、ユーザ端末装置202)を使用しているユーザ毎に設定され、html断片情報に対するアクセス権(すなわち、html断片情報が有する情報の生成や変更などを許可するか否か)を示すアクセス権情報などを作成する。
 ステップS302では、司会者端末装置201が、作成した各html断片情報を表示装置10へ送信する。
 ステップS303では、表示装置10が、受信した各html断片情報の構文解析を行い、受信した各html断片情報に対応するhtml断片情報を作成する。また、表示装置10は、作成したhtml断片情報を識別するためのデータIDが、他のhtml断片情報のデータIDと重複がないことをチェックする。そして、表示装置10は、各html断片情報から構成される構造化された構造化表示情報を作成する。
 ステップS304では、さらに、表示装置10は、作成した各html断片情報が構造化されて成る構造化表示情報を、各情報端末装置(司会者端末装置201、ユーザ端末装置202)に送信する。
 ステップS305では、表示装置10は、初期設定された構造化表示情報に基づいて、表示部11に初期化画面を表示する。
 以上により、構造化表示情報の初期設定処理が終了し、表示装置10の表示部11に、構造化表示情報に基づき、初期化画面が表示される。
 次に、仮想の会議室(電子会議システム1)に提示されたテキストデータが、表示装置10に表示されるまでの手順について説明する。ここでは、一例として、ユーザ端末装置202aが仮想の会議室に提示する情報(発言など)が、表示装置10に表示される手順について説明する。図12は、本発明の実施形態における情報端末装置から提供されるテキストデータが表示装置の表示画面に表示される手順を説明するための動作図である。なお、初めに、ユーザ端末装置202aのユーザは、たとえば、発言をすべき状態にあるもの、又は、司会者端末装置201のユーザからオフラインなどにて直接発言を許されているものとする。
 ステップS401では、司会者端末装置201は、ユーザ端末装置202aが仮想の会議室(電子会議システム1)にて発言をするために必要な発言用html断片情報を作成する。ここで、司会者端末装置201により作成された発言用html断片情報が構造化表示情報に組み込まれることにより、発言者(この場合、ユーザ端末装置202a)が提示する発言(テキストデータ)を表示するための情報表示枠が、表示装置10の表示部11の表示画面111に設定されることとなる。
 また、司会者端末装置201は、端末制御部24において、発言用html断片情報が有するテキストデータを識別するための固有のデータIDを、他のhtml断片情報が有するテキストデータに対応するデータIDと重複しないように作成するとともに、表示装置10の表示部11に表示させる発言者(ユーザ端末装置202a)が提示する発言(データ)の表示位置を示す位置情報を作成する。さらに、司会者端末装置201は、発言用html断片情報に格納されるデータの所有者であるユーザを示すユーザ情報や、情報端末装置20(司会者端末装置201、ユーザ端末装置202)を使用するユーザ毎に設定され、発言用html断片情報に対するアクセス権(すなわち、発言用html断片情報に格納されるデータの生成や変更などを許可する否か)を示すアクセス権情報なども作成し、それらをメタ情報として、発言用html断片情報に付与する。の発言用html断片情報のメタ情報として、発言用html断片情報に付与する。
 この発言用html断片情報は、例えば、図8Aのように記述される。なお、この時点では、発言用html断片情報にテキストデータは格納されていない。
 ステップS402では、司会者端末装置201は、表示装置10に、発言用html断片情報を、ネットワーク30eを介して送信する。このとき、データIDや、ユーザ情報、アクセス権情報、表示装置10の表示部11に表示されるテキストデータの表示位置を示す位置情報などのメタ情報も、ネットワーク30eを介して表示装置10に送信される。
 なお、この発言用html断片情報は、メタ情報を拡張したhtmlファイルである。ここで、メタ情報を拡張したhtmlファイルとは、XMPPに準拠した通信に適合するhtmlにて表現し得る形式のデータであり、ユーザ端末装置202aから表示装置10に転送されるテキストデータに関連する情報(属性情報)であるメタ情報を含んでいる。メタ情報としては、データIDや、位置情報、アクセス権情報、ユーザ情報などのXMPPによるメッセージングに対応する属性情報が含まれる。
 ステップS403では、表示装置10が発言用html断片情報の構文解析を行い、構文が正しければ発言者(この場合、ユーザ端末装置202a)が発言可能とする情報表示枠を提供する。
 ステップS404では、さらに、表示装置10は、各情報端末装置20(司会者端末装置201及びユーザ端末装置202aを含むユーザ端末装置202)に、S401にて作成されたデータIDを含む発言用html断片情報を、ネットワーク30を介して送信し、表示部11の表示画面111に発言者が発言可能とする情報表示枠(ここでは、ユーザ端末装置202aの情報表示枠)を提供したことを通知する。
 ステップS405では、ユーザ端末装置202aが仮想の会議室(電子会議システム1)に提示する発言(テキストデータ)を端末入力部25から入力する。ここで、端末入力部25から入力されるテキストデータは、データIDで指定される発言用html断片情報に格納されるデータである。そして、ユーザ端末装置202aは、発言用html断片情報に、端末入力部25から入力されたテキストデータを加えるべく、発言用html断片情報を編集する。
 ステップS406では、ユーザ端末装置202aは、テキストデータを有する発言用html断片情報を、ネットワーク30aを介して表示装置10に送信する。なお、このとき、ユーザ端末装置202aは、この発言用html断片情報のデータID、ユーザ情報、アクセス権情報なども、この発言用html断片情報のメタ情報として、ネットワーク30aを介して表示装置10に送信する。
 ステップS407では、表示装置10は、ユーザ端末装置202aから受信した発言用html断片情報の構文解析を行うとともに、受信した発言用html断片情報に基づいて、構造化表示情報を編集する。すなわち、表示装置10は、アクセス権情報が示す発言用html断片情報に対するアクセス権が付与されたユーザと、ユーザ情報が示すユーザとが一致するか否かを判定する。両者が一致した場合には、ユーザ端末装置202aを使用しているユーザは、発言用html断片情報に対してアクセス権(すなわち、発言用html断片情報が有するデータの生成や変更)が許可されていることとなるので、表示装置10の制御部14は、受信した発言用html断片情報に基づいて、構造化表示情報を編集する。
 そして、ステップS408において、表示装置10は、各情報端末装置20(司会者端末装置201及びユーザ端末装置202aを含むユーザ端末装置202)に、S407にて編集したデータID(データID情報)を含む発言用html断片情報を、ネットワーク30を介して送信し、この発言用html断片情報を編集したことを通知する。
 そして、ステップS409において、表示装置10は、編集した構造化表示情報に基づいて、仮想の会議室(電子会議システム1)における議事などを表示部11に表示する。このとき、表示装置10は、ユーザ情報とアクセス権情報と位置情報とに基づいて、データIDにより識別されるテキストデータを表示部11に表示する。すなわち、表示装置10は、データIDにより識別されるhtml断片情報に格納されているテキストデータを、位置情報が示す表示画面111上の表示位置に表示する。このようにすることにより、司会者端末装置201を使用しているユーザは、表示装置10の表示部11に表示されるテキストデータの表示位置を確実且つ簡便に管理することができる。
 次に、仮想の会議室(電子会議システム1)の参加者が動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータを提示する場合について説明する。ここでは、一例として、ユーザ端末装置202aが仮想の会議室に提示する参考資料(マルチメディアデータ)が、表示装置10に表示される手順について説明する。図13は、本発明の実施形態における情報端末装置から提供されるテキスト形式以外の形式のマルチメディアデータが表示装置の表示画面に表示される手順を説明するための動作図である。なお、初めに、ユーザ端末装置202aのユーザは、たとえば、データを提示すべき状態にあるもの、又は、司会者端末装置201のユーザからオフラインなどにて直接データの提示を許されているものとする。
 ステップS501では、司会者端末装置201は、ユーザ端末装置202aが仮想の会議室(電子会議システム1)にて発言(データの提示)を行うために必要な発言用html断片情報を作成する。ここで、司会者端末装置201により作成された発言用html断片情報が構造化表示情報に組み込まれることにより、発言者(この場合、ユーザ端末装置202a)が提示する資料(マルチメディアデータ)を表示するための情報表示枠が、表示装置10の表示部11の表示画面111に設定されることとなる。
 また、司会者端末装置201は、端末制御部24において、発言用html断片情報が有するマルチメディアデータを識別するための固有のデータIDを、他のhtml断片情報が有するマルチメディアデータに対応するデータIDと重複しないように作成するとともに、表示装置10の表示部11に表示させる発言者(ユーザ端末装置202a)が提示する資料(マルチメディアデータ)の表示位置を示す位置情報を作成する。さらに、司会者端末装置201は、発言用html断片情報に格納されるデータの所有者であるユーザを示すユーザ情報や、情報端末装置20(司会者端末装置201、ユーザ端末装置202)を使用するユーザ毎に設定され、発言用html断片情報に対するアクセス権(すなわち、発言用html断片情報に格納されるマルチメディアデータの生成や変更などを許可する否か)を示すアクセス権情報などを作成し、それらをメタ情報として、発言用html断片情報に付与する。
 また、この発言用html断片情報は、図8Bや図8Cのように、データIDや位置情報、ユーザ情報、アクセス権情報などのほか、ユーザ端末装置202aが電子会議システム1に提示するマルチメディアデータを送信するためのデータ回線40aを識別するためのストリームID(sid、通信経路識別情報)が記述されている。例えば、動画データが提示される場合には図8Bのように<video/>タグが記述され、音声データが提示される場合には図8Cのように<audio/>タグが記述される。なお、このストリームIDを記述するタグは、データ回線40aを介して送信されるマルチメディアデータの種類に応じて拡張される。また、この時点では、ユーザ端末装置202aと表示装置10との間にデータ回線40aは開設されていないので、ストリームIDを記述するタグ(例えば、図8Bのような<video/>タグ、図8Cのような<audio/>タグ)にはストリームIDは記述されていない。
 ステップS502では、司会者端末装置201は、ネットワーク30eを介して表示装置10に、データIDや、ユーザ情報、アクセス権情報、表示装置10の表示部11に表示されるマルチメディアデータの表示位置を示す位置情報などのメタ情報を有する発言用html断片情報(第1の情報)を送信する。
 なお、この発言用html断片情報(第1の情報)は、メタ情報を拡張したhtmlファイルであってもよい。ここで、メタ情報を拡張したhtmlファイルとは、XMPPに準拠した通信に適合するhtmlにて表現し得る形式のデータであり、表示装置10とユーザ端末装置202aとの間に開設されたデータ回線40aを通じて転送される表示データに関連する情報(属性情報)であるメタ情報を含んでいる。メタ情報としては、データIDや、位置情報、アクセス権情報、ユーザ情報などのXMPPによるメッセージングに対応する属性情報が含まれる。なお、メタ情報として、XMPPによるメッセージングに対応する属性情報(データID情報、位置情報、アクセス権情報、ユーザ情報など)を利用することを拡張と呼んでいる。
 このように、この発言用html断片情報(第1の情報)がメタ情報を拡張したhtmlファイルであると、発言用html断片情報に含まれる各メタ情報(データID情報や位置情報、ユーザ情報、アクセス権情報など)を、Webブラウザで利用されているhtml形式での記述にマッピングすることができる。すなわち、発言用html断片情報に含まれる各メタ情報(データID情報や位置情報、ユーザ情報、アクセス権情報など)とhtmlの表示要素とを対応付けることができる。よって、XMPPによるメッセージングとWebやhtmlとを結びつけることができる。
 ステップS503では、表示装置10が発言用html断片情報の構文解析を行い、構文が正しければユーザ端末装置202aが提示する資料(マルチメディアデータ)の表示を可能とする情報表示枠を提供する。
 ここで、ステップS504において、発言用html断片情報の構文解析の際に、ストリームIDを記述するタグ(たとえば、図8Bのような<video/>タグ、又は図8Cのような<audio/>タグなど)を発見すると、表示装置10は、発言用html断片情報のメタ情報に基づいて、ユーザ端末装置202aから動画データや音声データなどのマルチメディアデータが送信されると判断し、ユーザ端末装置202aとの間に、そのマルチメディアデータが転送されるデータ回線40a(データ通信経路)を、ネットワーク30aとは別に開設するための設定を開始する。
 このデータ回線40aの設定及び開設は、XMPPの応用プロトコルであるXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)などに準じて行われる。このとき、表示装置10は、データ回線40aの設定を提案する側、すなわち、Jingleのイニシエータとなり、ユーザ端末装置202aは、データ回線40aの設定の提案に対して同意又は拒否する側、すなわち、Jingleのレスポンダとなる。
 ステップS505では、表示装置10は、ネットワーク30aを介してユーザ端末装置202aに、マルチメディアデータを転送するデータ回線40aの開設を提案する旨を、送信する。
 ステップ506では、ユーザ端末装置202aは、ネットワーク30aを介して表示装置10に、その提案を確認した旨を送信する。
 そして、ステップ507において、表示端末10とユーザ端末装置202aとの間で、データ回線40aを開設するための設定内容についての交渉(ネゴシエーション)が、XMPPの応用プロトコルであるXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)などに準じて行われる。なお、このネゴシエーションの際、データ回線40を暗号化された回線として設定することもできる。また、このネゴシエーションの結果に応じて、ユーザ端末装置202aは、データ回線40aの開設の提案に対して、同意するか拒否するかを判断する。本実施形態では、ネゴシエーションの結果、ユーザ端末装置202aは、同意することを判断したものとする。
 ステップS508では、ユーザ端末装置202aは、ネットワーク30aを介して表示装置10に、データ回線40aの設定の提案に同意する旨を送信する。
 ステップS509では、表示装置10は、ネットワーク30aを介してユーザ端末装置202aに、提案の同意を確認した旨を送信する。そして、表示装置10とユーザ端末装置202aとの間に、図2のように、データを直接に転送することができる直通のデータ回線40aが開設される。
 なお、このデータ回線40aは、ネットワーク30aが通じている物理的な通信回線に開設される論理的な通信経路である。そのため、表示装置10とユーザ端末装置202aとの間に表示データを直接に送信する直通のデータ回線40aを開設するとき、ネットワーク30aとは別に物理的な通信回線を設ける必要がない。ここで、論理的な通信経路とは、物理的に見た通信回線が有する論理的に見た仮想の通信回線(論理回線)である。たとえば、物理的には通信回線が1本であっても、複数の論理回線を設定することができ、論理回線毎に異なったデータ通信を行うことができる。たとえば、ネットワーク30aとデータ回線40aとは、同一の物理的な通信回線を通じているが、異なる論理回線である。
 ステップS510では、表示装置10は、ユーザ端末装置202aとの間に開設するデータ回線40aを識別するためのストリームID(sid:通信経路識別情報)を、他の通信回線のストリームIDと重複しないように作成する。そして、ネットワーク30を介して各情報端末装置20(司会者端末装置201、ユーザ端末装置202)に、データIDやストリームIDをメタ情報として含む発言用html断片情報(第2の情報)を送信して、発言者が提示する資料(マルチメディアデータ)を表示部11の表示画面111に表示するための情報表示枠(ここでは、ユーザ端末装置202aの情報表示枠)を提供したことを通知する。
 なお、この発言用html断片情報(第2の情報)は、メタ情報を拡張したhtmlファイルであってもよい。ここで、メタ情報を拡張したhtmlファイルとは、XMPPに準拠した通信に適合するhtmlにて表現し得る形式のデータであり、表示装置10とユーザ端末装置202aとの間に開設されたデータ通信経路を通じて転送される表示データに関連する情報(属性情報)であるメタ情報を含んでいる。メタ情報としては、データID(データID情報)や、ストリームID(通信経路識別情報)などのXMPPによるメッセージングに対応する属性情報が含まれる。
 このように、この発言用html断片情報(第2の情報)がメタ情報を拡張したhtmlファイルであると、発言用html断片情報に含まれる各メタ情報(データIDやストリームIDなど)を、Webブラウザで利用されているhtml形式での記述にマッピングすることができる。すなわち、発言用html断片情報に含まれる各メタ情報(データIDやストリームIDなど)とhtmlの表示要素とを対応付けることができる。よって、XMPPによるメッセージングとWebやhtmlとを結びつけることができる。
 ステップS511では、ユーザ端末装置202aは、仮想の会議室(電子会議システム1)に提示するマルチメディアデータを、ストリームIDによって指定されるデータ回線40aを介して表示装置10に送信するための準備を行う。
 ステップS512では、ユーザ端末装置202aは、ストリームIDによって特定されるデータ回線40aを介して表示装置10に、マルチメディアデータを、XMPPの応用プロトコルであるJingle(XEP-0166)や、関連するXMPPの応用プロトコルであるJingle-RTP(XEP-0167)、Jingle-UDP(XEP-0177)などの規約に準じて、ストリーミング方式で転送する。
 そして、ステップS513において、表示装置10の制御部14は、ストリームIDによって特定されるデータ回線40aからストリーミング方式で転送されてくるマルチメディアデータを、データIDによって、位置情報やユーザ情報、アクセス権情報などのメタ情報と関連付ける。また、このとき、表示装置10の制御部14は、アクセス権情報が示すアクセス権が付与されたユーザと、ユーザ情報が示すユーザとが一致するか否かを判定する。両者が一致した場合には、ユーザ端末装置202aを使用しているユーザは、マルチメディアデータが格納される発言用html断片情報に対してアクセス権(すなわち、発言用html断片情報が有するマルチメディアデータの生成や変更)が許可されていることとなる。従って、表示装置10の制御部14は、データ回線40からストリーム転送されてくるマルチメディアデータを発言用html断片情報に格納し、構造化表示情報を編集するとともに、データIDと位置情報とに基づいて、そのマルチメディアデータを、位置情報が示す表示部11の表示画面111上の表示位置に表示する。従って、司会者端末装置201を使用しているユーザは、表示装置10の表示部11に表示されるマルチメディアデータの表示位置を確実且つ簡便に管理することができる。また、動画データや音声データなどのマルチメディアデータは、ストリーミング方式で転送されてくるので、転送されてきたマルチメディアデータを位置情報が示す表示部11の表示画面111上の表示位置で順次再生することもできる。
 なお、上述のステップS512及びS513は、マルチメディアデータの転送が終了するまで繰り返し行われる。
 そして、ステップS514において、マルチメディアデータの転送が終了すると、表示装置10とユーザ端末装置202aとの間のデータ回線40aを閉じる処理が行われる。また、表示装置10はJingleイニシエータとしての役割を終了し、ユーザ端末装置202aはJingleレスポンダとしての役割を終了する。
 なお、上述の実施形態では、ユーザ端末装置202aから表示装置10の間に開設されるデータ回線40aから表示データが転送されるものとしたが、他の情報端末装置(たとえば、司会者端末装置201やユーザ端末装置202b~202d)についても同様の手順により、直通のデータ回線40を開設して表示データを転送することができる。
 このように、上述の実施形態では、司会者端末装置201は、表示データを識別するためのデータID(データID情報)と、表示装置10の表示部11での表示データの表示位置を示す位置情報と、を有する発言用html断片情報(第1の情報)を、ネットワーク30を介して表示装置10に送信する。そして、表示装置10とユーザ端末装置202との間に、表示データが送信されるデータ回線40(データ通信経路)がネットワーク30とは別に開設される。また、表示装置10は、データ回線40を識別するためのストリームID(通信経路識別情報)と、データIDとを有する発言用html断片情報(第2の情報)を、ネットワーク30を介してユーザ端末装置202に送信する。ユーザ端末装置202は、表示データを、ストリームIDによって特定されるデータ回線40を介して、表示装置10に送信する。そして、表示装置10は、ストリームIDとデータIDと位置情報とに基づいて、表示データを表示部11に表示する。
 このように、ネットワーク30とは別の専用のデータ回線40を介して、表示データがユーザ端末装置202から表示装置10に送信される。よって、ネットワーク30を通じて送受信されるデータと、データ回線40を通じて送信される表示データとが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置202から表示装置10に、表示データを、簡便且つ効率よく、正確に転送することができる。また、データ通信経路に動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータをストリーム転送するような場合であっても、そのマルチメディアデータのストリーミング転送が通信回線を占有し続けることなく、ネットワークでのデータの送受信と、データ通信経路でのマルチメディアデータのストリーム転送とを効率よく、正確に行うこともできる。また、表示装置10は、ストリームIDによって特定したデータ回線40から受信した表示データを、データIDによって、位置情報と関連付けることができ、さらに、位置情報が示す表示部11の表示位置にその表示データを表示することができる。よって、表示装置10は、専用のデータ回線40を介して送信された表示データを、表示装置10の表示部11の表示画面111上で構造化して表示することができる。
 また、司会者端末装置201を使用しているユーザは、データIDと位置情報とによって、ユーザ端末装置202からネットワーク30とは別の専用のデータ回線40を介して表示装置10に送信される表示データと、その表示データの表示装置10の表示部11での表示位置とを確実且つ簡便に管理することができる。また、ユーザ端末装置202からデータ回線40を介して表示装置10に、直接に、表示データが転送されるので、そのユーザ端末装置202や表示装置10以外の端末装置によって、そのデータ回線40が利用されたり、そのデータ回線40を通じて送受信される表示データが取得或いは変更されたりされるおそれがなくなる。よって、データ回線40を介したデータ転送のセキュリティ性をより高めることができる。
 また、上述の実施形態では、ユーザ端末装置202と表示装置10との間に開設されるデータ回線40は、表示データが送信される論理的な通信経路とすることができる。表示装置10とユーザ端末装置202との間に表示データを直接に送信する直通のデータ通信経路を開設するとき、ネットワーク30とは別に物理的な通信回線を設ける必要がない。すなわち、ネットワーク30が通じている物理的な通信回線に、ネットワーク30とは別の新たな論理的な通信経路(論理回線)としてデータ回線40を設けることにより、ネットワーク30とは論理的に別回線となる論理回線を通じて表示データを送受信することができる。従って、ネットワーク30を通じて送受信されるデータと、データ回線40を通じて送信される表示データとが互いに干渉することがないので、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置202から表示装置10に、表示データを、さらに簡便且つ効率よく、正確に転送することができる。
 また、上述の実施形態では、ユーザ端末装置202からネットワーク30とは別の専用のデータ回線40を介して表示装置10に、動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータが送信されるものとすることができる。よって、ネットワーク30を通じて送受信されるデータ(テキストデータなど)と、データ回線40を通じて送信される表示データ(テキスト形式以外の形式のマルチメディアデータ)とが互いに伝送特性の異なる場合であっても互いに干渉することなく、データの転送速度やデータの受信間隔がばらつく転送揺らぎなどの発生を防止することができる。よって、ユーザ端末装置202から表示装置10に、テキスト形式以外の形式のマルチメディアデータを、さらに簡便且つ効率よく、正確に転送することができる。また、表示装置10はストリームIDによって特定したデータ回線40から受信したマルチメディアデータを、データIDによって、位置情報と関連付けることができ、さらに、位置情報が示す表示部11の表示位置にそのマルチメディアデータを表示することができる。よって、表示装置10は、専用のデータ回線40を介して受信したマルチメディアデータを、表示部11の表示画面111上で構造化して表示することができる。
 また、上述の実施形態では、司会者端末装置201からネットワーク30を介して表示装置10に送信される発言用html断片情報(第1の情報)は、複数の情報端末装置20を使用するユーザ毎に設定され、表示データの生成と変更とを許可する否かを示すアクセス権情報や、表示データの所有者であるユーザを示すユーザ情報を有するものとすることができる。よって、表示装置10は、アクセス権情報又はユーザ情報が示すユーザが使用するユーザ端末装置202と表示装置10との間に、表示データが送信される直通のデータ回線40を開設することができる。従って、表示装置10と各情報端末装置20との間で情報を共有するためにメッシュ状の通信経路網をはる必要がなく、必要に応じて、表示装置10と表示データを送信するユーザ端末装置202との間に直通のデータ回線40を開設するのみでよい。また、表示装置10は、そのデータ回線40から受信した表示データをデータIDによって、位置情報と関連付けることができ、位置情報が示す表示部11の表示位置にその表示データを表示することができる。また、司会者端末装置201は、表示装置10に送信したアクセス権情報或いはユーザ情報によって、データ回線40を開設すべきユーザ端末装置202を表示装置10に示すことができるので、表示装置10とユーザ端末装置202との間のデータ回線40の開設をコントロールすることができる。
 また、上述の実施形態では、司会者端末装置201は、データIDと、位置情報と、複数の情報端末装置20を使用するユーザ毎に設定され、表示データの生成と変更とを許可する否かを示すアクセス権情報と、表示データの所有者であるユーザを示すユーザ情報と、を有する発言用html断片情報(第1の情報)を、ネットワーク30を介して表示装置10に送信し、表示装置10は、ストリームIDとデータIDと位置情報とユーザ情報とアクセス権情報とに基づいて、表示データを、表示部11に表示するものとすることができる。従って、表示装置10は、ストリームIDによって識別されるデータ回線40から受信した表示データを、データIDによって、司会者端末装置201から受信したユーザ情報、アクセス権情報、及び位置情報と関連付けることができ、ユーザ情報とアクセス権情報とに基づいて、データIDにより識別される表示データを表示するか否かを判断して、その表示データを位置情報が示す表示部11の表示位置に表示することができる。従って、ユーザ端末装置202から転送される表示データはデータIDによって管理されるとともに、その表示データに対して、情報端末装置20を使用している複数のユーザそれぞれに設定されたアクセス権(すなわち、その表示データの生成や変更が許可されているか否か)に応じて、表示装置10の表示部11に表示される各表示データがコントロールされる。よって、複数のユーザ間でそれぞれのアクセス権に応じた円滑なコミュニケーションが可能となる。
 また、上述の実施形態では、表示装置10は、アクセス権情報が示す表示データの生成と変更とが許可されたユーザと、ユーザ情報が示すユーザとが一致するとき、ストリームIDとデータIDと位置情報とに基づいて、表示データを表示部11に表示するものとすることができる。従って、表示装置10は、データIDにより識別される表示データの所有者であるユーザと、その表示データに対するアクセス権(すなわち、その表示データの生成や変更が許可されているか否か)を有するユーザとが一致した場合のみ、その表示データを表示部11に表示することができる。すなわち、表示装置10は、ストリームIDによって特定されるデータ回線40から受信した表示データをデータIDにより特定し、特定した表示データを位置情報が示す表示部11での表示位置に表示する。よって、複数のユーザ間でそれぞれのアクセス権に応じた円滑なコミュニケーションが可能となる。
 また、上述の実施形態では、複数のユーザが参加する電子会議での通信方法とすることができる。従って、仮想の会議室(すなわち、電子会議システム1)にて提示される各発言(表示データ)をデータIDによって確実且つ容易に管理することができるとともに、仮想の会議室に参加している複数の参加者(ユーザ)それぞれに設定されたアクセス権(すなわち、その発言(表示データ)の提示や修正が許可されているか否か)に応じて、仮想の会議室に提示される発言(表示データ)をコントロールすることができる、よって、仮想の会議室に参加している複数のユーザは、それぞれのアクセス権に応じた円滑なコミュニケーションを可能とすることができる。
 また、上述の実施形態では、表示装置10と複数の情報端末装置20とが、XMPPに準拠した通信を行うことができる。従って、表示装置10と複数の情報端末装置20(司会者端末装置201、ユーザ端末装置202)との間でリアルタイムなメッセージング(情報交換)をすることができるとともに、データIDにより、XMPPによりメッセージングされるデータと表示装置10の表示部11に表示される表示データとを簡便且つ確実に対応付けることができる。
 また、上述の実施形態では、表示装置10とユーザ端末装置202との間のデータ回線40の開設、及び、ユーザ端末装置202から表示装置10へのデータ回線40を介したマルチメディアデータの送信は、XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて行われるものとすることができる。従って、表示装置10とユーザ端末装置202との間のネットワーク30にNAT(Network Address Translation)やファイヤウォールが配置されている場合であっても、マルチメディアデータはネットワーク30とは別のデータ通信経路を介して送信されるので、データ転送が遮断されるなどの影響を受けることなく、データ回線40を介して確実に表示データの転送が行われる。
 また、上述の実施形態では、発言用html断片情報(第1の情報、及び第2の情報)は、メタ情報を拡張したhtmlファイルであるものとすることができる。ここで、メタ情報を拡張したhtmlファイルとは、XMPPに準拠した通信に適合するhtmlにて表現し得る形式のデータであり、表示装置10とユーザ端末装置202との間に開設されたデータ通信経路を通じて転送される表示データに関連する情報(属性情報)であるメタ情報を含んでいる。メタ情報としては、データIDや、位置情報、ストリームID、アクセス権情報、ユーザ情報などのXMPPによるメッセージングに対応する属性情報が含まれる。このように、メタ情報として、XMPPによるメッセージングに対応する属性情報(たとえば、データID、位置情報、ストリームID、アクセス権情報、ユーザ情報など)を利用することを拡張と呼んでいる。このような構成とすることによって、発言用html断片情報(第1の情報、及び第2の情報)に含まれる各メタ情報(たとえば、データIDや位置情報、ストリームID、ユーザ情報、アクセス権情報など)を、Webブラウザで利用されているhtml形式での記述にマッピングすることができる。すなわち、発言用html断片情報(第1の情報、及び第2の情報)に含まれる各メタ情報(データIDや位置情報、ストリームID、ユーザ情報、アクセス権情報など)とhtmlの表示要素とを対応付けることができる。よって、XMPPによるメッセージングとWebやhtmlとを結びつけることができる。
 また、上述の実施形態では、司会者端末装置201からネットワーク30を介して表示装置10に送信される発言用html断片情報(第1の情報)、及び、表示装置10からネットワーク30を介してユーザ端末装置202に送信される発言用html断片情報(第2の情報)は、表示装置10の表示部11に表示を行うための構造化表示情報(表示情報)を構成する断片情報であるものとすることができる。従って、例えば、複数の情報端末装置20(司会者端末装置201、ユーザ端末装置202)が、表示装置10の表示部11に表示を行うための構造化表示情報が有する一部の情報を変更しようとするとき、変更された情報を有する断片情報のみを送信すれば、表示装置10は、受信した断片情報に基づいて表示部11に表示を行うための構造化表示情報を修正することができる。すなわち、構造化表示情報全体を送信する必要がない。従って、表示装置10と複数の情報端末装置20(司会者端末装置201、ユーザ端末装置202)との間で送受信される情報をより軽量なものとすることができるので、通信に要する時間を短縮することができるとともに、表示装置10と複数の情報端末装置20(司会者端末装置201、ユーザ端末装置202)との間のネットワーク30にかかる負担を大幅に低減することができる。よって、通信に参加している複数のユーザは、より利便性のよい通信を行うことができる。
 以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、その各構成要素や各処理の組み合わせに色々な変形例は可能であることは、本発明の範囲にあることは当業者に理解されるところである。
 たとえば、上述の実施形態では、ネットワーク30とは別のデータ回線40(データ通信経路)は、動画データや音声データなどのテキスト形式以外の形式のマルチメディアデータを送信するものとしたが、テキスト形式のデータを送信することもできる。
 また、上述の実施形態では、構造化表示情報(表示情報)には、htmlの描画機構を利用しているものとしたが、構造化表示情報としてDOM(Document Object Model)を利用してもよい。なおDOMとは、htmlとXML(eXtensible Markup Language)などのための標準化されたAPI(Application Program Interface)である。
 また、上述の実施形態では、表示装置10と複数の情報端末装置20とがXMPPに準拠した通信を行う構成としたが、本発明はこれに限定されるものではない。XMPPに類似するプロトコル(通信規約)に準拠した通信を行うものとしてもよい。
 なお、上述の実施形態では、表示データ(マルチメディアデータ)を転送するデータ回線40の開設、及び表示データ(マルチメディアデータ)の送信は、XMPPのプロトコルであるJingle(XEP-0166)や、Jingle-RTP(XEP-0167)、Jingle-UDP(XEP-0177)のうちの少なくともいずれかの規約に従うものとしたが、これに限定するものではない。2つの通信可能な端末装置の間にデータを送受信する通信経路を確立するための通信規約であれば利用できる。
 また、上述の実施形態において、構造化表示情報に基づく表示を行う表示装置10は、複数あり、それぞれ遠隔地にあるものとしてもよい。この場合、各表示装置は、同一の構造化表示情報を共有していればよい。たとえば、各表示装置10は、XMPPの応用プロトコル(通信規約)であるXEP-0060(Publish-Subscribe)に準拠して、構造化表示情報を共有することができる。このように、遠隔地にある各表示装置が共有スクリーンをシェアしているような場合では、各表示装置のある地点の情報端末装置20も電子会議システム1に参加することができる。
 本発明は、例えば、家庭や職場、学校などのコミュニティ内で自由に情報の書込/読込及び閲覧が可能な複数の人がリアルタイムに会話することができるチャットシステムや複数のユーザが仮想の会議室において議論や意見の提示をすることができる電子会議システムなどに利用することができる。
 1    電子会議システム(マルチユーザ通信システム)
 10   表示装置
 11    表示部
 111    表示画面
 12    通信部
 13    記憶部
 14    制御部
 20   情報端末装置
 201   司会者端末装置
 202、202a、202b、202c、202d ユーザ端末装置
 21     端末表示部(表示部)
 22     端末通信部(通信部)
 23     端末記憶部(記憶部)
 24     端末制御部(制御部)
 25     端末入力部(入力部)
 30、30a、30b、30c、30d、30e ネットワーク
 40、40a、40b、40c、40d、40e データ回線(データ通信経路)

Claims (41)

  1.  複数のユーザが参加し、前記複数のユーザが使用する各情報端末装置から表示装置に送信される表示データが前記表示装置の表示部にて表示される通信方法において、
     前記情報端末装置は、前記表示データを前記表示装置に送信するユーザ端末装置と、前記表示データを管理する司会者端末装置と、を有し、
     前記司会者端末装置は、前記表示データを識別するためのデータID情報と、前記表示部での前記表示データの表示位置を示す位置情報と、を有する第1の情報を、ネットワークを介して前記表示装置に送信し、
     前記表示装置と前記ユーザ端末装置との間に、前記表示データが送信されるデータ通信経路が開設され、
     前記表示装置は、前記データ通信経路を識別するための通信経路識別情報と、前記データID情報とを有する第2の情報を、前記ネットワークを介して前記ユーザ端末装置に送信し、
     前記ユーザ端末装置は、前記表示データを、前記通信経路識別情報によって特定される前記データ通信経路を介して前記表示装置に送信し、
     前記表示装置は、前記通信経路識別情報と前記データID情報と前記位置情報とに基づいて、前記表示データを前記表示部に表示することを特徴とする通信方法。
  2.  前記データ通信経路は、前記表示データが送信される論理的な通信経路であることを特徴とする請求項1に記載の通信方法。
  3.  前記表示データは、テキスト形式以外の形式のマルチメディアデータであることを特徴とする請求項1又は請求項2に記載の通信方法。
  4.  前記司会者端末装置は、前記データID情報と、前記位置情報と、前記複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報とを有する前記第1の情報を、前記ネットワークを介して前記表示装置に送信し、
     前記表示装置と、前記アクセス権情報が示すユーザが使用するユーザ端末装置との間に、前記表示データが送信される前記データ通信経路が開設されることを特徴とする請求項1又は請求項2に記載の通信方法。
  5.  前記司会者端末装置は、前記データID情報と、前記位置情報と、前記表示データの所有者であるユーザを示すユーザ情報と、を有する前記第1の情報を、前記ネットワークを介して前記表示装置に送信し、
     前記表示装置と、前記ユーザ情報が示すユーザが使用するユーザ端末装置との間に、前記表示データが送信される前記データ通信経路が開設されることを特徴とする請求項1又は請求項2に記載の通信方法。
  6.  前記司会者端末装置は、前記データID情報と、前記位置情報と、前記複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報と、前記表示データの所有者であるユーザを示すユーザ情報と、を有する前記第1の情報を、前記ネットワークを介して前記表示装置に送信し、
     前記表示装置は、前記通信経路識別情報と前記データID情報と前記位置情報と前記ユーザ情報と前記アクセス権情報とに基づいて、前記表示データを前記表示部に表示することを特徴とする請求項1又は請求項2に記載の通信方法。
  7.  前記表示装置は、
     前記アクセス権情報が示す前記表示データの生成と変更とが許可されたユーザと、前記ユーザ情報が示すユーザとが一致するとき、
     前記通信経路識別情報と前記データID情報と前記位置情報とに基づいて、前記表示データを前記表示部に表示することを特徴とする請求項6に記載の通信方法。
  8.  前記複数のユーザが参加する電子会議での通信方法であることを特徴とする請求項1又は請求項2に記載の通信方法。
  9.  前記表示装置と前記情報端末装置とが、XMPPに準拠した通信を行うことを特徴とする請求項1又は請求項2に記載の通信方法。
  10.  前記表示装置と前記ユーザ端末装置との間の前記データ通信経路の開設、及び、前記ユーザ端末装置から前記表示装置への前記データ通信経路を介した前記表示データの送信は、XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて行われることを特徴とする請求項9に記載の通信方法。
  11.  前記第1の情報、及び前記第2の情報は、メタ情報を拡張したhtmlファイルであることを特徴とする請求項9に記載の通信方法。
  12.  前記第1の情報、及び前記第2の情報は、前記表示装置の前記表示部に表示を行うための表示情報を構成する断片情報であることを特徴とする請求項1又は請求項2に記載の通信方法。
  13.  表示データを表示する表示部と、
     前記表示データを管理する司会者端末装置及び前記表示データを送信するユーザ端末装置を有する複数の情報端末装置とネットワークを介して通信を行う通信部と、
     前記通信部が、前記司会者端末装置から前記ネットワークを介して、前記表示データを識別するためのデータID情報と、前記表示部での前記表示データの表示位置を示す位置情報と、を有する第1の情報を受信すると、前記ユーザ端末装置との間に、前記表示データが送信されるデータ通信経路を開設する制御部と、
    を備え、
     前記通信部は、前記データ通信経路を識別するための通信経路識別情報と、前記データID情報と、を有する第2の情報を、前記ネットワークを介して前記ユーザ端末装置に送信し、
     前記表示部は、前記通信経路識別情報と前記データID情報と前記位置情報とに基づいて、前記ユーザ端末装置から前記通信経路識別情報によって特定される前記データ通信経路を介して前記通信部が受信する前記表示データを表示することを特徴とする表示装置。
  14.  前記データ通信経路は、前記ユーザ端末装置から前記表示データが送信される論理的な通信経路であることを特徴とする請求項13に記載の表示装置。
  15.  前記表示データは、テキスト形式以外の形式のマルチメディアデータであることを特徴とする請求項13又は請求項14に記載の表示装置。
  16.  前記通信部が、前記司会者端末装置から、前記データID情報と、前記位置情報と、前記複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報と、を有する前記第1の情報を、前記ネットワークを介して受信すると、
     前記制御部は、前記アクセス権情報が示すユーザが使用するユーザ端末装置との間に、前記表示データが送信される前記データ通信経路を開設することを特徴とする請求項13又は請求項14に記載の表示装置。
  17.  前記通信部が、前記司会者端末装置から、前記データID情報と、前記位置情報と、前記表示データの所有者であるユーザを示すユーザ情報と、を有する前記第1の情報を、前記ネットワークを介して受信すると、
     前記制御部は、前記ユーザ権情報が示すユーザが使用するユーザ端末装置との間に、前記表示データが送信される前記データ通信経路を開設することを特徴とする請求項13又は請求項14に記載の表示装置。
  18.  前記通信部は、前記司会者端末装置から前記ネットワークを介して、前記データID情報と、前記位置情報と、前記複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報と、前記表示データの所有者であるユーザを示すユーザ情報と、を有する前記第1の情報を受信し、
     前記表示部は、前記通信経路識別情報と前記データID情報と前記位置情報と前記ユーザ情報と前記アクセス権情報とに基づいて、前記表示データを表示することを特徴とする請求項13又は請求項14に記載の表示装置。
  19.  前記表示部は、
     前記アクセス権情報が示す前記表示データの生成と変更とが許可されたユーザと、前記ユーザ情報が示すユーザとが一致するとき、
     前記通信経路識別情報と前記データID情報と前記位置情報とに基づいて、前記表示データを表示することを特徴とする請求項18に記載の表示装置。
  20.  前記複数の情報端末装置と、XMPPに準拠した通信を行うことを特徴とする請求項13又は請求項14に記載の表示装置。
  21.  XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて、
     前記制御部は、前記ユーザ端末装置との間に前記データ通信経路を開設し、
     前記通信部は、前記ユーザ端末装置から前記データ通信経路を介して、前記表示データを受信することを特徴とする請求項20に記載の表示装置。
  22.  前記第1の情報、及び前記第2の情報は、メタ情報を拡張したhtmlファイルであることを特徴とする請求項20に記載の表示装置。
  23.  前記第1の情報、及び前記第2の情報は、前記表示部に表示を行うための表示情報を構成する断片情報であることを特徴とする請求項13又は請求項14に記載の表示装置。
  24.  表示装置に表示する表示データを送信するデータ通信経路を、前記表示装置との間に開設する制御部と、
     前記表示装置からネットワークを介して、前記表示データを識別するためのデータID情報と、前記データ通信経路を識別するための通信経路識別情報とを有する第2の情報を受信すると、前記データ通信経路を介して、前記表示データを前記表示装置に送信する通信部と、
    を備えることを特徴とするユーザ端末装置。
  25.  前記データ通信経路は、前記表示装置に表示する前記表示データを送信する論理的な通信経路であることを特徴とする請求項24に記載のユーザ端末装置。
  26.  前記表示データは、テキスト形式以外の形式のマルチメディアデータであることを特徴とする請求項24又は請求項25に記載のユーザ端末装置。
  27.  前記表示装置と、XMPPに準拠した通信を行うことを特徴とする請求項24又は請求項25に記載のユーザ端末装置。
  28.  XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて、
     前記制御部は、前記表示装置との間に、前記通信経路識別情報によって特定される前記データ通信経路を開設し、
     前記通信部は、前記データ通信経路を介して、前記表示データを前記表示装置に送信することを特徴とする請求項27に記載のユーザ端末装置。
  29.  前記第2の情報は、メタ情報を拡張したhtmlファイルであることを特徴とする請求項27に記載のユーザ端末装置。
  30.  前記第2の情報は、前記表示装置に表示を行うための表示情報を構成する断片情報であることを特徴とする請求項24又は請求項25に記載のユーザ端末装置。
  31.  請求項24又は請求項25に記載のユーザ端末装置から請求項13又は請求項14に記載の表示装置に送信される表示データを管理する司会者端末装置において、
     前記表示データを識別するためのデータID情報と、前記表示装置の表示部での前記表示データの表示位置を示す位置情報と、を生成する制御部と、
     前記表示装置にネットワークを介して、前記データID情報と前記位置情報とを有する第1の情報を送信する通信部と、
    を備えることを特徴とする司会者端末装置。
  32.  前記制御部は、前記表示装置と通信する複数の情報端末装置を使用するユーザ毎に設定され、前記表示データの生成と変更とを許可する否かを示すアクセス権情報を生成し、
     前記第1の情報は、さらに、前記アクセス権情報を有することを特徴とする請求項31に記載の司会者端末装置。
  33.  前記制御部は、前記表示データの所有者であるユーザを示すユーザ情報を生成し、
     前記第1の情報は、さらに、前記ユーザ情報を有することを特徴とする請求項31に記載の司会者端末装置。
  34.  前記表示装置と、XMPPに準拠した通信を行うことを特徴とする請求項31に記載の司会者端末装置。
  35.  前記第1の情報は、メタ情報を拡張したhtmlファイルであることを特徴とする請求項34に記載の司会者端末装置。
  36.  前記第1の情報は、前記表示装置の前記表示部に表示を行うための表示情報を構成する断片情報であることを特徴とする請求項31に記載の司会者端末装置。
  37.  複数のユーザが参加し、前記複数のユーザが使用する各情報端末装置から請求項13又は請求項14に記載の表示装置に送信される表示データが、前記表示装置にて表示されるマルチユーザ通信システムであって、
     前記情報端末装置は、請求項24又は請求項25に記載のユーザ端末装置と、請求項31に記載の司会者端末装置とを有することを特徴とするマルチユーザ通信システム。
  38.  前記表示データは、テキスト形式以外の形式のマルチメディアデータであることを特徴とする請求項37に記載のマルチユーザ通信システム。
  39.  電子会議システムであることを特徴とする請求項37に記載のマルチユーザ通信システム。
  40.  前記表示装置と前記情報端末装置とが、XMPPに準拠した通信を行うことを特徴とする請求項37に記載のマルチユーザ通信システム。
  41.  XMPPのXEP-0166(Jingle)、XEP-0167(Jingle RTP Sessions)、XEP-0177(Jingle Raw UDP Transport)のうちの少なくともいずれかの規約に準じて、
     前記表示装置と前記ユーザ端末装置との間に、前記表示データが送信されるデータ通信経路が開設されるとともに、
     前記ユーザ端末装置から前記データ通信経路を介して前記表示装置に、前記表示データが送信されることを特徴とする請求項40に記載のマルチユーザ通信システム。
PCT/JP2010/065230 2010-09-06 2010-09-06 マルチユーザ通信のためのシステム、方法及び装置 WO2012032592A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020137005672A KR20130106357A (ko) 2010-09-06 2010-09-06 멀티 유저 통신을 위한 시스템, 방법 및 장치
EP10856942.7A EP2615557A4 (en) 2010-09-06 2010-09-06 SYSTEM, METHOD AND DEVICE FOR MULTI-USER COMMUNICATION
CN201080068965.4A CN103080914B (zh) 2010-09-06 2010-09-06 用于多用户通信的系统、方法及装置
US13/001,540 US8630395B2 (en) 2010-09-06 2010-09-06 System, method and device for multiuser communication
PCT/JP2010/065230 WO2012032592A1 (ja) 2010-09-06 2010-09-06 マルチユーザ通信のためのシステム、方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/065230 WO2012032592A1 (ja) 2010-09-06 2010-09-06 マルチユーザ通信のためのシステム、方法及び装置

Publications (1)

Publication Number Publication Date
WO2012032592A1 true WO2012032592A1 (ja) 2012-03-15

Family

ID=45810218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/065230 WO2012032592A1 (ja) 2010-09-06 2010-09-06 マルチユーザ通信のためのシステム、方法及び装置

Country Status (5)

Country Link
US (1) US8630395B2 (ja)
EP (1) EP2615557A4 (ja)
KR (1) KR20130106357A (ja)
CN (1) CN103080914B (ja)
WO (1) WO2012032592A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7948448B2 (en) * 2004-04-01 2011-05-24 Polyvision Corporation Portable presentation system and methods for use therewith
US8954591B2 (en) * 2011-03-07 2015-02-10 Cisco Technology, Inc. Resource negotiation for cloud services using a messaging and presence protocol
CN104937586B (zh) * 2012-11-12 2019-11-01 伊诺卡姆公司 自动化的移动系统
US20150067129A1 (en) * 2013-08-29 2015-03-05 Yuuichiroh Hayashi Apparatus, system, and method of managing device, and recording medium storing device management program
JP2015132946A (ja) * 2014-01-10 2015-07-23 シャープ株式会社 表示システム
JP6361728B2 (ja) * 2014-02-28 2018-07-25 株式会社リコー 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体
JP2016045291A (ja) * 2014-08-21 2016-04-04 株式会社リコー 画像表示システム、端末、画像表示装置及びプログラム
JP6312866B2 (ja) * 2015-01-23 2018-04-18 マクセル株式会社 表示装置および表示方法
JP6458581B2 (ja) * 2015-03-20 2019-01-30 株式会社リコー 情報処理システム、表示位置決定方法、端末装置、情報処理装置及びプログラム
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
CN107368311B (zh) * 2017-07-10 2021-07-23 武汉斗鱼网络科技有限公司 一种多Fragment之间的通信方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH104406A (ja) * 1996-06-14 1998-01-06 Canon Inc 通信端末装置
JP2000194875A (ja) 1998-12-25 2000-07-14 Nec Corp 情報提示装置及び情報提示プログラムを記録したコンピュ―タ読み取り可能な記録媒体
JP2005222535A (ja) 2004-01-15 2005-08-18 Microsoft Corp 複数の入力モダリティを使用して複数ユーザからの入力を与えられる共有ディスプレイを制御するシステムとプロセス
JP2007104354A (ja) * 2005-10-05 2007-04-19 Aruze Corp テレビ会議システム、テレビ会議方法及びテレビ会議端末装置
JP2007281552A (ja) * 2006-04-03 2007-10-25 Murata Mach Ltd 通信装置
JP2008152625A (ja) * 2006-12-19 2008-07-03 Necディスプレイソリューションズ株式会社 画像表示装置、画像データ処理システムおよび画像データ処理方法
JP2009212657A (ja) * 2008-03-03 2009-09-17 Brother Ind Ltd サーバ装置及びそれを備えたプロジェクタ及び表示システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060080407A1 (en) * 2004-10-12 2006-04-13 Motorola, Inc. Multimedia session establishment in a user entity having audio floor control
US20070016680A1 (en) * 2005-06-30 2007-01-18 Burd Gary S Method and system for proxy-based file sharing
FR2896648A1 (fr) * 2006-01-23 2007-07-27 France Telecom Procede et systeme de conversation multimedia
KR101517592B1 (ko) * 2008-11-11 2015-05-04 삼성전자 주식회사 고분해능을 가진 화면음원 위치장치 및 재생방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH104406A (ja) * 1996-06-14 1998-01-06 Canon Inc 通信端末装置
JP2000194875A (ja) 1998-12-25 2000-07-14 Nec Corp 情報提示装置及び情報提示プログラムを記録したコンピュ―タ読み取り可能な記録媒体
JP2005222535A (ja) 2004-01-15 2005-08-18 Microsoft Corp 複数の入力モダリティを使用して複数ユーザからの入力を与えられる共有ディスプレイを制御するシステムとプロセス
JP2007104354A (ja) * 2005-10-05 2007-04-19 Aruze Corp テレビ会議システム、テレビ会議方法及びテレビ会議端末装置
JP2007281552A (ja) * 2006-04-03 2007-10-25 Murata Mach Ltd 通信装置
JP2008152625A (ja) * 2006-12-19 2008-07-03 Necディスプレイソリューションズ株式会社 画像表示装置、画像データ処理システムおよび画像データ処理方法
JP2009212657A (ja) * 2008-03-03 2009-09-17 Brother Ind Ltd サーバ装置及びそれを備えたプロジェクタ及び表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2615557A4 *

Also Published As

Publication number Publication date
EP2615557A4 (en) 2014-05-14
KR20130106357A (ko) 2013-09-27
EP2615557A1 (en) 2013-07-17
CN103080914B (zh) 2015-11-25
US20120147126A1 (en) 2012-06-14
CN103080914A (zh) 2013-05-01
US8630395B2 (en) 2014-01-14

Similar Documents

Publication Publication Date Title
WO2012032592A1 (ja) マルチユーザ通信のためのシステム、方法及び装置
US11785056B2 (en) Web browser interface for spatial communication environments
US11418440B2 (en) Routing virtual area based communications
JP5149328B2 (ja) 通信方法、マスター表示装置、スレーブ表示装置、及びそれらを備えた通信システム
US9813463B2 (en) Phoning into virtual communication environments
Jang-Jaccard et al. WebRTC-based video conferencing service for telehealth
US8982173B1 (en) Methods, systems and program products for efficient communication of data between conference servers
US20130132058A1 (en) Creating and managing virtual areas
US9210200B1 (en) Methods, systems and program products for connecting users to operating nodes
CN112769582A (zh) 用于会议的电子工具和方法
JP4957830B2 (ja) 通信方法、表示装置、司会者端末装置、ユーザ端末装置、及びそれらを備えたマルチユーザ通信システム
US11876707B2 (en) Routing virtual area based communications
KR20170111609A (ko) 영상서비스 제공시스템 및 영상서비스 제공방법
US9628518B1 (en) Linking a collaboration session with an independent telepresence or telephony session
Kasetwar et al. A WebRTC based video conferencing system with screen sharing
JP5382191B2 (ja) 通信方法、マスター表示装置、スレーブ表示装置、及びそれらを備えた通信システム
CN102017620A (zh) 安排好的事件之前的通信
US20230339816A1 (en) Visual Communications
Presta et al. Setting up CLUE telepresence sessions via the WebRTC data channel
Ilag et al. Troubleshooting Microsoft Teams Call Quality Issues
Siltanen et al. Gaze-aware video conferencing application for multiparty collaboration
Middlemiss et al. Report of Otago Contributions to Telecom LifeLink Project
Smith et al. Towards a standards-based, message-oriented advanced collaboration system

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080068965.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13001540

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10856942

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20137005672

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010856942

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP