WO2015111588A1 - データ伝送システム、端末装置、プログラムおよびデータ伝送方法 - Google Patents

データ伝送システム、端末装置、プログラムおよびデータ伝送方法 Download PDF

Info

Publication number
WO2015111588A1
WO2015111588A1 PCT/JP2015/051424 JP2015051424W WO2015111588A1 WO 2015111588 A1 WO2015111588 A1 WO 2015111588A1 JP 2015051424 W JP2015051424 W JP 2015051424W WO 2015111588 A1 WO2015111588 A1 WO 2015111588A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
priority
reception
transmission
content data
Prior art date
Application number
PCT/JP2015/051424
Other languages
English (en)
French (fr)
Inventor
健一郎 森田
拓也 今井
翔 永峯
Original Assignee
株式会社リコー
健一郎 森田
拓也 今井
翔 永峯
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 健一郎 森田, 拓也 今井, 翔 永峯 filed Critical 株式会社リコー
Priority to CA2937519A priority Critical patent/CA2937519A1/en
Priority to CN201580005382.XA priority patent/CN105934750A/zh
Priority to EP15740918.6A priority patent/EP3098717B1/en
Priority to JP2015559076A priority patent/JP6311726B2/ja
Priority to US15/113,338 priority patent/US9722808B2/en
Priority to SG11201605932VA priority patent/SG11201605932VA/en
Publication of WO2015111588A1 publication Critical patent/WO2015111588A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/11Identifying congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416Real-time traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/26Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/266Stopping or restarting the source, e.g. X-on or X-off
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/29Flow control; Congestion control using a combination of thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/226Delivery according to priorities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/245Traffic characterised by specific attributes, e.g. priority or QoS using preemption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/28Flow control; Congestion control in relation to timing considerations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities

Definitions

  • the present invention relates to a data transmission system, a terminal device, a program, and a data transmission method.
  • a remote conference system for performing a conference by sharing video and audio between a plurality of bases connected via a communication network.
  • the communication state of the communication network is deteriorated.
  • sound quality and image quality are frequently deteriorated due to sound.
  • the deterioration of sound quality and image quality gives a great stress to the participants of the conference, and if it is severe, the conference cannot be continued.
  • Patent Document 1 discloses a communication state of a communication network so that participants in a conference can grasp at least the content of each other's speech in any case.
  • the communication system that avoids the deterioration of the sound quality by increasing the ratio of the bandwidth for voice communication to that for image communication is disclosed.
  • the present invention has been made in view of the above-described problems in the prior art, and the present invention maintains the output of high priority data as high as possible regardless of the cause of deterioration of the output quality. It is an object of the present invention to provide a novel data transmission system that makes it possible.
  • the present invention is a data transmission system in which a plurality of terminal devices that transmit or receive content data are arranged on a communication network, and content transmitted from another terminal device among the plurality of terminal devices.
  • At least one terminal device that receives data includes a reception priority management unit that manages the priority of two or more content data destined for itself, and the reception priority management unit among the two or more content data being received Content having a lower priority level is controlled to stop transmission of content data having a lower priority level than the priority data based on the output time interval of the output signal corresponding to the priority data having a higher priority level managed by And a data reception control unit that requests a transmission source that transmits data.
  • FIG. 1 is a communication network configuration diagram of the remote conference system of the present embodiment.
  • FIG. 2 is an external view of the terminal device according to the present embodiment.
  • FIG. 3 is a hardware configuration diagram of the terminal device according to the present embodiment.
  • FIG. 4 is a hardware configuration diagram of the information processing apparatus (relay apparatus, transmission management apparatus) according to the present embodiment.
  • FIG. 5 is a functional block diagram of the terminal device and the relay device of this embodiment.
  • FIG. 6 is a sequence diagram showing a procedure for generating the reception data management table.
  • FIG. 7 is a diagram showing a relay data management table in the present embodiment.
  • FIG. 8 is a diagram showing a received data management table in the present embodiment.
  • FIG. 9 is a functional block diagram of the transmission management apparatus of this embodiment.
  • FIG. 10 is a diagram showing a terminal authentication management table in the present embodiment.
  • FIG. 11 is a diagram showing a terminal management table in the present embodiment.
  • FIG. 12 is a diagram showing a destination list management table in the present embodiment.
  • FIG. 13 is a sequence diagram showing a mutual authentication process performed in the present embodiment.
  • FIG. 14 is a diagram showing a destination list in the present embodiment.
  • FIG. 15 is a functional block diagram of the terminal device and the relay device of this embodiment.
  • FIG. 16 is a sequence diagram showing processing performed in the remote conference system of this embodiment.
  • FIG. 17 is a diagram showing a reduction request history management table in the present embodiment.
  • FIG. 18 is a diagram conceptually showing a state of data relay in the remote conference system of this embodiment.
  • FIG. 11 is a diagram showing a terminal management table in the present embodiment.
  • FIG. 12 is a diagram showing a destination list management table in the present embodiment.
  • FIG. 13 is a sequence diagram showing a mutual authentication process performed in
  • FIG. 19 is a flowchart illustrating processing executed by the data reception control unit according to this embodiment.
  • FIG. 20 is a diagram showing a received data management table in the present embodiment.
  • FIG. 21 is a diagram showing a relay data management table in the present embodiment.
  • FIG. 22 is a diagram showing a received data management table in the present embodiment.
  • FIG. 1 shows a communication network configuration of a remote conference system 1 according to an embodiment of the present invention.
  • four bases Tokyo office, Osaka office, New York office, Washington DC office
  • Tokyo office Osaka office, New York office, Washington DC office
  • the remote conference system 1 of the present embodiment includes a plurality of terminal devices 10 (10a, 10b, 10c, 10d%), A plurality of relay devices 30 (30a, 30b, 30c, 30d), and a transmission management device 50. It consists of Each terminal device 10 acquires video and audio of the installed base and transmits it to the terminal device 10 of another base, and receives video and audio of the other base from the terminal device 10 installed there. It is an information processing device that outputs. Each relay device 30 is an information processing device that relays content data between the plurality of terminal devices 10.
  • the transmission management device 50 is an information processing device that centrally manages processing (such as login authentication of a terminal device and monitoring of a communication state of a communication network) and various management information necessary for system operation.
  • the LAN 2a constructed in the Tokyo office includes a router 70a, and the terminal device 10a installed in the Tokyo office is connected to the LAN 2a via the router 70a.
  • the LAN 2b constructed in the Osaka office includes a router 70b, and the terminal device 10b installed in the Osaka office is connected to the LAN 2b via the router 70b.
  • the LAN 2a and the LAN 2b are connected to a dedicated line 2ab including the router 70ab.
  • the LAN 2c constructed in the New York office includes a router 70c, and the terminal device 10c installed in the New York office is connected to the LAN 2c via the router 70c.
  • the LAN 2d constructed in the Washington DC office includes a router 70d, and the terminal device 10d installed in the Washington DC office is connected to the LAN 2d via the router 70d.
  • the LAN 2c and the LAN 2d are connected to a dedicated line 2cd including the router 70cd.
  • the Japanese dedicated line 2ab and the US dedicated line 2cd are connected to the Internet 80 via the router 70ab and the router 70cd, respectively, and the transmission management device 50 is connected to each terminal device 10 and each The relay device 30 is communicably connected. Then, the optimum route of the content data (image data and audio data) is selected by the plurality of routers (70a, 70b, 70c, 70d, 70ab, 70cd) described above.
  • the dedicated line is not necessarily dedicated and may be shared. Further, it may be directly connected to the Internet without using a dedicated line.
  • a management information session S i is established between the terminal devices 10 via the transmission management device 50, and each terminal device 10 uses the session S i to exchange various management information with each other. Send and receive.
  • a data session S d is established between the terminal devices 10 via the relay device 30, and the terminal devices 10 transmit / receive content data to / from each other using the session S d.
  • each terminal device 10 is configured to be able to simultaneously transmit a plurality of content data, and each data is transmitted in a unique session S d established individually.
  • image data moving image / still image
  • audio data may be transmitted simultaneously
  • a plurality of image data high resolution / medium resolution / low resolution
  • You may comprise so that it may transmit.
  • the content data may include text data.
  • the communication network configuration of the remote conference system 1 has been outlined. Next, each device configuring the remote conference system 1 will be described.
  • FIG. 2 is an external view of the terminal device 10 of the present embodiment. It should be noted that the appearance shown in FIG. 2 is merely an example.
  • the terminal device 10 includes a housing 1100, an arm 1200, and a camera housing 1300.
  • the front side wall surface 1110 of the housing 1100 is provided with an air intake surface (not shown) formed by a plurality of air intake holes, and the exhaust gas having a plurality of exhaust holes formed on the rear side wall surface 1120 of the housing 1100.
  • a surface 1121 is provided.
  • a sound collecting hole 1131 for collecting sound is formed in the right side wall surface 1130 of the housing 1100, and a built-in microphone (described later) receives the sound of the conference through the sound collecting hole 1131. Collect sound.
  • An operation panel 1150 is formed on the right wall surface 1130 side of the housing 1100.
  • the operation panel 1150 is provided with a plurality of operation buttons (108a to 108e) to be described later, a power switch 109 and an alarm lamp 119 to be described later. ing.
  • the operation panel 1150 is formed with a sound output surface 1151 formed by a plurality of sound output holes through which an output sound from a built-in speaker 115 described later passes.
  • a housing portion 1160 as a recess for housing the arm 1200 and the camera housing 1300 is formed on the left wall surface 1140 side of the housing 1100.
  • the right wall surface 1130 of the housing 1100 is provided with a plurality of connection ports (1132a to 1132c) for electrically connecting a cable to an external device connection I / F 119 described later.
  • the left wall 1140 of the housing 1100 is provided with a connection port (not shown) for connecting a cable 120c for the display 120 to an external device connection I / F 119 described later.
  • the arm 1200 is attached to the housing 1100 via the torque hinge 1210, and the arm 1200 is configured to be able to rotate in the vertical direction with respect to the housing 1100 within a tilt angle ⁇ 1 of 135 degrees.
  • FIG. 2 shows a state where the tilt angle ⁇ 1 is 90 degrees.
  • the camera housing 1300 is provided with a built-in camera (which will be described later), and the built-in camera images the state of the meeting.
  • the camera housing 1300 is attached to the arm 1200 via a torque hinge 1310.
  • the pan angle ⁇ 2 of ⁇ 180 degrees is assumed with respect to the arm 1200, with the state shown in FIG.
  • a tilt angle ⁇ 3 of ⁇ 45 degrees can be rotated in the vertical and horizontal directions.
  • the terminal device 10 has been described from the appearance above, but the hardware configuration of the terminal device 10 will be described next.
  • FIG. 3 is a hardware configuration diagram of the terminal device 10 of the present embodiment.
  • the terminal device 10 includes a CPU 101 that controls the operation of the entire device, a ROM 102 that stores a program used to drive the CPU 101 such as an IPL, a RAM 103 that is used as a work area of the CPU 101, a terminal program, The flash memory 104 for storing various data such as image data and audio data, the SSD 105 for controlling the reading / writing of various data to the flash memory 104 according to the control of the CPU 101, and the reading / writing of data to the recording medium 106 such as the flash memory.
  • the terminal device 10 includes a built-in camera 112 including a lens optical system and a solid-state imaging device (such as a CMOS or a CCD) as an image input device for capturing an image of a meeting and acquiring image data.
  • the image sensor I / F 113 controls driving of the camera 112.
  • the terminal device 10 is connected to an external display 120 as an image output device.
  • the display 120 outputs image signals (VGA signal, HDMI (registered trademark) signal, DVI signal) output from the display I / F 118. Based on the above, the state of the conference at another base, the operation input screen, and the like are displayed.
  • the display may be built in.
  • the terminal device 10 includes a built-in microphone 114 as a voice input device, and the voice input I / F 116 controls input of a voice signal from the microphone 114. Further, the terminal device 10 includes a built-in speaker 115 as an audio output device, and the speaker 115 outputs a conference audio at another site based on the audio signal output from the audio output I / F 117. To do.
  • the external device connection I / F 119 for connecting various external devices is configured such that an external device such as an external camera, an external microphone, and an external speaker can be connected by a USB cable or the like.
  • an external camera when an external camera is connected, the external camera is driven in preference to the built-in camera 112, and when an external microphone or an external speaker is connected, the built-in microphone is used. It can be configured such that an external microphone or an external speaker is driven in preference to the 114 or the built-in speaker 115. Alternatively, all of the camera, speaker, and microphone may be externally attached.
  • the hardware configuration of the terminal device 10 according to the present embodiment has been described above. Subsequently, the hardware configuration of the relay device 30 and the transmission management device 50 according to the present embodiment will be described. Note that both the relay device 30 and the transmission management device 50 are general-purpose information processing devices that are referred to as Web servers, and therefore their hardware configurations will be described together below.
  • FIG. 4 is a hardware configuration diagram of the information processing apparatus (the relay apparatus 30 and the transmission management apparatus 50) of the present embodiment. As shown in FIG. 4, the information processing apparatuses 30 and 50 of the present embodiment are used as a work area for the CPU 201 that controls the operation of the entire apparatus, a ROM 202 that stores programs used to drive the CPU 201 such as an IPL, and the CPU 201.
  • RAM 203 for storing various data (data relay program, transmission management program, etc.), HDD 205 for controlling reading / writing of various data to / from the HD 204 according to the control of CPU 201, and data for recording media 206 such as flash memory
  • a media drive 207 for controlling reading / writing
  • a display 208 for displaying various information
  • a communication network I / F 209 for data transmission via a communication network such as a LAN or the Internet, an input device, and the like
  • the hardware configurations of the terminal device 10, the relay device 30, and the transmission management device 50 of the present embodiment have been described above. Next, functional blocks of each device will be described.
  • FIG. 5 shows functional blocks of the terminal device 10 and the relay device 30 of the present embodiment.
  • transmission / reception of content data is performed between the transmission / reception unit 15 of the terminal device 10a and the relay control unit 32 of the relay device 30a.
  • the data reception control unit 12, the reception priority management unit 13, and the final output time update unit 14 that are realized by a predetermined program cooperate to receive the content data in the terminal device 10a. To control.
  • each functional unit shown in FIG. 5 the details of the specific processing executed by each functional unit shown in FIG. 5 are set up at the Tokyo office, Osaka office, New York office and Washington DC office in FIG.
  • each of the terminal device 10a, the terminal device 10b, the terminal device 10c, and the terminal device 10d transmits and receives two types of content data (image data and audio data) to and from the terminal device 10 (three bases) other than itself. This will be explained based on. In the following description, FIG. 5 will be referred to as appropriate.
  • the user creates an account of the system, and at that time, the content data to be transmitted is registered in the transmission management device 50.
  • the terminal device 10 receives from the transmission management device 50 an identifier for uniquely identifying the terminal in the system (hereinafter referred to as a terminal ID), and an identifier for uniquely identifying the content data in the system ( (Hereinafter referred to as data ID).
  • the user requests prior approval from the other party who is scheduled to perform the remote conference via the transmission management device 50.
  • each terminal apparatus 10 acquires the terminal ID of the counterpart terminal apparatus 10 from the transmission management apparatus 50.
  • the terminal device 10 generates a reception data management table prior to the start of the remote conference.
  • the reception data management table generation procedure will be described below with reference to the sequence diagram shown in FIG. In the following, description will be given with a focus on the terminal device 10a installed in the Tokyo office.
  • the reception priority management unit 13 of the terminal device 10a inputs content data (hereinafter referred to as data) desired to be transmitted and its destination.
  • the screen is displayed on the display 120a. The user selects content data desired to be transmitted and its destination via the input screen.
  • the reception priority management unit 13 receives the terminal ID of the terminal device 10a, the data ID of the data to be transmitted (the data ID “TKS0001A” of the audio data and the data ID “TKS0002V” of the image data), and the data A participation request including the terminal ID of the terminal device 10 (10b, 10c, 10d) that is the destination of the message is generated and transmitted to the transmission management device 50 (S1.1).
  • the terminal device 10 (10b, 10c, 10d) of another base Osaka office, New York office, Washington DC office
  • a participation request including the ID is transmitted to the transmission management device 50 (S1.2).
  • the transmission management device 50 that has received the participation request from the terminal device 10 at each site is optimal for relaying data destined for each site based on the IP address of each device determined from the terminal ID included in the participation request.
  • the correct relay device 30 is selected (S2).
  • the relay device 30a is selected as the data relay person in charge of the terminal device 10a at the Tokyo office, and the same applies to the Osaka office, the New York office, and the Washington DC office.
  • the relay device 30a, the relay device 30b, and the relay device 30c are selected as the persons in charge of relaying data.
  • the transmission management device 50 generates a list of relay data (hereinafter referred to as a relay data list) handled by the relay device 30a (S3), and transmits the generated relay data list to the relay device 30a (S4).
  • This relay data list includes the terminal ID of the terminal device 10a at the Tokyo office and the data ID of data destined for the terminal device 10a.
  • the relay device 30a generates a relay data management table based on the relay data list received from the transmission management device 50 (S5).
  • the relay data management table is a table used by the relay device 30a to control data relay, and includes three column fields for storing “destination terminal ID”, “transmission data ID”, and “transmission state”. .
  • the terminal ID of the destination terminal device 10 of the relay data handled by the relay device 30a is stored in the “destination terminal ID” field, and the data of the destination addressed to the terminal device 10 is stored in the “transmission data ID” field. Data ID is stored.
  • FIG. 7A shows the relay data management table 36 generated at this point.
  • the terminal ID “TK0001” of the terminal device 10a is stored in the “destination terminal ID” field
  • the data ID “of the voice data of the New York office” is stored in the “transmission data ID” field.
  • Data ID “WA0021A” and data ID “WA0022V” of image data of the same office are stored in order from the top row.
  • the transmission management device 50 notifies the terminal device 10a at the Tokyo office of the relay device 30a (IP address) in charge of data relay (S6).
  • the terminal device 10a registers the relay device 30a as its own relay manager (S7).
  • the reception priority management unit 13 of the terminal device 10a requests the relay device 30a for a list of receivable data (hereinafter referred to as a receivable data list) (S8). Specifically, a receivable data list acquisition request including its own terminal ID “TK0001” is generated and transmitted to the relay device 30a.
  • the relay device 30a searches the relay data management table 36 shown in FIG. 7A using the terminal ID “TK0001” included in the receivable data list acquisition request as a key, and sets the terminal device 10a as the destination.
  • a list of data IDs of data to be received (list of receivable data) is generated (S9) and transmitted to the terminal device 10a (S10).
  • the reception priority order management unit 13 of the terminal device 10a generates an input screen for selecting data desired to be received based on the receivable data list acquired from the relay device 30a, and displays the input screen on the display 120a (S11).
  • six data names (“New York: Image”, “New York: Audio”, “Washington DC: Image”, “Washington DC: Audio”, “Osaka: Image”, “Osaka: Audio”) can be selected. Shall be displayed on the screen.
  • the reception priority management unit 13 receives data desired to be received via the input screen (S12). Receiving this, the reception priority management unit 13 generates a reception data management table (S13).
  • the reception data management table is a table used by the terminal device 10a to control data reception.
  • the reception data management table 16 includes “priority”, “reception data ID”, “last output time”, “reception”. It has five column fields for storing "status” and "reason for reception suspension”.
  • FIG. 8A shows the reception data management table 16 generated when the user of the Tokyo office selects the data desired to be received.
  • the “Received Data ID” field six data IDs included in the list of receivable data acquired in S10 (data ID “NY0011A” of voice data of the New York office, Data ID “NY0012V” of the image data of the office, data ID “OS0031A” of the audio data of the Osaka office, data ID “OS0032V” of the image data of the office, and data ID “WA0021A” of the audio data of the Washington DC office
  • the data ID “WA0022V” of the image data of the same office is stored.
  • the status regarding reception of each data is stored in the “reception status” field.
  • “reception required” is set as the status in the “reception status” field of the data selected by the user
  • “status” is set as the status in the “reception status” field of the data not selected by the user.
  • “No reception required” is set.
  • “reception unnecessary” is set in the “reception status” field of the image data of the Washington DC office
  • “reception required” is set in all other “reception status” fields. ing. For this reason, a user of the Tokyo office wishes to receive five data (“New York: Image”, “New York: Audio”, “Washington DC: Audio”, “Osaka: Image”, “Osaka: Audio”). You can see that.
  • the reception priority management unit 13 receives “received data information” including the values of the “received data ID” field and the “received state” field of the received data management table 16 and the terminal ID of the user. Is generated and transmitted to the relay device 30a (S14). In response, the relay device 30a updates the relay data management table 36 (S15). Specifically, the relay device 30a searches the “destination terminal ID” field and the “relay data ID” field of the relay data management table 36 using the terminal ID and the data ID included in the received received data information as keys. The relay data to be identified is specified, the “transmission status” field is set for “reception required” data, and the “transmission status” field is set for the “transmission status” field. Set.
  • FIG. 7B shows the relay data management table 36 after being updated in S15.
  • the user selected five data (“New York: Image”, “New York: Audio”, “Washington DC: Audio”, “Osaka: Image”, “Osaka: Audio”).
  • "Transmission enabled” is set in the “Transmission status” field corresponding to ")
  • "Transmission disabled” is set in the "Transmission status” field corresponding to other data (“Washington DC: Image”).
  • the reception priority management unit 13 of the terminal device 10a generates an input screen for setting the priority of received data and displays it on the display 120a (S16).
  • a screen that can set the order of the names of the five data (“New York: Image”, “New York: Audio”, “Washington DC: Audio”, “Osaka: Image”, “Osaka: Audio”) is displayed. Shall be.
  • the user sets priorities for receiving five data via the input screen (S17). At this time, the user sets priorities based on the idea of giving priority to overseas offices over domestic offices or prioritizing audio data over image data.
  • the reception priority management unit 13 sets the priority according to the priority number in the “priority” field of the reception data management table 16 (S18).
  • “priority” is expressed by an integer equal to or greater than “1”, and the smaller the value, the higher the priority. Accordingly, here, a smaller value is set in the “priority” field for data having a higher priority.
  • FIG. 8B shows the received data management table 16 when the user of the Tokyo office determines the priority of received data.
  • the procedure in which the reception priority management unit 13 of the terminal device 10 generates the reception data management table has been described.
  • the mode in which the user directly sets the priority order of the received data has been described.
  • the present invention is not limited to the above-described mode.
  • an algorithm for determining the priority level is implemented.
  • a program may be used. In this case, use a wizard to ask the user questions such as “Do you prefer domestic or foreign?” Or “Which do you prefer?
  • the priority order is derived from the condition where is set and is automatically set. In this case, if an implementation corresponding to a condition such as “prefer the current speaker” is used, a use case in which the priority is dynamically changed every time the speaker is changed is possible. Further, in a usage scene in which the priority order of conference participants and content data is determined, a preset reception data management table may be read out simultaneously with the activation of the apparatus.
  • FIG. 9 shows functional blocks of the transmission management device 50 of this embodiment.
  • the transmission management apparatus 50 of this embodiment includes a transmission / reception unit 51, a terminal authentication unit 52, a terminal management unit 53, an extraction unit 54, a terminal state confirmation unit 56, a destination list management unit 57, storage / reading.
  • a processing unit 59 and a storage device 58 are included.
  • the transmission / reception unit 51 transmits / receives various data to / from the terminal device 10 and the relay device 30 via the network 80.
  • the terminal authentication unit 52 uses the terminal ID and password included in the login request information received via the transmission / reception unit 51 as search keys, and uses the terminal authentication management table 500 (see FIG. 10) stored in the storage device 58.
  • the terminal authentication is performed by searching and determining whether the same set of terminal ID and password is managed in the terminal authentication management table 500.
  • the terminal management unit 53 stores the terminal ID of the request source terminal, the operation status of the request source terminal, the transmission management device in the terminal management table 502 (see FIG. 11). 50, the date and time when the login request information is received and the IP address of the request source terminal are stored and managed in association with each other. Further, the terminal management unit 53 operates to turn off the power sent from the terminal device 10 when the user turns off the power switch 109 (see FIG. 3) of the terminal device 10 from the ON state. Based on the status information, the operating status indicating online in the terminal management table 502 is changed to offline.
  • the extraction unit 54 searches the destination list management table 504 shown in FIG. 12 using the terminal ID of the request source terminal that requested the login as a key, and reads out the terminal IDs of candidate destination terminals that can talk to the request source terminal. To extract the terminal ID.
  • the destination list management table 504 is a table generated based on a mutual authentication process performed in advance between each terminal device 10 having an account in the remote conference system 1, and the terminal ID of the transmission source terminal device 10. And the terminal ID of the destination terminal device 10 that has been approved by the transmission source terminal device 10 are managed in association with each other.
  • the extraction unit 54 searches the destination list management table 504 using the terminal ID of the request source terminal that requested the login as a key, and another request that registers the terminal ID of the request source terminal as a destination terminal candidate.
  • the terminal ID of the original terminal is also extracted.
  • the extraction unit 54 searches the terminal management table 502 using the destination terminal candidate terminal ID extracted by the extraction unit 54 as a search key, and changes the operating state for each terminal ID extracted by the extraction unit 54. read out. Thereby, the extraction unit 54 can acquire the operating state of the candidate destination terminal that can talk to the request source terminal that has requested the login. Further, the extraction unit 54 searches the terminal management table 502 using the terminal ID extracted by the extraction unit 54 as a search key, and also extracts the operating state of the request source terminal that has requested login.
  • the terminal state confirmation unit 56 confirms the corresponding operation state by searching the terminal management table 502 using the terminal ID or the destination name as a search key.
  • the destination list management unit 57 adds or deletes the terminal ID of the destination terminal for each terminal ID of each request source terminal in the destination list management table 504.
  • the storage / reading processing unit 59 stores various data in the storage device 58 and performs processing for reading out the various data stored in the storage device 58.
  • the user turns on the power switch 109 (see FIG. 3) (step S21).
  • the terminal device 10 issues a login request including the terminal ID and password to the transmission management device 50 (step S22).
  • the terminal authentication unit 52 of the transmission management device 50 uses the terminal ID and password included in the login request received via the transmission / reception unit 51 as a search key, and uses the terminal authentication management table 500 (see FIG. 10) of the storage device 58.
  • the terminal authentication is performed by searching and determining whether the same terminal ID and the same password are managed in the terminal authentication management table 500 (step S23).
  • the terminal management unit 53 displays the operation status and the login request for each record indicated by the terminal ID and the destination name of the terminal device 10 of the login request source in the terminal management table 502 (see FIG. 12).
  • the received reception date and time and the IP address of the terminal device 10 are stored in association with each other (step S24).
  • the terminal authentication unit 52 transmits an authentication result (authentication success) to the login request source terminal device 10 via the transmission / reception unit 51 (step S25).
  • the terminal device 10 Upon receiving the authentication result (authentication success), the terminal device 10 issues a destination list request to the transmission management device 50 (step S26).
  • the extraction unit 54 of the transmission management device 50 searches the destination list management table 504 (see FIG. 12) using the terminal ID of the terminal device 10 that is the destination list request source as a search key, and the destination list request source A terminal ID of a candidate destination terminal that can talk to the terminal device 10 is extracted, and a destination name corresponding to the terminal ID is read from the terminal management table 502 (see FIG. 11) (step S27).
  • the storage / read processing unit 59 of the transmission management device 50 reads the data of the destination list frame from the storage device 58 (step S28), and also uses the destination ID and the terminal ID and destination name extracted by the extraction unit 54.
  • the included “destination list information (destination list frame, terminal ID, destination name)” is transmitted to the terminal device 10 that requested the destination list (step S29).
  • the requesting terminal device 10 stores the received destination list information in the management information storage unit (step S30).
  • the extraction unit 54 of the transmission management apparatus 50 searches the terminal management table 502 (see FIG. 11) using the previously extracted destination terminal candidate terminal ID as a search key, and for each destination terminal candidate terminal ID.
  • the corresponding operating state is read (step S31).
  • the transmission / reception unit 51 of the transmission management device 50 transmits the terminal ID used as the search key in S17 and the “terminal operating status information” including the operating status of the corresponding destination terminal to the requesting terminal device 10. (Step S32).
  • the requesting terminal device 10 stores the received “terminal operating state information” in the management information storage unit (step S33). In this way, the requesting terminal device 10 can acquire the current operating state of destination terminal candidates that can make a call.
  • the request source terminal device 10 creates a destination list reflecting the state of the terminal device 10 as a destination candidate based on the destination list information stored in the management information storage unit and the operating state information of the terminal.
  • FIG. 14 exemplarily shows a destination list displayed on the display 120 connected to the terminal device 10.
  • a desired terminal device 10 is selected from the destination list (see FIG. 14) displayed by the user.
  • transmission / reception of content data to / from the selection destination is on standby.
  • the terminal device 10 selected by the user is already in a meeting with another terminal device 10, the user (the terminal device 10) is in contact with all the terminal devices 10 participating in the conference.
  • the transmission / reception of content data is on standby.
  • FIG. 15 shows functional blocks of the terminal device 10 and the relay device 30 of the present embodiment.
  • the terminal device 10 includes a code amount change request unit 12, a code amount change unit 13, a final output time update unit 14, and a transmission / reception unit 15.
  • the code amount change request unit 12 requests that the code amount of the content data be reduced (hereinafter referred to as a code amount reduction request). ) To the transmission source of the content data.
  • the code amount changing unit 13 is a functional unit for executing a process of reducing the code amount of transmission data in response to a code amount reduction request using another terminal device 10 as a transmission source.
  • the final output time update unit 14 is a functional unit for updating the final output time (described later) related to the predetermined content data selected by the user.
  • the transmission / reception unit 15 is a functional unit for transmitting / receiving various data to / from another terminal device 10 via the relay device 30.
  • the relay device 30 includes a relay control unit 32 and a reduction request history management unit 34.
  • the relay control unit 32 is a functional unit for transferring various data received from the terminal device 10 to a designated destination.
  • the reduction request history management unit 34 is a functional unit for managing the history of code amount reduction requests received from each terminal device 10.
  • Terminal Device 10 and Relay Device 30 The functional blocks of the terminal device 10 and the relay device 30 have been outlined above. Next, specific processing contents executed by the functional units illustrated in FIG. 15 will be described based on the sequence diagram illustrated in FIG. In the following description, FIG. 15 will be referred to as appropriate.
  • the user participates in the conference by selecting a desired destination from the destination list (see FIG. 14) displayed on the display 120 of the terminal device 10a.
  • the UI control unit (not shown) of the terminal device 10a displays on the display 120 an input screen for accepting registration / release of content data desired to be transmitted.
  • the UI control unit When the user selects content data desired to be transmitted via the input screen, the UI control unit (not shown) transmits a registration request for the selected content data to the relay device 30 (S41).
  • the relay device 30 assigns a unique data ID in the conference in which the terminal device 10 currently participates to each content data requested to be registered by the terminal device 10a, and all the participants in the conference.
  • Content data registration information that is a list of data names and data IDs of content data registered by the terminal device 10 (including the terminal device 10a) is generated (S42), and is transmitted to the terminal device 10a (S43).
  • the relay device 30 generates the relay data management table 600 shown in FIG. 17A (updates the contents if already generated) (S44).
  • the relay data management table 600 includes a field 602 for storing a session ID, a field 604 for storing a data ID, and the contents data relayed by the relay device 30.
  • a field 606 for storing the terminal ID of the terminal device 10 that is the transmission source of the code amount reduction request for content data is provided, and the values of the fields are managed in association with each other.
  • the code amount change request unit 12 of the terminal device 10a responds to reception of content data registration information from the relay device 30 by the UI control unit (not shown), and receives data management shown in FIG. A table 700 is generated (S45).
  • the received data management table 700 includes a field 702 for storing a data ID and a final output time for content data received from other terminal apparatuses 10 (10b, 10c, 10d). , And a field 706 for storing a state relating to a code amount reduction request.
  • the UI control unit (not shown) of the terminal device 10a includes a selection screen including a list of content data that the terminal device 10a is to receive in the conference based on the content data registration information received from the relay device 30. Is generated and displayed on the display 120 (S46). The user selects at least one content data that the user wants to output without delay via the input screen. Specifically, there may be a case where a user who places the highest priority on the content of a participant's remarks in a conference selects audio data at each site from a plurality of content data scheduled to be received.
  • the code amount change request unit 12 selects the field of the received data management table 16 (see FIG. 8).
  • the data ID of the set content data is set (S47).
  • FIG. 18B shows the received data management table 700 in which the data ID is set.
  • the terminal device 10a transmits the received data information to the relay device 30 (S48). Thereafter, the terminal device 10a displays a screen for setting the reception priority (S49), accepts the setting of the reception priority by the user (S50), and sets the reception priority set here (S51).
  • the reception priority management unit 13 generates a reception data management table.
  • the reception data management table is a table used by the terminal device 10a to control data reception.
  • the reception data management table 16 includes “priority”, “reception data ID”, “last output time”, “reception”. It has five column fields for storing "status” and "reason for reception suspension”.
  • the terminal device 10a transmits its own content data designating another terminal device 10 (10b, 10c, 10d.
  • the content data of the other terminal devices 10 (10b, 10c, 10d) Designated as is received from the relay device 30.
  • the data ID is stored in the packet of content data transmitted / received via the relay device 30.
  • reception data management table can be created by such an operation.
  • the remote conference is started after the reception data management table is ready.
  • the terminal devices 10 (10b, 10c, 10d) at the three bases transmit data (data stream) designating the terminal device 10a at the Tokyo office as the destination to the relay device 30a.
  • each terminal device 10 stores a data ID in a packet of data to be transmitted.
  • the relay control unit 32 of the relay device 30a controls the relay of data using the relay data management table 36 as described above.
  • FIG. 18 shows a data relay state at the beginning of the remote conference.
  • the relay control unit 32 uses the data IDs included in the data packets received from the terminal apparatuses 10 (10b, 10c, 10d) at the three bases as keys as the “relays” in the relay data management table 36 shown in FIG.
  • the data ID field is searched, and for the data for which “transmission enabled” is set in the “transmission state” field corresponding to the matched data ID, this is transferred to the terminal device 10a of the Tokyo office, and the matched data ID For data for which “transmission disabled” is set in the corresponding “transmission state” field, this is discarded.
  • the five data desired by the user (voice data and image data from the New York office, voice data from the Washington DC office, voice data and image data from the Osaka office) are stored in the terminal device 10a at the Tokyo office. Is transferred.
  • the time from when the terminal device 10 (10b, 10c, 10d) as the transmission source sends the data to when the destination terminal device 10a outputs the output signal corresponding to the data to its own output device is within an allowable range. If the time is longer than this, at the Tokyo office, the user perceives deterioration (delay) of images and sounds, and the quality of communication between the bases deteriorates.
  • the reception of the low priority data is forcibly suspended, thereby outputting the data related to the high priority data. Avoid quality degradation.
  • the causes of output quality degradation are “transmission delay” due to the communication state of the communication network, and “internal processing delay due to processing time from receiving data to generating an output signal”
  • an indication of deterioration (delay) in output quality appears as an increase in the time interval for outputting the output signal.
  • the output quality is detected based on the output time interval of the output signal.
  • the final output time updating unit 14 sets the system time (hereinafter referred to as the final output time) when the output signal corresponding to the received data was last output to the corresponding output device in the “final output time” field of the received data management table 16. And the value is updated each time a new output signal is output.
  • the final output time update unit 14 uses the speaker 115 (see FIG. 3) as the voice signal generated by the voice output I / F 117 (see FIG. 3) based on the voice data having the other terminal device 10 as a transmission source.
  • the last output time outputted in (Ref.) Is stored in the “final output time” field corresponding to the audio data, and the value is updated each time a new audio signal is outputted.
  • the final output time update unit 14 outputs the final output time when the display I / F 118 outputs the image signal generated based on the image data having the other terminal device 10 as the transmission source to the display 120 (see FIG. 3).
  • the value is stored in the “final output time” field corresponding to the image data, and the value is updated each time a new output signal is output.
  • the final output time update unit 14 updates the time (time stamp) when drawing data (data obtained by decoding image data received from the transmission source via the network) to the drawing module is updated as the final output time. May be.
  • FIG. 8C shows the received data management table 16 after the terminal device 10a at the Tokyo office starts receiving data.
  • the latest final output time is set in the “final output time” field of each data.
  • the process executed by the final output time update unit 14 has been described above.
  • the process executed by the data reception control unit 12 will be described.
  • the data reception control unit 12 in the present embodiment forcibly receives the data having a low priority when detecting deterioration in output quality related to the data having a high priority. To pause automatically.
  • priority data data desired to maintain output quality
  • parameter n is prepared, and in the received data management table 16, data having a priority order within the top n (priority is n or less) is defined as priority data.
  • the parameter n may be a fixed value, or a user may set an arbitrary value.
  • FIG. 19 is a flowchart showing processing executed by the data reception control unit 12.
  • the routine executed by the data reception control unit 12 includes a first loop process (step 100) and a second loop process (step 200) subsequent thereto, and the data reception control unit 12 Repeatedly executes a routine including two loop processes at a predetermined timing.
  • step 10 it is determined as exceeding the threshold value T 1 (step 101, Yes), the process proceeds to step 102.
  • threshold value T 1 is defined as an upper limit value of the output time interval of the output signal according to the output quality to be obtained.
  • the output time interval exceeds the threshold value T 1 , the user senses an image or audio delay.
  • thresholds T 1, for voice data and image data may be defined common values may be defined a unique value for each type of data.
  • step 103 data having the lowest priority is selected from currently received data.
  • the received data management table 16 is referred to, and the data ID of the data having the lowest priority set is extracted from the data whose “reception state” is “reception required”.
  • step 103 the data ID “OS0032V” of the image data of the Osaka office with priority 5 is extracted.
  • the reception stop processing for the selected data is executed. Specifically, after generating a “transmission suspension request” including the data ID “OS0032V” extracted in step 103 and issuing it to the relay device 30a, the received data management table 16 is in the state shown in FIG. Update to That is, the value of the “reception status” field corresponding to the data ID “OS0032V” is changed from “reception required” to “reception suspension”, and the “reception suspension cause” field corresponding to the data ID “OS0032V” is changed to the New York office. The data ID “NY0012V” of the image data is set.
  • the reception suspension processing means processing for requesting the relay device 30a to control to stop transmission by transmitting a “transmission suspension request” to the relay device 30a, and stops transmission. The control may be to stop the transmission until the session between the terminal devices ends.
  • the processing is continued with the second data that follows.
  • the process proceeds to loop processing (step 200).
  • one or more data hereinafter referred to as reception pause data
  • reception pause data one or more data whose reception has been paused in the first loop process (step 100) is targeted.
  • the following steps 201 to 207 are executed in order.
  • step 201 with respect to reception suspension data (in this scenario, image data of the Osaka office), the reception data management table 16 is referred to, and the data causing the reception suspension (hereinafter referred to as cause data) is determined. Identify.
  • the reception data management table 16 is in the state shown in FIG. 11E, in step 201, “reception suspension” corresponding to the image data of the Osaka office whose “reception state” is “reception suspension”.
  • the value “NY0011V” set in the “Cause” field is specified as the data ID of the voice data of the New York office that caused the suspension of image data reception at the Osaka office.
  • step 202 the elapsed time from the last output time of the specified reason data (image data of the New York office) in step 201 determines whether a second less than the threshold T 2.
  • the received data management table 16 is referred to, and the elapsed time is obtained from the difference between the time stored in the “last output time” field corresponding to the data ID “NY0011V” specified in step 201 and the current time. , it is determined whether the elapsed time exceeds the threshold T 2.
  • the threshold value T 2 described above is considered as the output time interval of the output signal corresponding to the output quality to be obtained, like the threshold value T 1 used in step 101 of the first loop processing.
  • the value of 2 is desirably sufficiently smaller than the threshold T 1 and should be larger than the time interval at which the transmission source transmits data corresponding to the output signal.
  • the threshold value T 1 may be defined common values to audio data and image data, for each type of data (audio / video) may be defined a unique value.
  • step 202 if the elapsed time is not less than the threshold T 2 (step 202, No), the process proceeds to step 208, the return counter causes the data is cleared to zero. In this case, when the reception of the image data of the Osaka office is suspended, the communication time of the communication network and the high load state inside the terminal device 10a are not sufficiently improved. It is determined not to be less than the threshold T 2 (step 202, no), cause the return counter data (image data of the New York office) is cleared. At this point, the processing has been completed for all reception suspension data, so the second loop processing (step 200) is terminated.
  • the first loop process (step 100) starts again after waiting for the next timing.
  • step 101 when the reception of the image data of the Osaka office is suspended but no substantial improvement is observed in the communication state of the communication network or the high load state inside the terminal device 10a, in step 101, the threshold value is set. is determined as exceeding the T 1 (step 101, Yes), the process proceeds to step 102.
  • the reception data management table 16 is in the state shown in FIG. 20 (e)
  • step 103 the data ID “OS0031A” of the voice data of the Osaka office of priority 4 is extracted.
  • the reception stop processing for the selected data is executed. Specifically, after generating a “transmission suspension request” including the data ID “OS0031A” extracted in step 103 and issuing it to the relay device 30a, the received data management table 16 is in the state shown in FIG. Update to That is, the value of the “reception status” field corresponding to the data ID “OS0031A” is changed from “reception required” to “reception suspension”, and the “reception suspension cause” field corresponding to the data ID “OS0031A” is changed to the New York office. The data ID “NY0012V” of the image data is set.
  • Step 100 the first loop process (step 100) is completed, and the subsequent second loop process (step 200) targets the current reception pause data as follows, in order from the highest priority, as follows: Steps 201 to 207 are executed.
  • step 201 the voice data of the New York office, which is the cause data, is acquired for the reception stop data (Osaka office voice data) having the highest priority.
  • step 202 the cause data (New York office) is acquired. elapsed time from the last output time of the image data) to determine whether a second less than the threshold T 2 of the.
  • step 202 it is determined that the elapsed time is less than the threshold T 2 (step 202, Yes), the process proceeds to step 203.
  • step 203 after the return counter of the cause data (New York office image data) is incremented by 1, it is determined in step 204 whether or not the value of the return counter has reached the threshold value N.
  • step 204 if it is determined that the value of the return counter has not reached the threshold value N, the processing for the voice data (reception suspension data) of the Osaka office is terminated at this point, Return to step 201.
  • the cause data image data of the New York office
  • the reception suspension data Osaka office image data
  • the elapsed time from the last output time is the second. determines whether a less than the threshold T 2 (step 202).
  • the elapsed time is determined to be less than the threshold T 2 (step 202, Yes), in subsequent step 203, causes the data (New Business After the return counter of the image data is incremented by 1, it is determined whether or not the value of the return counter has reached the threshold value N.
  • step 204 When it is determined that the value of the return counter does not reach the threshold value N as a result of the determination in step 204, the process for the image data (reception suspension data) at the Osaka office is terminated. At this point, the processing has been completed for all reception suspension data, so the second loop processing (step 200) is terminated.
  • the first loop process (step 100) starts again after waiting for the next timing.
  • step 200 the following steps 201 to 207 are executed in order from the highest priority for the current reception suspension data.
  • step 201 for the reception suspension data (Osaka office voice data) with the highest priority, the elapsed time from the last output time of the cause data (New York office image data) is the second threshold T 2. It is judged whether it is less than.
  • step 202 it is determined that the elapsed time is less than the threshold T 2 (step 202, Yes), the process proceeds to step 203.
  • step 203 the cause data (New York office image data) return counter is incremented by 1.
  • step 204 the cause data (New York office image data) return counter value reaches the threshold value N. It is determined whether or not.
  • step 204 If it is determined that the value of the return counter has not reached the threshold value N as a result of the determination in step 204, the process for the voice data (reception suspension data) at the Osaka office is terminated, and the process returns to step 201 again.
  • the cause data image data of the New York office
  • the reception suspension data Osaka office image data
  • the elapsed time from the last output time is the second. determines whether a less than the threshold T 2 (step 202).
  • step 203 causes data (New offices After the return counter of (image data) is incremented by 1, it is determined whether or not the value of the return counter has reached the threshold value N.
  • step 204 If it is determined that the value of the return counter has not reached the threshold value N as a result of the determination in step 204, the processing for the image data (reception suspension data) at the Osaka office is terminated. At this point, the processing has been completed for all reception suspension data, so the second loop processing (step 200) is terminated.
  • the reception data management table 16 is shown in FIG. 22 (b) after the image quality of the New York office is sufficiently improved until step 203 in the second loop processing (step 200) is repeated N times. It will be understood that the state shown in g) is maintained.
  • reception of reception suspension data is not resumed immediately when the priority data output state is improved, but a good output state of priority data is not less than a predetermined time. Waiting to continue, reception of the reception pause data is resumed. Therefore, it is desirable to define an appropriate value according to the purpose of the operational stability as the threshold value N referred to in the determination in step 204.
  • step 204 after the step 203 of the second loop process (step 200) is repeated N times for the cause data (image data of the New York office), the return counter of the cause data (image data of the New York office) is set. It is determined that the value has reached the threshold value N (step 204, Yes), and the process proceeds to step 205.
  • step 205 the cause data corresponding to the return counter whose counter value has reached the threshold value N (that is, voice data of the New York office) is given the highest priority among the reception suspension data currently suspended. Select data with high degree.
  • the received data management table 16 is in the state shown in FIG. 22 (g)
  • the Osaka office of priority 4 The data ID “OS0031A” of the voice data is extracted.
  • the reception restart process for the selected reception suspension data is executed. Specifically, after generating a “transmission restart request” including the data ID “OS0031A” extracted in step 205 and issuing it to the relay device 30a, the received data management table 16 is in the state shown in FIG. Update to That is, the value of the “reception status” field corresponding to the data ID “OS0031A” is changed from “reception suspend” to “reception required” and is set in the “reception suspend cause” field corresponding to the data ID “OS0031A”. The value “NY0011V” is deleted.
  • step 207 the return counter of the cause data (New York office image data) whose counter value has reached the threshold value N is cleared to zero.
  • the processing of the voice data (reception suspension data) at the Osaka office is completed, and the processing returns to step 201.
  • step 201 the cause data (image data of the New York office) is specified for the reception suspension data (Osaka office image data) having the second highest priority, and the elapsed time from the last output time is the second. determines whether a less than the threshold T 2 (step 202).
  • step 203 causes data (New offices After the return counter of (image data) is incremented by 1, it is determined whether or not the value of the return counter has reached the threshold value N.
  • step 204 it is determined that the threshold value N has not been reached (step 204, No). At this point, the processing for the voice data (reception suspension data) at the Osaka office is completed, and the second loop processing (step 200) is completed.
  • the first loop processing (step 100) is periodically executed as an example.
  • a method may be used in which data with high priority is output to the user (rendering for video, speaker output for audio).
  • the processing of steps S101 to S104 is executed for the output data being received with high priority (this is data A).
  • the final output time of the data A is updated to the current value, and the process proceeds to the second loop process.
  • the control can be performed with a “sign of situation deterioration” in which data can be output in 4 seconds with respect to a threshold of blackout determination of 3 seconds.
  • the reception is performed from the time when reception of priority 4 reception suspension data (Osaka office voice data) is resumed until step 203 in the second loop processing (step 200) is repeated N times. It will be understood that the data management table 16 is maintained in the state shown in FIG.
  • the reception of all reception suspension data having the cause data as a cause data is not resumed all at once.
  • the reception of the next reception pause data is resumed after a good output state of the priority data continues for a predetermined time or more.
  • step 203 of the second loop processing (Step 200) is repeated N times again.
  • the cause data (New York office image data) It is determined that the value of the return counter has reached the threshold value N (step 204, Yes), and the process proceeds to step 205.
  • step 205 the cause data corresponding to the return counter whose counter value has reached the threshold value N (that is, voice data of the New York office) is given the highest priority among the reception suspension data currently suspended. Select data with high degree.
  • the reception data management table 16 is in the state shown in FIG. 22 (h)
  • step 205 the image data of the Osaka office of priority 5 whose “reception state” is “reception suspend”.
  • the data ID “OS0032V” is extracted.
  • the reception restart process for the selected reception suspension data is executed. Specifically, after generating a “transmission resume request” including the data ID “OS0032V” extracted in step 205 and issuing it to the relay device 30a, the received data management table 16 is in the state shown in FIG. Update to That is, the value of the “Reception Status” field corresponding to the data ID “OS0032V” is changed from “Reception Suspension” to “Reception Required” and is set in the “Reception Suspension Cause” field corresponding to the data ID “OS0032V”. The value “NY0011V” is deleted.
  • the output of high priority data can be as high as possible. It becomes possible to maintain at a high state.
  • each function of the above-described embodiment can be realized by a device-executable program written in C, C ++, C #, Java (registered trademark), etc., and the program of this embodiment includes a hard disk device, a CD-ROM , MO, DVD, flexible disk, EEPROM, EPROM, etc., can be stored and distributed in a device-readable recording medium, and can be transmitted through a communication network in a format that other devices can.
  • the present invention has been described based on the embodiment of the remote conference system.
  • the present invention is not limited to the above-described embodiment, and the present invention provides a plurality of contents on the terminal device via the communication network.
  • Any data transmission system whose content is to transmit data at the same time can be applied to any system regardless of its use.
  • the terminal device may be configured by a smartphone, a general-purpose PC, a tablet-type terminal, a mobile phone, an electronic blackboard, a projector such as a projector, a car navigation terminal mounted on a car, or the like depending on the application. it can.
  • it is included in the scope of the present invention as long as the effects and effects of the present invention are exhibited within the scope of embodiments that can be considered by those skilled in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

 コンテンツデータを送信または受信する複数の端末装置が通信ネットワーク上に配置されてなるデータ伝送システムであって、複数の端末装置のうち、他の端末装置から送信されたコンテンツデータを受信する少なくとも1つの端末装置(10a)は、自身を宛先とする2以上のコンテンツデータの優先順位を管理する受信優先順位管理部(13)と、受信中の2以上のコンテンツデータのうち、受信優先順位管理部(13)によって管理される優先順位が高い優先データに対応する出力信号の出力時間間隔に基づいて、優先データよりも優先順位が低いコンテンツデータの送信を止めるように制御する旨を優先順位が低いコンテンツデータを送信する送信元に対して要求するデータ受信制御部(12)と、を備える。

Description

データ伝送システム、端末装置、プログラムおよびデータ伝送方法
 本発明は、データ伝送システム、端末装置、プログラムおよびデータ伝送方法に関する。
 従来、通信ネットワークを介して接続された複数の拠点間で映像や音声を共有して会議を行うための遠隔会議システムが提供されているところ、従来のシステムには、通信ネットワークの通信状態の悪化による音質や画質の劣化が頻繁に発生するという問題があった。音質や画質の劣化は、会議の参加者に大きなストレスを与え、酷い場合は、会議を継続することができなくなる。
 この点につき、特開2010―093505号公報(特許文献1)は、どのような場合でも会議の参加者が少なくとも互いの発言内容を把握することができるようにするために、通信ネットワークの通信状態が悪化したことに応答して、音声通信用の帯域幅の割合を画像通信用のそれよりも大きくすることによって音質の劣化を回避する通信システムを開示する。
 しかしながら、音質や画質の劣化は、通信ネットワークの伝送遅延だけに依るものではなく、データ受信側の内部処理遅延(データを受信してから出力信号を生成するまでの処理時間)がその原因になっている場合も少なからずあり、特許文献1のように通信ネットワークの通信状態だけに着目したのでは、期待する効果を得られない場合がある。
 本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、出力品質の劣化原因の如何にかかわらず、優先順位の高いデータに係る出力をできる限り品質が高い状態で維持することを可能にする新規なデータ伝送システムを提供することを目的とする。
 本発明者は、出力品質の劣化原因の如何にかかわらず、優先順位の高いデータに係る出力をできる限り品質が高い状態で維持することを可能にするデータ伝送システムの構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。
 すなわち、本発明は、コンテンツデータを送信または受信する複数の端末装置が通信ネットワーク上に配置されてなるデータ伝送システムであって、前記複数の端末装置のうち、他の端末装置から送信されたコンテンツデータを受信する少なくとも1つの端末装置は自身を宛先とする2以上のコンテンツデータの優先順位を管理する受信優先順位管理部と、受信中の2以上のコンテンツデータのうち、前記受信優先順位管理部によって管理される優先順位が高い優先データに対応する出力信号の出力時間間隔に基づいて、前記優先データよりも優先順位が低いコンテンツデータの送信を止めるように制御する旨を当該優先順位が低いコンテンツデータを送信する送信元に対して要求するデータ受信制御部と、を備えることを特徴とする。
 上述したように、本発明によれば、出力品質の劣化原因の如何にかかわらず、優先順位の高いデータに係る出力をできる限り品質が高い状態で維持することができるという効果を奏する。
図1は、本実施形態の遠隔会議システムの通信ネットワーク構成図である。 図2は、本実施形態の端末装置の外観図である。 図3は、本実施形態の端末装置のハードウェア構成図である。 図4は、本実施形態の情報処理装置(中継装置、伝送管理装置)のハードウェア構成図である。 図5は、本実施形態の端末装置および中継装置の機能ブロック図である。 図6は、受信データ管理テーブルの生成手順を示すシーケンス図である。 図7は、本実施形態における中継データ管理テーブルを示す図である。 図8は、本実施形態における受信データ管理テーブルを示す図である。 図9は、本実施形態の伝送管理装置の機能ブロック図である。 図10は、本実施形態における端末認証管理テーブルを示す図である。 図11は、本実施形態における端末管理テーブルを示す図である。 図12は、本実施形態における宛先リスト管理テーブルを示す図である。 図13は、本実施形態で実施される相互認証処理を示すシーケンス図である。 図14は、本実施形態における宛先リストを示す図である。 図15は、本実施形態の端末装置および中継装置の機能ブロック図である。 図16は、本実施形態の遠隔会議システムにおいて実施される処理を示すシーケンス図である。 図17は、本実施形態における削減要求履歴管理テーブルを示す図である。 図18は、本実施形態の遠隔会議システムにおけるデータ中継の状態を概念的に示す図である。 図19は、本実施形態におけるデータ受信制御部が実行する処理を表すフローチャートである。 図20は、本実施形態における受信データ管理テーブルを示す図である。 図21は、本実施形態における中継データ管理テーブルを示す図である。 図22は、本実施形態における受信データ管理テーブルを示す図である。
 以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
 以下においては、本発明のデータ伝送システムを、その好適な適用例である“遠隔会議システム”に基づいて説明する。
 図1は、本発明の実施形態である遠隔会議システム1の通信ネットワーク構成を示す。図1に示すように、本実施形態の遠隔会議システム1においては、4つの拠点(東京事業所、大阪事業所、ニューヨーク事業所、ワシントンDC事業所)が通信ネットワークを介して接続されている。
 本実施形態の遠隔会議システム1は、複数の端末装置10(10a,10b,10c,10d…)と、複数の中継装置30(30a,30b,30c,30d)と、伝送管理装置50とを含んで構成されている。各端末装置10は、設置された拠点の映像や音声を取得して他の拠点の端末装置10に送信し、また、他の拠点の映像や音声をそこに設置された端末装置10から受け取って出力する情報処理装置である。また、各中継装置30は、複数の端末装置10の間に介在してコンテンツデータの中継を行う情報処理装置である。一方、伝送管理装置50は、システムの運行に必要な処理(端末装置のログイン認証や通信ネットワークの通信状態の監視など)や各種管理情報を一元的に管理する情報処理装置である。
 ここで、東京事業所内に構築されたLAN2aはルータ70aを含み、東京事業所に設置された端末装置10aは、ルータ70aを介してLAN2aに接続されている。同様に、大阪事業所内に構築されたLAN2bはルータ70bを含み、大阪事業所に設置された端末装置10bは、ルータ70bを介してLAN2bに接続されている。さらに、LAN2aおよびLAN2bは、ルータ70abを含む専用線2abに接続されている。
 一方、ニューヨーク事業所内に構築されたLAN2cはルータ70cを含み、ニューヨーク事業所に設置された端末装置10cは、ルータ70cを介してLAN2cに接続されている。同様に、ワシントンDC事業所内に構築されたLAN2dはルータ70dを含み、ワシントンDC事業所に設置された端末装置10dは、ルータ70dを介してLAN2dに接続されている。さらに、LAN2cおよびLAN2dは、ルータ70cdを含む専用線2cdに接続されている。
 ここで、日本の専用線2abと米国の専用線2cdは、それぞれ、ルータ70abおよびルータ70cdを介してインターネット80に接続され、伝送管理装置50は、インターネット80を介して、各端末装置10および各中継装置30と通信可能に接続されている。そして、上述した複数のルータ(70a,70b,70c,70d,70ab,70cd)によって、コンテンツデータ(画像データおよび音声データ)の最適な経路が選択される。なお、専用線は必ずしも専用である必要はなく共用であってもよい。また、専用線を介さずにインターネットに直接接続してよい。
 本実施形態においては、各端末装置10の間に伝送管理装置50を介した管理情報用セッションSが確立され、各端末装置10は、当該セッションSを使用して各種管理情報を相互に送受信する。
 また、本実施形態においては、各端末装置10の間に中継装置30を介したデータ用セッションSが確立され、各端末装置10は、当該セッションSを使用してコンテンツデータを相互に送受信する。ここで、各端末装置10は、複数のコンテンツデータを同時に伝送することができるように構成されており、各データは個別に確立した固有のセッションSで伝送される。本実施形態においては、例えば、画像データ(動画・静止画)と音声データを同時に伝送するように構成してもよく、解像度の異なる複数の画像データ(高解像度・中解像度・低解像度)を同時に伝送するように構成してもよい。なお、コンテンツデータは、テキストデータを含んでいてもよい。
 以上、本実施形態の遠隔会議システム1の通信ネットワーク構成について概説したが、続いて、遠隔会議システム1を構成する各装置について説明する。
 最初に、本実施形態の端末装置10の構成について説明する。図2は、本実施形態の端末装置10の外観図である。なお、図2に示す外観はあくまで例示であることに留意されたい。図2に示すように、端末装置10は、筐体1100、アーム1200およびカメラハウジング1300を備えている。筐体1100の前側壁面1110には、複数の吸気孔によって形成された吸気面(不図示)が設けられており、筐体1100の後側壁面1120には、複数の排気孔が形成された排気面1121が設けられている。これにより、筐体1100に内蔵された冷却ファンの駆動によって、吸気面(不図示)を介して端末装置10の後方の外気を取り込み、排気面1121を介して端末装置10の後方へ排気することができる。筐体1100の右側壁面1130には、音声を収音するための収音用孔1131が形成されており、この収音用孔1131を介して内蔵型のマイク(後述する)が会議の音声を収音する。
 筐体1100の右側壁面1130側には、操作パネル1150が形成されており、操作パネル1150には、後述の複数の操作ボタン(108a~108e)、後述の電源スイッチ109およびアラームランプ119が設けられている。さらに、操作パネル1150には、後述の内蔵型のスピーカー115からの出力音を通すための複数の音声出力孔によって形成された音出面1151が形成されている。また、筐体1100の左側壁面1140側には、アーム1200およびカメラハウジング1300を収容するための凹部としての収容部1160が形成されている。筐体1100の右側壁面1130には、後述の外部機器接続I/F119に対して電気的にケーブルを接続するための複数の接続口(1132a~1132c)が設けられている。一方、筐体1100の左側壁面1140には、後述の外部機器接続I/F119に対してディスプレイ120用のケーブル120cを接続するための接続口(不図示)が設けられている。
 アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられており、アーム1200が筐体1100に対して、135度のチルト角θ1の範囲で、上下方向に回転可能に構成されている。図2は、チルト角θ1が90度の状態を示している。
 カメラハウジング1300には、内蔵型のカメラ(後述する)が設けられており、この内蔵型カメラが会議の様子を撮像する。そして、カメラハウジング1300は、トルクヒンジ1310を介してアーム1200に取り付けられており、カメラハウジング1300がアーム1200に対して、図2で示されている状態を0度として±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能に構成されている。
 以上、本実施形態の端末装置10をその外観から説明したが、続いて、端末装置10のハードウェア構成について説明する。
 図3は、本実施形態の端末装置10のハードウェア構成図である。図3に示すように、端末装置10は、装置全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、端末用プログラム、画像データおよび音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し/書き込みを制御するSSD105、フラッシュメモリ等の記録メディア106に対するデータの読み出し/書き込みを制御するメディアドライブ107、端末装置10の宛先を選択する場合などに操作される操作ボタン108、端末装置10の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワークを利用してデータ伝送をするための通信ネットワークI/F111、および各構成要素を接続するアドレスバスやデータバス等のバスライン110を備えている。
 また、端末装置10は、会議の様子を撮像して画像データを取得するための画像入力装置として、レンズ光学系および固体撮像素子(CMOSやCCD等)を含む内蔵型のカメラ112を備えており、撮像素子I/F113がカメラ112の駆動を制御する。
 また、端末装置10には、画像出力装置として、外付けのディスプレイ120が接続されており、ディスプレイ120は、ディスプレイI/F118が出力する画像信号(VGA信号、HDMI(登録商標)信号、DVI信号など)に基づいて、他の拠点の会議の様子や操作入力画面などを表示する。なお、ディスプレイは内蔵されていてもよい。
 さらに、端末装置10は、音声入力装置として、内蔵型のマイク114を備えており、音声入力I/F116がマイク114からの音声信号の入力を制御する。また、端末装置10は、音声出力装置として、内蔵型のスピーカー115を備えており、スピーカー115は、音声出力I/F117が出力する音声信号に基づいて、他の拠点の会議の音声などを出力する。
 各種の外部機器を接続するための外部機器接続I/F119には、USBケーブル等によって、外付けカメラ、外付けマイク、および外付けスピーカー等の外部機器が接続可能に構成されており、本実施形態においては、外付けカメラが接続された場合には、内蔵型のカメラ112に優先して外付けカメラが駆動し、外付けマイクや外付けスピーカーが接続された場合には、内蔵型のマイク114や内蔵型のスピーカー115に優先して、外付けマイクや外付けスピーカーが駆動するように構成することができる。もしくは、カメラ、スピーカーおよびマイクの全てを外付けのみにしてもよい。
 以上、本実施形態の端末装置10のハードウェア構成について説明したが、続いて、本実施形態における中継装置30および伝送管理装置50のハードウェア構成について説明する。なお、中継装置30および伝送管理装置50は、いずれも、Webサーバとして参照される汎用の情報処理装置であるので、以下においては、これらのハードウェア構成をまとめて説明する。
 図4は、本実施形態の情報処理装置(中継装置30、伝送管理装置50)のハードウェア構成図である。図4に示すように、本実施形態の情報処理装置30,50は、装置全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、各種データ(データ中継用プログラムや伝送管理用プログラム等)を記憶するHD204、CPU201の制御にしたがってHD204に対する各種データの読み出し/書き込みを制御するHDD205、フラッシュメモリ等の記録メディア206に対するデータの読み出し/書き込みを制御するメディアドライブ207、各種情報を表示するディスプレイ208、LANやインターネットなどの通信ネットワークを介してデータ伝送をするための通信ネットワークI/F209、入力装置としてのキーボード211およびマウス212、CD-ROM213に対する各種データの読み出し/書き込みを制御するCD-ROMドライブ214、および、上記各構成要素を接続するためのアドレスバスやデータバス等のバスライン210を備えている。
 以上、本実施形態の端末装置10、中継装置30および伝送管理装置50のハードウェア構成について説明してきたが、続いて、各装置の機能ブロックについて説明する。
 図5は、本実施形態の端末装置10および中継装置30の機能ブロックを示す。図5に示すように、本実施形態においては、端末装置10aの送受信部15と中継装置30aの中継制御部32との間でコンテンツデータの送受信が実施される。本実施形態においては、所定のプログラムによって実現されるデータ受信制御部12、受信優先順位管理部13および最終出力時刻更新部14の各機能部が協働して端末装置10aにおけるコンテンツデータの受信状態を制御する。
 以下においては、図5に示した各機能部が実行する具体的な処理の内容を、図1における、東京事業所、大阪事業所、ニューヨーク事業所およびワシントンDC事業所の各拠点に設置された端末装置10a、端末装置10b、端末装置10cおよび端末装置10dのそれぞれが、自分以外の端末装置10(3拠点)との間で2種類のコンテンツデータ(画像データおよび音声データ)を送受信するシナリオに基づいて説明する。なお、以下の説明においては、適宜、図5を参照するものとする。
 本実施形態の遠隔会議システム1においては、ユーザが本システムのアカウントを作成し、またその際に、送信する予定のコンテンツデータを伝送管理装置50に登録する。このとき、端末装置10は、伝送管理装置50から、システム内で端末を一意に識別するための識別子(以下、端末IDという)、ならびに、システム内でコンテンツデータを一意に識別するための識別子(以下、データIDという)を付与される。
 さらに、本実施形態の遠隔会議システム1においては、ユーザは、伝送管理装置50を介して遠隔会議を行う予定の相手先に対して事前に承認を要求する。その際、各端末装置10は、伝送管理装置50から相手先の端末装置10の端末IDを取得する。
[受信データ管理テーブル生成例(1)]
 上述した事項を前提として、本実施形態においては、遠隔会議の開始に先立ち、端末装置10が受信データ管理テーブルを生成する。以下、受信データ管理テーブルの生成手順を図6に示すシーケンス図に基づいて説明する。なお、以下においては、東京事業所に設置される端末装置10aにフォーカスを当てて説明するものとする。
 東京事業所のユーザが遠隔会議システム1へのログインに成功すると、端末装置10aの受信優先順位管理部13は、送信を希望するコンテンツデータ(以下、データという)とその宛先を入力するための入力画面をディスプレイ120aに表示する。ユーザは、当該入力画面を介して、送信を希望するコンテンツデータとその宛先を選択する。
 これを受けて、受信優先順位管理部13は、端末装置10aの端末ID、送信するデータのデータID(音声データのデータID“TKS0001A”および画像データのデータID“TKS0002V”)、ならびに、当該データの宛先となる端末装置10(10b,10c,10d)の端末IDを含む参加要求を生成し、これを伝送管理装置50に送信する(S1.1)。以下、同様に、他の拠点(大阪事業所、ニューヨーク事業所、ワシントンDC事業所)の端末装置10(10b,10c,10d)は、自身の端末ID、送信するデータのデータIDおよび宛先の端末IDを含む参加要求を伝送管理装置50に送信する(S1.2)。
 各拠点の端末装置10から参加要求を受領した伝送管理装置50は、参加要求に含まれる端末IDから割り出した各装置のIPアドレスに基づいて、各拠点を宛先とするデータを中継する上で最適な中継装置30を選択する(S2)。図1に示す例においては、東京事業所の端末装置10aを宛先とするデータの中継担当として中継装置30aが選択され、以下、同様に、大阪事業所、ニューヨーク事業所およびワシントンDC事業所を宛先とするデータの中継担当として、それぞれ、中継装置30a、中継装置30bおよび中継装置30cが選択される。
 伝送管理装置50は、中継装置30aが担当する中継データの一覧(以下、中継データ一覧という)を生成し(S3)、生成した中継データ一覧を中継装置30aに送信する(S4)。この中継データ一覧には、東京事業所の端末装置10aの端末IDと、当該端末装置10aを宛先とするデータのデータIDが含まれる。
 中継装置30aは、伝送管理装置50から受領した中継データ一覧に基づいて、中継データ管理テーブルを生成する(S5)。中継データ管理テーブルは、中継装置30aがデータ中継を制御するために使用するテーブルであり、“宛先端末ID”、“送信データID”および“送信状態”を格納するための3つの列フィールドを備える。S5では、“宛先端末ID”フィールドに、中継装置30aが担当する中継データの宛先の端末装置10の端末IDが格納され、“送信データID”フィールドに、当該端末装置10を宛先とするデータのデータIDが格納される。
 図7(a)は、この時点で生成される中継データ管理テーブル36を示す。図7(a)に示す例では、“宛先端末ID”フィールドに、端末装置10aの端末ID“TK0001”が格納され、“送信データID”フィールドには、ニューヨーク事業所の音声データのデータID“NY0011A”、同事業所の画像データのデータID“NY0012V”、大阪事業所の音声データのデータID“OS0031A”、同事業所の画像データのデータID“OS0032V”、ワシントンDC事業所の音声データのデータID“WA0021A”、同事業所の画像データのデータID“WA0022V”が最上行から順番に格納されている。
 続いて、伝送管理装置50は、東京事業所の端末装置10aに対して、データ中継を担当する中継装置30a(IPアドレス)を通知する(S6)。これを受けて、端末装置10aは、中継装置30aを自身の中継担当として登録する(S7)。
 次に、端末装置10aの受信優先順位管理部13は、受信可能なデータの一覧(以下、受信可能データ一覧という)を中継装置30aに対して要求する(S8)。具体的には、自身の端末ID“TK0001”を含む受信可能データ一覧取得要求を生成し、これを中継装置30aに送信する。
 これを受けて、中継装置30aは、受信可能データ一覧取得要求に含まれる端末ID“TK0001”をキーとして、図7(a)に示す中継データ管理テーブル36を検索し、端末装置10aを宛先とするデータのデータIDの一覧(受信可能データ一覧)を生成し(S9)これを端末装置10aに送信する(S10)。
 端末装置10aの受信優先順位管理部13は、中継装置30aから取得した受信可能データ一覧に基づいて、受信を希望するデータを選択するための入力画面を生成し、ディスプレイ120aに表示する(S11)。ここでは、6つのデータの名称(「ニューヨーク:画像」、「ニューヨーク:音声」、「ワシントンDC:画像」、「ワシントンDC:音声」、「大阪:画像」、「大阪:音声」)が選択可能に画面に表示されるものとする。
 ユーザは、当該入力画面を介して、受信を希望するデータを選択する(S12)。これを受けて、受信優先順位管理部13は、受信データ管理テーブルを生成する(S13)。受信データ管理テーブルは、端末装置10aがデータの受信を制御するために使用するテーブルであり、受信データ管理テーブル16は、“優先度”、“受信データID”、“最終出力時刻”、“受信状態”および、“受信休止原因”を格納するための5つの列フィールドを備えている。
 図8(a)は、東京事業所のユーザが受信を希望するデータを選択した時点で生成される受信データ管理テーブル16を示す。図8(a)に示す例では、“受信データID”フィールドには、S10で取得した受信可能データ一覧に含まれる6つのデータID(ニューヨーク事業所の音声データのデータID“NY0011A”、同事業所の画像データのデータID“NY0012V”、大阪事業所の音声データのデータID“OS0031A”、同事業所の画像データのデータID“OS0032V”、ワシントンDC事業所の音声データのデータID“WA0021A”、同事業所の画像データのデータID“WA0022V”)が格納されている。
 一方、“受信状態”フィールドには、各データの受信に関するステータスが格納される。具体的には、ユーザが選択したデータの“受信状態”フィールドには、そのステータスとして“受信要”がセットされ、ユーザが選択しなかったデータの“受信状態”フィールドには、そのステータスとして“受信不要”がセットされる。図8(a)に示す例では、ワシントンDC事業所の画像データの“受信状態”フィールドに“受信不要”がセットされ、それ以外の“受信状態”フィールドの全てに“受信要”がセットされている。このことから、東京事業所のユーザが5つのデータ(「ニューヨーク:画像」、「ニューヨーク:音声」、「ワシントンDC:音声」、「大阪:画像」、「大阪:音声」)の受信を希望していることが見て取れる。
 一方、受信優先順位管理部13は、ユーザが受信データを選択すると直ちに、受信データ管理テーブル16の“受信データID”フィールドおよび“受信状態”フィールドの値ならびに自信の端末IDを含む“受信データ情報”を生成し、これを中継装置30aに送信する(S14)。これを受けて、中継装置30aは、中継データ管理テーブル36を更新する(S15)。具体的には、中継装置30aは、受領した受信データ情報に含まれる端末IDとデータIDをキーとして中継データ管理テーブル36の“宛先端末ID”フィールドと“中継データID”フィールドを検索して対応する中継データを特定し、“受信要“のデータについては、その”送信状態“フィールドに送信可“をセットし、“受信不要“のデータについては、その“送信状態”フィールドに“送信不可”をセットする。
 図7(b)は、S15で更新された後の中継データ管理テーブル36を示す。図7(b)に示すように、この時点で、ユーザ選択した5つのデータ(「ニューヨーク:画像」、「ニューヨーク:音声」、「ワシントンDC:音声」、「大阪:画像」、「大阪:音声」)に対応する“送信状態”フィールドに“送信可”がセットされ、それ以外のデータ(「ワシントンDC:画像」)に対応する“送信状態”フィールドに“送信不可”がセットされている。
 続いて、端末装置10aの受信優先順位管理部13は、受信データの優先順位を設定するための入力画面を生成し、ディスプレイ120aに表示する(S16)。ここでは、5つのデータの名称(「ニューヨーク:画像」、「ニューヨーク:音声」、「ワシントンDC:音声」、「大阪:画像」、「大阪:音声」)の順番を設定できるような画面が表示されるものとする。
 ユーザは、当該入力画面を介して、5つのデータの受信に関して優先順位を設定する(S17)。このとき、ユーザは、国内事業所よりも海外事業所を優先するとか、画像データよりも音声データを優先するといった考えに基づいて優先順位を設定する。
 これを受けて、受信優先順位管理部13は、受信データ管理テーブル16の“優先度”フィールドに対して、優先順位番に応じた優先度をセットする(S18)。ここで“優先度”は、「1」以上の整数で表現され、値が小さいほど優先度が高いことを意味する。従って、ここでは、優先順位の高いデータほど“優先度”フィールドに小さい値がセットされる。
 図8(b)は、東京事業所のユーザが受信データの優先順位を決定した時点の受信データ管理テーブル16を示す。図8(b)に示す例では、優先度に基づく昇順ソートの結果、ニューヨーク事業所の音声データ(ID=NY0011A)、同事業所の画像データ(ID=NY0012V)、ワシントンDC事業所の音声データ(ID=WA0021A)、大阪事業所の音声データ(ID=OS0031A)、同事業所の画像データ(ID=OS0032V)の各行が最上行から順番に並んでおり、受信が選択されなかった最下行のワシントンDC事業所の画像データ(ID=WA0022V)の“優先度”フィールドが空欄になっている。
 以上、端末装置10の受信優先順位管理部13が受信データ管理テーブルを生成する手順について説明した。上述した例では、ユーザが受信データの優先順位を直接的に設定する態様を説明したが、本発明は、上述した態様に限定されるものでなく、例えば、優先順位を決定するアルゴリズムを実装したプログラムを使用してもよい。この場合、ウィザードを使って、「国内と外国のどちらを優先しますか?」、「画像と音声のどちらを優先しますか?」といった質問をユーザに投げかけて条件を設定させ、専用のプログラムが設定された条件から優先順位を導出して自動的に設定する。この場合、「現在の話者を優先する」といった条件に対応する実装にすれば、話者が変わる度に優先順位が動的に変化するといったユースケースも可能になる。また、会議の参加者とコンテンツデータの優先順位が決まっているような利用シーンでは、装置の起動と同時にプリセットの受信データ管理テーブルが読み出されるような構成にしてもよい。
[伝送管理装置50の機能構成]
 図9は、本実施形態の伝送管理装置50の機能ブロックを示す。図9に示すように、本実施形態の伝送管理装置50は、送受信部51、端末認証部52、端末管理部53、抽出部54、端末状態確認部56、宛先リスト管理部57、記憶・読出処理部59および記憶装置58を含んで構成される。
 送受信部51は、ネットワーク80を介して端末装置10および中継装置30と各種データの送受信を行う。端末認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている端末IDおよびパスワードを検索キーとし、記憶装置58に格納された端末認証管理テーブル500(図10参照)を検索し、端末認証管理テーブル500に同一の組の端末IDおよびパスワードが管理されているかを判断することによって端末認証を行う。
 端末管理部53は、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理テーブル502(図11参照)に、この要求元端末の端末ID、要求元端末の稼動状態、伝送管理装置50でログイン要求情報が受信された受信日時、および要求元端末のIPアドレスを関連付けて記憶して管理する。また、端末管理部53は、利用者が端末装置10の電源スイッチ109(図3参照)をONの状態からOFFにすることで、端末装置10から送られてきた、電源をOFFする旨の稼動状態情報に基づいて、端末管理テーブル502のオンラインを示す稼動状態をオフラインに変更する。
 抽出部54は、ログイン要求した要求元端末の端末IDをキーとして、図12に示す宛先リスト管理テーブル504を検索し、要求元端末と通話することができる宛先端末の候補の端末IDを読み出すことで端末IDを抽出する。ここで宛先リスト管理テーブル504は、遠隔会議システム1にアカウントを有する各端末装置10間で事前に実施される相互認証処理に基づいて生成されるテーブルであり、送信元の端末装置10の端末IDと当該送信元の端末装置10が承認を受けた宛先の端末装置10の端末IDを対応付けて管理する。
 また、抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理テーブル504を検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。また、抽出部54は、この抽出部54によって抽出された宛先端末の候補の端末IDを検索キーとして、端末管理テーブル502を検索し、上記抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、抽出部54は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、抽出部54は、この抽出部54によって抽出された端末IDを検索キーとして、端末管理テーブル502を検索し、ログイン要求してきた要求元端末の稼動状態も抽出する。
 端末状態確認部56は、端末ID又は宛先名を検索キーとして端末管理テーブル502を検索することにより、対応する稼動状態を確認する。
 宛先リスト管理部57は、宛先リスト管理テーブル504の各要求元端末の端末ID毎に、宛先端末の端末IDを追加又は削除する。
 記憶・読出処理部59は、記憶装置58に各種データを記憶し、記憶装置58に記憶された各種データを読み出す処理を行う。
[会議の開催方法について]
 端末装置10が遠隔会議システム1にログインして会議に参加する際に実行される処理を図13に示すシーケンス図に基づいて説明する。
 まず、利用者が電源スイッチ109(図3参照)をONにする(ステップS21)。これに応答して、端末装置10は、伝送管理装置50に対して、端末IDとパスワードを含むログイン要求を発行する(ステップS22)。
 伝送管理装置50の端末認証部52は、送受信部51を介して受信したログイン要求に含まれている端末IDおよびパスワードを検索キーとして、記憶装置58の端末認証管理テーブル500(図10参照)を検索し、端末認証管理テーブル500に同一の端末IDおよび同一のパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。認証に成功した場合、端末管理部53は、端末管理テーブル502(図12参照)に、ログイン要求元の端末装置10の端末IDおよび宛先名で示されるレコード毎に、稼動状態、上記ログイン要求が受信された受信日時、および端末装置10のIPアドレスを関連付けて記憶する(ステップS24)。その後、端末認証部52は、送受信部51を介して認証結果(認証成功)をログイン要求元の端末装置10に送信する(ステップS25)。
 端末装置10は、認証結果(認証成功)を受信すると、伝送管理装置50に対して宛先リスト要求を発行する(ステップS26)。これを受けて、伝送管理装置50の抽出部54は、宛先リスト要求元の端末装置10の端末IDを検索キーとして、宛先リスト管理テーブル504(図12参照)を検索し、宛先リスト要求元の端末装置10と通話することができる宛先端末の候補の端末IDを抽出すると共に、この端末IDに対応する宛先名を端末管理テーブル502(図11参照)から読み出す(ステップS27)。
 次に、伝送管理装置50の記憶・読出処理部59は、記憶装置58から宛先リスト枠のデータを読み出す(ステップS28)と共に、この宛先リスト枠並びに抽出部54が抽出した端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、端末ID、宛先名)」を、宛先リスト要求元の端末装置10に送信する(ステップS29)。これを受けて、要求元の端末装置10は、受信した宛先リスト情報を管理情報記憶部に記憶する(ステップS30)。
 さらに、伝送管理装置50の抽出部54は、先に抽出した宛先端末の候補の端末IDを検索キーとして、端末管理テーブル502(図11参照)を検索し、宛先端末の候補の端末ID毎に、対応する稼動状態を読み出す(ステップS31)。
 次に、伝送管理装置50の送受信部51は、上記S17で検索キーに使用した端末IDと、対応する宛先端末の稼動状態を含む「端末の稼動状態情報」を要求元の端末装置10に送信する(ステップS32)。
 これを受けて、要求元の端末装置10は、受信した「端末の稼動状態情報」を管理情報記憶部に記憶する(ステップS33)。このようにして、要求元の端末装置10は、通話することができる宛先端末の候補の現時点における稼動状態を取得することができる。
 次に、要求元の端末装置10は、管理情報記憶部に記憶されている宛先リスト情報および端末の稼働状態情報に基づいて、宛先候補としての端末装置10の状態を反映させた宛先リストを作成・表示する。図14は、端末装置10に接続されたディスプレイ120に表示された宛先リストを例示的に示す。
 以上、端末装置10が遠隔会議システム1にログインする際に実行される処理について説明してきたが、本実施形態では、利用者が表示された宛先リスト(図14参照)から所望の端末装置10を選択したこと応答して、その選択先との間でコンテンツデータの送受信がスタンバイされるように構成されている。利用者が選択した端末装置10が既に他の端末装置10と会議中であった場合には、当該利用者(の端末装置10)は、その会議に参加している全ての端末装置10との間でコンテンツデータの送受信がスタンバイされる。
[端末装置10、中継装置30の機能構成]
 本実施形態の端末装置10および中継装置30機能ブロックについて説明する。
 図15は、本実施形態の端末装置10および中継装置30の機能ブロックを示す。図15に示すように、本実施形態の端末装置10は、符号量変更要求部12、符号量変更部13、最終出力時刻更新部14、および送受信部15を含んで構成されている。
 符号量変更要求部12は、利用者が選択した所定のコンテンツデータに係る出力遅延を検知したことに応答して、当該コンテンツデータの符号量の削減を要求する旨(以下、符号量削減要求という)を当該コンテンツデータの送信元宛に送信するための機能部である。また、符号量変更部13は、他の端末装置10を送信元とする符号量削減要求に応答して、送信データの符号量を削減する処理を実行するための機能部である。
 最終出力時刻更新部14は、利用者が選択した所定のコンテンツデータに係る最終出力時刻(後述する)を更新するため機能部である。また、送受信部15は、中継装置30を介して他の端末装置10との間で各種データを送受信するための機能部である。
 一方、本実施形態の中継装置30は、中継制御部32と削減要求履歴管理部34を含んで構成されている。
 中継制御部32は、端末装置10から受信した各種データを指定された宛先に転送するための機能部である。また、削減要求履歴管理部34は、各端末装置10から受信した符号量削減要求の履歴を管理するための機能部である。
[端末装置10、中継装置30の動作]
 以上、端末装置10および中継装置30の機能ブロックについて概説したが、続いて、図15に示した各機能部が実行する具体的な処理の内容を図16に示すシーケンス図に基づいて説明する。なお、以下の説明においては、適宜、図15を参照するものとする。
 利用者は、端末装置10aのディスプレイ120に表示された宛先リスト(図14参照)から所望の宛先を選択することによって会議に参加する。このとき、端末装置10aのUI制御部(図示せず)は、送信を希望するコンテンツデータの登録・解除を受け付けるための入力画面をディスプレイ120に表示する。
[受信データ管理テーブル生成例(2)]
 続いて、受信データ管理テーブルを生成する別の方法について具体的な処理の内容を図16に示すシーケンス図に基づいて説明する。
 利用者が入力画面を介して送信を希望するコンテンツデータを選択すると、UI制御部(図示せず)は、選択されたコンテンツデータの登録要求を中継装置30に送信する(S41)。
 これを受けて中継装置30は、端末装置10aから登録を要求された各コンテンツデータに対して、端末装置10が現在参加する会議内でユニークなデータIDを付与するとともに、当該会議に参加する全ての端末装置10(端末装置10aを含む)が登録したコンテンツデータのデータ名とデータIDの一覧であるコンテンツデータ登録情報を生成し(S42)、これを端末装置10aに送信する(S43)。
 併せて、中継装置30は、図17(a)に示す中継データ管理テーブル600を生成(既に生成済みの場合は内容を更新)する(S44)。図17(a)に示すように、中継データ管理テーブル600は、中継装置30が中継するコンテンツデータに関して、セッションIDを格納するためのフィールド602、データIDを格納するためのフィールド604、および、そのコンテンツデータの符号量削減要求の送信元となる端末装置10の端末IDを格納するためのフィールド606を備えており、各フィールドの値を対応付けて管理している。
 一方、端末装置10aの符号量変更要求部12は、UI制御部(図示せず)が中継装置30からコンテンツデータ登録情報を受領したことに応答して、図18(a)に示す受信データ管理テーブル700を生成する(S45)。図18(a)に示すように、受信データ管理テーブル700は、他の端末装置10(10b、10c、10d…)から受信するコンテンツデータに関して、データIDを格納するためのフィールド702、最終出力時刻を格納するためのフィールド704、および、符号量削減要求に係る状態を格納するためのフィールド706を備えている。
 続いて、端末装置10aのUI制御部(図示せず)は、中継装置30から受信したコンテンツデータ登録情報に基づいて、端末装置10aがその会議において受信する予定のコンテンツデータの一覧を含む選択画面を生成し、ディスプレイ120に表示する(S46)。利用者は、当該入力画面を介して、利用者が遅延なく出力したいと考える少なくとも1つのコンテンツデータを選択する。具体的には、会議において参加者の発言内容を最重要視する利用者が受信予定の複数のコンテンツデータの中から各拠点の音声データを選択するといったケースが考えられる。
 UI制御部(図示せず)を介して利用者の選択入力を受けたことに応答して、符号量変更要求部12は、受信データ管理テーブル16(図8参照)のフィールドに対して、選択されたコンテンツデータのデータIDをセットする(S47)。図18(b)は、データIDがセットされた受信データ管理テーブル700を示す。
 続いて、端末装置10aは、中継装置30に対して受信データ情報を送信する(S48)。その後、端末装置10aは、受信優先順位設定の画面を表示し(S49)、ユーザによる受信優先順位の設定を受付け(S50)、ここで設定された受信優先順位をセットする(S51)。
 すなわち、前述した実施形態と同様に、受信優先順位管理部13は、受信データ管理テーブルを生成する。受信データ管理テーブルは、端末装置10aがデータの受信を制御するために使用するテーブルであり、受信データ管理テーブル16は、“優先度”、“受信データID”、“最終出力時刻”、“受信状態”および、“受信休止原因”を格納するための5つの列フィールドを備えている。
 上述した手順が済んだ時点で、端末装置10aは、他の端末装置10(10b、10c、10d…)を宛先に指定した自身のコンテンツデータを中継装置30に対して送信するとともに、自身が宛先として指定された他の端末装置10(10b、10c、10d…)のコンテンツデータを中継装置30から受信する。このとき、中継装置30を介して送受信されるコンテンツデータのパケットにはデータIDが格納される。
 したがって、このような動作により、受信データ管理テーブルを作成することができる。
 上述したように、受信データ管理テーブルの準備が整った後、遠隔会議が開始される。遠隔会議の開始と同時に、3つの拠点の端末装置10(10b、10c、10d)は、東京事業所の端末装置10aを宛先に指定したデータ(データストリーム)を中継装置30aに宛てて送信する。このとき、各端末装置10は、送信するデータのパケットにデータIDを格納する。
 各拠点からデータを受信した中継装置30aの中継制御部32は、先に説明したように、中継データ管理テーブル36を使用してデータの中継を制御する。図18は、遠隔会議の開始当初のデータの中継状態を示す。中継制御部32は、3つの拠点の端末装置10(10b、10c、10d)から受信したデータのパケットに含まれるデータIDをキーとして、図7(b)に示す中継データ管理テーブル36の“中継データID”フィールドを検索し、一致したデータID対応する“送信状態”フィールドに“送信可”がセットされているデータについては、これを東京事業所の端末装置10aに転送し、一致したデータID対応する“送信状態”フィールドに“送信不可”がセットされているデータについては、これを破棄する。その結果、東京事業所の端末装置10aには、ユーザが希望した5つのデータ(ニューヨーク事業所の音声データおよび画像データ、ワシントンDC事業所の音声データ、大阪事業所の音声データおよび画像データ)のみが転送される。
 このとき、送信元の端末装置10(10b、10c、10d)がデータを発送してから宛先の端末装置10aが当該データに対応する出力信号を自身の出力装置に出力するまでの時間が許容範囲を超えて長くなると、東京事業所において、ユーザが画像や音声の劣化(遅延)を感知するようになり、拠点間のコミュニケーションの質が低下する。
 この点につき、本実施形態においては、ユーザが画像や音声の劣化(遅延)を感知する前に、優先順位の低いデータの受信を強制的に休止することによって、優先順位の高いデータに係る出力品質の低下を回避する。
 ここで、出力品質の劣化(遅延)の原因は、通信ネットワークの通信状態に起因する“伝送遅延”と、データを受信してから出力信号を生成するまでの処理時間に起因する“内部処理遅延”に求められるところ、その原因の如何にかかわらず、出力品質の劣化(遅延)の兆候は、出力信号を出力する時間間隔の増大化として現れる。本実施形態では、この点に着目し、出力信号の出力時間間隔に基づいて出力品質を検知する。
 以下では、出力品質を検知するために、本実施形態の端末装置10の最終出力時刻更新部14が実行する処理について説明する。最終出力時刻更新部14は、受信したデータに対応する出力信号を対応する出力装置に最後に出力したシステム時刻(以下、最終出力時刻という)を受信データ管理テーブル16の“最終出力時刻”のフィールドに格納し、新たな出力信号が出力される度にその値を更新する。
 具体的には、最終出力時刻更新部14は、音声出力I/F117(図3参照)が、他の端末装置10を送信元とする音声データに基づいて生成した音声信号をスピーカー115(図3参照)に出力した最終出力時刻を、当該音声データに対応する“最終出力時刻”フィールドに格納し、新たに音声信号が出力される度にその値を更新する。また、最終出力時刻更新部14は、ディスプレイI/F118が、他の端末装置10を送信元とする画像データに基づいて生成した画像信号をディスプレイ120(図3参照)に出力した最終出力時刻を、当該画像データに対応する“最終出力時刻”フィールドに格納し、新たに出力信号が出力される度にその値を更新する。なお、最終出力時刻更新部14は、描画データ(ネットワークを介して送信元から受信した画像データをデコードして得られるデータ)を描画モジュールに引き渡した時刻(タイムスタンプ)を最終出力時刻として更新してもよい。
 図8(c)は、東京事業所の端末装置10aがデータの受信を開始した後の受信データ管理テーブル16を示す。端末装置10aがデータの受信を開始すると、図8(c)に示すように、各データの“最終出力時刻”フィールドに最新の最終出力時刻がセットされる。
 以上、最終出力時刻更新部14が実行する処理について説明してきたが、続いて、データ受信制御部12が実行する処理について説明する。本実施形態におけるデータ受信制御部12は、出力信号の出力時間間隔の監視の結果、優先順位の高いデータに係る出力品質の劣化を事前に検知した場合に、優先順位の低いデータの受信を強制的に休止する処理を行う。
 本実施形態においては、その前段階において、まず、出力品質の維持を希望するデータ(以下、優先データという)を定義する。具体的には、パラメータnを用意し、受信データ管理テーブル16において、優先順位が上位n位以内(優先度がn以下)のデータを優先データとして定義する。なお、パラメータnは、固定値としてもよいし、ユーザが任意の値を設定できるようにしてもよい。図8(c)に示す受信データ管理テーブル16において、パラメータn=2に設定すると、優先度1であるニューヨーク事業所の音声データ(ID=NY0011A)と、優先度2である同事業所の画像データ(ID=NY0012V))が優先データとして定義される。
 以下においては、ニューヨーク事業所の音声データと画像データを優先データとして定義した場合において、ニューヨーク事業所の画像の遅延が増大化しつつある状況下でデータ受信制御部12が実行する処理の内容を説明する。
 図19は、データ受信制御部12が実行する処理を表すフローチャートである。図19に示すように、データ受信制御部12が実行するルーチンは、第1のループ処理(ステップ100)と、これに後続する第2のループ処理(ステップ200)からなり、データ受信制御部12は、2つのループ処理からなるルーチンを所定のタイミングで繰り返し実行する。
 第1のループ処理(ステップ100)では、“優先データ”として定義されたn個のデータを対象にして、優先度の高い方から順番に以下のステップ101~104を実行する。本ケースでは、まず、ステップ101において、優先度1のニューヨーク事業所の音声データ(ID=NY0011A)の最終出力時刻からの経過時間が第1の閾値Tを超過しているか否かを判断する。具体的には、受信データ管理テーブル16のデータID“NY0011A”に対応する“最終出力時刻”フィールドに格納された時刻と現在時刻との差分から経過時間を求め、当該経過時間が閾値Tを超過しているか否かを判断する。
 本ケースでは、ニューヨーク事業所の音声の出力状態は良好なので、ステップ101で、閾値Tを超過していないと判断され(ステップ101、No)、ニューヨーク事業所の音声データに関する処理はここで終了する。その後、処理はステップ101に戻って、今度は、優先度2のニューヨーク事業所の画像データ(ID=NY0012V)の最終出力時刻からの経過時間が第1の閾値Tを超過しているか否かを判断する。具体的には、受信データ管理テーブル16のデータID“NY0012V”に対応する“最終出力時刻”フィールドに格納された時刻と現在時刻との差分から経過時間を求め、当該経過時間が閾値Tを超過しているか否かを判断する。
 ここで、ニューヨーク事業所の画像の遅延が増大化しつつある本ケースでは、ステップ10で、閾値Tを超過していると判断され(ステップ101、Yes)、処理はステップ102に進む。
 ステップ102では、閾値Tを超過していると判断された優先データの復帰カウンタが0クリアされる。具体的には、ニューヨーク事業所の画像データ(ID=NY0012V)のために専用の復帰カウンタを用意し、当該カウンタを0クリアする。
 ここで、上述した閾値Tは、求める出力品質に応じた出力信号の出力時間間隔の上限値として定義され、出力時間間隔が閾値Tを超えると、ユーザは画像や音声の遅延を感知し始める。なお、閾値Tは、音声データおよび画像データについて、共通の値を定義してもよいし、データの種類ごとに固有の値を定義してもよい。
 続くステップ103では、現在、受信中のデータの中から、最も優先度の低いデータを選択する。具体的には、受信データ管理テーブル16を参照して、“受信状態”が“受信要”となっているデータの中から、最も低い優先度がセットされているデータのデータIDを抽出する。
 受信データ管理テーブル16が図20(d)に示す状態にあった場合、ステップ103では、優先度5の大阪事業所の画像データのデータID“OS0032V”が抽出される。
 続くステップ104では、選択したデータの受信休止処理を実行する。具体的には、ステップ103で抽出したデータID“OS0032V”を含む“送信休止要求”を生成し、これを中継装置30aに発行した後、受信データ管理テーブル16を図20(e)に示す状態に更新する。すなわち、データID“OS0032V”に対応する“受信状態”フィールドの値を“受信要”から“受信休止”に変更するとともに、データID“OS0032V”に対応する“受信休止原因”フィールドにニューヨーク事業所の画像データのデータID“NY0012V”をセットする。本実施形態において、受信休止処理とは、“送信休止要求”を中継装置30aへ送信することによって、送信を止めるように制御する旨を中継装置30aに要求する処理を意味し、送信を止めるように制御する旨は、端末装置間のセッションが終わるまで送信を止めるように制御する旨であってもよい。
 このとき、東京事業所の端末装置10aのデータ受信制御部12から送信休止要求を受領した中継装置30aは、中継データ管理テーブル36を図21(c)に示すように更新する。具体的には、中継装置30aは、受領した送信休止要求に含まれるデータID“OS0032V”をキーとして中継データ管理テーブル36の“中継データID”フィールドを検索し、“OS0032V”に対応する“送信状態“フィールドの値を”送信可“から”送信不可“に更新する。中継データ管理テーブル36が図21(c)のように更新されて以降、中継装置30aの中継制御部32は、東京事業所の端末装置10aを宛先とする大阪事業所の画像データ(ID=OS0032V)を端末装置10aに転送することなくこれを破棄する。
 ここまでで、“優先データ”として定義された2つのデータ(ニューヨーク事業所の音声データと画像データ)について、第1のループ処理(ステップ100)が終了したので、処理は、後続する第2のループ処理(ステップ200)に移る。第2のループ処理(ステップ200)では、第1のループ処理(ステップ100)で受信が休止状態になった1以上のデータ(以下、受信休止データという)を対象にして、優先度の高い方から順番に以下のステップ201~207を実行する。
 まず、ステップ201において、受信休止データ(本シナリオでは、大阪事業所の画像データ)につき、受信データ管理テーブル16を参照して、その受信休止の原因となったデータ(以下、原因データという)を特定する。ここで、受信データ管理テーブル16が図11(e)に示す状態であった場合ステップ201では、“受信状態”が“受信休止”となっている大阪事業所の画像データに対応する“受信休止原因”フィールドにセットされた値“NY0011V”が大阪事業所の画像データの受信休止の原因となったニューヨーク事業所の音声データのデータIDとして特定される。
 続くステップ202では、ステップ201で特定した原因データ(ニューヨーク事業所の画像データ)の最終出力時刻からの経過時間が第2の閾値T未満であるか否かを判断する。具体的には、受信データ管理テーブル16を参照して、ステップ201で特定したデータID“NY0011V”に対応する“最終出力時刻”フィールドに格納された時刻と現在時刻との差分から経過時間を求め、当該経過時間が閾値Tを超過しているか否かを判断する。
 ここで、上述した閾値Tは、第1のループ処理のステップ101で使用した閾値Tと同じく、求める出力品質に応じた出力信号の出力時間間隔として観念されるものであるが、閾値Tの値は、閾値Tよりも十分に小さいことが望ましく、且つ、当該出力信号に対応するデータを送信元が送信する時間間隔よりも大きい値でなければならない。なお、閾値Tも閾値Tと同様に、音声データおよび画像データに共通の値を定義してもよいし、データの種類(音声/画像)ごとに固有の値を定義してもよい。
 ステップ202における判断の結果、経過時間が閾値T未満でないと判断した場合は(ステップ202、No)、処理はステップ208に進み、原因データの復帰カウンタを0クリアする。本ケースでは、大阪事業所の画像データの受信を休止したにもかかわらず、通信ネットワークの通信状態や端末装置10a内部の高負荷状態が十分に改善していない場合、ステップ202において、経過時間が閾値T未満でないと判断され(ステップ202、No)、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタが0クリアされる。この時点で、全ての受信休止データについて処理が終了したことになるので、第2のループ処理(ステップ200)を終了する。
 第2のループ処理(ステップ200)が終了すると、次のタイミングを待って、再び、第1のループ処理(ステップ100)が開始する。
 ステップ101では、優先度1のニューヨーク事業所の音声データ(ID=NY0011A)の最終出力時刻からの経過時間が第1の閾値Tを超過していないと判断され(ステップ101、No)、ニューヨーク事業所の音声データに関する処理が終了し、再び、ステップ101で、今度は、優先度2のニューヨーク事業所の画像データ(ID=NY0012V)の最終出力時刻からの経過時間が第1の閾値Tを超過しているか否かを判断する。
 この時点で、大阪事業所の画像データの受信を休止したにもかかわらず、通信ネットワークの通信状態や端末装置10a内部の高負荷状態に実質的な改善が見られない場合、ステップ101で、閾値Tを超過していると判断され(ステップ101、Yes)、処理はステップ102に進む。
 ステップ102では、閾値Tを超過していると判断されたニューヨーク事業所の画像データ(ID=NY0012V)の復帰カウンタが0クリアされた後、続くステップ103で、受信データ管理テーブル16を参照して、現在、受信中のデータの中から、最も優先度の低いデータを選択する。ここで、受信データ管理テーブル16が図20(e)に示す状態にあった場合、ステップ103では、優先度4の大阪事業所の音声データのデータID“OS0031A”が抽出される。
 続くステップ104では、選択したデータの受信休止処理を実行する。具体的には、ステップ103で抽出したデータID“OS0031A”を含む“送信休止要求”を生成し、これを中継装置30aに発行した後、受信データ管理テーブル16を図20(f)に示す状態に更新する。すなわち、データID“OS0031A”に対応する“受信状態”フィールドの値を“受信要”から“受信休止”に変更するとともに、データID“OS0031A”に対応する“受信休止原因”フィールドにニューヨーク事業所の画像データのデータID“NY0012V”をセットする。
 このとき、東京事業所の端末装置10aのデータ受信制御部12から送信休止要求を受領した中継装置30aは、中継データ管理テーブル36を図21(d)に示すように更新する。具体的には、中継装置30aは、受領した送信休止要求に含まれるデータID“OS0031A”をキーとして中継データ管理テーブル36の“中継データID”フィールドを検索し、“OS0031A”に対応する“送信状態“フィールドの値を”送信可“から”送信不可“に更新する。中継データ管理テーブル36が図21(d)のように更新されて以降、中継装置30aの中継制御部32は、東京事業所の端末装置10aを宛先とする大阪事業所の音声データ(ID=OS0031A)を端末装置10aに転送することなくこれを破棄する。
 ここまでで、第1のループ処理(ステップ100)が終了し、後続する第2のループ処理(ステップ200)では、現在の受信休止データを対象にして、優先度の高い方から順番に以下のステップ201~207を実行する。
 まず、ステップ201において、最も優先度の高い受信休止データ(大阪事業所の音声データ)につき、その原因データであるニューヨーク事業所の音声データを取得し、続くステップ202では、原因データ(ニューヨーク事業所の画像データ)の最終出力時刻からの経過時間が第2の閾値T未満であるか否かを判断する。
 大阪事業所の画像データに加えて音声データの受信を休止した結果、通信ネットワークの通信状態または端末装置10a内部の高負荷状態が改善され、ニューヨーク事業所の画像が高品質に維持されている場合、ステップ202において、経過時間が閾値T未満であると判断され(ステップ202、Yes)、処理はステップ203に進む。ステップ203では、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタが1増加された後、続くステップ204で、当該復帰カウンタの値が閾値Nに達したか否かが判断される。
 ステップ204の判断の結果、復帰カウンタの値が閾値Nに達していないと判断された場合には、この時点で、大阪事業所の音声データ(受信休止データ)についての処理を終了し、再び、ステップ201に戻る。ステップ201では、2番目に優先度の高い受信休止データ(大阪事業所の画像データ)につき、その原因データ(ニューヨーク事業所の画像データ)を特定し、その最終出力時刻からの経過時間が第2の閾値T未満であるか否かを判断する(ステップ202)。
 ニューヨーク事業所の画像が高品質に維持されているこの時点では、ステップ202で、経過時間が閾値T未満であると判断され(ステップ202、Yes)、続くステップ203で、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタが1増加された後、当該復帰カウンタの値が閾値Nに達したか否かが判断される。
 ステップ204の判断の結果、復帰カウンタの値が閾値Nに達しないと判断された場合、大阪事業所の画像データ(受信休止データ)についての処理を終了する。この時点で、全ての受信休止データについて処理が終了したことになるので、第2のループ処理(ステップ200)を終了する。
 第2のループ処理(ステップ200)が終了すると、次のタイミングを待って、再び、第1のループ処理(ステップ100)が開始する。
 ステップ101では、優先度1のニューヨーク事業所の音声データ(ID=NY0011A)および優先度2の画像データ(ID=NY0012V)について、順番に、最終出力時刻からの経過時間が第1の閾値Tを超過しているか否かが判断される。ニューヨーク事業所の画像および音声とも高品質に維持されているこの時点では、いずれの経過時間も閾値Tを超過していないので(ステップ101、No)、第1のループ処理(ステップ200)をそのまま終了する。
 後続する第2のループ処理(ステップ200)では、現在の受信休止データを対象にして、優先度の高い方から順番に以下のステップ201~207が実行される。
 まず、ステップ201において、最も優先度の高い受信休止データ(大阪事業所の音声データ)につき、その原因データ(ニューヨーク事業所の画像データ)の最終出力時刻からの経過時間が第2の閾値T未満であるか否かを判断する。
 ニューヨーク事業所の画像が高品質に維持されているこの時点では、ステップ202において、経過時間が閾値T未満であると判断され(ステップ202、Yes)、処理はステップ203に進む。ステップ203では、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタが1増加された後、続くステップ204で、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタの値が閾値Nに達したか否かが判断される。
 ステップ204の判断の結果、復帰カウンタの値が閾値Nに達していないと判断された場合、ここで、大阪事業所の音声データ(受信休止データ)についての処理を終了し、再び、ステップ201に戻る。ステップ201では、2番目に優先度の高い受信休止データ(大阪事業所の画像データ)につき、その原因データ(ニューヨーク事業所の画像データ)を特定し、その最終出力時刻からの経過時間が第2の閾値T未満であるか否かを判断する(ステップ202)。
 同じく、ニューヨーク事業所の画像が高品質に維持されているこの時点では、経過時間が閾値T未満であると判断され(ステップ202、Yes)、続くステップ203で、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタが1増加された後、当該復帰カウンタの値が閾値Nに達したか否かが判断される。
 ステップ204の判断の結果、復帰カウンタの値が閾値Nに達していないと判断された場合、大阪事業所の画像データ(受信休止データ)についての処理を終了する。この時点で、全ての受信休止データについて処理が終了したことになるので、第2のループ処理(ステップ200)を終了する。
 第2のループ処理(ステップ200)が終了すると、次のタイミングを待って、再び、第1のループ処理(ステップ100)が開始し、それ以降、上述した処理が繰り返される。
 以上の説明から、ニューヨーク事業所の画像の画質が十分に改善してから、第2のループ処理(ステップ200)におけるステップ203がN回繰り返されるまでの間、受信データ管理テーブル16が図22(g)に示す状態に維持されることが理解されるであろう。
 つまり、本実施形態においては、動作の安定性に鑑みて、優先データの出力状態が改善した時点で直ちに受信休止データの受信を再開するのではなく、優先データの良好な出力状態が所定時間以上継続するのを待って、受信休止データの受信を再開する。したがって、ステップ204の判断において参照される閾値Nは、この動作安定性の目的に応じた適切な値を定義することが望ましい。
 原因データ(ニューヨーク事業所の画像データ)につき、第2のループ処理(ステップ200)のステップ203がN回繰り返された後のステップ204では、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタの値が閾値Nに達したと判断され(ステップ204、Yes)、処理はステップ205に進む。
 ステップ205では、カウンタ値が閾値Nに達した復帰カウンタに対応する原因データ(すなわち、ニューヨーク事業所の音声データ)のために、現在、受信を休止している受信休止データの中から、最も優先度の高いデータを選択する。ここで、受信データ管理テーブル16が図22(g)に示す状態にあった場合、ステップ205では、“受信状態”が“受信休止”となっているデータのうち、優先度4の大阪事業所の音声データのデータID”OS0031A”が抽出される。
 続くステップ206では、選択した受信休止データの受信再開処理を実行する。具体的には、ステップ205で抽出したデータID“OS0031A”を含む“送信再開要求”を生成し、これを中継装置30aに発行した後、受信データ管理テーブル16を図22(h)に示す状態に更新する。すなわち、データID“OS0031A”に対応する“受信状態”フィールドの値を“受信休止”から“受信要”に変更するとともに、データID“OS0031A”に対応する“受信休止原因”フィールドにセットされていた値“NY0011V”を削除する。
 このとき、東京事業所の端末装置10aのデータ受信制御部12から送信再開要求を受領した中継装置30aは、中継データ管理テーブル36を図21(e)に示すように更新する。具体的には、中継装置30aは、受領した送信再開要求に含まれるデータID“OS0031A”をキーとして中継データ管理テーブル36の“中継データID”フィールドを検索し、“OS0031A”に対応する“送信状態“フィールドの値を”送信不可“から”送信可“に更新する。中継データ管理テーブル36が図21(e)のように更新されて以降、中継装置30aの中継制御部32は、東京事業所の端末装置10aを宛先とする大阪事業所の音声データ(ID=OS0031A)の端末装置10aへの転送を再開する。
 続くステップ207では、カウンタ値が閾値Nに達した原因データ(ニューヨーク事業所の画像データ)の復帰カウンタを0クリアする。この時点で、大阪事業所の音声データ(受信休止データ)についての処理が終了し、処理は、ステップ201に戻る。
 ステップ201では、2番目に優先度の高い受信休止データ(大阪事業所の画像データ)につき、その原因データ(ニューヨーク事業所の画像データ)を特定し、その最終出力時刻からの経過時間が第2の閾値T未満であるか否かを判断する(ステップ202)。
 同じく、ニューヨーク事業所の画像が高品質に維持されているこの時点では、経過時間が閾値T未満であると判断され(ステップ202、Yes)、続くステップ203で、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタが1増加された後、当該復帰カウンタの値が閾値Nに達したか否かが判断される。
 ここで、大阪事業所の音声データ(受信休止データ)について実施された前回のステップ207において、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタが0クリアされたので、この時点の復帰カウンタの値=1となる。その結果、ステップ204では、閾値Nに達していないと判断される(ステップ204、No)。この時点で、大阪事業所の音声データ(受信休止データ)についての処理が終了し、第2のループ処理(ステップ200)が終了する。
 第2のループ処理(ステップ200)が終了すると、次のタイミングを待って、再び、第1のループ処理(ステップ100)が開始し、それ以降、上述した処理が繰り返される。
 このように、上述した図19では第1のループ処理(ステップ100)について定期的に実施する方法を例にあげた。この方法以外に、優先度の高いデータをユーザに対して出力(映像であればレンダリング、音声ならスピーカー出力)するタイミングで実施する方法であってもよい。例えば、第1のループ処理(ステップ100)において、出力した高優先度の受信中データ(これをデータAとする)について、ステップS101~S104の処理を実行する。上記データAについて第1のループ処理を実行した後、データAの最終出力時刻を現在値に更新して、第2のループ処理に移行する。
 第1のループ処理例では、定期間隔でのチェックのみの場合には「閾値にすこしだけ遅れてデータを出力できた場合」に検出されないことが考えられる。このため、上述したように監視対象のデータを出力するたびに、最終出力時刻の更新“前”に定期チェックと同じ処理を実行する。これにより例えばブラックアウト判定の閾値が3秒に対して4秒でデータを出力できたという“状況悪化の兆候”で制御を働かせることができる。
 以上の説明から、優先度4の受信休止データ(大阪事業所の音声データ)の受信が再開してから、第2のループ処理(ステップ200)におけるステップ203がN回繰り返されるまでの間、受信データ管理テーブル16が図22(h)に示す状態に維持されることが理解されるであろう。
 つまり、本実施形態においては、動作の安定性に鑑みて、優先データの出力状態が改善した時点で直ちに、これを原因データとする全ての受信休止データの受信を一斉に再開するのではなく、1つの受信休止データの受信を再開した後に優先データの良好な出力状態が所定時間以上継続するのを待って、次の受信休止データの受信を再開する。
 原因データ(ニューヨーク事業所の画像データ)につき、第2のループ処理(ステップ200)のステップ203が、再度、N回繰り返された後のステップ204では、原因データ(ニューヨーク事業所の画像データ)の復帰カウンタの値が閾値Nに達したと判断され(ステップ204、Yes)、処理はステップ205に進む。
 ステップ205では、カウンタ値が閾値Nに達した復帰カウンタに対応する原因データ(すなわち、ニューヨーク事業所の音声データ)のために、現在、受信を休止している受信休止データの中から、最も優先度の高いデータを選択する。ここで、受信データ管理テーブル16が図22(h)に示す状態にあった場合、ステップ205では、“受信状態”が“受信休止”となっている優先度5の大阪事業所の画像データのデータID”OS0032V”が抽出される。
 続くステップ206では、選択した受信休止データの受信再開処理を実行する。具体的には、ステップ205で抽出したデータID”OS0032V”を含む“送信再開要求”を生成し、これを中継装置30aに発行した後、受信データ管理テーブル16を図22(i)に示す状態に更新する。すなわち、データID”OS0032V”に対応する“受信状態”フィールドの値を“受信休止”から“受信要”に変更するとともに、データID”OS0032V”に対応する“受信休止原因”フィールドにセットされていた値“NY0011V”を削除する。
 このとき、東京事業所の端末装置10aのデータ受信制御部12から送信再開要求を受領した中継装置30aは、中継データ管理テーブル36を図21(f)に示すように更新する。具体的には、中継装置30aは、受領した送信再開要求に含まれるデータID“OS0032V”をキーとして中継データ管理テーブル36の“中継データID”フィールドを検索し、“OS0032V”に対応する“送信状態“フィールドの値を”送信不可“から”送信可“に更新する。中継データ管理テーブル36が図21(f)のように更新されて以降、中継装置30aの中継制御部32は、東京事業所の端末装置10aを宛先とする大阪事業所の画像データ(ID=OS0032V)の端末装置10aへの転送を再開する。
 以上、説明したように、本発明によれば、出力品質の劣化が伝送遅延または内部処理遅延あるいはこれらの複合に依るものであったとしても、優先順位の高いデータに係る出力をできる限り品質の高い状態で維持することが可能になる。
 なお、上述した実施形態の各機能は、C、C++、C#、Java(登録商標)などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、CD-ROM、MO、DVD、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式で通信ネットワークを介して伝送することができる。
 以上、本発明について、遠隔会議システムの実施形態に基づいて説明してきたが、本発明は上述した実施形態に限定されるものではなく、本発明は、通信ネットワークを介して端末装置に複数のコンテンツデータを同時に伝送することを内容とするデータ伝送システムであれば、その用途を問わず、どのようなシステムにも適用することができる。また、その場合、端末装置は、その用途に応じて、スマートフォン、汎用PC、タブレット型端末、携帯電話、電子黒板、プロジェクタ等の投影装置、自動車に搭載されるカーナビゲーション端末などで構成することができる。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
 1 遠隔会議システム
 2a,2b,2c,2d LAN
 2ab,2cd 専用線
 10 端末装置
 12 データ受信制御部
 13 受信優先順位管理部
 14 最終出力時刻更新部
 15 送受信部
 16 受信データ管理テーブル
 30 中継装置
 32 中継制御部
 36 中継データ管理テーブル
 50 伝送管理装置
 70 ルータ
 80 インターネット
 101 CPU
 102 ROM
 103 RAM
 104 フラッシュメモリ
 105 SSD
 106 記録メディア
 107 メディアドライブ
 108 操作ボタン
 109 電源スイッチ
 110 バスライン
 112 カメラ
 114 マイク
 115 スピーカー
 119 アラームランプ
 120 ディスプレイ
 120c ケーブル
 201 CPU
 202 ROM
 203 RAM
 205 HDD
 206 記録メディア
 207 メディアドライブ
 208 ディスプレイ
 210 バスライン
 211 キーボード
 212 マウス
 213 CD-ROM
 214 CD-ROMドライブ
 1100 筐体
 1110 前側壁面
 1120 後側壁面
 1121 排気面
 1130 右側壁面
 1131 収音用孔
 1140 左側壁面
 1150 操作パネル
 1151 音出面
 1160 収容部
 1200 アーム
 1210 トルクヒンジ
 1300 カメラハウジング
 1310 トルクヒンジ
特開2010―093505号公報

Claims (17)

  1.  コンテンツデータを送信または受信する複数の端末装置が通信ネットワーク上に配置されてなるデータ伝送システムであって、
     前記複数の端末装置のうち、他の端末装置から送信されたコンテンツデータを受信する少なくとも1つの端末装置は、
     自身を宛先とする2以上のコンテンツデータの優先順位を管理する受信優先順位管理部と、
     受信中の2以上のコンテンツデータのうち、前記受信優先順位管理部によって管理される優先順位が高い優先データに対応する出力信号の出力時間間隔に基づいて、前記優先データよりも優先順位が低いコンテンツデータの送信を止めるように制御する旨を当該優先順位が低いコンテンツデータを送信する送信元に対して要求するデータ受信制御部と、
     を備えることを特徴とするデータ伝送システム。
  2.  前記複数の端末装置間で送信または受信される2以上のコンテンツデータを中継する中継装置をさらに備えることを特徴とする請求項1に記載のデータ伝送システム。
  3.  データ受信制御部は、
     受信中の2以上のコンテンツデータのうち、優先順位が高い優先データに対応する出力信号の出力時間間隔が第1の閾値を超えた場合に、最も優先順位が低いコンテンツデータの送信を止めるように制御する旨を前記中継装置に対して要求する、
    ことを特徴とする請求項1に記載のデータ伝送システム。
  4.  前記データ受信制御部は、
     前記優先データの前記出力時間間隔が前記第1の閾値よりも小さい第2の閾値未満になった場合に、送信休止を要求した前記コンテンツデータの送信再開を前記中継装置に対して要求する、
    ことを特徴とする請求項3に記載のデータ伝送システム。
  5.  前記データ受信制御部は、
     前記優先データの前記出力時間間隔が前記第2の閾値未満の状態が所定時間以上継続するのを待って前記送信再開を要求する、
    ことを特徴とする請求項4に記載のデータ伝送システム。
  6.  前記データ受信制御部は、
     送信休止を要求した2以上の前記コンテンツデータのうち、優先順位が高いコンテンツデータから順番に前記送信再開を要求する、
    ことを特徴とする請求項4に記載のデータ伝送システム。
  7.  前記データ受信制御部は、
     前記優先順位の高いコンテンツデータの受信が再開した後、前記優先データの前記出力時間間隔が前記第2の閾値未満の状態が所定時間以上継続するのを待って、該コンテンツデータに次いで優先順位が高いコンテンツデータの前記送信再開を要求する、
    ことを特徴とする請求項6に記載のデータ伝送システム。
  8.  前記コンテンツデータは、音声データまたは画像データの少なくとも一方を含むことを特徴とする請求項1に記載のデータ伝送システム。
  9.  通信ネットワーク上にコンテンツデータを送信または受信する複数の端末装置が配置され、
     前記複数の端末装置のうち、他の端末装置から送信されたコンテンツデータを受信する少なくとも1つの端末装置は、
     自身を宛先とする2以上のコンテンツデータの優先順位を管理する受信優先順位管理部と、
     受信中の2以上のコンテンツデータのうち、前記受信優先順位管理部によって管理される優先順位が高い優先データに対応する出力信号の出力時間間隔に基づいて、前記優先データよりも優先順位が低いコンテンツデータの送信を止めるように制御する旨を当該優先順位が低いコンテンツデータを送信する送信元に対して要求するデータ受信制御部と、
     を備えることを特徴とする端末装置。
  10.  コンテンツデータを送信または受信する複数の端末装置が通信ネットワーク上に配置されてなるコンピュータであって、
     前記複数の端末装置のうち、他の端末装置から送信されたコンテンツデータを受信する少なくとも1つの端末装置を、
     自身を宛先とする2以上のコンテンツデータの優先順位を管理する受信優先順位管理ステップと、
     受信中の2以上のコンテンツデータのうち、前記受信優先順位管理ステップによって管理される優先順位が高い優先データに対応する出力信号の出力時間間隔に基づいて、前記優先データよりも優先順位が低いコンテンツデータの送信を止めるように制御する旨を当該優先順位が低いコンテンツデータを送信する送信元に対して要求するデータ受信制御ステップと、
     を前記コンピュータ実行させるためのプログラム。
  11.  データ受信制御ステップは、
     受信中の2以上のコンテンツデータのうち、優先順位が高い優先データに対応する出力信号の出力時間間隔が第1の閾値を超えた場合に、最も優先順位が低いコンテンツデータの送信を止めるように制御する旨を該コンテンツデータの送信元に対して要求する、
    請求項10に記載のプログラム。
  12.  前記データ受信制御ステップは、
     前記優先データの前記出力時間間隔が前記第1の閾値よりも小さい第2の閾値未満になった場合に、送信休止を要求した前記コンテンツデータの送信再開を前記送信元に対して要求する、
    請求項11に記載のプログラム。
  13.  前記データ受信制御ステップは、
     前記優先データの前記出力時間間隔が前記第2の閾値未満の状態が所定時間以上継続するのを待って前記送信再開を要求する、
    請求項12に記載のプログラム。
  14.  前記データ受信制御ステップは、
     送信休止を要求した2以上の前記コンテンツデータのうち、優先順位が高いコンテンツデータから順番に前記送信再開を要求する、
    請求項12に記載のプログラム。
  15.  前記データ受信制御ステップは、
     前記優先順位の高いコンテンツデータの受信が再開した後、前記優先データの前記出力時間間隔が前記第2の閾値未満の状態が所定時間以上継続するのを待って、該コンテンツデータに次いで優先順位が高いコンテンツデータの前記送信再開を要求する、
    請求項14に記載のプログラム。
  16.  前記コンテンツデータは、音声データまたは画像データの少なくとも一方を含む、請求項10に記載のプログラム。
  17.  通信ネットワークを介して外部から送信される2以上のコンテンツデータの受信状態を制御するデータ伝送方法であって、
     自身を宛先とする2以上のコンテンツデータの優先順位を管理する受信優先順位管理工程と、
     受信中の2以上のコンテンツデータのうち、前記受信優先順位管理工程によって管理される優先順位が高い優先データに対応する出力信号の出力時間間隔に基づいて、前記優先データよりも優先順位が低いコンテンツデータの送信を止めるように制御する旨を当該優先順位が低いコンテンツデータを送信する送信元に対して要求するデータ受信制御工程と、
     を含むことを特徴とするデータ伝送方法。
PCT/JP2015/051424 2014-01-22 2015-01-20 データ伝送システム、端末装置、プログラムおよびデータ伝送方法 WO2015111588A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CA2937519A CA2937519A1 (en) 2014-01-22 2015-01-20 Data transmission system, terminal device, computer program, and data transmission method
CN201580005382.XA CN105934750A (zh) 2014-01-22 2015-01-20 数据传输系统、终端设备、计算机程序以及数据传输方法
EP15740918.6A EP3098717B1 (en) 2014-01-22 2015-01-20 Data transmission system, terminal device, program, and data transmission method
JP2015559076A JP6311726B2 (ja) 2014-01-22 2015-01-20 データ伝送システム、端末装置、プログラムおよびデータ伝送方法
US15/113,338 US9722808B2 (en) 2014-01-22 2015-01-20 Data transmission system, a terminal device, and a recording medium
SG11201605932VA SG11201605932VA (en) 2014-01-22 2015-01-20 Data transmission system, terminal device, program, and data transmission method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-009104 2014-01-22
JP2014009104 2014-01-22

Publications (1)

Publication Number Publication Date
WO2015111588A1 true WO2015111588A1 (ja) 2015-07-30

Family

ID=53681391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/051424 WO2015111588A1 (ja) 2014-01-22 2015-01-20 データ伝送システム、端末装置、プログラムおよびデータ伝送方法

Country Status (7)

Country Link
US (1) US9722808B2 (ja)
EP (1) EP3098717B1 (ja)
JP (1) JP6311726B2 (ja)
CN (1) CN105934750A (ja)
CA (1) CA2937519A1 (ja)
SG (1) SG11201605932VA (ja)
WO (1) WO2015111588A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10458947B2 (en) 2016-04-22 2019-10-29 Yokogawa Electric Corporation Thinning detection system and thinning detection method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2941555A1 (en) * 2014-03-05 2015-09-11 Ricoh Company, Limited Data transmission system, terminal device, program, and method
JP6677061B2 (ja) 2016-04-22 2020-04-08 株式会社リコー 通信装置、通信システム、及びプログラム
JP6634965B2 (ja) 2016-06-20 2020-01-22 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
US10671494B1 (en) * 2017-11-01 2020-06-02 Pure Storage, Inc. Consistent selection of replicated datasets during storage system recovery
CN110166266B (zh) * 2018-02-12 2022-05-06 大唐移动通信设备有限公司 一种从节点配置更新的处理方法、主节点及从节点
JP7373712B2 (ja) * 2019-08-19 2023-11-06 株式会社リコー 通信端末、通信システム、データ共有方法およびプログラム
JPWO2021234882A1 (ja) * 2020-05-20 2021-11-25
CN113098763B (zh) * 2021-06-10 2021-10-01 天聚地合(苏州)数据股份有限公司 即时通讯消息发送方法、装置、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003152752A (ja) * 2001-08-29 2003-05-23 Matsushita Electric Ind Co Ltd データ送受信方法
JP2010093505A (ja) 2008-10-07 2010-04-22 Yamaha Corp 通信装置及び通信システム
US20120030357A1 (en) * 2010-03-30 2012-02-02 Qualcomm Incorporated Method and apparatus to facilitate voice activity detection and coexistence manager decisions

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58143232U (ja) 1982-02-19 1983-09-27 積水樹脂株式会社 野菜貯蔵袋
JPS6411460A (en) 1987-07-03 1989-01-17 Hitachi Ltd Composite communication system for speech and data
US5001705A (en) * 1987-11-06 1991-03-19 Fujitsu Limited Protocol control circuit for data bus system
EP1439704A3 (en) 1997-03-17 2011-08-10 Panasonic Corporation Method and apparatus for processing, transmitting and receiving dynamic image data
US6957269B2 (en) * 2001-01-03 2005-10-18 Advanced Micro Devices, Inc. Method and apparatus for performing priority-based flow control
KR100460429B1 (ko) * 2002-11-15 2004-12-08 삼성전자주식회사 우선순위 큐잉 장치 및 이를 이용한 우선순위 큐잉 방법
JP2004312560A (ja) 2003-04-09 2004-11-04 Ntt Docomo Inc ストリーミング受信端末、ストリーミング配信装置
US7551561B2 (en) * 2003-05-15 2009-06-23 Panasonic Corporation Packet communication terminal
DE602005001167T2 (de) * 2004-03-24 2008-01-24 Motorola, Inc., Schaumburg Anrufverschlüsselung in einem TETRA Netz
EP1650905A1 (en) 2004-10-25 2006-04-26 Siemens Aktiengesellschaft Method for bandwidth profile management in a Metro Ethernet network
US20060268692A1 (en) * 2005-05-31 2006-11-30 Bellsouth Intellectual Property Corp. Transmission of electronic packets of information of varying priorities over network transports while accounting for transmission delays
CN100525483C (zh) * 2005-11-24 2009-08-05 大唐移动通信设备有限公司 移动通信系统中数据链路层流量控制的方法
JP4421625B2 (ja) 2007-03-20 2010-02-24 富士通株式会社 フロー制御方法および受信装置
DE102008039580A1 (de) * 2008-08-25 2010-03-04 Siemens Aktiengesellschaft Verfahren zum Übertragen von Datenpaketen in einem Kommunikationsnetz und Schaltvorrichtung
JP4796615B2 (ja) * 2008-11-26 2011-10-19 日東電工株式会社 光電気混載基板およびその製造方法
US9656092B2 (en) * 2009-05-12 2017-05-23 Chronicmobile, Inc. Methods and systems for managing, controlling and monitoring medical devices via one or more software applications functioning in a secure environment
CN101895403B (zh) * 2009-05-22 2013-08-28 华为技术有限公司 一种数据传送方法、装置和通信系统
WO2010136042A1 (en) * 2009-05-25 2010-12-02 Vestas Wind Systems A/S One global precise time and one maximum transmission time
CN101902314B (zh) * 2009-06-01 2013-11-20 鼎桥通信技术有限公司 一种传输数据的方法
JP2011066480A (ja) * 2009-09-15 2011-03-31 Brother Industries Ltd 通信システムおよび端末装置
EP2517424A4 (en) 2009-12-25 2017-05-17 Ricoh Company, Limited Transmission management system, transmission system, computer program product, program providing system, and maintenance system
JP5755850B2 (ja) * 2010-07-28 2015-07-29 パナソニック株式会社 離散時間アナログ回路及びそれを用いた受信機
JP2012151555A (ja) * 2011-01-17 2012-08-09 Nec Corp テレビ会議システム、テレビ会議中継装置、テレビ会議中継方法および中継プログラム
JP5741224B2 (ja) 2011-05-31 2015-07-01 富士通株式会社 通信制御方法及び中継装置
JP2014090387A (ja) 2012-10-31 2014-05-15 Ricoh Co Ltd 情報処理装置、会議システムおよびプログラム
JP6182902B2 (ja) 2013-02-28 2017-08-23 株式会社リコー 伝送端末、伝送システム及びプログラム
JP2015097070A (ja) 2013-06-12 2015-05-21 株式会社リコー 通信システム、情報処理装置、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003152752A (ja) * 2001-08-29 2003-05-23 Matsushita Electric Ind Co Ltd データ送受信方法
JP2010093505A (ja) 2008-10-07 2010-04-22 Yamaha Corp 通信装置及び通信システム
US20120030357A1 (en) * 2010-03-30 2012-02-02 Qualcomm Incorporated Method and apparatus to facilitate voice activity detection and coexistence manager decisions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KEN OHTA ET AL.: "Spatial Resolution Control for Content-based Mobile Multimedia Access Protocol", IPSJ SIG NOTES, vol. 97, no. 117, 4 December 1997 (1997-12-04), pages 69 - 74, XP055339600 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10458947B2 (en) 2016-04-22 2019-10-29 Yokogawa Electric Corporation Thinning detection system and thinning detection method

Also Published As

Publication number Publication date
JPWO2015111588A1 (ja) 2017-03-23
EP3098717B1 (en) 2018-11-28
SG11201605932VA (en) 2016-08-30
US20170012793A1 (en) 2017-01-12
JP6311726B2 (ja) 2018-04-18
CA2937519A1 (en) 2015-07-30
EP3098717A1 (en) 2016-11-30
CN105934750A (zh) 2016-09-07
US9722808B2 (en) 2017-08-01
EP3098717A4 (en) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6311726B2 (ja) データ伝送システム、端末装置、プログラムおよびデータ伝送方法
US8850033B2 (en) Apparatus, system, and method of controlling connection among terminals and recording medium storing connection control program
US9077851B2 (en) Transmission terminal, transmission system, display control method, and recording medium storing display control program
JP5998383B2 (ja) 伝送管理システム、伝送システム、伝送管理方法、及びプログラム
US8713148B2 (en) Transmission terminal, transmission system, transmission method, and recording medium storing transmission control program
US9401945B2 (en) Apparatus, system, and method of managing data transmission, and recording medium storing data transmission management program
JP6372156B2 (ja) 接続制御システム、通信端末、通信システム、プログラム、及び接続制御方法
JP5831320B2 (ja) 伝送管理システム、伝送システム、及び伝送管理システム用プログラム
JP2019106719A (ja) 制御システム、制御方法
JP2015219844A (ja) セッション制御システム、通信端末、通信システム、プログラム、及びセッション制御方法
JP6536068B2 (ja) 制御システム、通信システム、制御方法、及びプログラム
EP3065373A1 (en) Communication system, communication method, relay device, and computer program product
JP6354834B2 (ja) データ伝送システム、端末装置、プログラムおよび方法
US9961298B2 (en) Management system, control apparatus, and method for managing session
JP6565557B2 (ja) 通信端末、通信システム、出力制御方法、及びプログラム
JP6610103B2 (ja) 通信端末、通信システム、通信制御方法、及びプログラム
JP2015220508A (ja) 管理システム、プログラム、管理方法及び通信システム
JP6295628B2 (ja) 伝送管理システム、伝送管理方法及びプログラム
JP6500366B2 (ja) 管理装置、端末装置、伝送システム、伝送方法およびプログラム
JP6413257B2 (ja) 伝送端末、伝送システム、及びプログラム
JP6128177B2 (ja) 伝送システム、伝送方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15740918

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015559076

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2937519

Country of ref document: CA

REEP Request for entry into the european phase

Ref document number: 2015740918

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15113338

Country of ref document: US

Ref document number: 2015740918

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE