WO2015129319A1 - 通信装置、通信システム、通信制御方法およびプログラム - Google Patents

通信装置、通信システム、通信制御方法およびプログラム Download PDF

Info

Publication number
WO2015129319A1
WO2015129319A1 PCT/JP2015/050969 JP2015050969W WO2015129319A1 WO 2015129319 A1 WO2015129319 A1 WO 2015129319A1 JP 2015050969 W JP2015050969 W JP 2015050969W WO 2015129319 A1 WO2015129319 A1 WO 2015129319A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
terminal
data
quality
site
Prior art date
Application number
PCT/JP2015/050969
Other languages
English (en)
French (fr)
Inventor
翔 永峯
拓也 今井
健一郎 森田
Original Assignee
株式会社リコー
翔 永峯
拓也 今井
健一郎 森田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 翔 永峯, 拓也 今井, 健一郎 森田 filed Critical 株式会社リコー
Priority to JP2016505092A priority Critical patent/JP6432595B2/ja
Priority to CN201580010561.2A priority patent/CN106031164A/zh
Priority to US15/120,890 priority patent/US20160366425A1/en
Priority to EP15755027.8A priority patent/EP3113490B1/en
Publication of WO2015129319A1 publication Critical patent/WO2015129319A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1836—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture
    • H04L12/184—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture with heterogeneous receivers, e.g. layered multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1863—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast comprising mechanisms for improved reliability, e.g. status reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems

Definitions

  • the present invention relates to a communication device, a communication system, a communication control method, and a program.
  • Patent Document 1 discloses H.264.
  • a transmission side terminal that transmits encoded data that is scalable encoded in the H.264 / SVC format, a reception side terminal that receives and decodes the encoded data, and a conference bridge that connects the transmission side terminal and the reception side terminal.
  • a video conferencing system is disclosed.
  • the conference bridge determines the network status of the reception side terminal. Then, the conference bridge selects the encoded data of the video stream having the quality suitable for the situation of the receiving terminal from the encoded data transmitted in a scalable manner by the transmitting terminal, and sends it to the receiving terminal.
  • Send discloses H.264.
  • a transmission side terminal that transmits encoded data that is scalable encoded in the H.264 / SVC format
  • a reception side terminal that receives and decodes the encoded data
  • a conference bridge that connects the transmission side terminal and the reception side terminal.
  • a video conferencing system is disclosed.
  • the conference bridge determines the network status of the reception side terminal.
  • Patent Document 1 the authority to select the encoded data to be actually transmitted to the receiving side by judging the situation on the receiving side with respect to the encoded data encoded on the transmitting side in a scalable manner is disclosed in Patent Document 1. It was present in a relay device such as a conference bridge described in. For this reason, on the transmitting side, regardless of the situation on the receiving side, all of the encoded data that is scalable and encoded with a predetermined setting is transmitted to the relay device, and quality data that is not originally required is also transmitted to the relay device. There are things to do. In this case, the network bandwidth on the transmission side is used more than necessary.
  • the present invention provides a communication apparatus that transmits and receives encoded data that is encoded in a scalable manner to and from other communication apparatuses, decodes the received encoded data, and reproduces and outputs the encoded data.
  • a notification unit that notifies reproduction quality information indicating the quality of data being reproduced and output to another communication device that is a transmission source of the data that is reproduced and output, and the reproduction notified from the other communication device
  • An encoding setting control unit that controls the encoding setting of the encoded data to be transmitted to another communication apparatus that has notified the reproduction quality information based on the quality information.
  • the present invention it is possible to control the setting of scalable encoding on the transmission side according to the situation on the reception side, and to suppress the use of the network bandwidth on the transmission side more than necessary.
  • FIG. 1 is a schematic configuration diagram of a video conference system according to an embodiment.
  • FIG. 2 is a conceptual diagram illustrating an outline of communication in the video conference system according to the embodiment.
  • FIG. 3 is a conceptual diagram illustrating a video data encoding method.
  • FIG. 4 is a conceptual diagram schematically showing how the relay server relays video data and audio data.
  • FIG. 5 is a block diagram illustrating an example of a hardware configuration of the terminal.
  • FIG. 6 is a block diagram illustrating an example of a hardware configuration of the relay server.
  • FIG. 7 is a block diagram illustrating an example of a functional configuration of the terminal.
  • FIG. 8 is a block diagram showing details of the quality control module provided in the terminal.
  • FIG. 9 is a conceptual diagram illustrating a specific example of the reproduction quality information generated by the notification unit.
  • FIG. 10 is a conceptual diagram showing a specific example of notification of reproduction quality information between terminals at a plurality of bases.
  • FIG. 11 is a conceptual diagram illustrating a specific example in which the encoding setting control unit controls the encoding setting by the encoding unit.
  • FIG. 12 is a flowchart illustrating a specific example of a processing procedure performed by the encoding setting control unit.
  • FIG. 13 is a sequence diagram illustrating an outline of processing for transmitting and receiving video between a transmission-side terminal and a reception-side terminal.
  • FIG. 14 is a conceptual diagram showing a specific example of the reproduction quality information generated by the notification unit.
  • FIG. 10 is a conceptual diagram showing a specific example of notification of reproduction quality information between terminals at a plurality of bases.
  • FIG. 11 is a conceptual diagram illustrating a specific example in which the encoding setting control unit controls the encoding setting by
  • FIG. 15 is a conceptual diagram showing a specific example of notification of reproduction quality information between terminals at a plurality of bases.
  • FIG. 16 is a conceptual diagram illustrating a specific example in which the encoding setting control unit controls the encoding setting by the encoding unit.
  • FIG. 17 is a conceptual diagram illustrating a specific example in which the encoding setting control unit controls the encoding setting by the encoding unit.
  • FIG. 18 is a flowchart illustrating a specific example of a processing procedure performed by the encoding setting control unit.
  • FIG. 19 is a conceptual diagram illustrating a specific example in which the encoding setting control unit controls the encoding setting by the encoding unit.
  • FIG. 16 is a conceptual diagram illustrating a specific example in which the encoding setting control unit controls the encoding setting by the encoding unit.
  • FIG. 17 is a conceptual diagram illustrating a specific example in which the encoding setting control unit controls the encoding setting by the encoding unit.
  • FIG. 20 is a conceptual diagram illustrating a specific example in which the encoding setting control unit controls the encoding setting by the encoding unit.
  • FIG. 21 is a flowchart illustrating a specific example of a processing procedure performed by the encoding setting control unit.
  • a video conference system that implements remote conferences at a plurality of locations by transmitting and receiving video data and audio data between a plurality of video conference terminals (corresponding to “communication devices”).
  • video conference system video conference system
  • video data captured by one video conference terminal is scalable and transmitted to another video conference terminal, and the encoded data is decoded and reproduced and output by the other video conference terminal.
  • the communication system to which the present invention is applicable is not limited to this example.
  • the present invention is widely applicable to various communication systems that transmit and receive encoded data that is encoded in a scalable manner between a plurality of communication apparatuses, and various communication terminals that are used in the communication system.
  • FIG. 1 is a schematic configuration diagram of the video conference system 1 of the present embodiment
  • FIG. 2 is a conceptual diagram showing an outline of communication in the video conference system 1 of the present embodiment
  • FIG. 3 is a conceptual diagram illustrating a video data encoding method according to this embodiment.
  • the video conference system 1 of the present embodiment includes a plurality of video conference terminals (hereinafter simply referred to as “terminals”) 10 and displays 11 installed at each base, a plurality of relay servers 30, and the like.
  • a management server 40, a program providing server 50, and a maintenance server 60 are included in the video conference system 1 of the present embodiment.
  • the display 11 is connected to the terminal 10 by wire or wireless.
  • the display 11 may be configured to be integrated with the terminal 10.
  • the terminal 10 and the relay server 30 are connected to the router as, for example, a LAN (Local Area Network) node.
  • the router is a network device that selects a route for data transmission.
  • the router 70a in the LAN 2a, the router 70b in the LAN 2b, the router 70c in the LAN 2c, the router 70d in the LAN 2d, A router 70e connected to the router 2a by the dedicated line 2e and connected to the Internet 2i, and a router 70f connected to the router 70c and the router 70d by the dedicated line 2f and connected to the Internet 2i are illustrated.
  • LAN 2a and LAN 2b are constructed at different locations in region X
  • LAN 2c and LAN 2d are constructed at different locations in region Y.
  • region X is Japan
  • region Y is the United States of America
  • LAN 2a is built in the Tokyo office
  • LAN 2b is built in the Osaka office
  • LAN 2c is built in the New York office
  • LAN 2d is Washington D.C. C. Is built in the office.
  • the communication network 2 is constructed by the LAN 2a, the LAN 2b, the dedicated line 2e, the Internet 2i, the dedicated line 2f, the LAN 2c, and the LAN 2d.
  • the communication network 2 may include not only a wired line but also a place where wireless communication such as WiFi (Wireless Fidelity) or Bluetooth (registered trademark) is performed.
  • video data and audio data are transmitted and received between the plurality of terminals 10 via the relay server 30.
  • a management information session Sei for transmitting and receiving various types of management information is established between the plurality of terminals 10 via the management server 40.
  • a data session Sed for transmitting and receiving video data and audio data is established between the plurality of terminals 10 via the relay server 30.
  • the video data transmitted and received in the data session Sed is encoded data that is encoded in a scalable manner, for example, encoded data of high-quality video, encoded data of medium-quality video, and low-quality video. Encoded data is transmitted / received through separate channels.
  • the process for establishing the management information session Sei and the data session Sed between the plurality of terminals 10 can use, for example, the technique described in Japanese Patent Application Laid-Open No. 2012-138893. Omitted.
  • H.264 / SVC H.264 / AVC Annex G
  • video data is converted into hierarchical data, encoded as a set of a plurality of video data having different qualities, and encoded data corresponding to the video data of each quality is transmitted through a plurality of channels. You can send and receive.
  • this H.264. Assume that encoded data obtained by encoding video data using the H.264 / SVC encoding format is transmitted and received between a plurality of terminals 10.
  • the video data is converted into hierarchical data having a base layer and an extension layer (lower layer / upper layer). Then, the video data of only the base layer is set as low quality video data, the video data composed of the base layer and the lower extension layer is set as medium quality video data, and the base layer, the lower extension layer, and the upper extension layer are used. This video data is high-quality video data. Then, video data of each quality is encoded and transmitted through three channels.
  • the quality of the video data includes, for example, a resolution that is spatial scalability and a frame rate that is temporal scalability.
  • the resolution is a screen resolution (also referred to as a screen mode) represented by the number of pixels in the horizontal and vertical directions of the video.
  • both the resolution and the frame rate are handled as the quality of the video data.
  • Medium quality video data has at least one of resolution and frame rate higher than low quality video data.
  • High quality video data has at least one of resolution and frame rate higher than medium quality video data.
  • the quality of the video data is divided into three levels of low, medium, and high. However, the quality of the video data may be divided into two levels, or may be divided into finer quality of four or more levels. Good.
  • the quality of video data including resolution and frame rate is handled, but the resolution and frame rate may be handled independently.
  • the quality of the video data only one of the resolution and the frame rate may be handled, or other parameters (for example, S / N ratio) related to the quality other than the resolution and the frame rate may be added. May be.
  • the relay server 30 is a computer that relays transmission of video data and audio data between a plurality of terminals 10.
  • the video data relayed by the relay server 30 is, for example, the above-described H.264.
  • This is encoded data that is scalable and encoded in the H.264 / SVC encoding format.
  • the relay server 30 receives all the quality encoded data encoded in a scalable manner from the terminal 10 on the transmission side of the video data in a plurality of channels.
  • a channel corresponding to the required quality is selected, and only the encoded data of that channel is transmitted to the receiving terminal 10.
  • the transmitting terminal 10 transmits all the encoded data of scalable quality to the relay server 30 regardless of the situation of the receiving terminal 10.
  • the network bandwidth between the terminal 10 and the relay server 30 is used more than necessary.
  • the transmission-side terminal 10 can grasp the quality of the video that is actually reproduced and output by the reception-side terminal 10 (that is, displayed on the display 11). 10 controls the encoding setting of the encoded data to be transmitted to the receiving terminal 10 according to the quality of the video actually reproduced and output by the receiving terminal 10. As a result, it is possible to transmit only encoded data having the quality required by the receiving terminal 10 from the transmitting terminal 10 to the receiving terminal 10 via the relay server 30. And the inconvenience of using the network bandwidth between the relay server 30 more than necessary can be effectively suppressed.
  • FIG. 4 is a conceptual diagram schematically showing how the relay server 30 relays video data and audio data.
  • FIG. 4A shows an example in the case of applying the prior art, and FIG. An example of this embodiment is shown.
  • video data and audio data are transmitted from the terminal 10 at the site A (not shown) to the terminal 10 at the site B (not shown) via the relay server 30. It is assumed that the base B is reproducing and outputting a low-quality video (displayed on the display 11).
  • a high-quality video, a medium-quality video, and a low-quality video are transmitted from the terminal 10 (not shown) of the site A on the transmission side to the relay server 30.
  • Video and audio encoded data of one channel is transmitted.
  • the relay server 30 selects a low-quality video channel from the three channels of the high-quality video, the medium-quality video, and the low-quality video according to the situation of the base B serving as the reception side.
  • the encoded data of the audio channel is transmitted to the terminal 10 (not shown) at the site B.
  • the video reproduced and output at the site B is low quality
  • the high-quality video data and the medium-quality video data are transmitted from the site A to the relay server 30.
  • the network bandwidth between the site A and the relay server 30 is used more than necessary.
  • the terminal 10 (not shown) at the base B serving as the receiving side reproduces the reproduction quality indicating the quality of the video from the base A being reproduced and output.
  • Information here, low quality
  • the terminal 10 (not shown) at the base A serving as the transmission side sets the encoding setting when encoding the video data in a scalable manner based on the reproduction quality information notified from the terminal 10 at the base B. Change so that quality video and medium quality video are not included.
  • the notification of the reproduction quality information from the terminal 10 at the base B to the terminal 10 at the base A can be performed using, for example, the management information session Sei described above. Further, the notification of the reproduction quality information from the terminal 10 at the site B to the terminal 10 at the site A may be performed via the relay server 30 (in a session different from the data session Sed).
  • the characteristic processing of the present embodiment as described above includes, for example, the setting of encoding based on the above-described function of notifying the other terminal 10 of the reproduction quality information and the reproduction quality information notified from the other terminal 10. This can be realized by adding a new function such as a control function to the terminal 10. A specific configuration example of the terminal 10 including such functions will be described in detail later.
  • the management server 40 is a computer that manages the entire video conference system 1 of the present embodiment. For example, the management server 40 manages the status of each registered terminal 10, manages the status of the relay device 30, manages login of a user who uses the terminal 10, manages a data session Sed established between a plurality of terminals 10, etc. I do.
  • the transmission-side video data is prevented from being transmitted.
  • the terminal 10 controls video data encoding settings. For this reason, the receiving terminal 10 cannot reproduce and output the video data with quality exceeding the quality of the video data encoded by the transmitting terminal 10.
  • the management server 40 receives a request for improving the quality of video data from the receiving terminal 10 using the management information session Sei described above, notifies the transmitting terminal 10 of the request, and transmits the request. It is desirable to change the encoding setting so that the terminal 10 on the side also encodes higher quality video data in response to a request from the terminal 10 on the receiving side.
  • the program providing server 50 is a computer that provides various programs to the terminal 10, the relay server 30, the management server 40, the maintenance server 60, and the like.
  • the program providing server 50 stores a terminal program for causing the terminal 10 to realize various functions, and can transmit the terminal program to the terminal 10.
  • the program providing server 50 stores a relay server program for causing the relay server 30 to realize various functions, and can transmit the relay server program to the relay server 30.
  • the program providing server 50 stores a management server program for causing the management server 40 to implement various functions, and can transmit the management server program to the management server 40.
  • the program providing server 50 stores a maintenance server program for causing the maintenance server 60 to realize various functions, and can transmit the maintenance server program to the maintenance server 60.
  • the maintenance server 60 is a computer for maintaining, managing, or maintaining at least one of the terminal 10, the relay server 30, the management server 40, and the program providing server 50.
  • the maintenance server 60 is installed in the country and the terminal 10, the relay server 30, the management server 40, or the program providing server 60 is installed outside the country, the maintenance server 60 is remotely connected via the communication network 2. Maintenance such as maintenance, management, and maintenance of at least one of the terminal 10, the relay server 30, the management server 40, and the program providing server 50 is performed.
  • FIG. 5 shows an example of the hardware configuration of the terminal 10
  • FIG. 6 shows an example of the hardware configuration of the relay server 30.
  • the management server 40, the program providing server 50, and the maintenance server 60 can adopt the same hardware configuration as that of the relay server 30, and thus are not illustrated.
  • the terminal 10 is a ROM (Read Only Memory) that stores programs used to drive the CPU 101, such as a CPU (Central Processing Unit) 101 that controls the operation of the entire terminal 10, and an IPL (Initial Program Loader). ) 102, RAM (Random Access Memory) 103 used as a work area of the CPU 101, flash memory 104 that stores various data such as terminal programs, image data, and audio data, and various data for the flash memory 104 according to the control of the CPU 101 SSD (Solid State Drive) 105 that controls reading and writing of data, and recording media 106 such as flash memory A media drive 107 that controls reading and writing (storage) of data, an operation button 108 that is operated when selecting another terminal 10 as a communication partner, and a power switch for switching on / off the power of the terminal 10 109, a network I / F (Interface) 111 for data transmission using the communication network 2 is provided.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • flash memory 104 that stores various data such as terminal programs, image
  • the terminal 10 also includes a built-in camera 112 that captures an image of a subject under the control of the CPU 101 to obtain image data, an image sensor I / F 113 that controls driving of the camera 112, a built-in microphone 114 that inputs sound, and sound.
  • a built-in camera 112 that captures an image of a subject under the control of the CPU 101 to obtain image data
  • an image sensor I / F 113 that controls driving of the camera 112
  • a built-in microphone 114 that inputs sound, and sound.
  • the built-in speaker 115 that outputs the sound, the sound input / output I / F 116 that processes the input / output of the sound signal between the microphone 114 and the speaker 115 according to the control of the CPU 101, and the display image data are transmitted to the display 11 according to the control of the CPU 101 Display I / F 117, external device connection I / F 118 for connecting various external devices, an alarm lamp 119 for notifying various functions of the terminal 10, and an address bus for electrically connecting the above components And a bus line 110 such as a data bus.
  • the camera 112, the microphone 114, and the speaker 115 are not necessarily built in the terminal 10, and may be configured to be externally attached. Further, the display 11 may be configured to be built in the terminal 10.
  • the display 11 is assumed to be a display device such as a liquid crystal panel, but is not limited thereto, and may be a projection device such as a projector.
  • the hardware configuration of the terminal 10 illustrated in FIG. 5 is merely an example, and hardware other than the above may be added.
  • the terminal program provided from the above-described program providing server 50 is stored in the flash memory 104, for example, and is read out and executed on the RAM 103 under the control of the CPU 101.
  • the memory for storing the terminal program may be a non-volatile memory, and is not limited to the flash memory 104, and may be an EEPROM (Electrically Erasable and Programmable ROM) or the like.
  • the terminal program may be provided by being recorded on a recording medium such as the recording medium 106 that can be read by a computer in a file in an installable or executable format.
  • the terminal program may be provided as an embedded program stored in advance in the ROM 102 or the like.
  • the relay server 30 includes a CPU 201 that controls the overall operation of the relay server 30, a ROM 202 that stores a program used to drive the CPU 201 such as an IPL, a RAM 203 that is used as a work area for the CPU 201, and a relay server HD (Hard Disk) 204 for storing various data such as a program for recording, HDD (HD Drive) 205 for controlling reading or writing of various data to the HD 204 under the control of the CPU 201, reading of data to a recording medium 206 such as a flash memory, A media drive 207 for controlling writing (storage), a display 208 for displaying various information, a network I / F 209 for transmitting data using the communication network 2, a keyboard 211, a keyboard 212, a CD-ROM drive 214 that controls reading or writing of various data to and from a CD-ROM (Compact Disc Only Memory) 213 as an example of a removable recording medium, and the above-described components are electrically connected.
  • a CPU 201
  • the relay server program provided from the program providing server 50 described above is stored in, for example, the HD 204, and is read out and executed on the RAM 203 under the control of the CPU 201. Further, the relay server program may be provided by being recorded on a computer-readable recording medium such as the recording medium 206 or the CD-ROM 213 in an installable or executable format file. The relay server program may be provided as an embedded program stored in advance in the ROM 202 or the like.
  • the management server 40 can adopt the same hardware configuration as that of the relay server 30 shown in FIG. However, the management server program provided from the program providing server 50 is recorded in the HD 204. Also in this case, the management server program may be provided by being recorded on a computer-readable recording medium such as the recording medium 206 or the CD-ROM 213 in an installable or executable format file. Good. The management server program may be provided as an embedded program stored in advance in the ROM 202 or the like.
  • the program providing server 50 can adopt the same hardware configuration as that of the relay server 30 shown in FIG. However, in addition to the program for causing the program providing server 50 to realize the program providing function, the HD 204 provides the terminal program provided to the terminal 10, the relay server program provided to the relay server 30, and the management server 40. The management server program is recorded.
  • the maintenance server 60 can adopt the same hardware configuration as that of the relay server 30 shown in FIG. However, a maintenance server program provided from the program providing server 50 is recorded in the HD 204. Also in this case, the maintenance server program may be provided by being recorded on a computer-readable recording medium such as the recording medium 206 or the CD-ROM 213 in a file in an installable or executable format. Good. The maintenance server program may be provided as an embedded program stored in advance in the ROM 202 or the like.
  • removable recording medium examples include computer-readable recording media such as a CD-R (Compact Disc Recordable), a DVD (Digital Versatile Disk), and a Blu-ray disc.
  • CD-R Compact Disc Recordable
  • DVD Digital Versatile Disk
  • Blu-ray disc a Blu-ray disc
  • FIG. 7 is a block diagram illustrating an example of a functional configuration of the terminal 10
  • FIG. 8 is a block diagram illustrating details of the quality control module 25 provided in the terminal 10.
  • the terminal 10 includes a transmission / reception unit 12, an operation input reception unit 13, an imaging unit 14, an audio input unit 15, an audio output unit 16, an encoding unit 17, a decoding unit 18, and a display video generation unit 19.
  • the transmission / reception unit 12 transmits / receives various data (or information) to / from other terminals 10, the relay server 30, the management server 40, and the like via the communication network 2.
  • the transmission / reception unit 12 is realized by, for example, the network I / F 111 and the CPU 101 illustrated in FIG.
  • the operation input receiving unit 13 receives various input operations by a user who uses the terminal 10.
  • the operation input receiving unit 13 is realized by, for example, the operation button 108, the power switch 109, and the CPU 101 illustrated in FIG.
  • the imaging unit 14 captures an image of a site where the terminal 10 is installed and outputs image data.
  • the imaging unit 14 is realized by, for example, the camera 112, the imaging element I / F 113, and the CPU 101 illustrated in FIG.
  • the voice input unit 15 inputs the voice of the base where the terminal 10 is installed and outputs voice data.
  • the voice input unit 15 is realized by the microphone 114, the voice input / output I / F 116, and the CPU 101 shown in FIG.
  • the audio output unit 16 reproduces and outputs audio data.
  • the audio output unit 16 is realized by, for example, the speaker 115, the audio input / output I / F 116, and the CPU 101 illustrated in FIG.
  • the encoding unit 17 encodes the video data output from the imaging unit 14 and the audio data output from the audio input unit 15 to generate encoded data.
  • the encoding unit 17 is an H.264 encoding unit that particularly encodes video data.
  • the video data is encoded in a scalable manner according to the H.264 / SVC encoding format.
  • the encoding unit 17 can change settings for encoding video data in a scalable manner (for example, setting of a layer configuration of data to be encoded) according to a setting signal from the quality control module 25 described later. It is configured.
  • the encoding unit 17 is realized, for example, when the CPU 101 illustrated in FIG. 5 executes an encoding / decoding program (video / audio codec) included in the above-described terminal program.
  • the decoding unit 18 decodes encoded data transmitted from another terminal 10 via the relay server 30 and outputs video data and audio data before encoding.
  • the decoding unit 18 is realized, for example, when the CPU 101 illustrated in FIG. 5 executes an encoding / decoding program (video / audio codec) included in the terminal program described above.
  • the display video generation unit 19 uses the video data decoded by the decoding unit 18 to generate a display video to be displayed (reproduced and output) on the display 11. For example, when the video data decoded by the decoding unit 18 includes video data transmitted from a plurality of terminals 10 at a plurality of bases, the display video generation unit 19 sets a predetermined layout or designates it by the user In accordance with the set layout, a display image including each image data in one screen is generated.
  • the display video generation unit 19 also includes information regarding the layout of the generated display video, specifically, layout information indicating the video from which location is included in the display video at what size (resolution) and frame rate. Is transferred to the quality control module 25 described later.
  • the display video generation unit 19 is realized, for example, when the CPU 101 illustrated in FIG. 5 executes a display video generation program included in the above-described terminal program.
  • the display control unit 20 performs control for causing the display 11 to display (reproduce and output) the display video generated by the display video generation unit 19.
  • the display control unit 20 is realized by, for example, the display I / F 117 and the CPU 101 illustrated in FIG.
  • the storage / reading processing unit 21 performs processing for storing and reading various data in the volatile storage unit 22 and the nonvolatile storage unit 23.
  • the storage / reading processing unit 21 is realized by, for example, the SSD 105 and the CPU 101 illustrated in FIG.
  • the volatile storage unit 22 is realized by, for example, the RAM 103 illustrated in FIG.
  • the nonvolatile storage unit 23 is realized by, for example, the flash memory 104 illustrated in FIG.
  • the quality control module 25 is a module that performs processing characteristic of the terminal 10 of the present embodiment.
  • the quality control module 25 is realized by the CPU 101 illustrated in FIG. 5 executing the quality control program included in the terminal program described above. Is done.
  • the quality control module 25 includes a notification unit 26 and an encoding setting control unit 27 as shown in FIG.
  • the notification unit 26 generates reproduction quality information indicating the quality of the video from other sites displayed on the display 11 as the display video based on the above-described layout information passed from the display video generation unit 19. Then, the notification unit 26 notifies the generated reproduction quality information from the transmission / reception unit 12 to the other terminal 10 that has transmitted the video.
  • FIG. 9 is a conceptual diagram showing a specific example of the reproduction quality information generated by the notification unit 26.
  • FIG. 9 shows a specific example of the reproduction quality information generated at the terminal 10 at the base C in a case where video is transmitted and received between the terminals 10 at the three bases, the base A, the base B, and the base C.
  • the display image displayed on the display 11 of the site C includes only the image from the site A, and the image from the site A has a resolution of 640 ⁇ 360 (horizontal ⁇ vertical number of pixels). And a frame rate of 30 fps.
  • the notification unit 26 of the terminal 10 at the site C generates reproduction quality information including items of transmission source: site A, display type: video, resolution: 640 ⁇ 360, frame rate: 30 fps, for example.
  • the display image displayed on the display 11 of the site C includes an image from the site A and an image from the site B, and the image from the site A has a resolution of 320 ⁇ 180 and A frame rate of 30 fps is displayed, and an image from the site B is displayed at a resolution of 320 ⁇ 180 and a frame rate of 15 fps.
  • the notification unit 26 of the terminal 10 at the site C for example, reproduction quality information including items of transmission source: site A, display type: video, resolution: 320 ⁇ 180, frame rate: 30 fps, and transmission source: Reproduction quality information including items of base B, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps is generated.
  • the display video displayed on the display 11 of the site C includes a video from the site A, a video from the site B, and data shared between the sites B.
  • the video from site A is displayed at a resolution of 320 ⁇ 180 and a frame rate of 15 fps
  • the video from site B is displayed at a resolution of 320 ⁇ 180 and a frame rate of 15 fps
  • the notification unit 26 of the terminal 10 at the site C for example, reproduction quality information including items of transmission source: site A, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, and transmission source: Playback quality information including each item of site B, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, transmission source: site B, display type: data, resolution: 640 ⁇ 360, frame rate: 5 fps Reproduction quality information including each item is generated.
  • the data shared with the base B is assumed to be data input from an external device such as a PC (Personal Computer) connected to the terminal 10 of the base B, for example.
  • PC Personal Computer
  • the notification unit 26 of the terminal 10 may generate the reproduction quality information as described above in a general format such as an XML (Extensible Markup Language) format, or in a unique format that the terminal 10 can interpret. It may be generated.
  • a general format such as an XML (Extensible Markup Language) format
  • XML Extensible Markup Language
  • FIG. 10 is a conceptual diagram showing a specific example of notification of reproduction quality information between terminals 10 at a plurality of bases.
  • FIG. 10 in the case where video is transmitted / received between the terminals 10 of the three bases, the base A, the base B, and the base C, which playback quality information the terminal 10 of each base notifies the terminal 10 of the other base Is shown.
  • the display video displayed on the display 11 at the site A includes a video from the site B and a video from the site C, and the video from the site B has a resolution of 320 ⁇ 180 and a frame of 30 fps.
  • the video from the site C is displayed at a resolution of 320 ⁇ 180 and a frame rate of 15 fps.
  • the notification unit 26 of the terminal 10 at the site A generates, for example, reproduction quality information including items of transmission source: site B, display type: video, resolution: 320 ⁇ 180, frame rate: 30 fps, This reproduction quality information is notified to the terminal 10 at the site B.
  • the notification unit 26 of the terminal 10 at the site A generates reproduction quality information including items of transmission source: site C, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, for example.
  • the reproduction quality information is notified to the terminal 10 at the site C.
  • the display image displayed on the display 11 at the site B includes only the image from the site A, and the image from the site A is displayed at a resolution of 640 ⁇ 360 and a frame rate of 30 fps.
  • the notification unit 26 of the terminal 10 at the site B generates reproduction quality information including items of transmission source: site A, display type: video, resolution: 640 ⁇ 360, frame rate: 30 fps, This reproduction quality information is notified to the terminal 10 at the site A.
  • the display video displayed on the display 11 of the site C includes a video from the site A, a video from the site B, and data shared between the sites B.
  • the video from A is displayed at a resolution of 320 ⁇ 180 and a frame rate of 15 fps
  • the video from the site B is displayed at a resolution of 320 ⁇ 180 and a frame rate of 15 fps
  • data shared with the site B is It is displayed at a resolution of 640 ⁇ 360 and a frame rate of 5 fps.
  • the notification unit 26 of the terminal 10 at the site C generates, for example, reproduction quality information including items of transmission source: site A, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, This reproduction quality information is notified to the terminal 10 at the site A.
  • the notification unit 26 of the terminal 10 at the site C includes, for example, reproduction quality information including items of transmission source: site B, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, and transmission source: site. B, reproduction type information including items of display type: data, resolution: 640 ⁇ 360, and frame rate: 5 fps are generated, and the reproduction quality information is notified to the terminal 10 at the base B.
  • the terminal 10 at each site can know what quality the video transmitted to the terminal 10 at the other site is reproduced and output at the other site.
  • the reproduction quality information may be notified using the management information session Sei shown in FIG. 2, for example, or via the relay server 30 (separate from the data session Sed). In the session).
  • the encoding setting control unit 27 controls the encoding setting by the encoding unit 17 based on the reproduction quality information notified from the terminal 10 at another base. For example, the encoding setting control unit 27 determines that the quality represented by the reproduction quality information notified from the terminal 10 at another base (that is, the quality of the video from the local base displayed at the other base) is the relay server 30.
  • the setting of encoding by the encoding unit 17 (for example, setting of the layer configuration) is changed so as not to include quality exceeding the quality represented by the reproduction quality information notified from the terminal 10 at the base.
  • the encoding setting control unit 27 When the highest quality among the quality represented by the plurality of reproduction quality information respectively notified from the terminal 10 is lower than the quality of the common encoded data transmitted to the terminal 10 at each site via the relay server 30, The setting of encoding by the encoding unit 17 is changed so as not to include quality exceeding the highest quality among the quality represented by the reproduction quality information.
  • FIG. 11 is a conceptual diagram showing a specific example in which the encoding setting control unit 27 controls the encoding setting by the encoding unit 17.
  • the encoding setting control unit 27 of the terminal 10 of the base A notifies the terminal 10 of the base B. It shows how to control the encoding setting by the encoding unit 17 on the basis of the reproduced reproduction quality information and the reproduction quality information notified from the terminal 10 at the site C.
  • the setting of the encoding unit 17 of the terminal 10 at the base A is a low quality video with a resolution of 320 ⁇ 180 and a frame rate of 30 fps, and a medium quality video with a resolution of 640 ⁇ 360 and a frame rate of 30 fps. And high-quality video having a resolution of 1280 ⁇ 720 and a frame rate of 30 fps.
  • the terminal 10 at the location A encodes the video data in a scalable manner by the encoding unit 17 having such a setting, and transmits the encoded data from the transmission / reception unit 12 to the relay server 30.
  • the playback quality information including the items of resolution: 640 ⁇ 360 and frame rate: 30 fps is notified from the terminal 10 at the site B to the terminal 10 at the site A, and the resolution: 320 ⁇ 180, frame rate:
  • the reproduction quality information including the 15 fps item is notified to the terminal 10 at the site A.
  • the encoding setting control unit 27 of the terminal 10 at the site A acquires the reproduction quality information notified from the terminal 10 at the site B and the reproduction quality information notified from the terminal 10 at the site C, and these reproduction qualities. From the information, it is determined that there is no site displaying high-quality video with a resolution of 1280 ⁇ 720 and a frame rate of 30 fps.
  • the encoding setting control unit 27 of the terminal 10 at the site A does not include a layer corresponding to a high-quality video having a resolution of 1280 ⁇ 720 and a frame rate of 30 fps, and the encoding layer configuration by the encoding unit 17 Change the settings.
  • the encoded data including only the low-quality video and the medium-quality video is transmitted from the terminal 10 at the site A to the relay server 30, and the network between the site A and the relay server 30 is transmitted. It is possible to effectively suppress the inconvenience of using more bandwidth than necessary.
  • the setting of the encoding layer configuration is changed by the encoding unit 17 so that the layer corresponding to the high quality video is not included. Coding settings may be changed so as to lower the resolution and frame rate. In addition, the encoding setting may be changed so that the layer corresponding to the high quality video is integrated into the lower layer.
  • FIG. 12 is a flowchart showing a specific example of a processing procedure performed by the encoding setting control unit 27.
  • the encoding setting control unit 27 first acquires reproduction quality information from all other sites displaying the video of the local site in step S101.
  • the encoding setting control unit 27 detects the maximum resolution and the maximum frame rate of the video of the local site displayed at the other site from the reproduction quality information acquired in step S101.
  • step S103 the encoding setting control unit 27 determines whether encoded data of a video exceeding the maximum resolution detected in step S102 is transmitted to the relay server 30.
  • the encoding setting control unit 27 is a setting in which the current layer configuration setting of the encoding unit 17 that encodes video data in a scalable manner includes a video layer exceeding the maximum resolution detected in step S102. This determination is made by confirming whether or not there is.
  • step S103: Yes the process proceeds to step S104, and the encoded data of the video exceeding the maximum resolution is transmitted to the relay server 30. If not (No at Step S103), the process proceeds to Step S106.
  • step S104 the encoding setting control unit 27 determines whether or not a layer corresponding to the video exceeding the maximum resolution detected in step S102 can be deleted. If the layer corresponding to the video exceeding the maximum resolution can be deleted (step S104: Yes), the process proceeds to step S105. If the layer corresponding to the video exceeding the maximum resolution cannot be deleted (step S104: No), step is performed. The process proceeds to S106. Note that the case where the layer corresponding to the video exceeding the maximum resolution cannot be deleted means that, for example, the layer corresponding to the video exceeding the maximum resolution is displayed at a resolution lower than the maximum resolution, that is, at another site. This is the case when the layer includes the resolution of the base video.
  • step S105 the encoding setting control unit 27 changes the setting of the layer configuration of the encoding unit 17 so as not to include a layer exceeding the maximum resolution detected in step S102, and proceeds to step S106.
  • step S106 the encoding setting control unit 27 determines whether or not encoded data of a video exceeding the maximum frame rate detected in step S102 is transmitted to the relay server 30.
  • the encoding setting control unit 27 is a setting in which the current layer configuration setting of the encoding unit 17 that encodes video data in a scalable manner includes a video layer that exceeds the maximum frame rate detected in step S102. This determination is made by confirming whether or not the When the encoded video data exceeding the maximum frame rate is transmitted to the relay server 30 (step S106: Yes), the process proceeds to step S107, and the encoded video data exceeding the maximum frame rate is transmitted to the relay server 30. If not transmitted (step S106: No), the processing shown in the flowchart of FIG.
  • step S107 the encoding setting control unit 27 changes the setting of the layer configuration of the encoding unit 17 so as not to include the layer exceeding the maximum frame rate detected in step S102, and is shown in the flowchart of FIG. End the process.
  • FIG. 13 is a sequence diagram illustrating an outline of processing for transmitting video from the terminal 10 on the transmission side to the terminal 10 on the reception side.
  • the transmission-side terminal 10 transmits low-quality video, medium-quality video, and high-quality video.
  • the video displayed on the reception-side terminal 10 is medium-quality, the high-quality video is transmitted.
  • An example is shown in which the encoding setting is changed so as not to occur.
  • encoded data of low quality video, medium quality video, and high quality video is transmitted from the terminal 10 on the transmission side to the terminal 10 on the reception side via the relay server 30 (step S201).
  • the decoding unit 18 decodes the received encoded data, and the display video generation unit 19 generates a display video to be displayed on the display 11 (step S202).
  • the display video generation unit 19 passes layout information regarding the generated display video to the notification unit 26.
  • the notification unit 26 of the receiving terminal 10 generates reproduction quality information based on the layout information passed from the display video generation unit 19 (step S203), and notifies the transmission terminal 10 of the generated reproduction quality information. (Step S204).
  • the reproduction quality information notified to the transmission-side terminal 10 indicates that the quality of the video displayed on the display 11 by the reception-side terminal 10 is medium quality.
  • the encoding setting control unit 27 needs to change the encoding setting by the encoding unit 17 based on the reproduction quality information. It is determined whether or not there is (step S205). In this example, since it is not necessary to transmit high quality video to the terminal 10 on the receiving side, the encoding setting control unit 27 determines that it is necessary to change the encoding setting by the encoding unit 17. Then, the encoding setting control unit 27 changes the setting of the encoding layer configuration by the encoding unit 17 so as not to include the layer corresponding to the high quality video (step S206).
  • Step S207 the encoded data of the low-quality video and the medium-quality video encoded by the encoding unit 17 whose setting has been changed is transmitted from the terminal 10 on the transmission side to the terminal 10 on the reception side via the relay server 30.
  • the reproduction quality information indicating the quality of the video that the receiving terminal 10 actually reproduces and outputs.
  • the transmission-side terminal 10 controls the setting of the encoding of the video to be transmitted to the reception-side terminal 10 based on the reproduction quality information notified from the reception-side terminal 10. Therefore, the transmission-side terminal 10 can encode only the video of the quality required by the reception-side terminal 10 and transmit it to the relay server 30, and the network between the transmission-side terminal 10 and the relay server 30 can be transmitted. The inconvenience of using the bandwidth more than necessary can be effectively suppressed.
  • the notification unit 26 of the terminal 10 generates reproduction quality information including the compression rate of the display video and notifies the other terminal 10 of the video transmission source.
  • the display video generation unit 19 when the display video generation unit 19 generates a display video to be displayed on the display 11 using the video data decoded by the decoding unit 18, information about the layout of the generated display video is obtained from each site.
  • information including the compression rate is generated and passed to the quality control module 25.
  • the notification unit 26 of the quality control module 25 uses the resolution information as the reproduction quality information indicating the quality of the video from the other base displayed on the display 11 as the display video based on the layout information passed from the display video generation unit 19.
  • the reproduction quality information including the compression rate in addition to the frame rate is generated, and the reproduction quality information is notified from the transmission / reception unit 12 to the other terminal 10 of the video transmission source.
  • the compression rate in the playback quality information represents the rate at which the video data of each video included in the display video is compressed and transmitted, and the data is compressed so that the data amount is halved.
  • the compression rate when the video is included in the display video is 50%, and the compression rate when the uncompressed video is included in the display video is 100%.
  • FIG. 14 is a conceptual diagram showing a specific example of the reproduction quality information generated by the notification unit 26 of the present embodiment.
  • the playback quality generated at the terminal 10 at the base C in the case where video is transmitted and received between the terminals 10 at the three bases, the base A, the base B, and the base C.
  • a specific example of information is shown.
  • the display image displayed on the display 11 of the site C includes only the image from the site A, and the image from the site A with a compression rate of 100% (no compression) is 640 ⁇ 360. It is displayed with a resolution of (horizontal ⁇ vertical number of pixels) and a frame rate of 30 fps.
  • the notification unit 26 of the terminal 10 at the site C for example, reproduction quality including items of transmission source: site A, display type: video, resolution: 640 ⁇ 360, frame rate: 30 fps, compression rate: 100%. Generate information.
  • the display video displayed on the display 11 of the site C includes the video from the site A and the video from the site B, and the compression rate from the site A is 80% (20% compression).
  • an image with a compression rate of 80% from the site B is displayed with a resolution of 320 ⁇ 180 and a frame rate of 15 fps.
  • the notification unit 26 of the terminal 10 at the site C for example, reproduction quality including items of transmission source: site A, display type: video, resolution: 320 ⁇ 180, frame rate: 30 fps, compression rate: 80%.
  • Information and reproduction quality information including items of transmission source: site B, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, compression rate: 80% are generated.
  • the display video displayed on the display 11 of the site C includes a video from the site A, a video from the site B, and data shared between the sites B.
  • a video with a compression rate of 50% (50% compression) from site A is displayed with a resolution of 320 ⁇ 180 and a frame rate of 15 fps
  • a video with a compression rate of 50% from site B is displayed with a resolution of 320 ⁇ 180 and 15 fps.
  • Data with a compression rate of 100% shared with the base B is displayed at a resolution of 640 ⁇ 360 and a frame rate of 5 fps.
  • the notification unit 26 of the terminal 10 at the site C for example, reproduction quality including items of transmission source: site A, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, compression rate: 50%.
  • Reproduction quality information including information, transmission source: site B, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, compression rate: 50%, transmission source: site B, display type: data
  • reproduction quality information including items of resolution: 640 ⁇ 360, frame rate: 5 fps, and compression rate: 100%.
  • FIG. 15 is a conceptual diagram showing a specific example of notification of reproduction quality information between terminals 10 at a plurality of bases.
  • the terminal 10 at each base is a terminal at another base. 10 shows which reproduction quality information is notified.
  • the display video displayed on the display 11 of the site A includes the video from the site B and the video from the site C, and the video with a compression rate of 80% from the site B is 320 ⁇ 180.
  • a video with a compression rate of 80% from the site C is displayed with a resolution of 320 ⁇ 180 and a frame rate of 15 fps.
  • the notification unit 26 of the terminal 10 at the site A for example, reproduction quality including items of transmission source: site B, display type: video, resolution: 320 ⁇ 180, frame rate: 30 fps, compression rate: 80%.
  • Information is generated and the reproduction quality information is notified to the terminal 10 at the site B.
  • the notification unit 26 of the terminal 10 at the site A for example, reproduction quality information including items of transmission source: site C, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, compression rate: 80%. And the reproduction quality information is notified to the terminal 10 at the site C.
  • the display video displayed on the display 11 at the site B includes only the video from the site A, and the video with a compression rate of 100% from the site A has a resolution of 640 ⁇ 360 and 30 fps. Displayed at frame rate.
  • the notification unit 26 of the terminal 10 at the site B for example, reproduction quality including items of transmission source: site A, display type: video, resolution: 640 ⁇ 360, frame rate: 30 fps, compression rate: 100%. Information is generated and the reproduction quality information is notified to the terminal 10 at the site A.
  • the display video displayed on the display 11 of the site C includes a video from the site A, a video from the site B, and data shared between the sites B.
  • a video with a compression rate of 50% from A is displayed with a resolution of 320 ⁇ 180 and a frame rate of 15 fps
  • a video with a compression rate of 50% from site B is displayed with a resolution of 320 ⁇ 180 and a frame rate of 15 fps.
  • Data with a compression rate of 100% shared with the site B is displayed at a resolution of 640 ⁇ 360 and a frame rate of 5 fps.
  • the notification unit 26 of the terminal 10 at the site C for example, reproduction quality including items of transmission source: site A, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, compression rate: 50%. Information is generated and the reproduction quality information is notified to the terminal 10 at the site A.
  • the notification unit 26 of the terminal 10 at the site C includes, for example, reproduction quality information including items of transmission source: site B, display type: video, resolution: 320 ⁇ 180, frame rate: 15 fps, and compression rate: 50%.
  • FIG. 16 is a conceptual diagram showing a specific example in which the encoding setting control unit 27 of the present embodiment controls the encoding setting by the encoding unit 17.
  • the encoding setting control unit of the terminal 10 at the base A 27 controls how to set the encoding by the encoding unit 17 based on the reproduction quality information notified from the terminal 10 at the site B and the reproduction quality information notified from the terminal 10 at the site C. Is shown.
  • the setting of the encoding unit 17 of the terminal 10 at the base A is a low-quality video with a resolution of 320 ⁇ 180 and a frame rate of 30 fps and a compression rate of 100%, a resolution of 640 ⁇ 360, and a resolution of 30 fps.
  • the video data is set to be encoded so as to include medium quality video with a frame rate of 100% compression and high quality video with a resolution of 1280 ⁇ 720 and a frame rate of 30 fps and a compression rate of 100%.
  • the terminal 10 at the location A encodes the video data in a scalable manner by the encoding unit 17 having such a setting, and transmits the encoded data from the transmission / reception unit 12 to the relay server 30.
  • the reproduction quality information including the items of resolution: 640 ⁇ 360, frame rate: 30 fps, compression rate: 100% is notified from the terminal 10 at the site B to the terminal 10 at the site A, and the resolution:
  • the encoding setting control unit 27 of the terminal 10 at the site A acquires the reproduction quality information notified from the terminal 10 at the site B and the reproduction quality information notified from the terminal 10 at the site C, and these reproduction qualities.
  • the encoding setting control unit 27 of the terminal 10 at the site A uses the encoding unit 17 so as not to include a layer corresponding to a high quality video with a resolution of 1280 ⁇ 720 and a frame rate of 30 fps and a compression rate of 100%. Changes the setting of the encoding layer configuration.
  • the encoded data including only the low-quality video and the medium-quality video is transmitted from the terminal 10 at the site A to the relay server 30, and the network between the site A and the relay server 30 is transmitted. It is possible to effectively suppress the inconvenience of using more bandwidth than necessary.
  • the setting of the encoding layer configuration is changed by the encoding unit 17 so as not to include the layer corresponding to the high quality video. Coding settings may be changed so as to lower the resolution and frame rate.
  • FIG. 17 shows an example in which the encoding setting is changed so as to reduce the maximum resolution without changing the number of layers of the encoded data.
  • the encoding setting control unit 27 of the terminal 10 at the site A is notified from the reproduction quality information notified from the terminal 10 at the site B and the terminal 10 at the site C, as in the example of FIG.
  • the reproduction quality information is acquired, and it is determined from these reproduction quality information that there is no base displaying a high-quality video with a resolution of 1280 ⁇ 720 and a frame rate of 30 fps and a compression rate of 100%. Therefore, the encoding setting control unit 27 of the terminal 10 at the site A changes, for example, the resolution of the high quality video to 640 ⁇ 360, the resolution of the medium quality video to 320 ⁇ 180, and the resolution of the low quality video to 160 ⁇ 90. Then, the coding setting is changed so as to reduce the maximum resolution without changing the number of layers of the coded data. Thereby, it is possible to effectively suppress inconvenience that the bandwidth of the network between the site A and the relay server 30 is used more than necessary.
  • FIG. 18 is a flowchart illustrating a specific example of a processing procedure performed by the encoding setting control unit 27 according to the present embodiment.
  • the processing from step S301 to step S307 in the flowchart of FIG. 18 is the same as the processing from step S101 to step S107 in the flowchart of FIG.
  • step S102 in FIG. 12 the maximum resolution and the maximum frame rate of the video of the local site displayed at the other site are detected based on the reproduction quality information from the other site.
  • the maximum compression rate is detected in addition to the maximum resolution and the maximum frame rate of the video at the local site based on the reproduction quality information from the local site. ing.
  • step S306 in FIG. 18 when the determination result of step S306 in FIG. 18 is No, or after the determination result of step S306 is Yes and the process of step S307 is performed, the process proceeds to step S308.
  • step S308 the encoding setting control unit 27 determines whether or not encoded data of a video exceeding the maximum compression rate detected in step S302 is transmitted to the relay server 30.
  • the encoding setting control unit 27 is a setting in which the current layer configuration setting of the encoding unit 17 that encodes video data in a scalable manner includes a video layer that exceeds the maximum compression rate detected in step S302. This determination is made by confirming whether or not the If the encoded video data exceeding the maximum compression rate is transmitted to the relay server 30 (step S308: Yes), the process proceeds to step S309, and the encoded video data exceeding the maximum compression rate is transferred to the relay server 30. If it is not transmitted (step S308: No), the process shown in the flowchart of FIG. 18 is terminated.
  • step S309 the encoding setting control unit 27 changes the setting of the layer configuration of the encoding unit 17 so that the layer corresponding to the video exceeding the maximum compression rate detected in step S302 is not included, and FIG. The process shown in the flowchart of FIG.
  • the resolution, frame rate, and compression rate of the video actually displayed on the display 11 and the input data from the external device are handled as the reproduction quality information.
  • the quality of video and data included in the display video actually displayed on the display 11 is different from the quality of the video displayed on the display video, for example, the resolution, frame rate, The compression rate or the like may be handled as reproduction quality information.
  • the notification unit 26 of the terminal 10 accepts a user operation for designating the resolution, frame rate, compression rate, etc. of the video or data desired to be displayed on the display video, and responds to the quality designated by the user.
  • the reproduction quality information is generated and notified to the terminal 10 that is the transmission source of the video and data.
  • the terminal 10 that is the transmission source of the video or data is notified of the reproduction quality information in which the quality exceeding the high quality video included in the encoded data transmitted by the terminal 10 is specified. is there.
  • the encoding setting control unit 27 of the terminal 10 includes the quality specified by the reproduction quality information notified from the other terminal 10 in the encoded data transmitted from the terminal 10 to the other terminal 10. In this way, the encoding setting is changed by the encoding unit 17.
  • FIG. 19 is a conceptual diagram showing a specific example in which the encoding setting control unit 27 controls the encoding setting by the encoding unit 17.
  • the setting of the encoding unit 17 of the terminal 10 at the site A is a low quality video with a resolution of 320 ⁇ 180 and a frame rate of 30 fps and a compression rate of 100%, a resolution of 640 ⁇ 360 and a resolution of 30 fps.
  • the video data is set to be encoded so as to include medium quality video with a frame rate and a compression rate of 100%.
  • the terminal 10 at the location A encodes the video data in a scalable manner by the encoding unit 17 having such a setting, and transmits the encoded data from the transmission / reception unit 12 to the relay server 30.
  • the playback quality information including the items of resolution: 1280 ⁇ 720, frame rate: 30 fps, compression rate: 100% is notified from the terminal 10 at the site B to the terminal 10 at the site A, and the resolution:
  • the reproduction quality information including each item of 320 ⁇ 180, frame rate: 15 fps, compression rate: 50% is notified to the terminal 10 at the site A.
  • the encoding setting control unit 27 of the terminal 10 at the site A acquires the reproduction quality information notified from the terminal 10 at the site B and the reproduction quality information notified from the terminal 10 at the site C, and these reproduction qualities.
  • the base B is required to display a high-quality video with a resolution of 1280 ⁇ 720 and a frame rate of 30 fps and a compression rate of 100%.
  • the encoding setting control unit 27 of the terminal 10 at the site A adds the layer corresponding to the high-quality video with the compression rate of 100% at the resolution of 1280 ⁇ 720 and the frame rate of 30 fps. Change the setting of the encoding layer configuration by the.
  • the notification unit 26 of the terminal 10 receives a user operation for designating a range such as a resolution, a frame rate, and a compression rate of video and data to be displayed on the display video, and the quality designated by the user.
  • the reproduction quality information including the range is generated and notified to the terminal 10 that is the transmission source of the video and data.
  • FIG. 20 is a conceptual diagram showing a specific example in which the encoding setting control unit 27 controls the encoding setting by the encoding unit 17.
  • the resolution item of the reproduction quality information notified from the terminal 10 at the site B to the terminal at the site A is specified in a range such as 1280 ⁇ 720 to 640 ⁇ 360.
  • the encoding setting control unit 27 of the terminal 10 at the site A displays video in the range of 1280 ⁇ 720 to 640 ⁇ 360 at the site B based on the reproduction quality information notified from the site B. Judge that it is required to do.
  • the encoding setting control unit 27 of the terminal 10 at the site A changes the setting of the encoding layer configuration by the encoding unit 17 so that the layer configuration includes the reproduction quality information of each site as much as possible.
  • FIG. 21 is a flowchart showing a specific example of a processing procedure by the encoding setting control unit 27.
  • the encoding setting control unit 27 first acquires reproduction quality information from all other bases displaying the video of the local base in step S401. Then, in step S402, the encoding setting control unit 27 determines from the reproduction quality information acquired in step S401 the maximum resolution, the maximum frame rate, and the maximum compression rate of the video of the local site requested at the other site. Is detected.
  • step S403 the encoding setting control unit 27 determines whether or not encoded data including the maximum resolution detected in step S402 is transmitted to the relay server 30. If the encoded data transmitted to the relay server 30 does not include the maximum resolution detected in step S402 (step S403: No), the process proceeds to step S404, and includes the maximum resolution. (Step S403: Yes) Proceed to Step S406.
  • step S404 the encoding setting control unit 27 determines whether or not a layer corresponding to the maximum resolution detected in step S402 can be added. If a layer corresponding to the maximum resolution can be added (step S404: Yes), the process proceeds to step S405. If a layer corresponding to the maximum resolution cannot be added (step S404: No), the process proceeds to step S406.
  • step S405 the encoding setting control unit 27 changes the setting of the layer configuration of the encoding unit 17 so as to add a layer corresponding to the maximum resolution detected in step S402, and proceeds to step S406.
  • step S406 the encoding setting control unit 27 determines whether or not encoded data including the maximum frame rate detected in step S402 is transmitted to the relay server 30. If the encoded data transmitted to the relay server 30 does not include the maximum frame rate detected in step S402 (step S406: No), the process proceeds to step S407 and includes the maximum frame rate. If yes (step S406: Yes), the process proceeds to step S409.
  • step S407 the encoding setting control unit 27 determines whether or not a layer corresponding to the maximum frame rate detected in step S402 can be added. If a layer corresponding to the maximum frame rate can be added (step S407: Yes), the process proceeds to step S408. If a layer corresponding to the maximum frame rate cannot be added (step S407: No), the process proceeds to step S409.
  • step S408 the encoding setting control unit 27 changes the setting of the layer configuration of the encoding unit 17 so as to add a layer corresponding to the maximum frame rate detected in step S402, and proceeds to step S409.
  • step S409 the encoding setting control unit 27 determines whether or not the encoded data including the maximum compression rate detected in step S402 is transmitted to the relay server 30.
  • step S409: No the encoded data transmitted to the relay server 30 does not include the maximum compression rate detected in step S402 (step S409: No)
  • step S410 the maximum compression rate detected in step S402
  • step S410 the encoding setting control unit 27 determines whether or not a layer corresponding to the maximum compression rate detected in step S402 can be added.
  • step S410: Yes the process proceeds to step S411.
  • step S410: No the flowchart of FIG. The process indicated by is terminated.
  • step S411 the encoding setting control unit 27 changes the setting of the layer configuration of the encoding unit 17 so as to add the layer corresponding to the maximum compression rate detected in step S402, and the flowchart of FIG. The processing shown in FIG. *
  • the terminal 10 includes the quality control module 25 including the notification unit 26 and the encoding setting control unit 27.
  • the functions of the quality control module 25 are managed, for example. You may comprise so that other apparatuses, such as the server 40, may be provided.
  • the management server 40 when the management server 40 is configured to include the notification unit 26, the management server 40 acquires layout information from the receiving terminal 10, generates reproduction quality information based on the layout information, and transmits to the transmitting terminal. 10 is notified.
  • the management server 40 acquires reproduction quality information notified from the terminal 10 on the reception side, and based on this reproduction quality information, the transmission side A control signal for controlling the setting of the encoding unit 17 of the terminal 10 is generated and transmitted to the terminal 10 on the transmission side.
  • the video data is encoded in a scalable manner and transmitted / received between the terminals 10.
  • the audio data is encoded in a scalable manner together with the video data or in place of the video data between the terminals 10. You may make it transmit / receive.
  • the quality of audio data includes, for example, a sampling frequency in audio, a bit length in audio, and the like.
  • the video conference system 1 is illustrated as an example of a communication system to which the present invention is applied.
  • the present invention is not limited to this.
  • the present invention provides, for example, map data and route information for a telephone system such as an IP (Internet Protocol) telephone that transmits and receives voice data bidirectionally between terminals, and a car navigation device mounted on a car from a terminal of a management center.
  • IP Internet Protocol
  • the present invention can be effectively applied to various communication systems such as a car navigation system that distributes and the like.
  • the video conference terminal (terminal) 10 is illustrated as an example of the communication apparatus to which the present invention is applied, but the present invention is not limited to this.
  • the present invention is a communication device having a function of encoding and transmitting various data in a scalable manner and a function of decoding and reproducing the encoded data encoded in a scalable manner, for example, a PC, a tablet terminal, a smartphone,
  • the present invention can be effectively applied to various communication devices such as an electronic blackboard and a car navigation device mounted on an automobile.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

　端末１０は、スケーラブルに符号化された符号化データを他の端末１０との間で送受信し、他の端末１０から受信した前記符号化データを復号して再生出力する。端末１０は、再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の端末に通知する通知部２６と、他の端末１０から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の端末１０に送信する前記符号化データの符号化の設定を制御する符号化設定制御部２７と、を備える。

Description

通信装置、通信システム、通信制御方法およびプログラム
　本発明は、通信装置、通信システム、通信制御方法およびプログラムに関する。
　通信ネットワークを利用して遠隔会議を実現するテレビ会議システムなどの通信システムにおいて、スケーラブルな符号化フォーマットで符号化した符号化データを、端末となる通信装置間で送受信する技術がある。例えば、特許文献１には、Ｈ．２６４／ＳＶＣフォーマットでスケーラブルに符号化した符号化データを送信する送信側端末と、この符号化データを受信して復号する受信側端末と、送信側端末と受信側端末とを繋ぐ会議ブリッジとを備えたテレビ会議システムが開示されている。この特許文献１に記載のテレビ会議システムでは、会議ブリッジが、送信側端末からの符号化データを中継して受信側端末に送信する際に、受信側端末のネットワーク状況などを判断する。そして、会議ブリッジは、送信側端末でスケーラブルに符号化されて送信された符号化データの中から、受信側端末の状況に適合した品質のビデオストリームの符号化データを選択して受信側端末に送信する。
　しかし、従来の技術では、送信側でスケーラブルに符号化された符号化データに対して、受信側の状況を判断して実際に受信側に送信する符号化データを選択する権限は、特許文献１に記載の会議ブリッジなどの中継装置に存在していた。このため、送信側では、受信側の状況に関わらず、所定の設定でスケーラブルに符号化した符号化データのすべてを中継装置に送信しており、本来必要のない品質のデータも中継装置に送信することがある。その場合、送信側のネットワーク帯域幅を必要以上に使用してしまうことになる。
　上述した課題を解決するために、本発明は、スケーラブルに符号化された符号化データを他の通信装置との間で送受信し、受信した前記符号化データを復号して再生出力する通信装置であって、再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の通信装置に通知する通知部と、他の通信装置から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の通信装置に送信する前記符号化データの符号化の設定を制御する符号化設定制御部と、を備える。
　本発明によれば、受信側の状況に合わせて送信側のスケーラブルな符号化の設定を制御し、送信側のネットワーク帯域幅を必要以上に使用することを抑制できるという効果を奏する。
図１は、実施形態のテレビ会議システムの概略構成図である。 図２は、実施形態のテレビ会議システムにおける通信の概要を示す概念図である。 図３は、映像データの符号化の方式を説明する概念図である。 図４は、中継サーバが映像データおよび音声データを中継する様子を模式的に示す概念図である。 図５は、端末のハードウェア構成の一例を示すブロック図である。 図６は、中継サーバのハードウェア構成の一例を示すブロック図である。 図７は、端末の機能的な構成の一例を示すブロック図である。 図８は、端末が備える品質制御モジュールの詳細を示すブロック図である。 図９は、通知部が生成する再生品質情報の具体例を示す概念図である。 図１０は、複数の拠点の端末間における再生品質情報の通知の具体例を示す概念図である。 図１１は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図１２は、符号化設定制御部による処理手順の具体例を示すフローチャートである。 図１３は、送信側の端末と受信側の端末との間で映像を送受信する処理の概要を示すシーケンス図である。 図１４は、通知部が生成する再生品質情報の具体例を示す概念図である。 図１５は、複数の拠点の端末間における再生品質情報の通知の具体例を示す概念図である。 図１６は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図１７は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図１８は、符号化設定制御部による処理手順の具体例を示すフローチャートである。 図１９は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図２０は、符号化設定制御部が符号化部による符号化の設定を制御する具体例を示す概念図である。 図２１は、符号化設定制御部による処理手順の具体例を示すフローチャートである。
　以下に添付図面を参照して、この発明に係る通信装置、通信システム、通信制御方法およびプログラムの実施形態を詳細に説明する。以下では、本発明を適用した通信システムの一例として、複数のテレビ会議端末（「通信装置」に相当）間で映像データおよび音声データを送受信して複数拠点での遠隔会議を実現するテレビ会議システム（「ビデオ会議システム」ともいう。）を例示する。このテレビ会議システムでは、一のテレビ会議端末で撮像された映像データをスケーラブルに符号化して他のテレビ会議端末に送信し、他のテレビ会議端末にてこの符号化データを復号して再生出力する。ただし、本発明が適用可能な通信システムはこの例に限らない。本発明は、複数の通信装置の間でスケーラブルに符号化された符号化データを送受信する各種の通信システム、および、この通信システムで用いられる各種の通信端末に対して、広く適用可能である。
（第１の実施形態）
　図１は、本実施形態のテレビ会議システム１の概略構成図であり、図２は、本実施形態のテレビ会議システム１における通信の概要を示す概念図である。また、図３は、本実施形態における映像データの符号化の方式を説明する概念図である。
　本実施形態のテレビ会議システム１は、図１に示すように、各拠点に設置された複数のテレビ会議端末（以下、単に「端末」という。）１０およびディスプレイ１１と、複数の中継サーバ３０と、管理サーバ４０と、プログラム提供サーバ５０と、メンテナンスサーバ６０と、を備える。
　ディスプレイ１１は、有線または無線により端末１０に接続されている。なお、ディスプレイ１１は、端末１０と一体化された構成であってもよい。
　端末１０および中継サーバ３０は、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）のノードとしてルータに接続される。ルータは、データ伝送の経路選択を行うネットワーク機器であり、図１に示す例では、ＬＡＮ２ａ内のルータ７０ａと、ＬＡＮ２ｂ内のルータ７０ｂと、ＬＡＮ２ｃ内のルータ７０ｃと、ＬＡＮ２ｄ内のルータ７０ｄと、ルータ７０ａおよびルータ７０ｂと専用回線２ｅで接続されてインターネット２ｉに繋がるルータ７０ｅと、ルータ７０ｃおよびルータ７０ｄと専用回線２ｆで接続されてインターネット２ｉに繋がるルータ７０ｆとを例示している。
　なお、ＬＡＮ２ａおよびＬＡＮ２ｂは地域Ｘ内の別の場所に構築され、ＬＡＮ２ｃおよびＬＡＮ２ｄは地域Ｙ内の別の場所に構築されていることを想定している。例えば、地域Ｘは日本、地域Ｙはアメリカ合衆国であり、ＬＡＮ２ａは東京の事業所内で構築され、ＬＡＮ２ｂは大阪の事業所内で構築され、ＬＡＮ２ｃはニューヨークの事業所内で構築され、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用回線２ｅ、インターネット２ｉ、専用回線２ｆ、ＬＡＮ２ｃ、およびＬＡＮ２ｄによって、通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線による通信が行われる箇所が含まれていてもよい。
　本実施形態のテレビ会議システム１では、複数の端末１０間で中継サーバ３０を介した映像データおよび音声データの送受信を行う。この際、図２に示すように、複数の端末１０間には、管理サーバ４０を介して、各種の管理情報を送受信するための管理情報用セッションＳｅｉが確立される。また、複数の端末１０間には、中継サーバ３０を介して、映像データおよび音声データの送受信を行うためのデータ用セッションＳｅｄが確立される。ここで、特に、データ用セッションＳｅｄで送受信される映像データは、スケーラブルに符号化された符号化データであり、例えば、高品質映像の符号化データ、中品質映像の符号化データ、低品質映像の符号化データが、それぞれ別々のチャンネルで送受信される。なお、複数の端末１０間で管理情報用セッションＳｅｉやデータ用セッションＳｅｄを確立する処理は、例えば特開２０１２－１３８８９３号公報に記載の技術を利用することができるため、ここでは詳細な説明を省略する。
　映像データをスケーラブルに符号化する標準の符号化フォーマットとして、Ｈ．２６４／ＳＶＣ（Ｈ．２６４／ＡＶＣ　Ａｎｎｅｘ　Ｇ）符号化フォーマットが知られている。Ｈ．２６４／ＳＶＣ符号化フォーマットでは、映像データを階層構造のデータに変換し、品質が異なる複数の映像データの集合として符号化して、それぞれの品質の映像データに対応する符号化データを複数のチャンネルで送受信することができる。本実施形態では、このＨ．２６４／ＳＶＣ符号化フォーマットを利用して映像データを符号化した符号化データを、複数の端末１０間で送受信するものとする。
　具体的には、例えば図３に示すように、映像データをベースレイヤと拡張レイヤ（下層／上層）を持つ階層構造のデータに変換する。そして、ベースレイヤのみの映像データを低品質の映像データとし、ベースレイヤと下層の拡張レイヤとからなる映像データを中品質の映像データとし、ベースレイヤと下層の拡張レイヤと上層の拡張レイヤとからなる映像データを高品質の映像データとする。そして、それぞれの品質の映像データを符号化して３つのチャンネルで伝送する。
　映像データの品質としては、例えば、空間スケーラビリティである解像度と、時間スケーラビリティであるフレームレートがある。ここで解像度とは、映像の横方向および縦方向の画素数で表される画面解像度（画面モードともいう。）である。本実施形態では、映像データの品質としてこれら解像度とフレームレートの双方を扱う。中品質の映像データは、解像度とフレームレートの少なくとも一方が、低品質の映像データよりも高い。高品質の映像データは、解像度とフレームレートの少なくとも一方が、中品質の映像データよりも高い。なお、本実施形態では、映像データの品質を低・中・高の３段階に分けているが、２段階に分けるようにしてもよいし、４段階以上のさらに細かい品質に分けるようにしてもよい。また、本実施形態では、解像度とフレームレートとを含めた映像データの品質を扱うが、解像度とフレームレートとを独立して扱ってもよい。また、映像データの品質としては、解像度とフレームレートとの一方のみを扱うようにしてもよいし、解像度とフレームレート以外の品質に関わる他のパラメータ（例えばＳ／Ｎ比など）を加えるようにしてもよい。
　中継サーバ３０は、複数の端末１０間における映像データおよび音声データの伝送を中継するコンピュータである。中継サーバ３０が中継する映像データは、上述したように、例えば上述のＨ．２６４／ＳＶＣ符号化フォーマットでスケーラブルに符号化された符号化データである。ここで、仮にこの中継サーバ３０に従来技術を適用すると、中継サーバ３０は、映像データの送信側の端末１０から、スケーラブルに符号化されたすべての品質の符号化データを複数チャンネルで受信し、受信側の端末１０のネットワーク状況や映像の表示解像度などに応じて、必要な品質に対応するチャンネルを選択してそのチャンネルの符号化データのみを受信側の端末１０に送信することになる。しかし、このような従来技術では、送信側の端末１０は受信側の端末１０の状況に関わらず、スケーラブルに符号化されたすべての品質の符号化データを中継サーバ３０に送信するため、送信側の端末１０と中継サーバ３０との間のネットワーク帯域幅を必要以上に使用してしまう。
　そこで、本実施形態では、受信側の端末１０で実際に再生出力している（つまり、ディスプレイ１１に表示されている）映像の品質を送信側の端末１０が把握できるようにし、送信側の端末１０が、受信側の端末１０で実際に再生出力している映像の品質に応じて、受信側の端末１０に送信する符号化データの符号化の設定を制御する。これにより、受信側の端末１０で必要とされる品質の符号化データのみを送信側の端末１０から中継サーバ３０を介して受信側の端末１０に送信することが可能となり、送信側の端末１０と中継サーバ３０との間のネットワーク帯域幅を必要以上に使用してしまう不都合を有効に抑制することができる。
　図４は、中継サーバ３０が映像データおよび音声データを中継する様子を模式的に示す概念図であり、図４（ａ）は従来技術を適用した場合の例を示し、図４（ｂ）は本実施形態の例を示している。図４（ａ），（ｂ）の例では、拠点Ａの端末１０（図示は省略）から中継サーバ３０を介して拠点Ｂの端末１０（図示は省略）に映像データおよび音声データを送信しており、拠点Ｂでは低品質の映像を再生出力している（ディスプレイ１１に表示されている）ものとする。
　従来技術では、図４（ａ）に示すように、送信側となる拠点Ａの端末１０（図示は省略）から中継サーバ３０に対して、高品質映像、中品質映像、および低品質映像の３つのチャンネルの映像および音声の符号化データが送信される。中継サーバ３０は、受信側となる拠点Ｂの状況に応じて、高品質映像、中品質映像、および低品質映像の３つのチャンネルから低品質映像のチャンネルを選択し、この低品質映像のチャンネルと音声のチャンネルの符号化データを拠点Ｂの端末１０（図示は省略）に送信する。このように、従来技術では、拠点Ｂで再生出力している映像が低品質であるにも関わらず、拠点Ａから中継サーバ３０に対しては高品質映像のデータおよび中品質映像のデータが送信されており、拠点Ａと中継サーバ３０との間のネットワークの帯域幅が必要以上に使用されている。
　これに対し本実施形態では、図４（ｂ）に示すように、受信側となる拠点Ｂの端末１０（図示は省略）が、再生出力している拠点Ａからの映像の品質を表す再生品質情報（ここでは低品質）を、送信側となる拠点Ａの端末１０に通知する。そして、送信側となる拠点Ａの端末１０（図示は省略）は、拠点Ｂの端末１０から通知された再生品質情報に基づき、映像データをスケーラブルに符号化する際の符号化の設定を、高品質映像と中品質映像とが含まれないように変更する。その結果、拠点Ａの端末１０から中継サーバ３０に対して、低品質映像のチャンネルと音声のチャンネルの符号化データのみが送信されることになり、拠点Ａと中継サーバ３０との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。
　なお、拠点Ｂの端末１０から拠点Ａの端末１０への再生品質情報の通知は、例えば、上述した管理情報セッションＳｅｉを利用して行うことができる。また、拠点Ｂの端末１０から拠点Ａの端末１０への再生品質情報の通知を、中継サーバ３０を介して（データ用セッションＳｅｄとは別のセッションで）行うようにしてもよい。
　以上のような本実施形態の特徴的な処理は、例えば、上述した再生品質情報を他の端末１０に通知する機能や他の端末１０から通知された再生品質情報に基づいて符号化の設定を制御する機能などの新たな機能を端末１０に付加することによって実現することができる。なお、このような機能も含めた端末１０の具体的な構成例については、詳細を後述する。
　管理サーバ４０は、本実施形態のテレビ会議システム１の全体を管理するコンピュータである。例えば、管理サーバ４０は、登録された各端末１０の状態管理、中継装置３０の状態管理、端末１０を使用するユーザのログイン管理、複数の端末１０間で確立されたデータ用セッションＳｅｄの管理などを行う。
　また、本実施形態では、上述したように、受信側の端末１０でどのような品質の映像が再生出力されているかに応じて、必要以上の品質の映像データが送信されないように、送信側の端末１０で映像データの符号化の設定を制御する。このため、受信側の端末１０では、送信側の端末１０で符号化された映像データの品質を超える品質で映像データを再生出力することができない。しかし、例えば受信側の端末１０のネットワーク状況が改善された場合や、表示のレイアウト変更があった場合などには、現在再生出力している映像データよりも高い品質の映像データを再生出力することが望ましい場合もある。このような場合は、管理サーバ４０が、上述した管理情報セッションＳｅｉを利用して受信側の端末１０から映像データの品質向上の要求を受け付け、その要求を送信側の端末１０に通知し、送信側の端末１０が受信側の端末１０の要求に応じて、より高品位の映像データも符号化するように、符号化の設定を変更することが望ましい。
　プログラム提供サーバ５０は、各種のプログラムを端末１０、中継サーバ３０、管理サーバ４０、メンテナンスサーバ６０などに提供するコンピュータである。例えば、プログラム提供サーバ５０は、端末１０に各種機能を実現させるための端末用プログラムを格納しており、この端末用プログラムを端末１０に送信することができる。また、プログラム提供サーバ５０は、中継サーバ３０に各種機能を実現させるための中継サーバ用プログラムを格納しており、この中継サーバ用プログラムを中継サーバ３０に送信することができる。また、プログラム提供サーバ５０は、管理サーバ４０に各種機能を実現させるための管理サーバ用プログラムを格納しており、この管理サーバ用プログラムを管理サーバ４０に送信することができる。また、プログラム提供サーバ５０は、メンテナンスサーバ６０に各種機能を実現させるためのメンテナンスサーバ用プログラムを格納しており、このメンテナンスサーバ用プログラムをメンテナンスサーバ６０に送信することができる。
　メンテナンスサーバ６０は、端末１０、中継サーバ３０、管理サーバ４０、およびプログラム提供サーバ５０のうちの少なくとも１つの維持、管理、または保守を行うためのコンピュータである。例えば、メンテナンスサーバ６０が国内に設置され、端末１０、中継サーバ３０、管理サーバ４０、またはプログラム提供サーバ６０が国外に設置されている場合、メンテナンスサーバ６０は、通信ネットワーク２を介して遠隔的に、端末１０、中継サーバ３０、管理サーバ４０、およびプログラム提供サーバ５０のうちの少なくとも１つの維持、管理、保守等のメンテナンスを行う。
　次に、本実施形態のテレビ会議システム１における端末１０、中継サーバ３０、管理サーバ４０、プログラム提供サーバ５０、およびメンテナンスサーバ６０のハードウェア構成について説明する。図５は、端末１０のハードウェア構成の一例を示し、図６は、中継サーバ３０のハードウェア構成の一例を示している。なお、管理サーバ４０、プログラム提供サーバ５０、およびメンテナンスサーバ６０は、中継サーバ３０と同様のハードウェア構成を採用できるため、図示を省略する。
　端末１０は、図５に示すように、端末１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１、ＩＰＬ（Ｉｎｉｔｉａｌ　Ｐｒｏｇｒａｍ　Ｌｏａｄｅｒ）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しや書き込みを制御するＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ１０７、通信相手となる他の端末１０を選択する場合などに操作される操作ボタン１０８、端末１０の電源のオン／オフを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１を備えている。
　また、端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従ってディスプレイ１１に表示映像のデータを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
　なお、カメラ１１２、マイク１１４、スピーカ１１５は、必ずしも端末１０に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ１１は、端末１０に内蔵された構成であってもよい。また、ディスプレイ１１は、液晶パネル等の表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図５に示す端末１０のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。
　上述したプログラム提供サーバ５０から提供される端末用プログラムは、例えばフラッシュメモリ１０４に格納され、ＣＰＵ１０１の制御によりＲＡＭ１０３上に読み出されて実行される。なお、端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）等を用いてもよい。また、端末用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア１０６等の記録媒体に記録されて提供されるようにしてもよい。また、端末用プログラムは、ＲＯＭ１０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
　中継サーバ３０は、図６に示すように、中継サーバ３０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、中継サーバ用プログラム等の各種データを記憶するＨＤ（Ｈａｒｄ　Ｄｉｓｋ）２０４、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出しまたは書き込みを制御するＨＤＤ（ＨＤ　Ｄｒｉｖｅ）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２１３に対する各種データの読み出しまたは書き込みを制御するＣＤ－ＲＯＭドライブ２１４、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。
　上述したプログラム提供サーバ５０から提供される中継サーバ用プログラムは、例えばＨＤ２０４に格納され、ＣＰＵ２０１の制御によりＲＡＭ２０３上に読み出されて実行される。また、中継サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア２０６やＣＤ－ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、中継サーバ用プログラムは、ＲＯＭ２０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
　管理サーバ４０は、図６に示した中継サーバ３０と同様のハードウェア構成を採用できる。ただし、ＨＤ２０４には、プログラム提供サーバ５０から提供される管理サーバ用プログラムが記録されている。この場合も、管理サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア２０６やＣＤ－ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、管理サーバ用プログラムは、ＲＯＭ２０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
　プログラム提供サーバ５０は、図６に示した中継サーバ３０と同様のハードウェア構成を採用できる。ただし、ＨＤ２０４には、プログラム提供サーバ５０にプログラム提供機能を実現させるためのプログラムのほか、端末１０に提供する端末用プログラム、中継サーバ３０に提供する中継サーバ用プログラム、および管理サーバ４０に提供する管理サーバ用プログラムが記録されている。
　メンテナンスサーバ６０は、図６に示した中継サーバ３０と同様のハードウェア構成を採用できる。ただし、ＨＤ２０４には、プログラム提供サーバ５０から提供されるメンテナンスサーバ用プログラムが記録されている。この場合も、メンテナンスサーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア２０６やＣＤ－ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、メンテナンスサーバ用プログラムは、ＲＯＭ２０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
　なお、着脱可能な記録媒体の他の例としては、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体が挙げられる。上述した各種のプログラムは、これらの記録媒体に記録されて提供されるようにしてもよい。
　次に、端末１０の機能構成について説明する。図７は、端末１０の機能的な構成の一例を示すブロック図であり、図８は、端末１０が備える品質制御モジュール２５の詳細を示すブロック図である。端末１０は、図７に示すように、送受信部１２、操作入力受付部１３、撮像部１４、音声入力部１５、音声出力部１６、符号化部１７、復号化部１８、表示映像生成部１９、表示制御部２０、記憶・読出処理部２１、揮発性記憶部２２、不揮発性記憶部２３、および品質制御モジュール２５を備える。
　送受信部１２は、通信ネットワーク２を介して、他の端末１０、中継サーバ３０、管理サーバ４０等との間で各種データ（または情報）の送受信を行う。送受信部１２は、例えば、図５に示したネットワークＩ／Ｆ１１１およびＣＰＵ１０１によって実現される。
　操作入力受付部１３は、端末１０を使用するユーザによる各種の入力操作を受け付ける。操作入力受付部１３は、例えば、図５に示した操作ボタン１０８、電源スイッチ１０９、およびＣＰＵ１０１によって実現される。
　撮像部１４は、端末１０が設置されている拠点の映像を撮影して映像データを出力する。撮像部１４は、例えば、図５に示したカメラ１１２、撮像素子Ｉ／Ｆ１１３、およびＣＰＵ１０１によって実現される。
　音声入力部１５は、端末１０が設置されている拠点の音声を入力して音声データを出力する。音声入力部１５は、例えば、図５に示したマイク１１４、音声入出力Ｉ／Ｆ１１６、およびＣＰＵ１０１によって実現される。
　音声出力部１６は、音声データを再生出力する。音声出力部１６は、例えば、図５に示したスピーカ１１５、音声入出力Ｉ／Ｆ１１６、およびＣＰＵ１０１によって実現される。
　符号化部１７は、撮像部１４から出力される映像データや、音声入力部１５から出力される音声データを符号化して、符号化データを生成する。符号化部１７は、特に映像データの符号化については、Ｈ．２６４／ＳＶＣ符号化フォーマットに従って映像データをスケーラブルに符号化する。また、符号化部１７は、映像データをスケーラブルに符号化する際の設定（例えば、符号化するデータのレイヤ構成の設定）を、後述の品質制御モジュール２５からの設定信号に応じて変更可能に構成されている。符号化部１７は、例えば、図５に示したＣＰＵ１０１が、上述した端末用プログラムに含まれる符号化／復号化プログラム（映像・音声コーデック）を実行することにより実現される。
　復号化部１８は、他の端末１０から中継サーバ３０を介して送信された符号化データを復号し、符号化前の映像データや音声データを出力する。復号化部１８は、例えば、図５に示したＣＰＵ１０１が上述した端末用プログラムに含まれる符号化／復号化プログラム（映像・音声コーデック）を実行することにより実現される。
　表示映像生成部１９は、復号化部１８で復号された映像データを用いて、ディスプレイ１１に表示させる（再生出力する）表示映像を生成する。例えば、表示映像生成部１９は、復号化部１８で復号された映像データが複数の拠点の複数の端末１０から送信された映像データを含む場合、予め定められたレイアウトの設定、あるいはユーザにより指定されたレイアウトの設定に従って、それぞれの映像データを１画面内に含む表示映像を生成する。また、表示映像生成部１９は、生成した表示映像のレイアウトに関する情報、具体的には、どの拠点からの映像がどのようなサイズ（解像度）およびフレームレートで表示映像に含まれるかを示すレイアウト情報を、後述の品質制御モジュール２５に渡す機能を持つ。表示映像生成部１９は、例えば、図５に示したＣＰＵ１０１が、上述した端末用プログラムに含まれる表示映像生成プログラムを実行することにより実現される。
　表示制御部２０は、表示映像生成部１９によって生成された表示映像をディスプレイ１１に表示させる（再生出力する）ための制御を行う。表示制御部２０は、例えば、図５に示したディスプレイＩ／Ｆ１１７およびＣＰＵ１０１によって実現される。
　記憶・読出処理部２１は、揮発性記憶部２２や不揮発性記憶部２３に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部２１は、例えば、図５に示したＳＳＤ１０５およびＣＰＵ１０１によって実現される。揮発性記憶部２２は、例えば、図５に示したＲＡＭ１０３によって実現される。不揮発性記憶部２３は、例えば、図５に示したフラッシュメモリ１０４によって実現される。
　品質制御モジュール２５は、本実施形態の端末１０に特徴的な処理を行うモジュールであり、例えば、図５に示したＣＰＵ１０１が、上述した端末用プログラムに含まれる品質制御プログラムを実行することにより実現される。この品質制御モジュール２５は、図８に示すように、通知部２６と符号化設定制御部２７とを有している。
　通知部２６は、表示映像生成部１９から渡された上述のレイアウト情報に基づいて、ディスプレイ１１が表示映像として表示している他拠点からの映像の品質を表す再生品質情報を生成する。そして、通知部２６は、生成した再生品質情報を送受信部１２から映像の送信元の他の端末１０に通知する。
　図９は、通知部２６が生成する再生品質情報の具体例を示す概念図である。図９では、拠点Ａ、拠点Ｂ、および拠点Ｃの３つの拠点の端末１０間で映像を送受信するケースにおいて、拠点Ｃの端末１０において生成される再生品質情報の具体例を示している。
　図９（ａ）の例では、拠点Ｃのディスプレイ１１に表示される表示映像は、拠点Ａからの映像のみを含み、拠点Ａからの映像が６４０×３６０（横×縦の画素数）の解像度および３０ｆｐｓのフレームレートで表示されている。この場合、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：６４０×３６０、フレームレート：３０ｆｐｓの各項目を含む再生品質情報を生成する。
　図９（ｂ）の例では、拠点Ｃのディスプレイ１１に表示される表示映像は、拠点Ａからの映像と、拠点Ｂからの映像とを含み、拠点Ａからの映像が３２０×１８０の解像度および３０ｆｐｓのフレームレートで表示され、拠点Ｂからの映像が３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示されている。この場合、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：３０ｆｐｓの各項目を含む再生品質情報と、送信元：拠点Ｂ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓの各項目を含む再生品質情報とを生成する。
　図９（ｃ）の例では、拠点Ｃのディスプレイ１１に表示される表示映像は、拠点Ａからの映像と、拠点Ｂからの映像と、拠点Ｂとの間で共有されるデータとを含み、拠点Ａからの映像が３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示され、拠点Ｂからの映像が３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示され、拠点Ｂとの間で共有されるデータが６４０×３６０の解像度および５ｆｐｓのフレームレートで表示されている。この場合、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓの各項目を含む再生品質情報と、送信元：拠点Ｂ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓの各項目を含む再生品質情報と、送信元：拠点Ｂ、表示タイプ：データ、解像度：６４０×３６０、フレームレート：５ｆｐｓの各項目を含む再生品質情報とを生成する。なお、拠点Ｂとの間で共有されるデータとは、例えば拠点Ｂの端末１０に接続されたＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などの外部機器から入力したデータを想定している。本実施形態のテレビ会議システム１では、このような外部機器から端末１０に入力したデータを、映像データと同様に扱うものとする。
　端末１０の通知部２６は、以上のような再生品質情報を、例えばＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）形式のような汎用的な形式で生成してもよいし、端末１０が解釈可能な独自の形式で生成してもよい。
　図１０は、複数の拠点の端末１０間における再生品質情報の通知の具体例を示す概念図である。図１０では、拠点Ａ、拠点Ｂ、および拠点Ｃの３つの拠点の端末１０間で映像を送受信するケースにおいて、各拠点の端末１０が他の拠点の端末１０にどの再生品質情報を通知するかを示している。
　図１０の例では、拠点Ａのディスプレイ１１に表示される表示映像は、拠点Ｂからの映像と、拠点Ｃからの映像とを含み、拠点Ｂからの映像が３２０×１８０の解像度および３０ｆｐｓのフレームレートで表示され、拠点Ｃからの映像が３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示されている。この場合、拠点Ａの端末１０の通知部２６は、例えば、送信元：拠点Ｂ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：３０ｆｐｓの各項目を含む再生品質情報を生成して、この再生品質情報を拠点Ｂの端末１０に通知する。また、拠点Ａの端末１０の通知部２６は、例えば、送信元：拠点Ｃ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓの各項目を含む再生品質情報を生成して、この再生品質情報を拠点Ｃの端末１０に通知する。
　また、図１０の例では、拠点Ｂのディスプレイ１１に表示される表示映像は、拠点Ａからの映像のみを含み、拠点Ａからの映像が６４０×３６０の解像度および３０ｆｐｓのフレームレートで表示されている。この場合、拠点Ｂの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：６４０×３６０、フレームレート：３０ｆｐｓの各項目を含む再生品質情報を生成して、この再生品質情報を拠点Ａの端末１０に通知する。
　また、図１０の例では、拠点Ｃのディスプレイ１１に表示される表示映像は、拠点Ａからの映像と、拠点Ｂからの映像と、拠点Ｂとの間で共有されるデータとを含み、拠点Ａからの映像が３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示され、拠点Ｂからの映像が３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示され、拠点Ｂとの間で共有されるデータが６４０×３６０の解像度および５ｆｐｓのフレームレートで表示されている。この場合、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓの各項目を含む再生品質情報を生成して、この再生品質情報を拠点Ａの端末１０に通知する。また、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ｂ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓの各項目を含む再生品質情報と、送信元：拠点Ｂ、表示タイプ：データ、解像度：６４０×３６０、フレームレート：５ｆｐｓの各項目を含む再生品質情報とを生成し、これらの再生品質情報を拠点Ｂの端末１０に通知する。
　これにより、各拠点の端末１０は、他の拠点の端末１０に送信した映像が他の拠点でどのような品質で再生出力されているかを知ることができる。なお、再生品質情報の通知は、上述したように、例えば図２に示した管理情報セッションＳｅｉを利用して行うようにしてもよいし、中継サーバ３０を介して（データ用セッションＳｅｄとは別のセッションで）行うようにしてもよい。
　符号化設定制御部２７は、他の拠点の端末１０から通知された再生品質情報に基づき、符号化部１７による符号化の設定を制御する。例えば、符号化設定制御部２７は、他の拠点の端末１０から通知された再生品質情報が表す品質（つまり、他の拠点で表示されている自拠点からの映像の品質）が、中継サーバ３０を介して他の拠点の端末１０に送信した符号化データの品質（つまり、符号化部１７による符号化の現在の設定によって生成される符号化データの最大の品質）よりも低い場合に、他の拠点の端末１０から通知された再生品質情報が表す品質を超える品質を含まないように、符号化部１７による符号化の設定（例えば、レイヤ構成の設定等）を変更する。また、映像を送信している他の拠点が複数あり、これら複数の拠点の各端末１０に対して共通の符号化データを送信している場合は、符号化設定制御部２７は、各拠点の端末１０から各々通知された複数の再生品質情報が表す品質のうち最も高い品質が、中継サーバ３０を介して各拠点の端末１０に送信した共通の符号化データの品質よりも低い場合に、複数の再生品質情報が表す品質のうち最も高い品質を超える品質を含まないように、符号化部１７による符号化の設定を変更する。
　図１１は、符号化設定制御部２７が符号化部１７による符号化の設定を制御する具体例を示す概念図である。図１１では、拠点Ａ、拠点Ｂ、および拠点Ｃの３つの拠点の端末１０間で映像を送受信するケースにおいて、拠点Ａの端末１０の符号化設定制御部２７が、拠点Ｂの端末１０から通知された再生品質情報と、拠点Ｃの端末１０から通知された再生品質情報とに基づいて、符号化部１７による符号化の設定をどのように制御するかを示している。
　図１１の例では、拠点Ａの端末１０の符号化部１７の設定が、３２０×１８０の解像度および３０ｆｐｓのフレームレートの低品質映像と、６４０×３６０の解像度および３０ｆｐｓのフレームレートの中品質映像と、１２８０×７２０の解像度および３０ｆｐｓのフレームレートの高品質映像とを含むように、映像データを符号化する設定となっている。そして、拠点Ａの端末１０は、このような設定の符号化部１７により映像データをスケーラブルに符号化して、符号化データを送受信部１２から中継サーバ３０に送信している。
　その後、拠点Ｂの端末１０から解像度：６４０×３６０、フレームレート：３０ｆｐｓの項目を含む再生品質情報が拠点Ａの端末１０に通知され、拠点Ｃの端末１０から解像度：３２０×１８０、フレームレート：１５ｆｐｓの項目を含む再生品質情報が拠点Ａの端末１０に通知される。拠点Ａの端末１０の符号化設定制御部２７は、これら拠点Ｂの端末１０から通知された再生品質情報と、拠点Ｃの端末１０から通知された再生品質情報とを取得し、これらの再生品質情報から、１２８０×７２０の解像度および３０ｆｐｓのフレームレートの高品質映像を表示している拠点がないと判断する。そして、拠点Ａの端末１０の符号化設定制御部２７は、１２８０×７２０の解像度および３０ｆｐｓのフレームレートの高品質映像に対応するレイヤを含まないように、符号化部１７による符号化のレイヤ構成の設定変更等を行う。
　これにより、その後は拠点Ａの端末１０から中継サーバ３０に対して、低品質映像と中品質映像のみを含む符号化データが送信されることになり、拠点Ａと中継サーバ３０との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。なお、図１１の例では、高品質映像に対応するレイヤを含まないように、符号化部１７による符号化のレイヤ構成の設定変更を行うようにしているが、高品質映像に対応するレイヤの解像度やフレームレートを下げるように、符号化の設定変更を行うようにしてもよい。また、高品質映像に対応するレイヤをより下層のレイヤに統合するように、符号化の設定変更を行うようにしてもよい。
　図１２は、符号化設定制御部２７による処理手順の具体例を示すフローチャートである。図１２のフローチャートで示す処理が開始されると、符号化設定制御部２７は、まずステップＳ１０１において、自拠点の映像を表示している他のすべての拠点から、再生品質情報を取得する。そして、符号化設定制御部２７は、ステップＳ１０２において、ステップＳ１０１で取得した再生品質情報から、他拠点で表示されている自拠点の映像の最大の解像度および最大のフレームレートを検知する。
　次に、符号化設定制御部２７は、ステップＳ１０３において、ステップＳ１０２で検知した最大の解像度を超える映像の符号化データを中継サーバ３０に送信しているか否かを判定する。例えば、符号化設定制御部２７は、映像データをスケーラブルに符号化する符号化部１７の現在のレイヤ構成の設定が、ステップＳ１０２で検知した最大の解像度を超える映像のレイヤを含む設定となっているか否かを確認することにより、この判定を行う。そして、最大の解像度を超える映像の符号化データを中継サーバ３０に送信している場合は（ステップＳ１０３：Ｙｅｓ）ステップＳ１０４に進み、最大の解像度を超える映像の符号化データを中継サーバ３０に送信していない場合は（ステップＳ１０３：Ｎｏ）ステップＳ１０６に進む。
　ステップＳ１０４では、符号化設定制御部２７は、ステップＳ１０２で検知した最大の解像度を超える映像に対応するレイヤが削除可能か否かを判定する。そして、最大の解像度を超える映像に対応するレイヤを削除できる場合は（ステップＳ１０４：Ｙｅｓ）ステップＳ１０５に進み、最大の解像度を超える映像に対応するレイヤを削除できない場合は（ステップＳ１０４：Ｎｏ）ステップＳ１０６に進む。なお、最大の解像度を超える映像に対応するレイヤを削除できない場合とは、例えば、最大の解像度を超える映像に対応するレイヤが、最大の解像度以下の解像度、つまり他の拠点で表示されている自拠点の映像の解像度を含むレイヤとなっている場合などである。
　ステップＳ１０５では、符号化設定制御部２７は、ステップＳ１０２で検知した最大の解像度を超えるレイヤを含まないように、符号化部１７のレイヤ構成の設定を変更して、ステップＳ１０６に進む。
　ステップＳ１０６では、符号化設定制御部２７は、ステップＳ１０２で検知した最大のフレームレートを超える映像の符号化データを中継サーバ３０に送信しているか否かを判定する。例えば、符号化設定制御部２７は、映像データをスケーラブルに符号化する符号化部１７の現在のレイヤ構成の設定が、ステップＳ１０２で検知した最大のフレームレートを超える映像のレイヤを含む設定となっているか否かを確認することにより、この判定を行う。そして、最大のフレームレートを超える映像の符号化データを中継サーバ３０に送信している場合は（ステップＳ１０６：Ｙｅｓ）ステップＳ１０７に進み、最大のフレームレートを超える映像の符号化データを中継サーバ３０に送信していない場合は（ステップＳ１０６：Ｎｏ）、図１２のフローチャートで示す処理を終了する。
　ステップＳ１０７では、符号化設定制御部２７は、ステップＳ１０２で検知した最大のフレームレートを超えるレイヤを含まないように、符号化部１７のレイヤ構成の設定を変更して、図１２のフローチャートで示す処理を終了する。
　図１３は、送信側の端末１０から受信側の端末１０に映像を送信する処理の概要を示すシーケンス図である。図１３では、送信側の端末１０が低品質映像、中品質映像、および高品質映像を送信したが、受信側の端末１０で表示されている映像が中品質であるため、高品質映像を送信しないように符号化の設定を変更する例を示している。
　まず、送信側の端末１０から中継サーバ３０を介して受信側の端末１０に低品質映像、中品質映像、および高品質映像の符号化データが送信される（ステップＳ２０１）。受信側の端末１０では、受信した符号化データを復号化部１８が復号し、表示映像生成部１９がディスプレイ１１に表示させる表示映像を生成する（ステップＳ２０２）。このとき、表示映像生成部１９は、生成した表示映像に関するレイアウト情報を通知部２６に渡す。
　受信側の端末１０の通知部２６は、表示映像生成部１９から渡されたレイアウト情報に基づいて再生品質情報を生成し（ステップＳ２０３）、生成した再生品質情報を送信側の端末１０に通知する（ステップＳ２０４）。本例の場合、送信側の端末１０に通知する再生品質情報は、受信側の端末１０がディスプレイ１１に表示させている映像の品質が中品質であることを表すものとなっている。
　送信側の端末１０では、受信側の端末１０から再生品質情報が通知されると、符号化設定制御部２７が、この再生品質情報に基づいて符号化部１７による符号化の設定を変更する必要があるか否かを判断する（ステップＳ２０５）。本例の場合、受信側の端末１０に高品質映像を送信する必要がないため、符号化設定制御部２７は、符号化部１７による符号化の設定を変更する必要があると判断する。そして、符号化設定制御部２７は、高品質映像に対応するレイヤを含まないように、符号化部１７による符号化のレイヤ構成の設定変更を行う（ステップＳ２０６）。
　その後は、設定変更された符号化部１７により符号化された低品質映像および中品質映像の符号化データが、送信側の端末１０から中継サーバ３０を介して受信側の端末１０に送信される（ステップＳ２０７）。これにより、送信側の端末１０と中継サーバ３０との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。
　以上、具体的な例を挙げながら詳細に説明したように、本実施形態のテレビ会議システム１によれば、受信側の端末１０が、実際に再生出力している映像の品質を表す再生品質情報を、映像の送信元である送信側の端末１０に通知する。そして、送信側の端末１０は、受信側の端末１０から通知された再生品質情報に基づいて、受信側の端末１０に対して送信する映像の符号化の設定を制御する。したがって、送信側の端末１０は、受信側の端末１０が必要とする品質の映像のみを符号化して中継サーバ３０に送信することができ、送信側の端末１０と中継サーバ３０との間のネットワーク帯域幅を必要以上に使用してしまう不都合を有効に抑制することができる。
（第２の実施形態）
　次に、第２の実施形態について説明する。本実施形態は、端末１０の通知部２６が、表示映像の圧縮率を含む再生品質情報を生成して、映像の送信元の他の端末１０に通知するものである。本実施形態では、表示映像生成部１９が復号化部１８で復号された映像データを用いてディスプレイ１１に表示させる表示映像を生成する際に、生成した表示映像のレイアウトに関する情報として、各拠点からの映像のサイズ（解像度）およびフレームレートに加えて圧縮率を含む情報を生成し、品質制御モジュール２５に渡す。品質制御モジュール２５の通知部２６は、表示映像生成部１９から渡されたレイアウト情報に基づいて、ディスプレイ１１が表示映像として表示している他拠点からの映像の品質を表す再生品質情報として、解像度とフレームレートに加えて圧縮率を含む再生品質情報を生成し、この再生品質情報を送受信部１２から映像の送信元の他の端末１０に通知する。ここで再生品質情報における圧縮率とは、表示映像に含まれる各拠点からの映像の映像データがどのくらいの割合で圧縮されて送信されているかを表し、データ量が半分になるように圧縮された映像を表示映像に含ませる場合の圧縮率は５０％、圧縮されていない映像を表示映像に含ませる場合の圧縮率は１００％である。
　図１４は、本実施形態の通知部２６が生成する再生品質情報の具体例を示す概念図である。図１４では、図９に示した例と同様に、拠点Ａ、拠点Ｂ、および拠点Ｃの３つの拠点の端末１０間で映像を送受信するケースにおいて、拠点Ｃの端末１０において生成される再生品質情報の具体例を示している。
　図１４（ａ）の例では、拠点Ｃのディスプレイ１１に表示される表示映像は、拠点Ａからの映像のみを含み、拠点Ａからの圧縮率１００％（圧縮なし）の映像が、６４０×３６０（横×縦の画素数）の解像度および３０ｆｐｓのフレームレートで表示されている。この場合、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：６４０×３６０、フレームレート：３０ｆｐｓ、圧縮率：１００％の各項目を含む再生品質情報を生成する。
　図１４（ｂ）の例では、拠点Ｃのディスプレイ１１に表示される表示映像は、拠点Ａからの映像と、拠点Ｂからの映像とを含み、拠点Ａからの圧縮率８０％（２０％圧縮）の映像が、３２０×１８０の解像度および３０ｆｐｓのフレームレートで表示され、拠点Ｂからの圧縮率８０％の映像が、３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示されている。この場合、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：３０ｆｐｓ、圧縮率：８０％の各項目を含む再生品質情報と、送信元：拠点Ｂ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓ、圧縮率：８０％の各項目を含む再生品質情報とを生成する。
　図１４（ｃ）の例では、拠点Ｃのディスプレイ１１に表示される表示映像は、拠点Ａからの映像と、拠点Ｂからの映像と、拠点Ｂとの間で共有されるデータとを含み、拠点Ａからの圧縮率５０％（５０％圧縮）の映像が、３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示され、拠点Ｂからの圧縮率５０％の映像が、３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示され、拠点Ｂとの間で共有される圧縮率１００％のデータが、６４０×３６０の解像度および５ｆｐｓのフレームレートで表示されている。この場合、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓ、圧縮率：５０％の各項目を含む再生品質情報と、送信元：拠点Ｂ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓ、圧縮率：５０％の各項目を含む再生品質情報と、送信元：拠点Ｂ、表示タイプ：データ、解像度：６４０×３６０、フレームレート：５ｆｐｓ、圧縮率：１００％の各項目を含む再生品質情報とを生成する。
　図１５は、複数の拠点の端末１０間における再生品質情報の通知の具体例を示す概念図である。図１５では、図１０に示した例と同様に、拠点Ａ、拠点Ｂ、および拠点Ｃの３つの拠点の端末１０間で映像を送受信するケースにおいて、各拠点の端末１０が他の拠点の端末１０にどの再生品質情報を通知するかを示している。
　図１５の例では、拠点Ａのディスプレイ１１に表示される表示映像は、拠点Ｂからの映像と、拠点Ｃからの映像とを含み、拠点Ｂからの圧縮率８０％の映像が、３２０×１８０の解像度および３０ｆｐｓのフレームレートで表示され、拠点Ｃからの圧縮率８０％の映像が、３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示されている。この場合、拠点Ａの端末１０の通知部２６は、例えば、送信元：拠点Ｂ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：３０ｆｐｓ、圧縮率：８０％の各項目を含む再生品質情報を生成して、この再生品質情報を拠点Ｂの端末１０に通知する。また、拠点Ａの端末１０の通知部２６は、例えば、送信元：拠点Ｃ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓ、圧縮率：８０％の各項目を含む再生品質情報を生成して、この再生品質情報を拠点Ｃの端末１０に通知する。
　また、図１５の例では、拠点Ｂのディスプレイ１１に表示される表示映像は、拠点Ａからの映像のみを含み、拠点Ａからの圧縮率１００％の映像が、６４０×３６０の解像度および３０ｆｐｓのフレームレートで表示されている。この場合、拠点Ｂの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：６４０×３６０、フレームレート：３０ｆｐｓ、圧縮率：１００％の各項目を含む再生品質情報を生成して、この再生品質情報を拠点Ａの端末１０に通知する。
　また、図１５の例では、拠点Ｃのディスプレイ１１に表示される表示映像は、拠点Ａからの映像と、拠点Ｂからの映像と、拠点Ｂとの間で共有されるデータとを含み、拠点Ａからの圧縮率５０％の映像が、３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示され、拠点Ｂからの圧縮率５０％の映像が、３２０×１８０の解像度および１５ｆｐｓのフレームレートで表示され、拠点Ｂとの間で共有される圧縮率１００％のデータが、６４０×３６０の解像度および５ｆｐｓのフレームレートで表示されている。この場合、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ａ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓ、圧縮率：５０％の各項目を含む再生品質情報を生成して、この再生品質情報を拠点Ａの端末１０に通知する。また、拠点Ｃの端末１０の通知部２６は、例えば、送信元：拠点Ｂ、表示タイプ：映像、解像度：３２０×１８０、フレームレート：１５ｆｐｓ、圧縮率：５０％の各項目を含む再生品質情報と、送信元：拠点Ｂ、表示タイプ：データ、解像度：６４０×３６０、フレームレート：５ｆｐｓ、圧縮率：１００％の各項目を含む再生品質情報とを生成し、これらの再生品質情報を拠点Ｂの端末１０に通知する。
　図１６は、本実施形態の符号化設定制御部２７が符号化部１７による符号化の設定を制御する具体例を示す概念図である。図１６では、図１１に示した例と同様に、拠点Ａ、拠点Ｂ、および拠点Ｃの３つの拠点の端末１０間で映像を送受信するケースにおいて、拠点Ａの端末１０の符号化設定制御部２７が、拠点Ｂの端末１０から通知された再生品質情報と、拠点Ｃの端末１０から通知された再生品質情報とに基づいて、符号化部１７による符号化の設定をどのように制御するかを示している。
　図１６の例では、拠点Ａの端末１０の符号化部１７の設定が、３２０×１８０の解像度および３０ｆｐｓのフレームレートで圧縮率が１００％の低品質映像と、６４０×３６０の解像度および３０ｆｐｓのフレームレートで圧縮率が１００％の中品質映像と、１２８０×７２０の解像度および３０ｆｐｓのフレームレートで圧縮率が１００％の高品質映像とを含むように、映像データを符号化する設定となっている。そして、拠点Ａの端末１０は、このような設定の符号化部１７により映像データをスケーラブルに符号化して、符号化データを送受信部１２から中継サーバ３０に送信している。
　その後、拠点Ｂの端末１０から解像度：６４０×３６０、フレームレート：３０ｆｐｓ、圧縮率：１００％の各項目を含む再生品質情報が拠点Ａの端末１０に通知され、拠点Ｃの端末１０から解像度：３２０×１８０、フレームレート：１５ｆｐｓ、圧縮率：５０％の各項目を含む再生品質情報が拠点Ａの端末１０に通知される。拠点Ａの端末１０の符号化設定制御部２７は、これら拠点Ｂの端末１０から通知された再生品質情報と、拠点Ｃの端末１０から通知された再生品質情報とを取得し、これらの再生品質情報から、１２８０×７２０の解像度および３０ｆｐｓのフレームレートで圧縮率が１００％の高品質映像を表示している拠点がないと判断する。そして、拠点Ａの端末１０の符号化設定制御部２７は、１２８０×７２０の解像度および３０ｆｐｓのフレームレートで圧縮率１００％の高品質映像に対応するレイヤを含まないように、符号化部１７による符号化のレイヤ構成の設定変更等を行う。
　これにより、その後は拠点Ａの端末１０から中継サーバ３０に対して、低品質映像と中品質映像のみを含む符号化データが送信されることになり、拠点Ａと中継サーバ３０との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。
　なお、図１６の例では、高品質映像に対応するレイヤを含まないように、符号化部１７による符号化のレイヤ構成の設定変更を行うようにしているが、高品質映像に対応するレイヤの解像度やフレームレートを下げるように、符号化の設定変更を行うようにしてもよい。図１７は、符号化データのレイヤ数を変更せずに最大解像度を下げるように符号化の設定変更を行う例を示している。
　図１７の例では、拠点Ａの端末１０の符号化設定制御部２７は、図１６の例と同様に、拠点Ｂの端末１０から通知された再生品質情報と、拠点Ｃの端末１０から通知された再生品質情報とを取得し、これらの再生品質情報から、１２８０×７２０の解像度および３０ｆｐｓのフレームレートで圧縮率が１００％の高品質映像を表示している拠点がないと判断する。このため、拠点Ａの端末１０の符号化設定制御部２７は、例えば、高品質映像の解像度を６４０×３６０、中品質映像の解像度を３２０×１８０、低品質映像の解像度を１６０×９０に変更し、符号化データのレイヤ数を変更せずに最大解像度を下げるように符号化の設定変更を行う。これにより、拠点Ａと中継サーバ３０との間のネットワークの帯域幅が必要以上に使用される不都合を有効に抑制することができる。
　図１８は、本実施形態の符号化設定制御部２７による処理手順の具体例を示すフローチャートである。図１８のフローチャートにおけるステップＳ３０１からステップＳ３０７までの処理は、図１２のフローチャートにおけるステップＳ１０１からステップＳ１０７までの処理と同様であるため、説明を省略する。なお、図１２のステップＳ１０２では、他拠点からの再生品質情報をもとに、他拠点で表示されている自拠点の映像の最大の解像度および最大のフレームレートを検知していたのに対し、図１８のステップＳ３０２では、他拠点からの再生品質情報をもとに、他拠点で表示されている自拠点の映像の最大の解像度および最大のフレームレートに加えて、最大の圧縮率を検出している。
　本実施形態では、図１８のステップＳ３０６の判定結果がＮｏであった場合、あるいはステップＳ３０６の判定結果がＹｅｓでありステップＳ３０７の処理が行われた後、ステップＳ３０８に進む。
　ステップＳ３０８では、符号化設定制御部２７は、ステップＳ３０２で検知した最大の圧縮率を超える映像の符号化データを中継サーバ３０に送信しているか否かを判定する。例えば、符号化設定制御部２７は、映像データをスケーラブルに符号化する符号化部１７の現在のレイヤ構成の設定が、ステップＳ３０２で検知した最大の圧縮率を超える映像のレイヤを含む設定となっているか否かを確認することにより、この判定を行う。そして、最大の圧縮率を超える映像の符号化データを中継サーバ３０に送信している場合は（ステップＳ３０８：Ｙｅｓ）ステップＳ３０９に進み、最大の圧縮率を超える映像の符号化データを中継サーバ３０に送信していない場合は（ステップＳ３０８：Ｎｏ）、図１８のフローチャートで示す処理を終了する。
　ステップＳ３０９では、符号化設定制御部２７は、ステップＳ３０２で検知した最大の圧縮率を超える映像に対応するレイヤを含まないように、符号化部１７のレイヤ構成の設定を変更して、図１８のフローチャートで示す処理を終了する。
　なお、以上説明した例では、実際にディスプレイ１１に表示されている映像や外部機器からの入力データの解像度、フレームレートおよび圧縮率を再生品質情報として扱っている。しかし、実際にディスプレイ１１に表示される表示映像に含まれる映像やデータの品質とは異なるが、表示映像上で表示させる映像の品質として例えばユーザが要求する再生品質に応じた解像度、フレームレート、圧縮率などを再生品質情報として扱うようにしてもよい。この場合、端末１０の通知部２６は、例えば、表示映像上で表示させたい映像やデータの解像度、フレームレート、圧縮率などを指定するユーザの操作を受け付けて、ユーザにより指定された品質に応じた再生品質情報を生成して、映像やデータの送信元の端末１０に通知する。
　この例の場合、映像やデータの送信元の端末１０には、当該端末１０が送信している符号化データに含まれる高品質映像を超える品質が指定された再生品質情報が通知されることがある。この場合、当該端末１０の符号化設定制御部２７は、当該端末１０から他の端末１０に送信する符号化データに、他の端末１０から通知された再生品質情報で指定される品質が含まれるように、符号化部１７による符号化の設定変更を行う。
　図１９は、符号化設定制御部２７が符号化部１７による符号化の設定を制御する具体例を示す概念図である。図１９の例では、拠点Ａの端末１０の符号化部１７の設定が、３２０×１８０の解像度および３０ｆｐｓのフレームレートで圧縮率が１００％の低品質映像と、６４０×３６０の解像度および３０ｆｐｓのフレームレートで圧縮率が１００％の中品質映像とを含むように、映像データを符号化する設定となっている。そして、拠点Ａの端末１０は、このような設定の符号化部１７により映像データをスケーラブルに符号化して、符号化データを送受信部１２から中継サーバ３０に送信している。
　その後、拠点Ｂの端末１０から解像度：１２８０×７２０、フレームレート：３０ｆｐｓ、圧縮率：１００％の各項目を含む再生品質情報が拠点Ａの端末１０に通知され、拠点Ｃの端末１０から解像度：３２０×１８０、フレームレート：１５ｆｐｓ、圧縮率：５０％の各項目を含む再生品質情報が拠点Ａの端末１０に通知される。拠点Ａの端末１０の符号化設定制御部２７は、これら拠点Ｂの端末１０から通知された再生品質情報と、拠点Ｃの端末１０から通知された再生品質情報とを取得し、これらの再生品質情報から、拠点Ｂにおいて、１２８０×７２０の解像度および３０ｆｐｓのフレームレートで圧縮率が１００％の高品質映像の表示が要求されていると判断する。この場合、拠点Ａの端末１０の符号化設定制御部２７は、１２８０×７２０の解像度および３０ｆｐｓのフレームレートで圧縮率１００％の高品質映像に対応するレイヤを追加するように、符号化部１７による符号化のレイヤ構成の設定変更等を行う。
　なお、以上の例のように、ユーザが要求する再生品質に応じた解像度、フレームレート、圧縮率などを再生品質情報として扱う場合には、要求される解像度、フレームレート、圧縮率などを範囲で指定してもよい。この場合、端末１０の通知部２６は、例えば、表示映像上で表示させたい映像やデータの解像度、フレームレート、圧縮率などの範囲を指定するユーザの操作を受け付けて、ユーザにより指定された品質の範囲を含む再生品質情報を生成して、映像やデータの送信元の端末１０に通知する。
　図２０は、符号化設定制御部２７が符号化部１７による符号化の設定を制御する具体例を示す概念図である。図２０の例では、拠点Ｂの端末１０から拠点Ａの端末に通知される再生品質情報の解像度の項目が、１２８０×７２０～６４０×３６０というように範囲で指定されている。この場合、拠点Ａの端末１０の符号化設定制御部２７は、拠点Ｂから通知された再生品質情報をもとに、拠点Ｂにおいて、解像度が１２８０×７２０～６４０×３６０の範囲で映像を表示することが要求されていると判断する。そして、拠点Ａの端末１０の符号化設定制御部２７は、各拠点の再生品質情報をできるだけ包含するレイヤ構成となるように、符号化部１７による符号化のレイヤ構成の設定変更等を行う。
　図２１は、符号化設定制御部２７による処理手順の具体例を示すフローチャートである。図２１のフローチャートで示す処理が開始されると、符号化設定制御部２７は、まずステップＳ４０１において、自拠点の映像を表示している他のすべての拠点から、再生品質情報を取得する。そして、符号化設定制御部２７は、ステップＳ４０２において、ステップＳ４０１で取得した再生品質情報から、他拠点で要求されている自拠点の映像の最大の解像度、最大のフレームレート、および最大の圧縮率を検知する。
　次に、符号化設定制御部２７は、ステップＳ４０３において、ステップＳ４０２で検知した最大の解像度を包含する符号化データを中継サーバ３０に送信しているか否かを判定する。そして、中継サーバ３０に送信している符号化データが、ステップＳ４０２で検知した最大の解像度を包含していない場合は（ステップＳ４０３：Ｎｏ）ステップＳ４０４に進み、最大の解像度を包含している場合は（ステップＳ４０３：Ｙｅｓ）ステップＳ４０６に進む。
　ステップＳ４０４では、符号化設定制御部２７は、ステップＳ４０２で検知した最大の解像度に対応するレイヤを追加可能か否かを判定する。そして、最大の解像度に対応するレイヤを追加できる場合は（ステップＳ４０４：Ｙｅｓ）ステップＳ４０５に進み、最大の解像度に対応するレイヤを追加できない場合は（ステップＳ４０４：Ｎｏ）ステップＳ４０６に進む。
　ステップＳ４０５では、符号化設定制御部２７は、ステップＳ４０２で検知した最大の解像度に対応するレイヤを追加するように、符号化部１７のレイヤ構成の設定を変更して、ステップＳ４０６に進む。
　ステップＳ４０６では、符号化設定制御部２７は、ステップＳ４０２で検知した最大のフレームレートを包含する符号化データを中継サーバ３０に送信しているか否かを判定する。そして、中継サーバ３０に送信している符号化データが、ステップＳ４０２で検知した最大のフレームレートを包含していない場合は（ステップＳ４０６：Ｎｏ）ステップＳ４０７に進み、最大のフレームレートを包含している場合は（ステップＳ４０６：Ｙｅｓ）ステップＳ４０９に進む。
　ステップＳ４０７では、符号化設定制御部２７は、ステップＳ４０２で検知した最大のフレームレートに対応するレイヤを追加可能か否かを判定する。そして、最大のフレームレートに対応するレイヤを追加できる場合は（ステップＳ４０７：Ｙｅｓ）ステップＳ４０８に進み、最大のフレームレートに対応するレイヤを追加できない場合は（ステップＳ４０７：Ｎｏ）ステップＳ４０９に進む。
　ステップＳ４０８では、符号化設定制御部２７は、ステップＳ４０２で検知した最大のフレームレートに対応するレイヤを追加するように、符号化部１７のレイヤ構成の設定を変更して、ステップＳ４０９に進む。
　ステップＳ４０９では、符号化設定制御部２７は、ステップＳ４０２で検知した最大の圧縮率を包含する符号化データを中継サーバ３０に送信しているか否かを判定する。そして、中継サーバ３０に送信している符号化データが、ステップＳ４０２で検知した最大の圧縮率を包含していない場合は（ステップＳ４０９：Ｎｏ）ステップＳ４１０に進み、最大の圧縮率を包含している場合は（ステップＳ４０９：Ｙｅｓ）、図２１のフローチャートで示す処理を終了する。
　ステップＳ４１０では、符号化設定制御部２７は、ステップＳ４０２で検知した最大の圧縮率に対応するレイヤを追加可能か否かを判定する。そして、最大の圧縮率に対応するレイヤを追加できる場合は（ステップＳ４１０：Ｙｅｓ）ステップＳ４１１に進み、最大の圧縮率に対応するレイヤを追加できない場合は（ステップＳ４１０：Ｎｏ）、図２１のフローチャートで示す処理を終了する。
　ステップＳ４１１では、符号化設定制御部２７は、ステップＳ４０２で検知した最大の圧縮率に対応するレイヤを追加するように、符号化部１７のレイヤ構成の設定を変更して、図２１のフローチャートで示す処理を終了する。　
　以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。つまり、上述した実施形態で説明したテレビ会議システム１や端末１０などの具体的な構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。
　例えば、上述した実施形態では、通知部２６と符号化設定制御部２７とを含む品質制御モジュール２５を端末１０が備えているが、この品質制御モジュール２５の機能の一部または全部を、例えば管理サーバ４０などの他の装置が備えるように構成してもよい。例えば、管理サーバ４０が通知部２６を備える構成の場合、管理サーバ４０は、受信側の端末１０からレイアウト情報を取得し、このレイアウト情報をもとに再生品質情報を生成して送信側の端末１０に通知する。また、管理サーバ４０が符号化設定制御部２７を備える構成の場合、管理サーバ４０は、受信側の端末１０から通知される再生品質情報を取得し、この再生品質情報に基づいて、送信側の端末１０の符号化部１７の設定を制御する制御信号を生成して、送信側の端末１０に送信する。
　また、上述した実施形態では、映像データをスケーラブルに符号化して端末１０間で送受信するものとしているが、映像データとともに、あるいは映像データに代えて、音声データをスケーラブルに符号化して端末１０間で送受信するようにしてもよい。この場合、音声データの品質としては、例えば、音声におけるサンプリング周波数や、音声におけるビット長などが挙げられる。
　また、上述した実施形態では、本発明を適用した通信システムの一例としてテレビ会議システム１を例示したが、これに限られるものではない。本発明は、例えば、端末間で双方向に音声データを送受信するＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）電話等の電話システムや、管理センタの端末から自動車に搭載されたカーナビゲーション装置に対して地図データやルート情報などを配信するカーナビゲーションシステム等、各種の通信システムに対して有効に適用可能である。
　また、上述した実施形態では、本発明を適用した通信装置の一例としてテレビ会議端末（端末）１０を例示したが、これに限られるものではない。本発明は、各種データをスケーラブルに符号化して送信する機能と、スケーラブルに符号化された符号化データを復号して再生する機能とを有する通信装置であれば、例えばＰＣやタブレット端末、スマートフォン、電子黒板、自動車に搭載されるカーナビゲーション装置等の各種の通信装置に対して有効に適用可能である。
特許第４９２１４８８号公報

Claims (8)

  1. 　スケーラブルに符号化された符号化データを他の通信装置との間で送受信し、受信した前記符号化データを復号して再生出力する通信装置であって、
    　再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の通信装置に通知する通知部と、
    　他の通信装置から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の通信装置に送信する前記符号化データの符号化の設定を制御する符号化設定制御部と、を備える通信装置。
  2. 　前記符号化設定制御部は、他の通信装置から通知された前記再生品質情報が表す品質が、他の通信装置に送信した前記符号化データの品質よりも低い場合に、他の通信装置から通知された前記再生品質情報が表す品質を超える品質を含まないように、他の通信装置に送信する前記符号化データの符号化の設定を変更する、請求項１に記載の通信装置。
  3. 　他の通信装置が複数存在し、これら複数存在する他の通信装置に対して共通の前記符号化データを送信する場合において、
    　前記符号化設定制御部は、複数存在する他の通信装置から各々通知された複数の前記再生品質情報が表す品質のうち最も高い品質が、複数存在する他の通信装置に送信した共通の前記符号化データの品質よりも低い場合に、前記最も高い品質を超える品質を含まないように、複数存在する他の通信装置に送信する共通の前記符号化データの符号化の設定を変更する、請求項１に記載の通信装置。
  4. 　前記データは映像データであり、前記データの品質は映像データの解像度とフレームレートの少なくとも一方を含む、請求項１～３のいずれか一項に記載の通信装置。
  5. 　前記符号化データは、Ｈ．２６４／ＳＶＣ符号化フォーマットで符号化されたデータである、請求項４に記載の通信装置。
  6. 　スケーラブルに符号化された符号化データを複数の通信装置の間で送受信し、少なくとも１つの通信装置が他の通信装置で符号化された前記符号化データを復号して再生出力する通信システムであって、
    　前記通信装置で再生出力しているデータの品質を表す再生品質情報を、他の通信装置に通知する通知部と、
    　他の通信装置から前記通信装置に通知された前記再生品質情報に基づき、前記通信装置から他の通信装置に送信する前記符号化データの符号化の設定を制御する符号化設定制御部と、を備える通信システム。
  7. 　スケーラブルに符号化された符号化データを他の通信装置との間で送受信し、受信した前記符号化データを復号して再生出力する通信装置において実行される通信制御方法であって、
    　再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の通信装置に通知する工程と、
    　他の通信装置から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の通信装置に送信する前記符号化データの符号化の設定を制御する工程と、を含む通信制御方法。
  8. 　スケーラブルに符号化された符号化データを他の通信装置との間で送受信し、受信した前記符号化データを復号して再生出力する通信装置において実行されるプログラムであって、
    　再生出力しているデータの品質を表す再生品質情報を、再生出力しているデータの送信元である他の通信装置に通知する機能と、
    　他の通信装置から通知された前記再生品質情報に基づき、該再生品質情報を通知した他の通信装置に送信する前記符号化データの符号化の設定を制御する機能と、を前記通信装置に実現させるためのプログラム。
PCT/JP2015/050969 2014-02-26 2015-01-15 通信装置、通信システム、通信制御方法およびプログラム WO2015129319A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016505092A JP6432595B2 (ja) 2014-02-26 2015-01-15 通信装置、通信システム、通信制御方法およびプログラム
CN201580010561.2A CN106031164A (zh) 2014-02-26 2015-01-15 通信装置、通信系统、通信控制方法以及程序
US15/120,890 US20160366425A1 (en) 2014-02-26 2015-01-15 Communication device, communication system, and communication control method
EP15755027.8A EP3113490B1 (en) 2014-02-26 2015-01-15 Communication device, communication system, communication control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-035833 2014-02-26
JP2014035833 2014-02-26

Publications (1)

Publication Number Publication Date
WO2015129319A1 true WO2015129319A1 (ja) 2015-09-03

Family

ID=54008648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/050969 WO2015129319A1 (ja) 2014-02-26 2015-01-15 通信装置、通信システム、通信制御方法およびプログラム

Country Status (5)

Country Link
US (1) US20160366425A1 (ja)
EP (1) EP3113490B1 (ja)
JP (1) JP6432595B2 (ja)
CN (1) CN106031164A (ja)
WO (1) WO2015129319A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609387B2 (en) 2014-06-17 2017-03-28 Ricoh Company, Ltd. Communication device, communication system, and communication control method
JP2017195582A (ja) * 2016-04-22 2017-10-26 株式会社リコー 通信装置、通信システム、及びプログラム
JP2018011169A (ja) * 2016-07-13 2018-01-18 株式会社リコー 通信装置、通信システム、通信方法およびプログラム
WO2019198541A1 (ja) * 2018-04-13 2019-10-17 ソニー株式会社 空間情報共有装置、空間情報共有方法、およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6634965B2 (ja) 2016-06-20 2020-01-22 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
KR102611331B1 (ko) * 2018-10-02 2023-12-08 삼성전자주식회사 디스플레이 장치 및 상기 디스플레이 장치와 통신하는 서버
US11587321B2 (en) * 2020-04-13 2023-02-21 Plantronics, Inc. Enhanced person detection using face recognition and reinforced, segmented field inferencing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08274961A (ja) * 1995-04-04 1996-10-18 Canon Inc 画像伝送方法及び装置並びに解像度制御装置
JP2007150916A (ja) * 2005-11-29 2007-06-14 Sony Corp コミュニケーションシステム、端末装置及びコンピュータプログラム
US20090033739A1 (en) * 2007-07-31 2009-02-05 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4709154B2 (ja) * 2004-07-06 2011-06-22 パナソニック株式会社 リムーバブル装置および記録再生端末
US7701851B2 (en) * 2005-07-20 2010-04-20 Vidyo, Inc. System and method for the control of the transmission rate in packet-based digital communications
JP4769513B2 (ja) * 2005-08-15 2011-09-07 キヤノン株式会社 再生制御方法及び再生制御装置
CN101341746B (zh) * 2005-12-22 2011-11-30 维德约股份有限公司 用于使用可缩放视频编码和合成可缩放视频会议服务器进行视频会议的系统和方法
JP4993310B2 (ja) * 2008-05-22 2012-08-08 株式会社Ｋｄｄｉ研究所 メディアストリームの品質イベントを特定する方法、端末、通信ノード装置及びプログラム
JP5999873B2 (ja) * 2010-02-24 2016-09-28 株式会社リコー 伝送システム、伝送方法、及びプログラム
US8885013B2 (en) * 2010-05-12 2014-11-11 Blue Jeans Network, Inc. Systems and methods for novel interactions with participants in videoconference meetings
US9729867B2 (en) * 2011-07-29 2017-08-08 Panasonic Intellectual Property Management Co., Ltd. Wireless communication terminal and communication control method
WO2013106521A2 (en) * 2012-01-10 2013-07-18 Vidyo, Inc. Techniques for layered video encoding and decoding
CN102724474A (zh) * 2012-05-17 2012-10-10 中南民族大学 自适应网络编码的便携式视频会议终端及实现方法
EP2908547B1 (en) * 2012-10-10 2019-12-04 Fujitsu Client Computing Limited Information-processing device, information-processing system, information-processing program, and moving image data transmission/reception method adapting the frame rate of moving image data based on frame similarity
JP6183003B2 (ja) * 2012-11-15 2017-08-23 株式会社リコー 伝送システム
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08274961A (ja) * 1995-04-04 1996-10-18 Canon Inc 画像伝送方法及び装置並びに解像度制御装置
JP2007150916A (ja) * 2005-11-29 2007-06-14 Sony Corp コミュニケーションシステム、端末装置及びコンピュータプログラム
US20090033739A1 (en) * 2007-07-31 2009-02-05 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609387B2 (en) 2014-06-17 2017-03-28 Ricoh Company, Ltd. Communication device, communication system, and communication control method
JP2017195582A (ja) * 2016-04-22 2017-10-26 株式会社リコー 通信装置、通信システム、及びプログラム
JP2018011169A (ja) * 2016-07-13 2018-01-18 株式会社リコー 通信装置、通信システム、通信方法およびプログラム
WO2019198541A1 (ja) * 2018-04-13 2019-10-17 ソニー株式会社 空間情報共有装置、空間情報共有方法、およびプログラム
US11418565B2 (en) 2018-04-13 2022-08-16 Sony Corporation Space information sharing apparatus, space information sharing method, and program

Also Published As

Publication number Publication date
JPWO2015129319A1 (ja) 2017-03-30
CN106031164A (zh) 2016-10-12
EP3113490B1 (en) 2019-07-24
EP3113490A4 (en) 2017-03-08
EP3113490A1 (en) 2017-01-04
JP6432595B2 (ja) 2018-12-05
US20160366425A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
JP6432595B2 (ja) 通信装置、通信システム、通信制御方法およびプログラム
JP6349997B2 (ja) 通信装置、通信システム、通信制御方法およびプログラム
JP5999873B2 (ja) 伝送システム、伝送方法、及びプログラム
EP2798827B1 (en) Communication management system, communication system, communication management method and computer-readable recording medium
US10547652B2 (en) Communication control device, communication system, and communication control method
US20150058735A1 (en) Relay device, display data sharing system, data control method, and computer-readable storage medium
JP6263843B2 (ja) 通信管理システム、通信管理方法、及びプログラム
JP6330354B2 (ja) 通信管理システム、通信管理方法、及びプログラム
JP2016178356A (ja) 通信装置、通信システム、受信制御方法およびプログラム
EP3068132A1 (en) Information processing apparatus, information processing system, and information processing method
JP2014086850A (ja) 映像コンテンツ配信装置
JP2013009098A (ja) 多拠点テレビ会議システム
JP6903964B2 (ja) 端末、プログラム、データ送信方法
JP2018011169A (ja) 通信装置、通信システム、通信方法およびプログラム
JP7124483B2 (ja) 通信端末、データ送信方法、プログラム
JP6922267B2 (ja) 端末、プログラム、データ送信方法
JP6213420B2 (ja) 通信装置、通信システム、通信方法およびプログラム
JP6744187B2 (ja) エンコーダ装置およびエンコード方法
JP2021153284A (ja) 伝送システム、伝送端末およびプログラム
JP2015073154A (ja) データ伝送システム、データ伝送プログラム及びデータ伝送方法
JP6103003B2 (ja) 伝送端末、伝送方法、及びプログラム
JP2012178672A (ja) 中継装置、多拠点テレビ会議システム
JP2015154468A (ja) 撮像装置、及び撮像システム
JP2014072650A (ja) 映像コンテンツ配信装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15755027

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016505092

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015755027

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015755027

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15120890

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE