WO2004068806A1 - 通信制御装置、通信端末装置、サーバ装置、及び通信制御方法 - Google Patents

通信制御装置、通信端末装置、サーバ装置、及び通信制御方法 Download PDF

Info

Publication number
WO2004068806A1
WO2004068806A1 PCT/JP2004/000834 JP2004000834W WO2004068806A1 WO 2004068806 A1 WO2004068806 A1 WO 2004068806A1 JP 2004000834 W JP2004000834 W JP 2004000834W WO 2004068806 A1 WO2004068806 A1 WO 2004068806A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
network
change
control unit
changed
Prior art date
Application number
PCT/JP2004/000834
Other languages
English (en)
French (fr)
Inventor
Satoshi Senga
Go Nakano
Sachiko Takeshita
Ming Qiang Xu
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/543,176 priority Critical patent/US7634574B2/en
Priority to EP04706297.1A priority patent/EP1580938B1/en
Priority to BRPI0407059-3A priority patent/BRPI0407059B1/pt
Publication of WO2004068806A1 publication Critical patent/WO2004068806A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2475Traffic characterised by specific attributes, e.g. priority or QoS for supporting traffic characterised by the type of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/02Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04Registration at HLR or HSS [Home Subscriber Server]

Definitions

  • the present invention is used in a mobile network system using a wireless access point and a wireless base station, and for example, a communication control device, a communication terminal device, and a server device that can provide a user with a conversational or streaming media service. , And a communication control method.
  • n-th layer of the communication terminal in such a system is configured to communicate with the n-th layer of the partner terminal via a function provided from its own (n-1) layer, This is because a layer application can operate if it obtains information on the next lower layer, and does not need to obtain information on two or more lower layers.
  • OSI Open System Interconnection
  • control relating to data transmission is performed only between the device control unit that performs the processing of the physical layer and the data link layer and the network distribution control unit that performs the processing of the network layer, and the application is transmitted to the application.
  • This information was communicated only through transport layer processing.
  • Japanese Patent Application Laid-Open No. 2000-1990654 discloses a technique for performing data communication in consideration of fluctuations in wireless communication quality.
  • the e-mail and other emails disclosed in this gazette The location program also does not care about the wireless communication state and only issues a data transmission request to the data communication control unit unilaterally. After that, the data communication control unit determines whether the wireless communication quality is predetermined. When the condition is satisfied, a call is automatically issued, and when the call is set up, data that is waiting to be transmitted is transmitted.
  • wireless connection is becoming mainstream in the Internet in recent years, and users can continue to access the Internet while freely moving by taking advantage of wireless connection.
  • Internet access not only between wireless base stations and wireless access points, but also handover between a wireless base station and a wireless access point is possible. Internet access can be continued while traveling.
  • An object of the present invention is to provide, in a mobile communication using media including at least one of video and audio, communication even if wireless communication quality is deteriorated, a connection is lost, or the mobile network moves to a different wireless network. Services that can be connected and that the continuation feels more seamless to the user. Is to realize
  • An object of the present invention is to control a session (also referred to as a media session) between a source and a destination of data for a media stream based on information about a communication state of a layer lower than a transport layer. (For example, by transmitting information on the communication status of the wireless layer or the network layer directly to a layer higher than the transport layer without passing through the transport layer).
  • a session also referred to as a media session
  • the application can quickly respond to changes in the communication status on the application side. It is possible to provide a media communication service that makes users feel more seamless in a mobile environment.
  • a communication control device includes: a detection unit that detects at least one of a wireless environment and a network environment; and stores the detected wireless environment or the network environment;
  • the configuration adopts a management unit that monitors whether or not a change has occurred, and a control unit that controls a communication service of an application when a change occurs in the wireless environment or the network environment.
  • a communication terminal device has a configuration including the communication control device described above.
  • a server device has a configuration including the communication control device described above.
  • a communication control method includes a step of detecting at least one of a wireless environment or a network environment, storing the detected wireless environment or the network environment, and Monitoring whether or not a change has occurred in an environment or the network environment; and controlling a communication service of an application when a change has occurred in the wireless environment or the network environment.
  • FIG. 1 is a diagram showing an overall configuration example of a network according to Embodiment 1 of the present invention
  • FIG. 2 is a block diagram showing an internal configuration of a communication terminal device according to Embodiment 1
  • FIG. 4 is a block diagram showing a detailed configuration of a connection control unit according to Embodiment 1
  • FIG. 4 is a sequence diagram exemplarily showing a relationship between operations of each unit of the communication terminal device according to Embodiment 1,
  • FIG. 5 is a flowchart showing an example of processing of the communication terminal device according to Embodiment 1,
  • FIG. 6A is a diagram showing an example of items stored in the management database and values of each item.
  • FIG. 6B is a diagram showing an example of a format of information notified by the connection control unit to each control unit
  • FIG. 7 is a diagram for explaining a moving picture experts group (MPEG) —4 Fine Granularity Scalability (FGS) moving image,
  • MPEG moving picture experts group
  • FGS Fine Granularity Scalability
  • FIG. 8 is a block diagram showing a detailed configuration of a connection control unit according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart showing an example of processing of the communication terminal apparatus according to Embodiment 2.
  • Figure 1 OA is a diagram illustrating the message format of the SIP (Session Initiation Protocol), and
  • FIG. 10B is a diagram illustrating a procedure for establishing a SIP communication session.
  • FIG. 1 is a diagram showing an example of the overall configuration of a network according to Embodiment 1 of the present invention. is there.
  • networks l to n are domain-based networks such as a LAN (Local Area Network) and a WAN (Wide Area Network).
  • a network 1 has a plurality of wireless base stations (base station 1, base station 1, and base station 1). 2), and the network 2 includes a plurality of wireless access points (AP1, AP2).
  • each of the networks l to n corresponds to, for example, a public cellular phone network, a self-owned premises wireless LAN, a hotspot, or a wireless network in the home, and is an IP-based network here.
  • These networks for each domain are connected to a core network represented by the Internet.
  • the communication terminal devices 10 to 30 perform video-to-audio communication in a one-to-one or one-to-many manner. For example, even if the communication terminal apparatus 10 moves and changes from a state of receiving the radio wave of the base station 1 to a state of receiving the radio wave of the base station 2, a handover between the base stations is performed and the communication terminal The device 10 can continue the communication before the movement after the movement. This is the same when moving from the connection range of AP I to the connection range of AP 2.
  • the communication terminal device moves between networks, handover at the network layer (handover via the core network) is performed, and communication can be continued. That is, for example, even if the communication terminal device 20 moves and changes from the state connected to the base station 2 to the state connected to the AP 1, the layers higher than the transport layer are different networks (here, the network Communication processing can be continued regardless of movement from network 1 to network 2).
  • FIG. 2 is a block diagram showing an internal configuration of communication terminal apparatus 10 according to Embodiment 1 of the present invention.
  • the communication terminal device 10 may be a portable telephone terminal, or may be a PDA or a personal computer having a function of connecting to a wireless network. Also, the communication terminal devices 20 and 30 have the same configuration as the communication terminal device 10. And
  • the inside of the communication terminal 10 is hierarchized, and the connection control systems 12 to 18 higher than the transport layer, the transport control unit 19 that performs processing of the transport layer, and the lower level than the transport layer And a data transmission control system 20-21. Furthermore, in the present embodiment, it is possible to directly transmit information (for example, radio wave intensity and congestion information) on the communication status of a layer lower than the transport layer of the communication terminal device to a layer higher than the transport layer. For this purpose, a lower-level management department 22 has been newly introduced.
  • the upper connection control system includes a connection control unit 12, a network control unit 13, a signaling control unit 14, and a transmission data control unit 15.
  • connection control unit 12 is used by a client included in an application program or by an application program.
  • the connection control unit 12 receives a service request from a user, and transmits the service definition information to the network control unit 13.
  • the section 14 and the transmission data control section 15 (hereinafter, these three control sections are collectively referred to as “each control section”) have a function of interpreting them and converting them into an executable form.
  • Each of the control units 13 to 15 includes a service condition and software controlled by the connection control unit 12 based on service definition information from the connection control unit 12 and call information from the signaling unit 17. Check the execution environment and issue service execution instructions to the NW (network) information management unit 16, signaling unit 17, and transmission data unit 18 as necessary.
  • NW network information management unit
  • the transport control unit 19, the network delivery control unit 20 (which performs the processing of the network layer) and the device control unit 21 (the control of the wireless device, that is, the physical layer and the Performing the processing of the data link layer) means transmitting and receiving data created by the higher-level connection control system to and from the network 23 and realizing the service desired by the user.
  • the device control unit 21 can send and receive data to and from the communication terminal device 10.
  • the network delivery control unit 20 is compatible with, for example, Mopile IP (defined in RFC 2002 of the Internet Engineering Task Force (IETF)). Data transmission and reception can be performed on a plurality of networks.
  • Mopile IP defined in RFC 2002 of the Internet Engineering Task Force (IETF)
  • Each unit of the communication terminal device 10 may be realized by any of hardware, software, and a combination thereof.
  • the lower layer management unit 22 sends the communication environment status detected by the device control unit 21 ⁇ the network delivery control unit 20 (for example, general-purpose signals, control information, performance monitoring, fault monitoring, etc.). Is managed by the database.
  • the lower layer management unit 22 notifies various information registered in the database to the connection control unit 12 which is the upper layer.
  • the lower layer management unit 22 includes, for example, information for identifying the network 23 to which the communication terminal device 10 belongs, information on a modulation method adopted in the network 23, and wireless communication. It registers information on the radio wave intensity of the database in a database, and when the registered information changes, notifies the connection control unit 12 of the information.
  • connection control unit 12 Since the connection control unit 12 is a part of the application or directly used by the application, the lower layer management unit 22 operates the wireless device or the network layer (typically, the Internet protocol layer). ) Will be notified directly to the application, and the communication terminal device 10 will be able to optimally control data transmission such as video and audio from the application side.
  • the connection control unit 12 of the application can know the movement to a different network, the radio wave condition, the transmission traffic, and the like, and can provide various services centering on video and audio applications. It can be realized.
  • the connection control unit 12 provides a service generation environment, It has a function to enable the development of services and services.
  • the connection control unit 12 includes network-centric service functions such as bandwidth control and authentication (corresponding to the network control unit 13), and a control function (signaling) for performing a call connection for realizing communication. It controls three functions: the control unit 14) and user-centric application service functions such as profiling and content (video and audio) (corresponding to the transmission data control unit 15).
  • the user setting unit 11 is an input / output unit for the user to set and operate the communication terminal device.
  • the power connection control unit 12 including a screen, buttons, a mouse, and the like is a user setting unit 1 1 also controls the execution of commands specified by the user.
  • connection control unit 12 includes a network determination unit 121, a radio field intensity determination unit 122, a user designation determination unit 123, a modulation method determination unit 124, and a control operation determination. It has a part 125.
  • the network determination unit 121 determines whether or not the network to which the communication terminal device 10 belongs has been changed based on the information notified from the lower layer management unit 22. Specifically, the network determination unit 122 detects, for example, that the change of the prefix, which is the identifier of the network, has been notified from the lower layer management unit 22 and determines that the network has been changed.
  • the radio wave intensity determination unit 122 determines whether or not the radio wave intensity indicating the state of the wireless communication has been changed based on the information notified from the lower layer management unit 22. Specifically, the radio field intensity determination unit 122 receives a notification that the radio field intensity registered in the database of the lower layer management unit 222 has changed, and determines that the radio field intensity has changed.
  • the designation determining unit 123 determines whether or not the information registered in the database of the lower layer management unit 22 has been changed to the value set by the user setting unit 11.
  • the user designation determining unit 1 2 3 stores the information registered in the above database. It monitors all the information and detects that the communication environment is set by the user via the user setting unit 11.
  • the modulation scheme determination section 124 determines whether or not the modulation scheme adopted in the network to which the communication terminal apparatus 10 belongs has been changed based on the information notified from the lower layer management section 22. Specifically, the modulation scheme determining unit 124 receives a notification that the modulation scheme registered in the database of the lower layer management unit 222 has been changed, and determines that the modulation scheme has been changed. .
  • the control operation determination unit 125 determines an operation for service control according to the determinations of the above four determination units. That is, the control operation determining unit 125 limits, for example, a band for transmitting content (video / audio) or transmits predetermined signaling information in accordance with changes in the network, radio wave intensity, and modulation method. Determine control actions such as slipping. These control operations are executed by the control units 13 to 15.
  • the network control unit 13 controls and authenticates the network transmission band in the real-time application. Specifically, it controls the quality of service in network transmission and sets authentication information. Then, the NW information management unit 16 adds information for transmitting and receiving the service quality and the authentication information controlled by the network control unit 13 to and from the network 23.
  • the signaling control unit 14 controls the state of a call when making a call connection with a communication partner.
  • a call in this case refers to a session set up between the session layer (upper layer of the transport layer) or higher layers.
  • the signaling unit 17 uses information (such as a destination address and a port number) to be used in the call connection when a call connection is requested.
  • information for transmitting and receiving data for establishing or releasing a call with the communication partner with the network 23 is added.
  • the transmission data control unit 15 creates and controls data used for real-time communication, such as video and audio.
  • the created data is the decoded data.
  • the transmission data section 18 adds information for transmitting and receiving data such as video and audio created by the transmission data control section 15 to and from the network 23.
  • the transport controller 19 determines which upper function (NW information management unit 16, signaling unit 17, or transmission The function of the data section 18 is linked, and when the data received in the lower layer is received from the network delivery control section 20, it is distributed to an appropriate upper function.
  • NW information management unit 16 NW information management unit 16, signaling unit 17, or transmission
  • the function of the data section 18 is linked, and when the data received in the lower layer is received from the network delivery control section 20, it is distributed to an appropriate upper function.
  • the network delivery control unit 20 sets address information and the like necessary for transmitting data to the network 23, and transmits and receives the created data to and from the network 23 via the device control unit 21. I do.
  • the device control unit 21 controls a wireless device (wireless device) necessary for performing wireless communication.
  • FIG. 4 is a sequence diagram exemplarily showing the relationship between the operations of the components of the communication terminal device 10
  • FIG. 5 is a flowchart showing the processing procedure of the communication terminal device 10. It is assumed that the communication terminal device 10 is performing data communication for communication such as video and audio via a wireless access point or a wireless base station. At this time, the connection form may be a one-to-one or a communication form such as a multipoint conference with a plurality of persons.
  • the user of the communication terminal device 10 can freely move, taking advantage of the wireless.
  • whether or not the wireless environment has changed is constantly monitored and determined by the device control unit 21 (ST1000).
  • the device control unit 21 transmits the wireless environment.
  • the signal strength of the The value of the radio wave intensity after the change (when the radio wave intensity is represented by a plurality of levels, the level value) is notified to the control section 22 (ST 1200).
  • the lower layer management unit 22 writes the notified value to the location of the radio wave intensity in its own management database (ST 1300).
  • the device control unit 21 determines whether or not the state of the wireless link (the link is in the connected state (UP) or disconnected state (DOWN) power) has changed, not only when the radio field intensity has changed (ST 1 100) If a change is detected, the change is notified to the lower layer management unit 22 (ST 1200). Then, lower layer management unit 22 writes the notified change to the corresponding location in the management database (ST 1300).
  • the device control unit 21 notifies the lower layer management unit 22 each time the modulation system (type of wireless signal system) changes or the congestion state of the wireless access point changes. It may be written to the changed item location in the database. In addition to managing changes in the congestion state of the wireless access point (the number of terminals currently using the wireless access point), changes in the congestion state of the wireless base station may be managed. These pieces of information are classified as device control information in the management database of the lower layer management unit 22, for example, as shown in FIG. 6A.
  • FIG. 6A shows an example of items stored in the management database of the lower layer management unit 22 and their values.
  • the network delivery control unit 20 detects a change in the network environment (ST1100).
  • a network prefix for example, a high-order predetermined bit of an IP address, which corresponds to a network identifier (ID)
  • the low-level management unit 22 changes the address.
  • the value of the prefix (network ID) is notified (ST 1200).
  • the lower layer management unit 22 writes the notified value to the prefix position in its own management database (ST1300).
  • the network delivery control unit 20 is not limited to the case where the prefix changes. Similarly, when the reception buffer size, the number of retransmissions, and the like change, the lower layer management unit 22 may be similarly notified each time, and may be written to the location of the changed item in the management database.
  • the receive buffer size is a parameter that determines the capacity of temporarily storing data sent from the other party in the terminal, and the data transmitting side continuously transmits data that fills the receive buffer. When the receiving buffer becomes full, the data receiving side notifies the transmitting end of the reception end.
  • An optimal value for such a reception buffer size is that the exchange between the sender and the receiver does not become too large and the loss when some data cannot be received becomes too large, depending on the network conditions. Is selected.
  • the number of retransmissions is the number of times the same data is retransmitted by the transmitting side when the transmitting side informs the transmitting side of the number of the packet that could not be received because the receiving side lost the packet. Is the value obtained by counting.
  • These pieces of information are classified as network delivery control information in the management database of the lower layer management unit 22 as shown in FIG. 6A.
  • the change in the wireless environment by the device control unit 21 and the change in the network environment by the network delivery control unit 20 are detected and managed in parallel as shown in FIG.
  • the lower layer management unit 22 constantly monitors whether a newly notified value has been written to the management database. Then, whenever there is a write to the management database, the change indicated by the write is notified to the connection control unit 12 of the application (ST140). When there are multiple items in the management database, the information notified here is only information on the changed items. A series of these operations (from detecting a change in the wireless environment to managing the database and from detecting a change in the network environment to managing the database) are performed concurrently in each unit as shown in FIG.
  • the connection control unit 12 controls the application based on the notified information.
  • the control of the application should be changed depending on the type of the application and the user's preference.
  • the management database is automatically written and the connection control unit 12 is notified, and whether the application control should be changed according to the change is determined by the application case, that is, the connection control unit. Judgment is made in step 1 (ST1500).
  • the change of each item is determined by the network judgment unit 121, the radio wave intensity judgment unit 122, the user designation judgment unit 123, and the modulation method judgment unit 124.
  • control operation determining unit 125 changing service definition information and the like to be transmitted to the network control unit 13, the sidanering control unit 14, and the transmission data control unit 15. At this time, for example, information on the format as shown in FIG. 6B is notified from the control operation determination unit 125 to the control units 13 to 15.
  • the radio wave intensity The determination unit 122 determines that the radio field intensity has changed, and based on the determination result, the control operation determination unit 125 needs to change the image and sound quality in the ongoing video and audio communication. Is determined. Then, the transmission data control unit 15 involved in this change is notified of the information related to the transmission data control of FIG. 6B (in this information, the video 'audio encoding parameters can be obtained with better video' audio. Value).
  • the video-audio coding parameters are the parameters used for the encoding process and the decoding process
  • the transmission / reception format is the basic information necessary for transmitting video / audio data to the network. It is.
  • control operation determining unit 125 may determine that, for example, when the level value of the radio wave intensity of the radio changes by 2 or more, the control for changing the image quality or the sound quality is necessary.
  • a change policy may be defined by the application.
  • the communication terminal device 10 may be built in advance, or may be set by the user via the user setting unit 11. According to the change policy in this example, the control operation determination unit 125 can control the application even if it is notified from the radio wave strength determination unit 122 that the radio wave strength has changed from level 2 to level 3. Will not be changed.
  • the transmission data control unit 15 notified of the video / audio coding parameters and the transmission / reception format starts controlling the transmission data unit 18 using the new control information (ST1600).
  • the control operation determining unit 125 determines whether a change from the current data communication is necessary. That is, for example, if the value of the pre-fitters indicates that the network has moved to a network with a smaller bandwidth than the network before the movement, the control operation determining unit 125 needs to change the reserved bandwidth Judge. In this case, the control operation determining unit 125 may store the width of the network bandwidth corresponding to the value of the pre-fit status in advance.
  • the change policy regarding how much the bandwidth should be changed when the bandwidth reservation should be changed may be determined by the application, the communication terminal device 10 may have a built-in policy in advance, May be set via the user setting unit 11. Then, when the control operation determining unit 125 determines that the change is necessary, the control operation determining unit 125 sends the network control unit 13 relating to this change to the network of FIG. 6B. Information about the control is provided (this information has a lower bandwidth).
  • the authentication ID is the authentication number required to move the network
  • the bandwidth is the bandwidth that optimizes data transmission.
  • the network control unit 13 notified of the authentication ID and the bandwidth receives the new information.
  • the NW information management unit 16 is controlled to change the current bandwidth setting to a new value, and the bandwidth reservation for the network is changed.
  • the connection control unit 12 is notified by the lower layer management unit 22 that the wireless link status has changed from UP to D OWN, the connection is specified by the user by the user specification determination unit 123. It is determined that such a change has occurred, and from this determination result, the control operation determining unit 125 determines whether a change from the current data communication is necessary.
  • the user changes the control so that the session layer call is maintained for a predetermined time after the radio link changes from UP to D OWN.
  • how long the session is maintained after disconnection of the wireless link may be determined by an application, may be built in the communication terminal device 10 in advance, or may be a user It may be set via the setting unit 11.
  • the signaling control unit 14 relating to the change is notified of the information on the signaling control of FIG. 6B.
  • the signaling control unit 14 controls the signaling unit 17 so as to maintain the specified session for a predetermined time.
  • a notification may be sent to a plurality of control units. For example, if it is necessary to exchange information that determines the types of video and audio and the usage parameters with the communication partner in order to change the image quality and the sound quality, the control operation determining unit 125 may use the signaling control unit 124. In addition, by notifying the new video and audio types and usage parameters as body information along with the IP address, port number, and session ID of the connection destination, message exchange with the other party via the signaling unit 17 Is performed. Further, the control operation determining unit 125 notifies the transmission data control unit 15 of a new coding parameter and transmission / reception format determined by the message exchange.
  • the communication terminal device 10 when the communication terminal device 10 is performing data communication using an application using wireless communication, the communication terminal device 10 notifies the application as soon as it detects a change in the wireless environment or a change in the network environment.
  • the application side will be able to directly know the information of the lower layer, which was not previously known, and use that information to provide various seamless services that meet the needs of the user Becomes possible.
  • the following is an example of an MPEG-4 codec method suitable for narrow-band video communication, and an application using a method called FGS (Fine Granularity Scalability), which has excellent adaptability to band fluctuations.
  • FGS Full Granularity Scalability
  • the FGS video includes a base layer (Base Layer) and an enhancement layer (Enhancement Layer), and the base layers (Layers 0 and 4) are generated by ordinary MPEG-4 encoding.
  • the enhancement layer (Layer 1-3, 5-7) is obtained by applying discrete cosine transform, bit plane transform, and bit plane variable length coding to the difference between the original image and the restored image from the base layer.
  • decoding with the base layer provides higher quality moving images.
  • layers 0 to 3 are IVOPs (Intra Video Object Planes) coded only with information in a frame, and layers 417 are predicted and coded using information of other frames. PVOP (Predicted Video Object Plane).
  • the FGS image can be divided into layers and transmitted after being encoded, and each layer can be freely selected and reproduced (decoded) inside the receiving terminal. Having. Communication terminal apparatus 10 according to the present embodiment can determine which layer is to be coded (transmitted) and which layer is to be received (decoded) according to the communication situation.
  • the FGS video stream is divided into eight layers and separately multicast-transmitted.
  • the receiving side can selectively receive and decode only the layer desired by its own terminal.
  • layers 0 and 4 are motion-priority partial streams
  • layers 1 to 3 are image-quality-priority partial streams
  • layers 5 to 7 are motion-priority layered streams whose purpose is to supplement image quality.
  • the device control unit 21 When the user moves while holding the communication terminal device 10 and the radio wave intensity of the radio whose maximum is level 5 and whose minimum is level 1 decreases from level 5 to level 3, the device control unit 21 The current level 3 changed as the signal strength is written to the management database of the lower layer management unit 22.
  • the lower layer management unit 22 notifies the connection control unit 12 of the application of the “radio wave intensity level 3 J” by using the change of the radio wave intensity in the management database from level 5 to level 3 as a trigger.
  • the field strength determination unit 122 detects that the field strength has changed, and the control operation determination unit 1 25 5 Based on the obtained “radio wave intensity level 3”, it is determined whether or not the transmission data control unit 15 needs to be changed.
  • the only points that need to be changed are those that fall from level 4 or higher to level 3 or lower and those that go from level 3 or lower to level 4 or higher. This point can be freely changed by the user by the user setting section 11, and is not uniquely fixed.
  • the control operation determination unit 125 required a change to video reception to reduce the image quality and give priority to the smoothness of image movement. to decide.
  • the partial streams to be received are layer 0, layer 4 and layer 1-3, and layer 5-7 is not received. The received partial stream can be freely changed by the user by the user setting unit 11, and is not uniquely fixed.
  • control operation determining unit 125 notifies the value of the video / audio coding parameter in the notification information format to the transmission data control unit 15 as “Layer 0-4J.
  • Data control unit 15 is based on "Layer 0-4", and is the one that received the decoding control up to full quality Layer 0-7, but stopped receiving Layer 5-7 Is transmitted to the transmission data section 18 so as to start reception / playback of the layer 0_4.
  • the transmission data control unit 15 can be changed more finely. For example, if the radio wave intensity drops to level 4, it is determined that the layer 7 out of the eight layers is not received. If it drops, only layers 0 and 4 and layers 1-2 may be received, and if the radio wave intensity drops to level 1, only layers 0 and 4 may be received.
  • the received radio wave intensity is an example of the radio wave received from one wireless access point or one wireless base station.However, using information by software defined radio or diversity control, multiple wireless access points can be used. A change in radio wave intensity may be detected for radio waves received from a station.
  • the layer included in the video stream encoded and transmitted by the terminal can be changed.
  • the change of the radio wave intensity which is one of the wireless environments, is directly transmitted to the application, and the connection control unit 12 of the application responds to the needs of the user, and the video and audio parameters suitable for the wireless environment at that time.
  • the connection control unit 12 of the application responds to the needs of the user, and the video and audio parameters suitable for the wireless environment at that time.
  • the control operation determining unit 125 holds the session for a certain period of time without terminating the session based on the notified ⁇ wireless link flag 0 ''. Determine if it is necessary to do so.
  • the points that need to be held are always held for a certain period of time (for example, 5 seconds). The point and the holding time can be freely changed by the user by the user setting unit 11, and are not uniquely fixed.
  • the control operation determining unit 125 which has determined that the session needs to be held, Wait until "Line link flag 1" is notified. If the “wireless link flag 1” is notified from the user designation determining unit 123 during the session holding time, the session is continued. On the other hand, if the “wireless link flag 1” is not notified even after the elapse of the holding time, the video communication session ends.
  • the session for the video stream is held for a predetermined time as necessary.
  • control can be performed so that the session is not cut off for a predetermined time if necessary.
  • the disconnection of a link which is one of the wireless environments, is transmitted directly to the application, and the connection control unit 12 of the application holds a session according to the needs of the user. If this is the case, it will be possible to build an application that can flexibly continue services that have been disconnected and ended.
  • the flag 1 indicates CCK (Complementary Code Keying), which is one of the modulation methods of the wireless access point, and the flag 2 indicates QPSK (Quadrature Phase Shift Keying), which is one of the modulation methods of the radio base station.
  • CCK Complementary Code Keying
  • QPSK Quadrature Phase Shift Keying
  • the device control unit 21 When detecting that the wireless modulation scheme has changed from CCK to QPSK, the device control unit 21 writes the current QPSK flag “2” changed as the modulation scheme into the management database of the lower layer management unit 22.
  • the lower layer management unit 22 notifies the connection control unit 12 of the application of the “modulation method flag 2” by using the change of the modulation method in the management database from “1” to “2” as a trigger.
  • the modulation method determination unit 1 24 determines whether the transmission data control unit 15 needs to be changed based on the notified ⁇ modulation method flag 2 ''. Determine whether or not.
  • the point that needs to be changed is required only when the flag indicating a wireless access point changes to a flag indicating a wireless base station. That is, when moving from a wireless access point to a wireless access point with a different modulation scheme, or when moving from a wireless base station to a wireless base station with a different modulation scheme, it is determined that no change is necessary. This point can be freely changed by the user by the user setting unit 11, and is not uniquely fixed.
  • the control operation determining unit 1 In step 25, it is determined that it is necessary to change the video reception so that the image quality is lowered and the motion is prioritized. In this example, it is assumed that reception of layers 5-7 is stopped and only layers 0-4 are received. Which layer is received can be freely changed by the user by the user setting section 11, and is not uniquely fixed.
  • control operation determining unit 125 notifies the transmission data control unit 15 of the value of the video / audio coding parameter in the notification information format as “layer 0-4”.
  • the transmission data control unit 15 having received the notification controls the transmission data unit 18 according to the notified information.
  • the change of the modulation method which is one of the wireless environments, is directly transmitted to the application, and the connection control unit of the application 12
  • the video and audio parameters suitable for the wireless environment at each time are determined according to the needs of the user.
  • the lower layer management unit 21 22 When the device control unit 21 detects that the congestion state (large number of users) of the access point whose maximum is level 5 and whose minimum is level 1 has changed from level 1 to level 3, the lower layer management unit 21 22 Write the current level 3 changed as the congestion status to the management database of 2. The lower-layer management unit 22 notifies the connection control unit 12 of the application of “congestion status level 3”, triggered by the change of the congestion status in the management database from level 1 to level 3.
  • the “congestion status level 3” When the “congestion status level 3” is notified to the connection control unit 12, the change in the congestion status is detected by the network determination unit 12 1, and the control operation determination unit 12 25 is notified. Based on the “congestion status level 3”, it is determined whether or not the transmission data control unit 15 needs to be changed, and if necessary, the new video and audio coding parameter values are transmitted to the transmission data control unit 15 Notice.
  • the points that need to be changed and the method of changing at that point are to not receive layer 5-7 of the video stream when the congestion level drops to level 3, and to change the layer when the congestion level drops to level 5.
  • the congestion situation of the wireless access point is taken up, but the control of the radio base station can be similarly changed according to the congestion situation.
  • the above is an example in which the congestion status changes while connected to the same wireless access point, but the same control is performed when the congestion status changes due to a change in the wireless access point to be connected due to the movement of the user. Can be changed.
  • the layer of the video stream received by the own terminal is changed when the change in the radio congestion state is detected by the communication terminal device on the receiving side.
  • the terminal can change the layer of the video stream that is encoded and transmitted.
  • the change in congestion which is one of the wireless environments, is directly transmitted to the application, and the connection control unit 12 of the application responds to the needs of the user, and the video and audio parameters suitable for the current wireless environment
  • the connection control unit 12 of the application responds to the needs of the user, and the video and audio parameters suitable for the current wireless environment
  • the IP address is aaa.ccc.xx.xx from the network represented by aaa.bbb.xx.xx.
  • the network of aaa.ccc.xx.xx has a lower transmission band than the network of aaa.bbb.xx.xx, and that the difference in the transmission band is such that a change in control is required. Is stored in the communication terminal device 10 in advance.
  • the network to which the communication terminal device 10 connects is connected to the network prefix of the network by the network delivery control unit 20 in the transmitted / received data. Write to the area.
  • the network delivery control unit 20 refers to this data area and detects that the above-mentioned change of the network prefix has occurred, the change is made as a prefix to the management database of the lower layer management unit 22.
  • the lower-layer management unit 22 triggers the change of the prefix in the management database from aaa.bbb.XX.XX to aaa.ccc.XX.XX to the connection control unit 12 of the application, “Network aaa. Ccc. X. Xx” 3 ⁇ 4r Notify.
  • the network determination unit 12 1 detects that the network has been changed, and the control operation determination unit 1 25 5 Based on the notified “network thigh. Ccc. Xx. Xx”, it is determined whether or not the transmission data control unit 15 needs to be changed.
  • the points that need to be changed and the method of changing at those points can be freely changed by the user by the user setting section 11, and are not uniquely fixed.
  • the control operation determination unit 125 can reduce the image quality and give priority to motion.
  • the value of the video-audio coding parameter is notified as "Layer 0-4", and the reception of Layer 5-7 is stopped. Start playback based on received layer 0-4.
  • the network judgment unit 12 1 detects that the network has been changed, and the control operation determination unit 1 2 5 Based on the notified “network aaa.eee.xx.xx”, it is necessary to change the network control unit 13 based on the bandwidth reservation (70 Mb Ps ) required for current video transmission and reception.
  • the point that needs to be changed and the method of change at that point are as follows: When the bandwidth changes from aaa.ddd.xx.xx (bandwidth 50Mbps) to aaa. It is determined that it is necessary to change the reservation from 70Mbps to 120Mbps. This point and how to determine the band to be reserved can be freely changed by the user by the user setting unit 11, and is not uniquely fixed.
  • control operation decision section 1 2 5 changes determines is necessary bandwidth reservation, of the notification to the network control unit 1 3 Information Format (see FIG. 6 B), is set to "120 Mb ps" bandwidth, Set the “own terminal ID” required to reserve the bandwidth to the authentication ID and notify.
  • the network control unit 13 Based on “120Mb P s” and “own terminal ID”, prepare for bandwidth reservation, inform NW information management unit 16 that bandwidth reservation is to be performed, and secure the OMbps bandwidth.
  • the value of the bandwidth reservation is adjusted according to the size of the bandwidth of each network.
  • the value of the bandwidth reservation can be determined based on charging information of each network. That is, for example, when it is detected that the communication terminal device 10 has moved to a network having a high fee, the bandwidth reservation is lowered to suppress the charging. It is preferable that the user can set such a band reservation policy.
  • the change of the pre-fitters which is one of the network environments, is directly transmitted to the application, and the connection control unit 12 of the application adjusts the bandwidth required for video communication according to the user's needs.
  • the connection control unit 12 of the application adjusts the bandwidth required for video communication according to the user's needs.
  • the receiving communication terminal detects a change in the receive buffer size.
  • the receiving buffer size is changed from the current 1024KB to 512KB. Let's say it has changed to The larger the value of the receive buffer size, the more video data can be received at once.
  • the network delivery control unit 20 monitors the reception buffer size, and when a change occurs, writes the changed current 512 KB as the reception buffer size into the management database of the lower layer management unit 22.
  • the lower layer management unit 22 notifies the connection control unit 12 of the application of the “reception buffer size 512 KB” by using the change of the reception buffer size in the management database from 1024 KB to 512 KB as a trigger.
  • the network determination unit 12 21 detects that the reception buffer size has been changed, and the control operation determination unit 125 Based on the notified “reception buffer size 512 KB”, it is determined whether or not the transmission data control unit 15 needs to be changed.
  • the transmission data control unit 15 needs to be changed.
  • the receive buffer size is reduced to 700 KB or less
  • the image quality is reduced by stopping the reception of Layer 5-7. It is determined that it is necessary to change to video reception that gives priority to movement.
  • the selection of the point and the layer to be received can be freely changed by the user by the user setting section 11, and is not uniquely fixed.
  • the control operation determining unit 125 sends the value of the video / audio encoding parameter to the “layer 0-4” to the transmission data control unit 15. , And the transmission data section 18 receives up to layers 0 to 4 and starts reproduction.
  • the change in the receive buffer size which is one of the network environments, is directly transmitted to the application, and the connection control unit 12 of the application responds to the user's needs by using the video and video data to match the network environment at that time.
  • the connection control unit 12 of the application responds to the user's needs by using the video and video data to match the network environment at that time.
  • the network delivery control unit 20 Upon detecting a change in the number of retransmissions, the network delivery control unit 20 writes the changed number 3 as the number of retransmissions into the management database of the lower layer management unit 22.
  • the lower layer management unit 22 notifies the connection control unit 12 of the application 3 of “the number of retransmissions 3 J”, triggered by the change in the number of retransmissions in the management database from 0 to 3.
  • the control operation determination unit 125 determines that the transmission layer needs to be changed, and notifies the transmission data control unit 15 of the notification data format (see FIG. 6B). ), The value of the video and audio coding parameters is reported as “Layer 0-4”.
  • the transmission data control unit 15 changes the coding control based on the “layer 0-4” from the one that transmitted up to the full quality layer 0-7 to the layer 5-7.
  • the transmission data section 18 is instructed to stop the transmission of the data, and the encoding and transmission of the layer 0-4 are started.
  • the number of retransmissions may differ depending on the partner terminals. in this case
  • all layers 0-7 are encoded in accordance with the partner terminal having the least number of retransmissions, and for the partner terminal having a large number of retransmissions and the data amount is to be reduced, some of the encoded layers are used. May be selected and transmitted.
  • the focus was on changing the number of retransmissions from 0 to 3. However, if the number of retransmissions changes from 3 to 0, the coding or transmission layer is changed in the opposite way.
  • the change in the number of retransmissions which is one of the network environments, is transmitted directly to the application, and the connection control unit 12 of the application responds to the user's needs by adjusting the video and audio to suit the current network environment.
  • the connection control unit 12 of the application responds to the user's needs by adjusting the video and audio to suit the current network environment.
  • the control operation determining unit 125 may, for example, determine that the reception buffer size is small even if the change of the network prefix indicates that the terminal has moved to a domain with a small bandwidth. If it is not that small, you may decide that you do not need to make any changes that reduce image quality. In addition, even when the radio signal strength becomes weaker than a predetermined level, if the congestion state of the access point is not deteriorated, it may be determined that it is not necessary to make a change to reduce the image quality. . It is preferable that such a fine criterion can be set and changed via the user setting unit 11 in order to reflect the user's preference.
  • control of the amount of data to be encoded and transmitted on the transmitting side and control of the amount of data to be received and decoded on the receiving side can be performed independently.
  • the description has been given by taking up the FGS of MPEG-4 it is of course possible to use other video-audio coding methods. For example, based on a change in the communication environment detected in the lower layer, the frame rate of the MPEG-4 simple profile is changed (an example of changing the coding parameters), or the MPEG-4 is changed to MPEG-17 (encoding). An example of a method change).
  • the transmitting side detects that the network bandwidth has become narrower or detects that the speed has stopped due to an increase in the number of users, the image quality and sound quality are reduced,
  • the encoding method can be switched so that the amount of data to be sent to is reduced.
  • the communication state on the transmitting side can be detected by the communication terminal on the transmitting side.
  • Can be changed (However, the coding method may be changed after exchanging messages with the receiving side.) 1 Communication status of the receiving side Cannot be directly detected by the communication terminal device on the transmitting side. Therefore, as will be described later in detail, when the receiving communication terminal device detects a change in the wireless environment or network environment of the receiving device, it sends a signaling message to the transmitting communication terminal device so that the code of the transmitting device can be transmitted. Change the conversion method.
  • This signaling message may include information about the changed encoding method, or the receiving-side communication terminal device determines whether the encoding method needs to be changed based on a change in the receiving-side communication status.
  • the information indicating the communication status on the receiving side may be included as it is (the communication terminal device on the transmitting side determines whether the coding method needs to be changed based on the change in the communication status on the receiving side).
  • control operation determination unit 125 determines, the user can make this determination. That is, for example, upon detecting that the radio wave strength has been degraded, the control operation determining unit 125 changes the control of each of the control units 13 to 15 via the user setting unit 11. Ask the user if this is the case (and let the user choose what changes to make) and change the control according to the user's instructions. Also, instead of inquiring the user about all changes, a point to be inquired of the user is set in the control operation determining unit 125 (this setting itself can also be performed via the user setting unit 11). However, the control operation determination unit 125 may determine a change in the communication status other than the set point.
  • the control operation determining unit 125 determines, the user can set the criterion via the user setting unit 111. Further, it is easy to change the once-determined criterion via the user setting unit 11. For example, only when the radio wave intensity changes from level 5 to level 3 by the user's setting when the application starts, the video stream is changed from full quality (Layer 0-7) reception to layer 0-4 selective reception (Other No change in wireless environment changes If the setting is made so that the connection control unit 12 is notified of the “signal strength level 3” from the lower layer management unit 22, the user-specified judgment unit 123 sets the user at startup. It is determined whether the condition is met. In this example, only one condition is set for the change, but a plurality of conditions may be set at the same time.
  • connection control unit 12 determines that it is necessary to change the service generation environment of the application based on the information notified from the lower layer management unit 22, the connection control unit 12
  • This negotiation may require the consent of the partner terminal for the change proposed by the own terminal, and may be performed in order to execute the consented change in the own terminal, or the change proposed by the own terminal to the other terminal. In some cases, this is done to make it execute, or in other cases, to inform the other terminal of the situation of the own terminal and to propose a change to the other terminal.
  • the overall configuration of the communication terminal device according to the present embodiment is the same as the overall configuration of communication terminal device 10 according to Embodiment 1 (FIG. 2), and thus description thereof is omitted.
  • the connection control unit 12 is different from that of the first embodiment.
  • FIG. 8 is a block diagram showing a detailed configuration of the connection control unit 12 according to the second embodiment.
  • control operation determining section 125 in connection control section 12 includes signaling notifying section 125a. It is.
  • the signaling notifying unit 125a informs the user that, when the result of the determination by the four determining units 121 to 124 requires negotiation with the communication partner, the update of the call with the communication partner is started. Notify the signaling control unit 14.
  • connection control section 12 operates in the same manner as in FIG. 5 until connection control section 12 receives a notification from lower layer management section 22. That is, when the device control unit 21 detects a change in the wireless environment while moving, for example, it notifies the lower layer management unit 22 and the lower layer management unit 22 writes the change in the management database. Then, every time a change is written to the management database, the changed information is notified to the connection control unit 12 (ST20000). Also, when the network delivery control unit 20 detects a change in the network environment while moving, for example, the changed information is similarly notified to the connection control unit 12 (ST 20000).
  • the control operation determining unit 125 determines whether or not negotiation with the communication partner is necessary based on the notified information (ST210). For example, when it is necessary to select a method other than the currently used video and audio coding and decoding method (the current video code decoding method is If the negotiation is determined to be necessary if the terminal does not have the authority to decide to change the control of the application, the control operation is determined.
  • the signaling notifying unit 125a in the unit 125 uses the communication information format for signaling control shown in FIG. 6B to start updating the call with the communication partner. 4 is notified (ST2400).
  • the information notified to the signaling control unit 14 includes the body information in addition to the connection destination IP, port number, and session ID. Information that is a candidate for setting is written.
  • the signaling notification unit 125 a includes, in the body information, information indicating the communication status of the lower layer notified from the lower layer management unit 22. Information can also be written.
  • the signaling control unit 14 that has received the notification changes the call state and updates the call through the signaling unit 17. Then, as a result of the signaling, the control operation determining unit 125 determines whether or not the control in the network control unit 13 or the transmission data control unit 15 needs to be changed (ST2500). If necessary, control using the new control information is started in the corresponding control section (ST230).
  • control unit after the change is notified to the corresponding control unit. Then, the control unit that has received the notification starts control based on the information (ST2300).
  • control operation determination unit 125 notified of a change in the information of the lower layer firstly executes the processing in each of the control units 13 to 15. There may be a processing procedure in which the necessity of changing the control information is determined, and then it is determined whether negotiation with the communication partner is necessary for the change determined to be necessary.
  • SIP Session Initiation Protocol
  • RFC 3261 of the IETF has a message format consisting of header information and body information, as shown in Figure 1OA.
  • body information for example, SDP (Session Description Protocol) specified in RFC 2327 can be used, but new body information can be defined and added to header information.
  • FIG. 10B shows a connection sequence when the communication terminal device performs video communication (a type of media call) by, for example, MPEG4-FGS using SIP.
  • the calling terminal attaches an SDP describing the MPEG4-FGS setting to the body information and calls the INVITE of the SIP message.
  • the receiving terminal sends a 2000K response to the calling terminal if communication is permitted based on the SDP included in the INVITE. 100 Trying and 180 Ringing are provisional responses indicating that processing is in progress.
  • the calling terminal which has received 2000K from the called terminal, finally returns an ACK of the call establishment response to the called terminal, establishes a communication session, and starts video communication using MPEG 4-FGS.
  • the parameters of audio and video can be determined by signaling.
  • the communication terminal apparatus of the present embodiment can determine the timing of issuing signaling according to the communication situation.
  • information of the lower layer of the own terminal such as the absence of the own terminal, the strength of the line radio wave, and the bandwidth currently used by the own terminal
  • the connection control unit 12 of the application of the partner terminal can be notified.
  • the communication partner may be a conventional communication terminal device and may not have a lower layer management unit.
  • the lower layer management unit 22 of the own terminal informs the connection control unit 12 of the wireless environment and network environment in the network of the own terminal, and the connection control unit 12 transmits the signaling control unit 14 of the own terminal according to the flowchart of FIG. To start signaling.
  • the message by this signaling reaches the signaling control unit of the partner terminal, and the body information of the signaling is used to connect the connection control unit 12 and the partner terminal. Shared with the control unit.
  • This body information may be a new video / audio type or usage parameter proposed by the connection control unit 12, or the connection control unit 12 may transmit the lower layer information (automatically transmitted from the lower layer management unit 22). Or the strength of the radio wave received by the terminal).
  • the connection control unit of the partner terminal changes the control information of each control unit using the proposed parameters, etc., and in the latter case, it based on the notified lower layer information. It is determined whether or not control change in each control unit is necessary.
  • a lower layer management unit that notifies the lower layer information to the upper layer is newly introduced, and the connection control unit that provides an application service generation environment is directly connected to the lower layer management unit. Recognize lower layer information. As a result, various situation judgments and control changes can be made at the application level based on lower layer information, and even if the communication situation changes in a mopile environment, the user feels as easy to see and hear as possible. It will be possible to continue to provide video and audio communication services.
  • the lower layer management unit 22 shown in FIG. 2 increases the above-mentioned effect when provided in a mobile terminal.
  • a terminal such as a fixed content distribution server
  • a predetermined The effect is exhibited. An example is described below.
  • the connection control unit 12 Based on information transmitted directly from the lower layer, it is possible to monitor the congestion information of the wireless network, etc., and perform transmission control appropriate to the communication environment being used. Even when a mobile terminal without a conventional lower layer management unit receives distribution of video and audio contents from the content distribution server of this example, it is possible for the user to receive communication with a more seamless feeling.
  • the content distribution server of this example is fixedly arranged, but includes a wireless device and distributes data communication such as video and audio to a plurality of communication terminal devices.
  • the form of connection may be one-to-one distribution or one-to-N distribution.
  • the device control unit 21 of the content distribution server detects that the radio wave intensity has weakened due to an increase in the number of users, the device control unit 21 writes the changed radio wave state to the management database of the lower layer management unit 22.
  • the network delivery control unit 20 detects an increase in the number of retransmissions or a change in the reception buffer size, the network delivery control unit 20 writes the value of the number of changes in the management database of the lower layer management unit 22.
  • Such a phenomenon can occur when the radio wave intensity of the communication terminal device of the distribution destination is poor or when the wireless link is disconnected.
  • the lower layer management unit 22 notifies the connection control unit 12 of the application each time.
  • the connection controller 12 reduces the amount of data to be coded if the radio wave is weakened. If the number of retransmissions increases, the picture quality of the video is reduced. ) Is performed in the same manner as in the various examples described above.
  • the present invention is used in a mobile access network system using a wireless access point and a wireless base station, and is capable of providing a user with, for example, a conversational or streaming media ending service.
  • the present invention can be applied to a server device, and a communication control method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Computer And Data Communications (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

モバイル環境で通信状況が変化しても、ユーザがシームレスな感覚で映像や音声のコミュニケーションを継続する通信制御装置、通信端末装置、サーバ装置、及び通信制御方法。電波強度やネットワーク輻輳などの下位層の情報をアプリケーションから隠蔽するように構成されていた従来の通信端末装置に、これら下位層の情報を上位層に通知する下位層管理部を新たに導入することで、アプリケーションのサービス生成環境を提供する接続制御部が直接下位層の情報を認識でき、アプリケーションレベルで、下位層の情報に基づいた様々な状況判断と制御の変更が可能となる。

Description

明 細 書 通信制御装置、 通信端末装置、 サーバ装置、 及び通信制御方法 技術分野
本発明は、 無線アクセスボイントゃ無線基地局を利用したモパイルネットヮ ークシステムに使用され、 例えば会話型ゃストリーミング型のメディア ·サー ビスをユーザに提供することのできる通信制御装置、 通信端末装置、 サーバ装 置、 及び通信制御方法に関する。 背景技術
既存のインターネットに代表される有線ネットワークシステムでは、 O S I (Open System Interconnection) 階層モデノレの下位層、 特に第 1層〜第 3層 (物理層、 データリンク層、 ネットワーク層) の情報は、 上位層のアプリケー シヨンからは隠蔽されて、 検出されない。 このようなシステムの通信端末の第 n層は、 自身の第 (n— 1 ) 層から提供される機能を介して、 相手端末の第 n 層と通信を行うように構成されているため、 上位層のアプリケーションは、 そ の一つ下位の層の情報を得れば動作でき、 二つ以上下位の層の情報を得る必要 がなかったからである。
すなわち、 従来の通信端末装置では、 物理層とデータリンク層の処理を行う デバイス制御部と、 ネットワーク層の処理を行うネットワーク配送制御部との 間のみで、 データ伝送に関する制御が行われ、 アプリケーションへの情報の通 知は、 トランスポート層の処理を介してのみ行われていた。
そして、 無線によるデータ通信を行う場合も、 基本的には上記のような階層 的な処理を行うシステムがそのまま使用されていた。 例えば、 特開 2 0 0 0— 2 0 9 6 5 4号公報には、 無線の通信品質の変動を考慮してデータ通信を行う 技術が開示されている。 し力 し、 この公報に開示されている電子メール等のァ プリケーシヨンプログラムも、 無線の通信状態には関知せず、 データ通信制御 部に対して一方的にデータ送信要求を出すだけのものであり、 その後データ通 信制御部が、 無線の通信品質が所定の条件を満たす場合に自動的に発呼し、 呼 が設定されたら送信待ち状態となっているデータを送信するものである。
ところで、 近年のインターネットでは無線による接続が主流となりつつあり、 ユーザは無線の利点を生かして、 自由に移動しながら、 インターネットァクセ スを継続できるようになつている。 このようなインターネットアクセスでは、 無線基地局間、 無線ァクセスポイント間だけではなく、 無線基地局一無線ァク セスボイント間のハンドオーバも可能となっており、 ユーザは、複数の無,線ネ ットワーク間を移動しながら、 インターネットアクセスを ,継続することができ る。
このようなモパイルインターネットシステムにおいては、 電子メールのよう な非同期型のコミュニケ一ションだけではなく、 リアルタイム性を有するコミ ュ-ケーションであって映像や音声等のマルチメディアを扱うもの、 例えば音 声通話や映像ストリーミングサービス、 を実現させることが望まれている。 しかし、 無線で移動しながらのデータ伝送は、 有線の場合のように安定した 通信品質が提供されず、 移動に伴って電波強度が変化したり、 通信が途切れた り、 異なる無線ネットワークに移動すれば伝送帯域が大幅に変化したりするこ ともあり得る。 このように不安定な無線を対象とするデバイス制御部の上位層 で、 リアルタイム性が要求されるマルチメディア 'コミュニケーションを目的 としたアプリケーシヨンを安定して動作させることは、 困難であった。 発明の開示
本発明の目的は、 映像と音声の少なくとも一方を含むメディアを利用したモ パイルコミュニケーションにおいて、 無線の通信品質が悪化したり接続が切れ たり、 異なる無線ネットワークに移動したりしても、 コミュニケーションが継 続でき、 その継続がユーザにとってよりシームレスと感じられるようなサービ スを実現することである。
本発明の主題は、 メディアストリーム用の、 データの送信元と受信先との間 のセッション (メディアセッションとも呼ぶ) に関する制御を、 トランスポー ト層よりも下位の層の通信状況に関する情報に基づいて (例えば無線層もしく はネットワーク層の通信状況に関する情報を、 トランスポート層を介さずに直 接、 トランスポート層よりも上位の層に伝えることにより) 行うことである。 これにより、 通信状況が移動につれて刻々と変化する通信端末装置において、 リアルタイム性が要求される映像や音声のアプリケーシヨンを扱う場合に、 ァ プリケーション側でより素早く通信状況の変化に対応したサービスに切り替 えることができるようになり、 ユーザがモパイル環境でよりシームレスと感じ るメディァ通信サービスを提供することができる。
本発明の一形態によれば、 通信制御装置は、 無線環境又はネットワーク環境 の少なくとも一方を検出する検出手段と、 検出された無線環境又はネットヮー ク環境を記憶し、 前記無線環境又は前記ネットワーク環境に変化が生じたか否 かを監視する管理手段と、 前記無線環境又は前記ネットワーク環境に変化が生 じた場合に、 アプリケーションの通信サービスの制御を行う制御手段と、 を有 する構成を採る。
本発明の他の形態によれば、 通信端末装置は、 上記の通信制御装置を有する 構成を採る。
本発明のさらに他の形態によれば、 サーバ装置は、 上記の通信制御装置を有 する構成を採る。
本発明のさらに他の形態によれば、 通信制御方法は、 無 f泉環境又はネットヮ ーク環境の少なくとも一方を検出するステップと、 検出された無線環境又はネ ットワーク環境を記憶するとともに、 前記無線環境又は前記ネットワーク環境 に変化が生じたか否かを監視するステップと、 前記無線環境又は前記ネットヮ ーク環境に変化が生じた場合に、 アプリケーシヨンの通信サービスの制御を行 うステップと、 を有する。 図面の簡単な説明
図 1は、 本発明の実施の形態 1に係るネットワークの全体構成例を示す図、 図 2は、 実施の形態 1に係る通信端末装置の内部構成を示すプロック図、 図 3は、 実施の形態 1に係る接続制御部の詳細な構成を示すプロック図、 図 4は、 実施の形態 1に係る通信端末装置の各部の動作の関係を例示的に示 すシーケンス図、
図 5は、 実施の形態 1に係る通信端末装置の処理の一例を示すフローチヤ一 卜、
図 6 Aは、 管理データベースに記憶される項目と各項目の値との一例を示す 図、
図 6 Bは、接続制御部が各制御部に対して通知する情報のフォーマツトのー 例を示す図、
図 7は、 M P E G (Moving Picture Experts Group) — 4の F G S (Fine Granularity Scalabi lity) 動画像について説明するための図、
図 8は、本発明の実施の形態 2に係る接続制御部の詳細な構成を示すプロッ ク図、
図 9は、 実施の形態 2に係る通信端末装置の処理の一例を示すフローチヤ一 卜、
図 1 O Aは、 S I P (Session Initiation Protocol ) のメッセージ ·フォ 一マツトを説明する図、 及び、
図 1 0 Bは、 S I Pの通信セッシ 3ン確立手順を説明する図である。 発明を実施するための最良の形態
以下、 本発明の実施の形態について、 図面を用いて説明する。
(実施の形態 1 )
図 1は、本発明の実施の形態 1に係るネットワークの全体構成例を示す図で ある。
図 1において、 ネットワーク l〜nは、 L A N (Local Area Network) や W A N (Wide Area Network) などのドメィン単位のネットワークであり、 例え ば、 ネットワーク 1は複数の無線基地局 (基地局 1、 基地局 2 ) を含んでおり 、 ネットワーク 2は複数の無線アクセスポイント (A P 1、 A P 2 ) を含んで いる。 つまり、 ネットワーク l〜nのそれぞれは、 例えば、 公衆の携帯電話網 、 自営の構内無 #泉 L A N、 ホットスポット、 もしくは家庭内の無線ネットヮー クなどに相当し、 ここでは、 I Pベースのネットワークであるとする。 これら ドメイン毎のネットワークは、 インターネットに代表されるコアネットワーク に接続されている。
通信端末装置 1 0〜 3 0は、 1対 1あるいは 1対多で、 映像■音声によるコ ミュニケーシヨンを行う。 例えば通信端末装置 1 0が移動して、 基地局 1の電 波を受信している状態から基地局 2の電波を受信する状態に変わっても、 基地 局間でのハンドオーバが行われ、 通信端末装置 1 0は移動前のコミュニケーシ ヨンを移動後もそのまま続けて行うことができる。 これは、 A P Iの接続範囲 から A P 2の接続範囲へ移動した場合も、 同様である。
さらに、 通信端末装置がネットワーク間を移動しても、 ネットワーク層での ハンドオーバ (コアネットワークを介したハンドオーバ) が行われ、 コミュ- ケーシヨンを継続することができる。 すなわち、 例えば通信端末装置 2 0が移 動して、 基地局 2に接続された状態から A P 1に接続された状態に変わっても 、 トランスポート層より上位の層は、 異なるネットワーク (ここではネットヮ ーク 1からネットワーク 2 ) に移動したことには関わらず通信処理を継続する ことができる。
図 2は、本発明の実施の形態 1に係る通信端末装置 1 0の内部構成を示すブ ロック図である。 通信端末装置 1 0は、 携帯型電話端末であっても良いし、 無 線ネットワークに接続する機能を有する P D Aやパソコンであっても良い。 ま た、 通信端末装置 2 0、 3 0も通信端末装置 1 0と同様の構成を有しているも のとする。
通信端末装置 1 0内部は階層化されており、 トランスポート層より上位の接 続制御系 1 2〜 1 8と、 トランスポート層の処理を行うトランスポート制御部 1 9と、 トランスポート層より下位のデータ伝送制御系 2 0〜 2 1とから構成 される。 さらに、 本実施の形態においては、 通信端末装置のトランスポート層 より下位の層の通信状況に関する情報 (例えば電波強度や輻輳情報など) を、 トランスポート層より上位の層に直接伝えることを可能にするため、 下位層管 理部 2 2が新規に導入されている。
上位の接続制御系は、 接続制御部 1 2、 ネットワーク制御部 1 3、 シグナリ ング制御部 1 4、 及び伝送データ制御部 1 5を含む。
接続制御部 1 2は、 アプリケーションプログラムに含まれるカ あるいは、 アプリケーシヨンプログラムにより利用されるものであり、 ユーザからのサー ビス要求を受け付け、 そのサービスの定義情報をネットワーク制御部 1 3、 シ ダナリング制御部 1 4、 及び伝送データ制御部 1 5 (以下、 これらの 3つの制 御部をまとめて 「各制御部」 という) が解釈して実行可能な形式に変換する機 能を有する。
各制御部 1 3〜 1 5は、 接続制御部 1 2からのサービス定義情報とシグナリ ング部 1 7からの呼情報とに基づき、 接続制御部 1 2により制御されたサ一ビ ス条件とソフトウェア実行環境を調べ、 サービス実行の指示をそれぞれ NW ( ネットワーク) 情報管理部 1 6、 シグナリング部 1 7、 及び伝送データ部 1 8 に必要に応じて出す。
トランスポート制御部 1 9と、 これより下位のデータ伝送制御系であるネッ トワーク配送制御部 2 0 (ネットワーク層の処理を行う) 及びデバィス制御部 2 1 (無線デバイスの制御、 すなわち物理層及ぴデータリンク層の処理を行う ) とは、 上位の接続制御系で作成されたデータをネットワーク 2 3との間で送 受信し、 ユーザ希望のサービスを実現する。
なお、 デバイス制御部 2 1は、 通信端末装置 1 0がデータの送受信を行い得 る複数のネットワークにおいて採用されている無線の変調方式を扱うことが できる。また、ネットワーク配送制御部 2 0は、例えばモパイル I P (Internet Engineering Task Force ( I E T F ) の R F C 2 0 0 2に規定) に対応したも のであり、 これにより、 通信端末装置 1 0は、 種類が異なる複数のネットヮー クにおいてデータの送受信を行うことができる。
なお、 通信端末装置 1 0の各部は、 ハードウェア、 ソフトウェア、 及びこれ らの組合せのいずれにより実現しても良い。
次に、 上述した各部について、 より詳細に説明する。 まず、 下位層管理部 2 2は、 デバイス制御部 2 1ゃネットワーク配送制御部 2 0によつて検知される 通信環境の状況 (例えば汎用的な信号、 制御情報、 性能監視、 及び障害監視な どによって検知される) を、 データベースにより管理する。 下位層管理部 2 2 は、 データベースに登録された様々な情報を、 上位層である接続制御部 1 2に 通知する。 具体的には、 下位層管理部 2 2は、 例えば通信端末装置 1 0が属し ているネットワーク 2 3を識別するための情報、 このネットワーク 2 3におい て採用される変調方式の情報、 及び無線通信の電波強度に関する情報などをデ ータベースに登録し、 登録された情報に変化が生じた場合に、 その情報を接続 制御部 1 2に通知する。
接続制御部 1 2は、 アプリケーションの一部であるか、 あるいはアプリケー シヨンが直接利用するものであるので、 下位層管理部 2 2の働きにより、 無線 デバイスやネットワーク層 (代表的にはインターネットプロトコル層) の通信 状況が直接アプリケーションまで通知されることになり、 通信端末装置 1 0は 、 アプリケーシヨンの側から映像■音声などのデータ伝送を最適に制御できる ようになる。 すなわち、 異なるネットワークへの移動、 無線の電波状況、 及ぴ 伝送トラフィックなどをアプリケ——ンョンの接続制御部 1 2が知ることが可 能になり、 映像'音声アプリケーションを中心とした様々なサービスを実現で きるようになる。
接続制御部 1 2は、 サービス生成環境を提供し、 迅速なアプリケーション及 びサービスの展開を可能にする機能を有する。 具体的には、 接続制御部 1 2は 、 帯域制御や認証などのネットワーク中心のサービス機能 (ネットワーク制御 部 1 3に対応) 、 コミュニケーションを実現する為の呼接続を行うシグナリン グによる制御機能 (シグナリング制御部 1 4に対応) 、 及びプロファイリング やコンテンツ (映像 ·音声) などのユーザ中心のアプリケーションサービス機 能 (伝送データ制御部 1 5に対応) の 3つの機能を制御するものである。 なお、 ユーザ設定部 1 1は、 ユーザが通信端末装置の設定や操作を行う入出 力部であり、 画面、 ボタン、 及びマウスなどから構成される力 接続制御部 1 2は、 このユーザ設定部 1 1によりユーザから指定されるコマンドの実行をも 制御する。
ここで、 実施の形態 1に係る接続制御部 1 2の詳細な構成について図 3を参 照して説明する。 同図に示すように、 接続制御部 1 2は、 ネットワーク判断部 1 2 1、 電波強度判断部 1 2 2、 ユーザ指定判断部 1 2 3、 変調方式判断部 1 2 4'、 及び制御動作決定部 1 2 5を有している。
ネットワーク判断部 1 2 1は、 下位層管理部 2 2から通知された情報によつ て、 通信端末装置 1 0の属するネットワークが変更されたか否かを判断する。 具体的には、 ネットワーク判断部 1 2 1は、 例えば、 ネットワークの識別子で あるプレフィッタスの変化が下位層管理部 2 2から通知されたことを検知し、 ネットワークが変更されたと判断する。
電波強度判断部 1 2 2は、 下位層管理部 2 2から通知された情報によって、 無線通信の状態を示す電波強度が変更されたか否かを判断する。 具体的には、 電波強度判断部 1 2 2は、 下位層管理部 2 2のデータベースに登録されている 電波強度が変更になった旨の通知を受けて、 電波強度が変更されたと判断する ユーザ指定判断部 1 2 3は、 下位層管理部 2 2のデータベースに登録されて いる情報力 ユーザ設定部 1 1によって設定された値に変更されたか否かを判 断する。 ユーザ指定判断部 1 2 3は、 上記のデータベースに登録されている情 報のすべてを監視し、 通信環境がユーザ設定部 1 1を介してユーザが設定した 状態になっていることを検知する。
変調方式判断部 1 2 4は、 下位層管理部 2 2から通知された情報によって、 通信端末装置 1 0が属するネットワークで採用されている変調方式が変更さ れたか否かを判断する。 具体的には、 変調方式判断部 1 2 4は、 下位層管理部 2 2のデータベースに登録されている変調方式が変更になった旨の通知を受 けて、 変調方式が変更されたと判断する。
制御動作決定部 1 2 5は、 上記の 4つの判断部の判断に従って、 サービス制 御のための動作を決定する。 すなわち、 制御動作決定部 1 2 5は、 ネットヮー ク、 電波強度、 及び変調方式などの変化に応じて、 例えばコンテンツ (映像 ' 音声) を伝送する帯域を制限したり、 所定のシグナリング情報を送信したりす るなどの制御動作を決定する。 これらの制御動作は、 各制御部 1 3〜1 5によ つて実行される。
再ぴ図 2を参照して、 ネットワーク制御部 1 3は、 リアルタイムアプリケー シヨンにおけるネットワーク伝送帯域の制御及び認証を行う。 具体的には、 ネ ットワーク伝送におけるサービス品質の制御及び認証情報の設定を行う。 そし て、 NW情報管理部 1 6は、 ネットワーク制御部 1 3により制御されたサ一ビ ス品質及び認証情報をネットワーク 2 3との間で送受信するための情報を付 加する。
シグナリング制御部 1 4は、 通信相手と呼接続を行う際の呼の状態を制御す る。 この場合の呼とは、 セッション層 (トランスポート層の上位層) か、 それ より上位の層同士で設定されるセッションのことを指す。 呼状態は、 アイドル 状態、 呼接続中、 及び通話確立状態の三種類で構成される。 そして、 シグナリ ング部 1 7は、 シグナリング制御部 1 4により制御された呼状態をもとに、 呼 接続の要求があった場合は呼接続で利用する情報 (相手先アドレス、 ポート番 号など) を作成し、 また、 通信相手と呼の確立もしくは開放を行う.ためのデー タをネットワーク 2 3との間で送受信するための情報を付加する。 伝送データ制御部 1 5は、 映像や音声など、 リアルタイムコミュニケーショ ンで利用するデータの作成及ぴ制御を行う。 作成されるデータは符号復号化さ れたデータである。 そして、 伝送データ部 1 8は、 伝送データ制御部 1 5によ り作成された映像、 音声などのデータをネットワーク 2 3との間で送受信する ための情報を付加する。
トランスポート制御部 1 9は、 上位層で作成されたデータをネットワーク配 送制御部 2 0に送る前に、 各データがどの上位機能 (NW情報管理部 1 6、 シ ダナリング部 1 7、 又は伝送データ部 1 8の機能) に対応しているかを結びつ けるとともに、 下位層で受信されたデータをネットワーク配送制御部 2 0から 受け取ると、 適切な上位機能に振り分ける。
ネットワーク配送制御部 2 0は、 ネットワーク 2 3にデータを伝送するため に必要なァドレス情報などを設定し、 作成されたデータを、 デバイス制御部 2 1を介して、 ネットワーク 2 3との間で送受信する。
デバイス制御部 2 1は、 無線通信を行うために必要な、 無線デバイス (無線 機器) を制御する。
次いで、 本実施の形態に係る通信端末装置 1 0の動作について、 図 4に示す シーケンス図及び図 5に示すフローチヤ一トを参照して具体的に説明する。 図 4は、 通信端末装置 1 0の各部の動作の関係を例示的に示すシーケンス図であ り、 図 5は、 通信端末装置 1 0の処理手順を示すフローチャートである。 通信 端末装置 1 0は、 無線ァクセスポイントや無線基地局を介して、 映像、 音声な どのコミュニケ——ンョンのためのデータ通信を行っているものとする。 このと き、 接続の形態は、 1対 1でも複数人数での多地点会議のような通信形態でも 構わない。
通信端末装置 1 0のユーザは、 無線の利点を生かして、 自由に移動が可能で ある。 ここで、 デバイス制御部 2 1によって、 無線環境が変化したか否かが常 に監視されて判定されており (S T 1 0 0 0 ) 、 移動中などにおいて、 デバイ ス制御部 2 1が例えば無線の電波強度が弱まったことを感知すると、 下位層管 理部 22に変化後の電波強度の値 (電波強度を複数のレベルで表わす場合、 レ ベル値) が通知される (ST 1200) 。 下位層管理部 22は、 自身の管理デ ータベース内の電波強度の箇所に、 通知された値を書き込む (ST 1300)
デバイス制御部 21は、 電波強度が変化した場合だけではなく、 無線リンク の状態 (リンクが接続状態 (UP) か切断状態 (DOWN) 力) が変化したか 否かを判定しており (ST 1 100) 、 変化が検知された場合には、 下位層管 理部 22に通知される (ST 1200) 。 そして、 下位層管理部 22は、 管理 データベースの該当箇所に通知された変化を書き込む (ST 1300) 。
さらに、 変調方式 (無線信号の方式の種類) が変化した場合や、 無線ァクセ スポイントの混雑状況が変化した場合にも、 その都度デバイス制御部 21が下 位層管理部 22に通知し、 管理データベース内の変化した項目の箇所に書き込 むようにしても良い。 無線アクセスポイントの混雑状況 (その無線アクセスポ イントを現在利用している端末の数) の変化を管理するだけでなく、 無線基地 局の混雑状況の変化を管理しても良い。 これらの情報は、 下位層管理部 22の 管理データベース内において、 例えば図 6 Aに示すように、 デバイス制御の情 報として分類されている。 図 6 Aは、 下位層管理部 22の管理データベースに 記憶される項目とその値の一例を示している。
一方、 デバイス制御部 21が上記のように無線環境の変化を検出するのと平 行して、 ネットワーク配送制御部 20はネットワーク環境の変化を検出する ( ST 1 100) 。 ネットワーク配送制御部 20が例えばネットヮークプレフィ ックス (例えば I Pアドレスの上位所定ビットであって、 ネットワークの識別 子 (I D) に相当する) の変化を感知すると、 下位層管理部 22に変化後のプ レフィッタスの値 (ネットワークの I D) を通知する (ST 1 200) 。 そし て、 下位層管理部 22は、 自身の管理データベース内のプレフィックスの箇所 に、 通知された値を書き込む (ST 1 300) 。
ネットワーク配送制御部 20は、 プレフィックスが変化した場合だけではな く、 受信バッファサイズや、 再送回数などが変化した場合にも、 同様に、 その 都度下位層管理部 2 2に通知し、 管理データベース内の変化した項目の箇所に 書き込むようにしても良い。
受信バッファサイズとは、 相手から送られてくるデータを一時的に端末に溜 めておく容量を決めるパラメータであり、 データの送信側はこの受信バッファ がー杯になる分のデータを続けて送信し、 データの受信側はこの受信バッファ が一杯になると受信終了を送信側に知らせる。 このような受信バッフアサイズ としては、 ネットワークの状態に応じて、 送信側と受信側間のやり取りが多く なりすぎず、 データの一部が受信できなかった時の損失が大きくなりすぎない 、 最適な値が選択される。
また、 再送回数とは、 受信側が途中で失われて受信できなかったパケットの 番号を送信側に伝え、 送信側がその番号のパケットを送り直す場合に、 送信側 で同一データを何回再送したかをカウントした値である。
これらの情報は、 下位層管理部 2 2の管理データベース内において、 図 6 A に示すように、 ネットワーク配送制御の情報として分類されている。 また、 デ パイス制御部 2 1による無線環境の変化とネットワーク配送制御部 2 0によ るネットワーク環境の変化とは、 図 4に示すように、 並行して検知 '管理され ている。
下位層管理部 2 2は、 管理データベースに新しく通知された値が書き込まれ たか否かを常時監視している。 そして、 管理データベースへの書き込みがあつ た場合はその都度、 書き込みが示す変化を、 アプリケーションの接続制御部 1 2まで通知する (S T 1 4 0 0 ) 。 ここで通知される情報は、 管理データべ一 ス内に複数の項目がある場合、 変化した項目についての情報のみとする。 これ らの一連の動作 (無線環境の変化の検知からデータベース管理と、 ネットヮー ク環境の変化の検知からデータベース管理と) は、 図 4に示すように各部にお いて同時並行して行われる。
接続制御部 1 2は、 通知された情報を元に、 アプリケーションの制御を行う 。 ここで、 無線環境やネットワーク環境の各項目がどの程度変化した場合に、 アプリケーションの制御を変更すべきかは、 アプリケーシヨンの種類やユーザ の好みによって異なるため、 下位層管理部 2 2では、 各項目が変化したら自動 的に管理データベースへの書き込みと接続制御部 1 2への通知を行うことと し、 その変化に応じてアプリケーションの制御を変更すべきか否かは、 アプリ ケーシヨン側、 すなわち接続制御部 1 2において判断する (S T 1 5 0 0 ) 。 アプリケーションの制御の変更は、 具体的には、 ネットワーク判断部 1 2 1 、 電波強度判断部 1 2 2、 ユーザ指定判断部 1 2 3、 及び変調方式判断部 1 2 4によって、 各項目の変化が判断され、 制御動作決定部 1 2 5によって、 ネッ トワーク制御部 1 3、 シダナリング制御部 1 4、 伝送データ制御部 1 5に伝え るサービス定義情報等が変更されることにより行われる。 このとき、 制御動作 決定部 1 2 5から各制御部 1 3〜 1 5へは、 例えば図 6 Bに示すようなフォー マツトの情報が通知される。
すなわち、 例えば、 接続制御部 1 2力 S、 下位層管理部 2 2から、 無線の電波 強度がレベル 2からレベル 5へ変化した (通信状態が良くなつた) ことを通知 された場合、 電波強度判断部 1 2 2によって電波強度が変化したと判断され、 この判断結果から、 制御動作決定部 1 2 5によって、 現在進行中の映像 ·音声 のコミュ-ケーションにおける画質や音質を上げる変更が必要と判断される。 そして、 この変更に関与する伝送データ制御部 1 5に、 図 6 Bの伝送データ制 御に関する情報が通知される (この情報では、 映像'音声符号化パラメータが より良好な映像'音声を得られる値となっている) 。 図 6 Bにおいて、 映像 - 音声符号化パラメータとは、 符号化処理と複号化処理に用いられるパラメータ であり、 送受信フォーマツトとは、 ネットワークに映像■音声データを伝送す るために必要な基本情報である。
ここで、 制御動作決定部 1 2 5は、 例えば、 無線の電波強度のレベル値が 2 以上変化した場合に、 画質や音質を変更する制御が必要と判断するようにして も良い。 このような変更ポリシーは、 アプリケーションにより定められても良 いし、 通信端末装置 1 0が予め内蔵していても良いし、 ユーザがユーザ設定部 1 1を介して設定しても良い。 この例の変更ポリシーに従えば、 制御動作決定 部 1 2 5は、 無線の電波強度がレベル 2からレベル 3へ変化したことを電波強 度判断部 1 2 2から通知されても、 アプリケーションの制御を変更しないこと になる。
上記の映像 ·音声符号化パラメータと送受信フォーマツトを通知された伝送 データ制御部 1 5は、 この新しい制御情報を用いて、 伝送データ部 1 8の制御 を開始する (S T 1 6 0 0 ) 。
また、 例えば、 接続制御部 1 2が、 下位層管理部 2 2から、 通信端末装置 1 0が移動してネットワークのプレフィッタスが I D 3から I D 4に変化した ことを通知された場合、 ネットワーク判断部 1 2 1によってネットワークが変 化したと判断され、 この判断結果から、 制御動作決定部 1 2 5によって、 現在 のデータ通信からの変更が必要か否かが判断される。 すなわち、 例えば、 プレ フィッタスの値が、移動前のネットワークより帯域の狭いネットワークへ移つ たことを意味している場合、 制御動作決定部 1 2 5は、 予約する帯域幅を変更 することが必要と判断する。 この場合、 制御動作決定部 1 2 5は、 プレフイツ タスの値に対応するネットワークの帯域の広狭を予め記憶していれば良い。 ま た、 帯域がどの程度変化した場合に帯域予約を変更すべきかに関する変更ポリ シ一は、 アプリケーションにより定められても良いし、 通信端末装置 1 0が予 め内蔵していても良いし、 ユーザがユーザ設定部 1 1を介して設定しても良い そして、 制御動作決定部 1 2 5は、 変更が必要と判断すると、 この変更に関 与するネットワーク制御部 1 3に、 図 6 Bのネットワーク制御に関する情報が 通知される (この情報では、 帯域幅がより狭いものとなっている) 。 図 6 Bに おいて、 認証 I Dとは、 ネットワークを移動する際に必要となる認証番号であ り、 帯域幅とは、 データ伝送を最適にする帯域幅のことである。
これらの認証 I Dと帯域幅を通知されたネットワーク制御部 1 3は、 この新 しい制御情報を用いて、 現在の帯域幅の設定を新しい値に変更するように、 N W情報管理部 1 6を制御し、 ネットワークに対する帯域予約変更を行う。 さらに、 例えば、 接続制御部 1 2が、 下位層管理部 2 2から、 無線リンクの 状態が U Pから D OWNへ変化したことを通知された場合、 ユーザ指定判断部 1 2 3によってユーザから指定された変化が生じたと判断され、 この判断結果 から、 制御動作決定部 1 2 5によって、 現在のデータ通信からの変更が必要か 否かが判断される。 すなわち、 例えば、 映像'音声のコミュニケーションを継 続する上で、 無線リンクが切断されるたびに上位のセッション層の呼が開放さ れ、 無線リンクが接続されるたびに再度呼を設定するのは不都合である場合に は、 ユーザの設定により、 無線リンクが U Pから D OWNに変化してから所定 時間はセッション層の呼を維持するように制御を変更する。 この場合、 無線リ ンクの切断後どの程度の期間セッションを保持するかは、 アプリケーションに より定められても良いし、 通信端末装置 1 0が予め内蔵していても良いし、 ュ 一ザがユーザ設定部 1 1を介して設定しても良い。
そして、 制御動作決定部 1 2 5は、 変更が必要と判断すると、 この変更に関 与するシグナリング制御部 1 4に、 図 6 Bのシグナリング制御に関する情報が 通知される。 これにより、 シグナリング制御部 1 4は、 指定されたセッシヨン を所定時間維持するように、 シグナリング部 1 7を制御する。
なお、 制御動作決定部 1 2 5が必要と判断した変更の種類によっては、 複数 の制御部に対して通知を行うこともある。 例えば、 画質や音質を変更するため に、 通信相手と映像 ·音声の種類や利用パラメータを決める情報を交換する必 要がある場合には、 制御動作決定部 1 2 5は、 シグナリング制御部 1 4に対し 、 接続先の I Pアドレス、 ポート番号、 及ぴセッション I Dと共に、 ボディ情 報として新しい映像 ·音声の種類や利用パラメータを通知することにより、 シ ダナリング部 1 7を介して相手とのメッセージ交換を行わせる。 さらに、 制御 動作決定部 1 2 5は、 伝送データ制御部 1 5に対し、 このメッセージ交換によ り定まった新し 、符号化パラメータと送受信フォーマットを通知する。 以上のように、 通信端末装置 1 0が、 無線通信を利用するアプリケーション によりデータ通信を行っている際に、 無線環境の変化やネットワーク環境の変 化を感知したらすぐにアプリケーシヨンまで伝えることにより、 アプリケーシ ョン側で従来は知ることができなかった下位層の情報を直接知ることができ るようになり、 その情報を利用して、 ユーザのニーズに合わせた様々なシーム レスサービスを提供することが可能となる。
以下には、狭帯域での動画像通信に適している M P E G— 4符号ィヒ方式のう ち、 帯域変動への適応力に優れる F G S (Fine Granularity Scalability) と 呼ばれる方式を利用したアプリケーションで映像のコミュニケーションを行 う場合の本実施の形態に係る通信端末装置 1 0の具体的な使用例 (1 ) 〜 (8
) を説明する。
M P E G— 4の F G Sは、 IS0/IEC 14496-2 Amendment 4 Streaming Video Profileに規定されており、 無段階の伝送帯域に合わせ、 滑らかな映像品質適 応が可能である。 F G S動画像は、図 7に示すように、基本レイヤ (Base Layer ) と拡張レイヤ (Enhancement Layer) 力 ら成り、 基本レイヤ (レイヤ 0、 4 ) は、 通常の M P E G— 4符号化により生成され、 最低限の画質を提供する。 拡張レイヤ (レイヤ 1一 3、 5 - 7 ) は、 原画像と基本レイヤからの復元画像 との差分に対し、 離散コサイン変換、 ビットプレーン変換、 及びビットプレー ン可変長符号化を施すことにより得られ、 基本レイヤと合わせて複号化するこ とで、 より高品質な動画像が提供される。
拡張レイヤのうち一部 (レイヤ 1、 5など) だけを用いても、 用いた分だけ 品質を向上させることができるため、 伝送帯域に応じて、 基本レイヤと合わせ て適当な量の拡張レイヤのデータを送信もしくは受信すれば、 利用可能な帯域 の範囲内で高品質の動画像通信が可能になる。 なお、 図 7で、 レイヤ 0— 3は 、 フレーム内の情報だけで符号化された I V O P (Intra Video Object Plane ) であり、 レイヤ 4一 7は、 他のフレームの情報も用いて予測符号化された P V O P (Predicted Video Object Plane) である。 この F G S画像は、各レイヤに分けて符号ィヒして送信することができるとと もに、 各レイヤを受信側の端末内部で自由に選択して再生 (復号化) すること ができるという特徴を有する。 本実施の形態における通信端末装置 1 0は、 通 信状況に合わせて、 どのレイヤを符号化 (送信) するか、 どのレイヤを受信 ( 複号化) するかを決定することができる。
下記の具体例では、 F G S動画像ストリームは、 8つのレイヤに分けて別々 にマルチキャスト伝送されるものとする。 この場合、 受信側は、 自端末の望む レイヤのみを選択的に受信し、 復号化することができる。
( 1 ) まず、 受信側の通信端末装置 1 0で、 電波強度の変化が検出された場 合の例を示す。 なお、 通信端末装置 1 0は、 最初は、 フルクオリティとしてレ ィャ 0から 7までの全ての映像ストリームを受信しているものとする。 ここで 、 レイヤ 0、 4は動き優先の部分ストリーム、 レイヤ 1— 3は画質優先の部分 ストリーム、 レイヤ 5— 7は対象が動き優先のレイャで目的が画質向上の補完 ストリームである。
ユーザが通信端末装置 1 0を持って移動中に、 最大をレベル 5とし最小をレ ベル 1とする無線の電波強度が、 レベル 5からレベル 3に低下した時、 デバイ ス制御部 2 1は、 下位層管理部 2 2の管理データベースに、 電波強度として変 化した現在のレベル 3を書き込む。 下位層管理部 2 2は、 管理データベース内 の電波強度がレベル 5からレベル 3に変化したことをトリガとして、 アプリケ ーションの接続制御部 1 2に、 「電波強度レベル 3 J を通知する。
接続制御部 1 2に 「電波強度レべノレ 3」 が通知されると、 電波強度判断部 1 2 2によつて電波強度が変化したことが検知され、 制御動作決定部 1 2 5は、 通知された 「電波強度レベル 3」 をもとに、 伝送データ制御部 1 5の変更が必 要か否かを判断する。 この例では、 変更が必要なポイントとして、 レベル 4以 上からレベル 3以下に落ちた場合と、 レベル 3以下からレベル 4以上へ上がつ た場合のみ必要とする。 このボイントは、 ユーザ設定部 1 1により、 ユーザが 自由に変更できるものであり、 一意に固定されるものではない。 そして、 電波強度がレベル 5からレベル 3に落ちたことにより、 制御動作決 定部 1 2 5は、 画質を落として、 画像の動きの滑らかさを優先するような映像 受信への変更が必要と判断する。 この例では、 受信する部分ストリームを、 レ ィャ 0、 4及びレイヤ 1— 3とし、 レイヤ 5— 7は受信しないこととする。 こ の受信する部分ストリームは、 ユーザ設定部 1 1により、 ユーザが自由に変更 できるものであり、 一意に固定されるものではない。
そして、 制御動作決定部 1 2 5は、 伝送データ制御部 1 5に対する通知情報 フォーマツトのうち、 映像■音声符号化パラメータの値を 「レイヤ 0— 4 J と して通知する。 通知を受けた伝送データ制御部 1 5は、 「レイヤ 0— 4」 をも とに、 複号化の制御を、 フルクオリティのレイヤ 0— 7まで受信していたもの から、 レイヤ 5— 7の受信を停止したものに変更するように、 伝送データ部 1 8に伝え、 レイヤ 0 _ 4の受信'再生を開始させる。
上記の例では、 電波強度がレベル 5からレベル 3へ低下したときの動作に着 眼したが、 逆にレベル 3からレベル 5へ電波強度が上昇した場合は、 上記とは 逆の選択、 すなわちレイヤ 0— 4のみを受信していたものからフルクオリティ のレイヤ 0— 7まで受信するように変更が行われる。
なお、 伝送データ制御部 1 5の変更を、 より細かく行うことも可能である。 例えば、 電波強度がレベル 4に落ちたら、 8つのレイヤのうちレイヤ 7を受信 しないこととし、 鑣波強度がレベル 3に落ちたら、 レイヤ 5— 7を受信しない こととし、 電波強度がレベル 2に落ちたらレイヤ 0、 4及びレイヤ 1—2のみ を受信することとし、 電波強度がレベル 1に落ちたらレイヤ 0、 4のみを受信 することとしても良い。
また、 受信する電波強度は、 一つの無線アクセスポイントや一つの無線基地 局から受信する電波の例を述べたが、 ソフトウェア無線やダイバーシティ制御 による情報を利用して、 複数の無線アクセスボイントゃ無線基地局からの受信 電波を対象に、 電波強度の変化を検出しても良い。
上記では、 受信側の通信端末装置で電波強度の変化を検出した場合に、 送信 される映像ストリームのうち自端末が受信するレイヤを変更する例を示した
1 同様に、 送信側の通信端末装置で電波強度の変化を検出した場合に、 その 端末が符号化して送信する映像ストリームに含ませるレイヤを変更すること ができる。
このように、 無線環境の一つである電波強度の変化を直接アプリケーション まで伝え、 アプリケーションの接続制御部 1 2が、 ユーザのニーズに応じて、 その時々の無線環境に適した映像や音声のパラメータを再設定することによ り、 ユーザの要望を満たすサービスを提供できるアプリケーションを構築する ことが可能となる。
( 2 ) 次に、 受信側の通信端末装置で、 無線リンクの接続 Ζ切断状態の変化 を検出した場合の例を示す。 ユーザが通信端末装置 1 0を持って移動中に、 無 線リンクが U Pの状態から D OWNの状態へ変化した時、 デバイス制御部 2 1 は、 下位層管理部 2 2の管理データベースに、 無線リンクとして変化した現在 の D OWNフラグ 「0」 (フラグとして U Pが 1、 D OWNが 0とする) を書 き込む。 下位層管理部 2 2は、 管理データベース内の無線リンクが 「1」 から 「0」 に変化したことをトリガとして、 アプリケーションの接続制御部 1 2に 、 「無線リンクフラグ 0」 を通知する。
無線リンクが切れると、 データが受信されなくなるので、 従来は映像通信の セッションが切れて終了となってしまうが、 本実施の形態においては、 あらか じめユーザによって指定されていたように、 ユーザ指定判断部 1 2 3によって 無線リンクが切れたことが検知され、 制御動作決定部 1 2 5は、 通知された Γ 無線リンクフラグ 0」 をもとに、 セッションを終了せず一定時間セッションを 保持する必要があるか否かを判断する。 この例では、 保持が必要なポイントと して、 必ず一定時間 (例えば 5秒間) 保持することとする。 このポイント及び 保持時間は、 ユーザ設定部 1 1により、 ユーザが自由に変更できるものであり 、 一意に固定されるものではない。
そして、 セッションの保持が必要と判断した制御動作決定部 1 2 5は、 「無 線リンクフラグ 1」 が通知されるまで待機する。 セッションの保持時間内にュ 一ザ指定判断部 1 2 3から 「無線リンクフラグ 1」 が通知されれば、 そのまま セッションを継続させる。 一方、 保持時間を経過しても 「無線リンクフラグ 1 」 が通知されなければ、 映像通信のセッションを終了する。
上記では、 受信側の通信端末装置で無線リンク状態の変化を検出した場合に 、 映像ストリーム用のセッションを必要に応じて所定時間保持する例を示した 力 同様に、 送信側の通信端末装置で無線リンク状態の変化を検出した場合に 、 必要に応じて所定時間セッションが切れないように制御することができる。 このように、 無線環境の一つであるリンク切れを直接アプリケーションまで 伝え、 アプリケーションの接続制御部 1 2が、 ユーザのニーズに応じて、 セッ ションを保持することにより、 従来では無線リンクが切断されればセッシヨン も切断され終了していたサービスを柔軟に継続できるアプリケーションを構 築することが可能となる。
( 3 ) 次に、 受信側の通信端末装置で、 無線の変調方式の変化を検出した場 合の例を示す。 例えば、 無線アクセスポイントの変調方式の一つである C C K (Complementary Code Keying) をフラグ 1で表し、 無線基地局の変調方式の —つである Q P S K (Quadrature Phase Shift Keying) をフラグ 2で表すこ ととする。
ユーザが通信端末装置 1 0を持って移動中に、 図 7におけるレイヤ 0— 7の 全ての映像ストリームを受信している状態で、 無線ァクセスポイントから無線 基地局へのハンドオーバが起きたとする。 デバイス制御部 2 1は、 無線の変調 方式が C C Kから Q P S Kに変化したことを検出した時、 下位層管理部 2 2の 管理データベースに、 変調方式として変化した現在の Q P S Kフラグ 「2」 を 書き込む。 下位層管理部 2 2は、 管理データベース内の変調方式が 「1」 から 「2」 に変化したことをトリガとして、 アプリケーションの接続制御部 1 2に 、 「変調方式フラグ 2」 を通知する。
接続制御部 1 2に 「変調方式フラグ 2」 が通知されると、 変調方式判断部 1 2 4によつて変調方式が変化したことが検知され、 制御動作決定部 1 2 5は、 通知された 「変調方式フラグ 2」 をもとに、 伝送データ制御部 1 5の変更が必 要か否かを判断する。 この例では、 変更が必要なポイントとして、 無線ァクセ スポイントを示すフラグから無線基地局を示すフラグに変化した場合のみ必 要とする。 すなわち、 無線アクセスポイントから異なる変調方式の無線ァクセ スポィントに移動したときや、 無線基地局から異なる変調方式の無線基地局に 移動したときは、 変更は不必要と判断するものとする。 このポイントは、 ユー ザ設定部 1 1により、 ユーザが自由に変更できるものであり、 一意に固定され るものではない。
そして、 無線アクセスポイントからの電波の方が、 無線基地局からの電波よ りも幅広い帯域を確保可能であるので、 変調方式がフラグ 1からフラグ 2に落 ちたことにより、 制御動作決定部 1 2 5は、 画質を落として、 動き優先となる ような映像受信への変更が必要と判断する。 この例では、 レイヤ 5— 7の受信 を停止し、 レイヤ 0— 4のみを受信することとする。 どのレイヤを受信するか は、 ユーザ設定部 1 1により、 ユーザが自由に変更できるものであり、 一意に 固定されるものではない。
そして、 制御動作決定部 1 2 5は、 伝送データ制御部 1 5に対する通知情報 フォーマットのうち、 映像'音声符号化パラメータの値を 「レイヤ 0— 4」 と して通知する。 通知を受けた伝送データ制御部 1 5は、 通知された情報に従つ て伝送データ部 1 8を制御する。
上記の例では、 変調方式がフラグ 1からフラグ 2へ変化したときの動作に着 眼したが、 フラグ 2からフラグ 1へ変調方式が変化した場合は、 上記とは逆の 選択、 すなわちレイヤ 0— 4のみを受信していたものからフルクオリティのレ ィャ 0— 7までを受信するように変更が行われる。
上記では、 受信側の通信端末装置で無線の変調方式の変化を検出した場合に 、 送信される映像ストリームのうち自端末が受信するレイヤを変更する例を示 したが、 同様に、 送信側の通信端末装置で変調方式の変化を検出した場合に、 その端末が符号化して送信する映像ストリームに含ませるレイヤを変更する ことができる。
このように、 無線環境の一つである変調方式の変化を直接アプリケーション まで伝え、 アプリケーションの接続制御部 1 2力 ユーザのニーズに応じて、 その時々の無線環境に適した映像や音声のパラメータを再設定することによ り、 ユーザの要望を満たすサービスを提供できるアプリケーションを構築する ことが可能となる。
( 4 ) 次に、 受信側の通信端末装置で、 無線アクセスポイントの混雑状況の 変化を検出した場合の例を示す。 ユーザが通信端末装置 1 0をある無線ァクセ スポイントに接続してレイヤ 0— 7の全ての映像ス トリームを受信するコミ ュニケーシヨンを行っている間に、 他のユーザの利用によってその無,線のァク セスポイントの利用人数が増加し、 より少ない帯域しか確保できなくなつたと する。
デバイス制御部 2 1は、 最大をレベル 5とし最小をレベル 1とするアクセス ポイントの混雑状況 (利用人数の多さ) がレベル 1からレベル 3に変化したこ とを検出した時、 下位層管理部 2 2の管理データベースに、 混雑状況として変 化した現在のレベル 3を書き込む。 下位層管理部 2 2は、 管理データベース内 の混雑状況がレベル 1からレベル 3に変化したことをトリガとして、 アプリケ ーションの接続制御部 1 2に、 「混雑状況レベル 3」 を通知する。
接続制御部 1 2に 「混雑状況レベル 3」 が通知されると、 ネッ トワーク判断 部 1 2 1によつて混雑状況が変化したことが検知され、 制御動作決定部 1 2 5 は、 通知された 「混雑状況レベル 3」 をもとに、 伝送データ制御部 1 5の変更 が必要か否かを判断し、 必要であれば、 新しい映像 ·音声符号化パラメータの 値を伝送データ制御部 1 5に通知する。 この例では、 変更が必要なポイント及 びそのボイントでの変更の方法として、 混雑状況がレベル 3まで落ちたら映像 ストリームのレイヤ 5— 7を受信しないこととし、 混雑状況がレベル 5まで落 ちたらレイヤ 0、 4のみを受信することとし、 逆に混雑状況がレベル 4まで上 がったらレイヤ 0— 4を受信することとし、 混雑状況がレベル 2まで上がつた らフルクオリティ (レイヤ 0— 7 ) の受信をすることとする。 このポイント及 び受信するレイヤは、 ユーザ設定部 1 1により、 ユーザが自由に変更できるも のであり、 一意に固定されるものではない。
上記の例では、 無線ァクセスポイントの混雑状況を取り上げたが、 無線基地 局についても、 同様に混雑状況に応じた制御の変更が可能である。 また、 上記 は、 同一の無線アクセスボイントに接続中に混雑状況が変化した例であるが、 ユーザが移動したことにより接続する無線ァクセスポイントが変わって混雑 状況が変化した場合も、 同様に制御を変更することができる。
また、 上記では、 受信側の通信端末装置で無線の混雑状況の変化を検出した 場合に、 自端末が受信する映像ストリームのレイヤを変更する例を示したが、 同様に、 送信側の通信端末装置で混雑状況の変化を検出した場合に、 その端末 が符号化して送信する映像ストリームのレイヤを変更することができる。 このように、 無線環境の一つである混雑状況の変化を直接アプリケーション まで伝え、 アプリケーションの接続制御部 1 2が、 ユーザのニーズに応じて、 その時々の無線環境に適した映像や音声のパラメータを再設定することによ り、 ユーザの要望を満たすサービスを提供できるアプリケーションを構築する ことが可能となる。
( 5 ) 次に、 受信側の通信端末装置で、 ネットヮークプレフィックスの変化 を検出した場合の例を示す。 通信端末装置 1 0がレイヤ 0— 7の全ての映像ス トリームを受信している状態で、 I Pァドレスが aaa. bbb. xx. xxで表されるネ ッ トワークから aaa. ccc. x. xxで表されるネットワークに移動したとする。 ま た、 aaa. ccc. xx. xxのネットワークは aaa. bbb. xx. xxのネットワークより伝送帯 域が低いものとし、 この伝送帯域の差が、 制御の変更を必要とする程度である という情報を、 通信端末装置 1 0は予め記憶しているものとする。
通信端末装置 1 0が接続するネットワークは、 そのネットワークのプレフィ ックスを、 送受信されるデータ内のネットワーク配送制御部 2 0が参照する領 域に書き込む。 ネットワーク配送制御部 2 0は、 このデータ領域を参照して、 上記のネットヮークプレフィッタスの変化が起こったことを検出した時、 下位 層管理部 2 2の管理データベースに、 プレフィックスとして変化した現在のネ ットワーク aaa. ccc. xx. xxを書き込む。 下位層管理部 2 2は、 管理データべ一 ス内のプレフィックスが aaa. bbb. XX. XXから aaa. ccc. XX. XXに変化したことを トリガとして、 アプリケーショ ンの接続制御部 1 2に、 「ネットワーク aaa. ccc. x. xx」 ¾r通知する。
接続制御部 1 2に 「ネットワーク aaa. ccc. xx. xxj が通知されると、 ネット ワーク判断部 1 2 1によってネットワークが変更になったことが検知され、 制 御動作決定部 1 2 5は、 通知された 「ネットワーク腿. ccc. xx. xx」 をもとに 、 伝送データ制御部 1 5の変更が必要か否かを判断する。 変更が必要なポイン ト及びそのボイントでの変更の方法は、 ユーザ設定部 1 1により、 ユーザが自 由に変更できるものであり、 一意に固定されるものではない。
そして、 プレフィックス力 Saaa. bbb. xx. xx力 ら、 aaa. ccc. xx. xxに変化したこ とにより、 制御動作決定部 1 2 5は、 画質を落として、 動き優先となるような 映像受信への変更が必要と判断し、 伝送データ制御部 1 5に対して、 映像-音 声符号化パラメータの値を 「レイヤ 0— 4」 として通知し、 レイヤ 5— 7の受 信を停止させ、 受信されるレイヤ 0— 4に基づく再生を開始する。
上記の例では、 プレフィ ッタスがネッ トワーク aaa. bbb. xx. xxから aaa. ccc. xx. xxに変化することに着眼したが、 ネットワーク xxから aaa. bbb. xx. xxヘプレフィックスが変化した場合は、 上記とは逆の選択を行う ことになる。
上記では、 受信側の通信端末装置でプレフィックスの変化 (受信側ドメイン の変化) を検出した場合に、 自端末が受信する映像ストリームのレイヤを変更 する例を示したが、 同様に、 送信側の通信端末装置でプレフィックスの変化 ( 送信側ドメインの変化) を検出した場合に、 その端末が符号化して送信する映 像ストリームのレイヤを変更することができる。 このように、 ネットワーク環境の一つであるプレフィッタスの変化を直接ァ プリケーシヨンまで伝え、 アプリケーションの接続制御部 1 2が、 ユーザの二 ーズに応じて、 その時々のネットワーク環境に適した映像や音声のパラメータ を再設定することにより、 シームレスサービスを提供できるアプリケーション を構築することが可能となる。
( 6 ) 次に、 受信側の通信端末装置で、 ネットワークプレフィックスの変化 を検出した場合の別の例を示す。 上記と同様にプレフィッタスの変化が起こつ たものとし、 移動前の aaa. ddd. xx. xxの帯域を 50Mbps、 aaa. eee. x. xxの帯域を 100Mbpsとする。 これらネットワークの帯域情報は、 通信端末装置 1 0が予め 記憶しているものとする。 ネットワーク配送制御部 2 0 、 下位層管理部 2 2 の管理データベースにプレフィックスの変化を書き込み、 下位層管理部 2 2が 、 アプリケーションの接続制御部 1 2に 「ネットワーク aaa. eee. xx. xx」 を通 知するのは、 上記 (5 ) の例と同様である。
接続制御部 1 2に 「ネットワーク aaa. eee. xx. xx」 が通知されると、 ネット ワーク判断部 1 2 1によってネットワークが変更になったことが検知され、 制 御動作決定部 1 2 5は、 通知された 「ネットワーク aaa. eee. xx. xx」 をもとに 、 現在の映像送受信に必要な帯域予約 (70MbPsとする) 力 ら、 ネットワーク制 御部 1 3の変更が必要か否かを判断する。 この例では、 変更が必要なポイント 及びそのポイントでの変更の方法として、 aaa. ddd. xx. xx (帯域 50Mbps) から 、 aaa. eee. xx. xx (帯域 100Mbps) に変化した場合に、 帯域予約を 70Mbpsから 120Mbpsへ変更することが必要と判断される。 このポイント及ぴ予約する帯域 の決め方は、 ユーザ設定部 1 1により、 ユーザが自由に変更できるものであり 、 一意に固定されるものではない。
そして、 帯域予約の変更が必要と判断した制御動作決定部 1 2 5は、 ネット ワーク制御部 1 3に対する通知情報フォーマット (図 6 B参照) のうち、 帯域 幅に 「120Mbps」 を設定し、 認証 I Dに帯域予約をする為に必要な 「自端末の I D」 を設定して通知する。 通知を受けたネットワーク制御部 1 3は、 「 120MbPs」 と 「自端末の I D」 をもとに、 帯域予約を行うための準備をし、 N W情報管理部 1 6に帯域予約を行う旨を伝え、 OMbpsでの帯域を確保する。
上記の例では、 プレフィ ックスがネッ トワーク aaa. ddd. x. 力 ら aaa. eee. xx. xxに変化することに着眼したが、 ネットワーク aaa. eee. xx. xxから aaa. ddd. xx. xxヘプレフィッタスが変化した場合は、 上記とは逆の帯域設定を 行うことになる。
上記では、 受信側の通信端末装置でプレフィッタスの変化を検出した場合に 、 受信側ドメインに合わせて帯域予約を変更する例を示したが、 同様に、 送信 側の通信端末装置でプレフィッタスの変化を検出した場合に、 送信側ドメイン に合わせて帯域予約を変更することも可能である。 また、 エンド 'ツー 'ェン ドでの帯域を確保することが望ましいアプリケーションの場合は、 送信側と受 信側との間でメッセージ交換を行い、 その結果決定される帯域を予約するよう にしても良い。
また、 上記の例では、 各ネットワークの帯域の大小に帯域予約の値を合わせ ているが、 各ネットワークの課金情報などにより帯域予約の値を決定すること も可能である。 すなわち、 例えば通信端末装置 1 0が料金の高いネットワーク に移ったことを感知すると、 帯域予約を低くして課金を抑える。 このような帯 域予約のポリシ一は、 ユーザが設定できるのが好ましい。
このように、 ネットワーク環境の一つであるプレフィッタスの変化を直接ァ プリケーションまで伝え、 アプリケ——ンョンの接続制御部 1 2が、 ユーザの二 ーズに応じて、 映像通信で必要な帯域をその時々のネットワーク環境に合うよ うに再設定することにより、利用ネットワークに適したサービスを提供できる アプリケーシヨンを構築することが可能となる。
なお、 上記 (5 ) 、 ( 6 ) の例では、 I P V 4の場合の I Pアドレスを用い ているが、 I P V 6のネットワークであっても、 同様にネットワークプレフィ ッタスの変化を検出してアプリケーションの制御を変更することができる。
( 7 ) 次に、 受信側の通信端末装置で、 受信バッファサイズの変化を検出し た場合の例を示す。 通信端末装置 1 0がレイヤ 0— 7の全ての映像ストリーム を受信している状態で、 自端末と相手端末の少なくとも一方が別のネットヮー クへ移動したことにより、 受信バッフアサイズが現在の 1024KBから 512KBに変 化したとする。 受信バッファサイズの値が大きいほど、 映像データをより多く 一度に受信することが可能である。
ネットワーク配送制御部 2 0は、 受信バッフアサイズを監視しており、 変化 が生じると、 下位層管理部 2 2の管理データベースに、 受信バッファサイズと して変化した現在の 512KBを書き込む。 下位層管理部 2 2は、 管理データべ一 ス内の受信バッファサイズが 1024KBから 512KBに変化したことをトリガとして 、 アプリケーションの接続制御部 1 2に、 「受信バッフアサイズ 512KB」 を通 知する。
接続制御部 1 2に 「受信バッフアサイズ 512KB」 が通知されると、 ネットヮ 一ク判断部 1 2 1によつて受信バッフアサイズが変更になったことが検知さ れ、 制御動作決定部 1 2 5は、 通知された 「受信バッファサイズ 512KB」 をも とに、 伝送データ制御部 1 5の変更が必要か否かを判断する。 この例では、 変 更が必要なポイント及びそのポイントでの変更の方法として、 受信バッファサ ィズが 700KB以下に減少した場合に、 レイヤ 5— 7の受信を停止することによ り、 画質を落として動きを優先する映像受信に変更することが必要と判断する 。 このボイント及び受信するレイヤの選択は、 ユーザ設定部 1 1により、 ユー ザが自由に変更できるものであり、 一意に固定されるものではない。
そして、 制御動作決定部 1 2 5は、 受信バッフアサイズが 1024KBから 512KB (700KB以下) に変化したので、 伝送データ制御部 1 5に対して、 映像 ·音声 符号化パラメータの値を 「レイヤ 0— 4」 として通知し、 伝送データ部 1 8が レイヤ 0— 4までを受信して再生を開始するようにする。
上記の例では、 受信バッフアサイズが 1024KBから 512KBに変化することに着 眼したが、 512KBから 1024KBへ受信バッファサイズが変化した場合は、 上記と は逆の選択を行うことになる。 上記では、 受信側の通信端末装置が受信バッフアサイズの変化を検出した場 合に、 自端末が受信する映像ストリームのレイヤを変更する例を示したが、 同 様に、 送信側の通信端末装置で受信バッフアサイズの変化を検出した場合に、 その端末が符号化して送信する映像ストリームのレイヤを変更することがで 含る。
このように、 ネットワーク環境の一つである受信バッファサイズの変化を直 接アプリケーションまで伝え、 アプリケーションの接続制御部 1 2が、 ユーザ のニーズに応じて、 その時々のネットワーク環境に合うように映像や音声のパ ラメ一タを再設定することにより、 シームレスサービスを提供できるアプリケ ーシヨンを構築することが可能となる。
( 8 ) 最後に、 送信側の通信端末装置で、 再送回数の変化を検出した場合の 例を示す。 ユーザが通信端末装置 1 0を持って移動中、 レイヤ 0— 7の全ての 映像ストリームを受信している状態で、 再送回数が現在の 0回から 3回に変化 したものとする。 再送回数の値が大きいほど、 映像データが相手に正確に届い ていないことを表しており、 映像再生時の遅延の原因となる。
ネットワーク配送制御部 2 0は、 再送回数の変化を検出すると、 下位層管理 部 2 2の管理データベースに、 再送回数として変化した現在の 3を書き込む。 下位層管理部 2 2は、 管理データベース内の再送回数が 0から 3に変化したこ とをトリガとして、 アプリケーシ 3ンの接続制御部 1 2に、 「再送回数 3 J を 通知する。
接続制御部 1 2に 「再送回数 3」 が通知されると、 ネットワーク判断部 1 2 1によつて再送回数が変更になったことが検知され、 制御動作決定部 1 2 5は 、 通知された 「再送回数 3」 をもとに、 伝送データ制御部 1 5の変更が必要か 否かを判断する。 この例では、 変更が必要なボイント及びそのボイントでの変 更の方法として、 再送回数が 3以上に増加した場合に、 レイヤ 5— 7の符号化 を停止することにより、 画質を落として動きを優先する映像送信に変更するこ とが必要と判断する。 このポイント及び送信するレイヤの選択は、 ユーザ設定 部 1 1により、 ユーザが自由に変更できるものであり、 一意に固定されるもの ではない。
そして、 制御動作決定部 1 2 5は、 再送回数が 0から 3に変化したので、 送 信するレイヤの変更が必要と判断し、伝送データ制御部 1 5に対する通知デー タフォーマット (図 6 B参照) のうち、 映像'音声符号化パラメータの値を 「 レイヤ 0— 4」 として通知する。 通知を受けた伝送データ制御部 1 5は、 「レ ィャ 0— 4」 をもとに、 符号化の制御を、 フルクオリティのレイヤ 0— 7まで 送信していたものから、 レイヤ 5— 7の送信を停止するように、 伝送データ部 1 8に伝え、 レイヤ 0— 4の符号化 ·送信を開始させる。
なお、 通信端末装置 1 0が複数の相手端末に向けて映像ストリームを送信し ている場合には、 再送回数が相手端末によって異なる可能性がある。 この場合
、 最も再送回数が少ない相手端末に合わせて例えばレイヤ 0— 7の全てを符号 化しておき、 再送回数が多くデータ量を減らすべき相手端末に向けては、 符号 ィ匕したレイヤの中から一部のレイヤを選択して送信するようにしても良い。 上記の例では、 再送回数が 0から 3に変化することに着眼したが、 3から 0 に変化した場合は、符号化もしくは送信するレイヤを上記とは逆に変更するこ とになる。
このように、 ネットワーク環境の一つである再送回数の変化を直接アプリケ ーシヨンまで伝え、 アプリケーションの接続制御部 1 2が、 ユーザのニーズに 応じて、 その時々のネットワーク環境に合うように映像や音声のパラメータを 再設定することにより、 シームレスサービスを提供できるアプリケーションを 構築することが可能となる。
以上の (1 ) 〜 (8 ) の例では、 無 f泉環境やネットワーク環境のうち、 一つ の項目の変化に着目して制御を変更することを述べたが、複数の項目の変化に 基づいて制御の変更の必要性を判断するようにしても良い。 すなわち、 制御動 作決定部 1 2 5は、 例えば、 ネットヮークプレフィッタスの変化が、 自端末が 帯域の小さいドメインに移動したことを示していても、 受信バッファサイズが それほど小さくなっていないならば、 画質を落とすような変更を行う必要がな いと判断することとしても良い。 また、 無線の電波強度が所定レベル以下に弱 くなった場合でも、 アクセスポイントの混雑状況が悪化していないのであれば 、 画質を落とすような変更を行う必要はないと判断することとしても良い。 こ のような細かい判断基準は、 ユーザの好みを反映させるため、 ユーザ設定部 1 1を介して設定、 変更できるようにすることが好ましい。
また、 以上の (1 ) 〜 (8 ) の例では、 送信側の符号化 ·送信するデータ量 の制御と、 受信側の受信■復号化するデータ量の制御とを、 独立に行うことが できる M P E G— 4の F G Sを取り上げて説明したが、 その他の映像 -音声の 符号ィヒ方式を用いることも勿論可能である。 例えば、 下位層で検出された通信 環境の変化に基づいて、 M P E G— 4シンプルプロファイルのフレームレート を変更 (符号化パラメータの変更の一例) したり、 M P E G— 4から M P E G 一 7へ変更 (符号化方式の変更の一例) したりすることができる。
その場合、 例えば、 送信側で、 ネットワークの帯域が細くなつたことを検出 したり、 利用者の増加により速度が出なくなつたことを検出したりする際に、 画質や音質を低下させ、 相手に送るデータ量が少なくなるように、 符号化方式 を切り替えることができる。
また、 画質や音質を低下させるような変更を行う代わりに、 エラー耐性制御 をより多く含めた符号化方式に切り替えることもできる。 特に、 送信側で、 無 線の電波強度が弱くなつたことを検出した場合や、 再送回数が増加したことを 検出した場合に、 このような切り替えを行えば、 受信側の端末は、 エラー耐性 制御を施されたデータを基に、 映像 ·音声を擬似再生することができるように なる。
上記のように、 通信状況の変化に応じて送信側の符号化方式を変更する場合 、 送信側の通信状況は送信側の通信端末装置で検出できるため、 送信側の通信 端末装置内で制御の変更が可能である (但し、 符号化方式の変更について受信 側とメッセージ交換を行ってから変更する場合もある) 1 受信側の通信状況 は送信側の通信端末装置で直接検出することはできない。 そこで、 詳細は後述 するように、 受信側の通信端末装置が、 受信側の無線環境やネットワーク環境 の変化を検出すると、 送信側の通信端末装置ヘシグナリングメッセージを送る ことにより、.送信側の符号化方式を変更する。 このシグナリングメッセージに は、 変更後の符号化方式についての情報を含めても良いし (受信側の通信状況 の変化に基づいて符号化方式の変更が必要かどうかを受信側の通信端末装置 が判断する) 、 受信側の通信状況を示す情報をそのまま含めても良い (受信側 の通信状況の変化に基づいて符号化方式の変更が必要かどうかを送信側の通 信端末装置が判断する) 。
さらに、 以上の (1 ) 〜 (8 ) の例では、 無線環境及びネットワーク環境の いずれかの項目が変化したことを検出する毎に、 アプリケーシヨンの制御を変 更する必要があるかどうかを、 制御動作決定部 1 2 5が判断しているが、 この 判断をユーザに行わせることも可能である。 すなわち、 例えば、 無線の電波強 度が悪ィ匕したことを検出すると、 制御動作決定部 1 2 5は、 ユーザ設定部 1 1 を介して、各制御部 1 3〜1 5の制御を変更するかどうかをユーザに問い合わ せ (さらにどのような変更をするかをユーザに選ばせても良い) 、 ユーザの指 示に従って制御を変更する。 また、 全ての変化についてユーザに問い合わせる のではなく、 ユーザに問い合わせるべきポイントを制御動作決定部 1 2 5に設 定しておき (この設定自体もユーザ設定部 1 1を介して行うことができる) 、 この設定されたボイント以外の通信状況の変化については、 制御動作決定部 1 2 5が判断することとしても良い。
制御動作決定部 1 2 5が判断する場合も、 その判断基準をユーザ設定部 1 1 を介してユーザが設定することもできる。 また、 一旦設定した判断基準をユー ザ設定部 1 1を介して変更することも容易である。 例えば、 アプリケーション 起動時に、 ユーザの設定により、 電波強度がレベル 5からレベル 3に変化した ときのみ、 映像ストリームのフルクオリティ (レイヤ 0— 7 ) 受信からレイヤ 0 - 4の選択受信へ変更する (その他の無線環境の変化に関しては何の変更も しない) ように設定しておくと、 接続制御部 1 2に下位層管理部 2 2から 「電 波強度レベル 3」 を通知された時、 ユーザ指定判断部 1 2 3によって、 ユーザ が起動時に設定した条件にマッチしているか否かが判定される。 この例では、 変更する場合として一つの条件のみ設定したが、複数の条件を同時に設定して も良い。
(実施の形態 2 )
実施の形態 1では、 接続制御部 1 2が、 下位層管理部 2 2から通知された情 報に基づいて、 アプリケーションのサービス生成環境を変更する必要があると 判断した場合に、 自端末の内部で変更を行う例を説明したが、 実施の形態 2で は、 通信相手と交渉 (ネゴシエーション) を行う場合を説明する。 このネゴシ エーシヨンは、 自端末が提案する変更について相手端末の同意を求め、 同意の 得られた変更を自端末において実行するためになされる場合もあるし、 自端末 が提案する変更を相手端末に実行させるためになされる場合もあるし、 自端末 の状況を相手端末に知らせて相手端末に変更を提案させるためになされる場 合もある。
本実施の形態の通信端末装置の全体構成は、 実施の形態 1に係る通信端末装 置 1 0の全体構成 (図 2 ) と同様であるため、 その説明を省略する。 本実施の 形態においては、 接続制御部 1 2の詳細な構成のみが、 実施の形態 1と異なつ ている。
図 8は、 実施の形態 2に係る接続制御部 1 2の詳細な構成を示すブロック図 である。 同図において、 図 3と同じ部分には同じ符号を付し、 その説明を省略 する。 図 8に示すように、 本実施の形態におレ、ては実施の形態 1と異なり、 接 続制御部 1 2内の制御動作決定部 1 2 5は、 シグナリング通知部 1 2 5 aを含 んでいる。
シグナリング通知部 1 2 5 aは、 4つの判断部 1 2 1〜 1 2 4による判断の 結果、 通信相手とのネゴシエーションが必要となった場合に、 通信相手との呼 の更新を開始する旨をシグナリング制御部 1 4へ通知する。 次いで、 本実施の形態に係る通信端末装置の動作について、 図 9に示すフロ 一チヤ一トを参照して説明する。
本実施の形態に係る通信端末装置は、 接続制御部 1 2が下位層管理部 2 2か ら通知を受けるまでは、 図 5と同様に動作する。 すなわち、 移動中などにデバ ィス制御部 2 1が無線環境の変化を感知すると、 下位層管理部 2 2に通知し、 下位層管理部 2 2が管理データベースにその変化を書き込む。 そして、 管理デ ータベースに変化が書き込まれるたびに、 接続制御部 1 2へ、 変化した情報が 通知される ( S T 2 0 0 0 ) 。 また、 移動中などにネットワーク配送制御部 2 0がネットワーク環境の変化を感知した場合も、 同様に変化した情報が接続制 御部 1 2に通知される (S T 2 0 0 0 ) 。
そして、 4つの判断部 1 2 1〜1 2 4によって、 管理データベースの各項目 の変化に関する情報が制御動作決定部 1 2 5へ通知される。 この通知を受けた 制御動作決定部 1 2 5は、 通知された情報をもとに、 通信相手とのネゴシエー シヨンが必要か否かを判断する (S T 2 1 0 0 ) 。 例えば、 現在利用している 映像や音声の符号復号化方式とは別な方式を選択しなければならないような 場合 (無線の電波強度が悪化したことにより、 現在の映像符号複号化方式では 画質が乱れてしまい、 変更が必要な場合など) や、 自端末にはアプリケーショ ンの制御の変更を決定する権限がない場合に、 ネゴシエーションが必要となる ネゴシエーションが必要と判断されると、 制御動作決定部 1 2 5内のシグナ リング通知部 1 2 5 aは、 図 6 Bに示したシグナリング制御用の通信情報フォ 一マットを用い、 通信相手との呼の更新を開始するようにシグナリング制御部 1 4に通知する (S T 2 4 0 0 ) 。 シグナリング制御部 1 4に通知される情報 は、 接続先 I P、 ポート番号、 及びセッション I Dの他、 ボディ情報を含み、 ボディ情報には、 例えば相手端末と映像 ·音声の種類や利用パラメータを再決 定するための候補となる情報が書き込まれる。 シグナリング通知部 1 2 5 aは 、 ボディ情報に、 下位層管理部 2 2から通知された下位層の通信状況を示す情 報を書き込むこともできる。
通知を受けたシグナリング制御部 1 4は、 呼状態を変更し、 シグナリング部 1 7を通して呼の更新を行う。 そして、 このシグナリングの結果、 ネットヮー ク制御部 1 3や伝送データ制御部 1 5における制御に変更が必要であるか否 かが制御動作決定部 1 2 5によって判断され (S T 2 5 0 0 ) 、 必要であれば 、 該当する制御部にて新たな制御情報を用いた制御が開始される (S T 2 3 0 0 ) 。
一方、 S T 2 1 0 0での判断の結果、 通信相手とのネゴシエーションを必要 としない場合は、 自端末の内部での制御の変更が必要であるか否かが判断され ( S T 2 2 0 0 ) 、 各制御部 1 3〜 1 5のいずれかの制御の変更が必要な場合
、 該当する制御部に対して、 変更後の制御情報を通知する。 そして、 通知を受 けた制御部は、 その情報をもとに制御を開始する (S T 2 3 0 0 ) 。
なお、 処理手順の流れは上記の例に限定されるものではなく、 例えば、 下位 層の情報の変化を通知された制御動作決定部 1 2 5が、 まず、 各制御部 1 3〜 1 5における制御情報を変更する必要性を判断してから、 そこで必要と判断さ れた変更のために、 通信相手とのネゴシエーションが必要かどうかを判断する という処理手順もあり得る。
このように、 通信セッションが確立した後、 下位層で通信状況の変化が検出 されれば、 そのセッションを維持したまま再度通信相手とネゴシエーシヨンし てセッション情報を変更することが可能となり、 常に通信状況に適合したセッ シヨンによって映像 ·音声のコミュニケ一ションをはかることが可能となる。 以下には、 S 1 P (Session Initiation Protocol) と呼ばれる、 バケツト ネットワーク上で音声及ぴ映像のセッションを開始、 管理、 及び終了させるた めのシグナリング ·プロトコルを用いる場合の本実施の形態に係る通信端末装 置の具体的な使用例を説明する。 S I Pは、 アプリケーション層におけるテキ ストベースのシグナリングであり、 これによれば、 アプリケーション層同士で セッションが設定されることになる。 S I Pは、 I ETFの RFC 326 1に規定されており、 図 1 OAに示すよ うに、 ヘッダ情報とボディ情報とから成るメッセージ ·フォーマツトを有する 。 ボディ情報としては、 例えば RFC 2327に規定された SDP (Session Description Protocol) が使用できるが、 新たなボディ情報を定義してヘッダ 情報に付加することもできる。
図 10 Bには、 通信端末装置が S I Pにより、 例えば MP EG4— FGSに よる映像通信 (メディア通話の一種) を行う際の接続シーケンスを示す。 発信 端末は、 MPEG4— FGSの設定を記述した S D Pをボディ情報に付カロし、 S I Pメ ッセージの INVITEを発呼する。 INVITEを受信した着信端末は、 その INVITEに含まれる S D Pを基に、 通信を許可する場合は、 その応答 2000Kを発 信端末に向けて送信する。 100 Trying及び 180 Ringingは、 処理中を示す仮応 答である。 着信端末からの 2000Kを受信した発信端末は、 最後に着信端末に向 けて通話確立応答の ACKを返信して、 通信セッションが確立し、 MP EG 4— FGSによる映像通信が始まる。
上述した S I Pによれば、 シグナリングにより音声及び映像のパラメータを 決定することができるが、 本実施の形態の通信端末装置では、 通信状況に合わ せて、 シグナリングを発するタイミングを判断することができる。 また、 本実 施の形態の通信端末装置では、 自端末の下位層の情報 (自端末の無,線電波の強 度や、 自端末が現在利用中の帯域幅など) をボディ情報として付加して、 相手 端末のアプリケーションの接続制御部 12へ知らせることができる。
なお、 通信相手とネゴシエーションを行う例としては、 通信相手は従来の通 信端末装置であって、 下位層管理部を有さない場合も考えられる。
この場合、 自端末の下位層管理部 22は、 自端末のネットワークにおける無 線環境やネットワーク環境を接続制御部 12に伝え、 接続制御部 12は、 図 9 のフローチャートに従って自端末のシグナリング制御部 14にシグナリング を開始させる。 このシグナリングによるメッセージは相手端末のシグナリング 制御部に届き、 シグナリングのボディ情報が接続制御部 12と相手端末の接続 制御部との間で共有される。 このボディ情報は、 接続制御部 1 2が提案する新 たな映像 '音声の種類や利用パラメータでも良いし、 接続制御部 1 2が下位層 管理部 2 2より通知された下位層の情報 (自端末の受信する無線電波の強度な ど) でも良い。 相手端末の接続制御部は、 前者の場合は、 提案されたパラメ一 タ等を用いて各制御部の制御情報の変更を行い、 後者の場合は、 通知された下 位層の情報に基づいて各制御部における制御の変更が必要か否かを判断する。 以上詳述したように、 上記各実施の形態においては、 下位層の情報を上位層 に通知する下位層管理部を新たに導入し、 アプリケーシヨンのサービス生成環 境を提供する接続制御部が直接下位層の情報を認識する。 これにより、 アプリ ケーションレベルで、 下位層の情報に基づいた様々な状況判断と制御の変更が 可能となり、 モパイル環境で通信状況が変化しても、 できるだけユーザが見や すく聞きやすレ、と感じる映像'音声によるコミユエケーシヨンサービスを提供 し続けることが可能となる。
なお、 通信の形態として、 ( i ) 映像 '音声ストリームの送信側と受信側の 双方が、 移動する通信端末装置である場合、 (ii ) 送信側が移動する通信端末 装置で、 受信側が固定に接続された通信端末装置である場合、 (iii) 送信側が 固定に接続された通信端末装置で、 受信側が移動する通信端末装置である場合 、 の 3つがあり得る。 (i ) と (ii ) の場合、 送信側の通信端末装置に本実施 形態における下位層管理部 2 2を導入すれば、送信側の無線ネットワークの下 位層の状況に合わせた制御をァプリケーションレベルで行うことができる。 ( i ) と (iii) の場合、 受信側の通信端末に本実施形態における下位層管理部 2 2を導入すれば、 受信側の無 f泉ネットワークの下位層の状況に合わせた制御を アプリケーシヨンレベルで行うことができる。
また、 図 2に示した下位層管理部 2 2は、 移動する端末に設けると上記の効 果が大きくなるが、 固定されたコンテンツ配信サーバ等の端末に下位層管理部 を設けても所定の効果が発揮される。 その例を、 次に説明しておく。
この例のコンテンツ配信サーバ (通信端末装置 1 0 ) は、 接続制御部 1 2が 、 下位層から直接伝達される情報に基づいて、 無線ネッ トワークの輻輳情報な どを監視し、 利用中の通信環境に見合った伝送制御を行うことが可能である。 本例のコンテンツ配信サーバから従来型の下位層管理部の無いモバイル端末 が映像'音声コンテンツの配信を受ける場合でも、 ユーザにとっては、 よりシ ームレスな感覚でのコミュニケーションを受けることが可能となる。
具体的には、 本例のコンテンツ配信サーバは、 固定して配置されるが、 無線 デバイスを備え、 映像 ·音声などのデータ通信を複数の通信端末装置に向けて 配信している。 接続の形態は 1対 1の配信でも、 1対 Nの配信でも構わない。 コンテンッ配信サーバのデバイス制御部 2 1は、利用者の増加などにより無 線の電波強度が弱まったことを感知すると、 下位層管理部 2 2の管理データべ ースに、 変化した電波状態を書き込む。 また、 ネットワーク配送制御部 2 0は 、 再送回数の増加や受信バッファサイズの変化などを感知すると、 下位層管理 部 2 2の管理データベースに、 変化した回数の値を書き込む。 このような現象 は、 配信先の通信端末装置の電波強度が悪い場合や、 無線リンクの切断が生じ た場合に起こりうる。
そして、 下位層管理部 2 2は、 管理データベースにおいて更新があった場合 は、 その都度アプリケーションの接続制御部 1 2まで通知する。 この通知を受 けて、 接続制御部 1 2内において、 電波が弱まった場合は符号化するデータの 量を減少させると力 \ 再送回数が増加した場合は映像の画質を落とし動き (滑 らかさ) を優先するような制御方式に変更するなどの制御が行われることは、 上述した様々な例と同様である。
以上に本発明の実施の形態について説明したが、 上述の実施形態を本発明の 範囲内で当業者が種々に変形、 応用可能なことは勿論である。
以上詳述したように、 本 明によれば、 通信状況が移動につれて刻々と変化 する移動端末を含むネットワークシステムにおいて、 リアルタイム性が要求さ れる映像や音声のアプリケーションを扱う場合に、 アプリケーション側でより 素早く通信状況の変化に対応したサービスに切り替えることができるように なり、 ユーザがモバイル環境でよりシームレスと感じるコミュニケーションを 提供することができる。
本明細書は、 2003年 1月 30日出願の特願 2003-021838に基 づく。 この内容はすべてここに含めておく。 産業上の利用可能性
本発明は、 無線アクセスボイントゃ無線基地局を利用したモバイノレネットヮ ークシステムに使用され、 例えば会話型ゃストリーミング型のメディ了 ·サー ビスをユーザに提供することのできる通信制御装置、 通信端末装置、 サーバ装 置、 及び通信制御方法に適用することができる。

Claims

請求の範囲
1 . 無線環境又はネットワーク環境の少なくとも一方を検出する検出手段と、 検出された無線環境又はネットワーク環境を記憶し、 前記無線環境又は前記 ネットワーク環境に変化が生じたか否かを監視する管理手段と、
前記無線環境又は前記ネットワーク環境に変化が生じた場合に、 アプリケー ションの通信サービスの制御を行う制御手段と、
を有する通信制御装置。
2 . 前記管理手段は、 O S I (Open System Interconnection) 階層モデノレ におけるトランスポート層より下位層での環境の変化を監視し、
前記制御手段は、 前記トランスポート層より下位層での環境の変化に応じて アプリケーション層による通信サービスの制御を行う請求の範囲第 1項記載 の通信制御装置。
3 . 前記制御手段は、
自装置が行う無線通信の無線環境及び自装置が属するネットワークのネッ トワーク環境のうちどの環境が変化したか判断する判断手段と、
前記無線環境又は前記ネットワーク環境の変化が所定条件を満たす場合に、 サービスを変更するための制御動作を決定する決定手段と、
を有する請求の範囲第 1項記載の通信制御装置。
4 . 前記判断手段は、
自装置が属するネットワーク、 電波強度、 ユーザによる指定項目、 及び変調 方式のいずれか 1つが変化したか否かを判断する請求の範囲第 3項記載の通 信制御装置。
5 . 前記決定手段は、
ネットワーク伝送におけるサービス品質、 シグナリング情報の送受信、 及び 伝送データの送受信のいずれか 1つに関する動作を変更する請求の範囲第 3 項記載の通信制御装置。
6 . 前記制御手段は、
通信相手局とのネゴシエーションが必要な場合に前記通信相手局との間の 呼を更新する旨を前記通信相手局へ通知する通知手段、 をさらに有し、
前記決定手段は、 呼が更新された後に制御動作を決定する請求の範囲第 3項 記載の通信制御装置。
7 . 請求の範囲第 1項記載の通信制御装置を有する通信端末装置。
8 . 請求の範囲第 1項記載の通信制御装置を有するサーバ装置。
9 . 無線環境又はネットワーク環境の少なくとも一方を検出するステップと、 検出された無線環境又はネットワーク環境を記憶するとともに、 前記無線環 境又は前記ネットワーク環境に変化が生じたか否かを監視するステップと、 前記無線環境又は前記ネットワーク環境に変化が生じた場合に、 アプリケー ションの通信サービスの制御を行うステップと、
を有する通信制御方法。
PCT/JP2004/000834 2003-01-30 2004-01-29 通信制御装置、通信端末装置、サーバ装置、及び通信制御方法 WO2004068806A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/543,176 US7634574B2 (en) 2003-01-30 2004-01-29 Communication control device, communication terminal device, server device, and communication control method
EP04706297.1A EP1580938B1 (en) 2003-01-30 2004-01-29 Communication control device, communication terminal device, server device, and communication control method
BRPI0407059-3A BRPI0407059B1 (pt) 2003-01-30 2004-01-29 Aparelho de controle de comunicação, aparelho de terminal de comunicação, aparelho de servidor, e método de controle de comunicação

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-021838 2003-01-30
JP2003021838A JP4100182B2 (ja) 2003-01-30 2003-01-30 通信端末装置及びその制御方法

Publications (1)

Publication Number Publication Date
WO2004068806A1 true WO2004068806A1 (ja) 2004-08-12

Family

ID=32820666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/000834 WO2004068806A1 (ja) 2003-01-30 2004-01-29 通信制御装置、通信端末装置、サーバ装置、及び通信制御方法

Country Status (7)

Country Link
US (1) US7634574B2 (ja)
EP (1) EP1580938B1 (ja)
JP (1) JP4100182B2 (ja)
KR (1) KR100709971B1 (ja)
CN (1) CN100496018C (ja)
BR (1) BRPI0407059B1 (ja)
WO (1) WO2004068806A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006033404A1 (ja) * 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. 無線マルチメディア通信方法
WO2011001758A1 (ja) * 2009-06-30 2011-01-06 日本電気株式会社 無線システム及び動画解像度切り替え方法
CN102547266A (zh) * 2010-12-29 2012-07-04 中国移动通信集团公司 一种视频数据传输方法及设备

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4100182B2 (ja) * 2003-01-30 2008-06-11 松下電器産業株式会社 通信端末装置及びその制御方法
WO2006054249A1 (en) * 2004-11-17 2006-05-26 Koninklijke Philips Electronics, N.V. Robust wireless multimedia transmission in multiple in multiple out (mimo) system assisted by channel state information
WO2006057381A1 (ja) * 2004-11-29 2006-06-01 Sharp Kabushiki Kaisha 帯域割り当て方法、帯域割り当て装置、通信端末、帯域割り当てプログラム及びプログラム記録媒体
US7827141B2 (en) * 2005-03-10 2010-11-02 Oracle International Corporation Dynamically sizing buffers to optimal size in network layers when supporting data transfers related to database applications
US20060271658A1 (en) * 2005-05-26 2006-11-30 Cisco Technology, Inc. Method and system for transmitting data over a network based on external non-network stimulus
WO2006129600A1 (ja) 2005-06-02 2006-12-07 Sharp Kabushiki Kaisha 通信システム及び通信方法
JP2006345251A (ja) * 2005-06-09 2006-12-21 Kyocera Corp 無線通信端末及び通信方法
JP4999425B2 (ja) * 2005-11-29 2012-08-15 パナソニック株式会社 通信装置および通信方法
EP2574057B1 (en) 2006-01-05 2014-01-29 Telefonaktiebolaget L M Ericsson (publ) Media content management
KR100738548B1 (ko) * 2006-01-11 2007-07-11 삼성전자주식회사 VoIP 화상 통화 장치 및 그 방법
US8244051B2 (en) * 2006-03-15 2012-08-14 Microsoft Corporation Efficient encoding of alternative graphic sets
JP4779827B2 (ja) * 2006-06-29 2011-09-28 日本電気株式会社 ネットワーク制御システム、無線通信装置、及びネットワーク制御方法
KR100750189B1 (ko) * 2006-07-04 2007-08-17 삼성전자주식회사 이동통신 단말기에서 화상통화 화면 공유 장치 및 방법
KR100893863B1 (ko) * 2006-09-05 2009-04-20 엘지전자 주식회사 무선 통신 시스템에서의 링크 적응적 데이터 전송 방법
JP4806336B2 (ja) * 2006-11-29 2011-11-02 京セラ株式会社 無線通信端末及び無線通信方法
WO2008091009A1 (ja) * 2007-01-26 2008-07-31 Nec Corporation 映像配信システムおよび映像配信方法
JP2008259094A (ja) * 2007-04-09 2008-10-23 Matsushita Electric Ind Co Ltd 無線lan電話通信方法及びシステム
JP5120380B2 (ja) * 2007-09-18 2013-01-16 富士通株式会社 セッション管理の移行に係る通信方法、通信システム、サーバ、およびプログラム
WO2009037852A1 (ja) * 2007-09-21 2009-03-26 Panasonic Corporation 通信端末装置、通信システムおよび通信方法
CN101754004B (zh) * 2008-12-16 2013-06-12 浪潮乐金数字移动通信有限公司 一种3g可视电话及其工作方法
KR101390045B1 (ko) * 2008-12-24 2014-04-30 에릭슨엘지엔터프라이즈 주식회사 통화 장치 및 그 제어 장치
JP5517951B2 (ja) 2008-12-25 2014-06-11 パナソニック株式会社 Tcp送信制御装置及びtcp送信制御方法
JP5247567B2 (ja) 2009-04-06 2013-07-24 キヤノン株式会社 情報処理装置及びその制御方法、並びに該制御方法をコンピュータに実行させるためのプログラム
CN101932034B (zh) * 2009-06-26 2013-10-02 华为技术有限公司 提高服务质量的方法及系统和应用网网元
US9538299B2 (en) 2009-08-31 2017-01-03 Hewlett-Packard Development Company, L.P. Acoustic echo cancellation (AEC) with conferencing environment templates (CETs)
US20110099227A1 (en) * 2009-10-27 2011-04-28 Walls Jeffrey J Communication application with steady-state conferencing
US8462797B2 (en) * 2009-11-30 2013-06-11 Alcatel Lucent Method of priority based transmission of wireless video
US8713131B2 (en) * 2010-02-23 2014-04-29 RHPiscan Systems, Inc. Simultaneous image distribution and archiving
JP5269850B2 (ja) * 2010-09-17 2013-08-21 株式会社東芝 放送素材再生装置及びデータ送出方法
KR101744355B1 (ko) 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US20130145030A1 (en) * 2011-03-17 2013-06-06 Panasonic Corporation Control device, terminal apparatus, and communication system
US8978074B2 (en) 2011-08-29 2015-03-10 At&T Mobility Ii Llc Method and apparatus for providing wireless digital television service
GB2495712B (en) 2011-10-17 2014-01-08 Skype Controlling transmission of data
JP2013258657A (ja) * 2012-06-14 2013-12-26 Nippon Hoso Kyokai <Nhk> P2pネットワークサービスに用いる端末装置及びプログラム
JP2014003359A (ja) * 2012-06-15 2014-01-09 Samsung Electronics Co Ltd 映像データをストリーム型データ転送するために用いられるデータ転送システム及びデータ転送システムに用いられる送信装置、受信装置及びプログラム
JP5642225B2 (ja) * 2013-04-11 2014-12-17 キヤノン株式会社 情報処理装置及びその制御方法、並びに該制御方法をコンピュータに実行させるためのプログラム
JP5902653B2 (ja) * 2013-08-30 2016-04-13 ソフトバンク株式会社 動画配信システム、動画配信装置、端末装置、及びプログラム
EP3050278B1 (en) 2013-09-26 2021-09-15 Coherent Logix, Incorporated Next generation broadcast system and method
CN104185235B (zh) * 2014-08-19 2016-01-06 小米科技有限责任公司 无线网络调整方法及装置
US9794896B2 (en) 2014-08-19 2017-10-17 Xiaomi Inc. Method and device for adjusting state of wireless network
JP6582722B2 (ja) * 2015-08-19 2019-10-02 ヤマハ株式会社 コンテンツ配信装置
JP2017163287A (ja) * 2016-03-08 2017-09-14 富士ゼロックス株式会社 表示装置
KR102421791B1 (ko) * 2016-05-26 2022-07-15 삼성전자주식회사 Mmt 네트워크 시스템에서 미디어 시간 정보를 전송 하는 방법 및 장치
CN107395404B (zh) * 2017-07-07 2018-10-30 腾讯科技(深圳)有限公司 为网络应用提示网络环境、预测服务质量的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154856A (ja) * 1993-11-29 1995-06-16 Yuuseidaijin 移動端末装置及びこれを用いた移動体衛星通信シ ステム
JPH0951571A (ja) * 1995-08-07 1997-02-18 Matsushita Electric Ind Co Ltd 移動通信装置
JP2000209654A (ja) * 1999-01-18 2000-07-28 Kobe Steel Ltd 無線電話装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114476A (ja) 1997-06-11 1999-01-06 Nec Corp 移動通信システム及びそのトラヒック収集制御方法並びにトラヒック収集制御プログラムを記録した記録媒体
US5987033A (en) * 1997-09-08 1999-11-16 Lucent Technologies, Inc. Wireless lan with enhanced capture provision
JP2000295276A (ja) * 1999-04-02 2000-10-20 Hitachi Ltd 通信制御システム
US6587479B1 (en) * 1999-04-21 2003-07-01 Opencell Corp. Architecture for signal distribution in wireless data network
AU2001253740A1 (en) * 2000-04-22 2001-11-07 Atheros Communications, Inc. Methods for controlling shared access to wireless transmission systems and increasing throughput of the same
US6845397B1 (en) * 2000-12-29 2005-01-18 Nortel Networks Limited Interface method and system for accessing inner layers of a network protocol
JP2002344484A (ja) * 2001-05-21 2002-11-29 Nec Corp ネットワークの接続復旧方法及びシステム
JP4121298B2 (ja) * 2002-04-18 2008-07-23 松下電器産業株式会社 通信端末装置及び通信制御方法
JP4100182B2 (ja) * 2003-01-30 2008-06-11 松下電器産業株式会社 通信端末装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154856A (ja) * 1993-11-29 1995-06-16 Yuuseidaijin 移動端末装置及びこれを用いた移動体衛星通信シ ステム
JPH0951571A (ja) * 1995-08-07 1997-02-18 Matsushita Electric Ind Co Ltd 移動通信装置
JP2000209654A (ja) * 1999-01-18 2000-07-28 Kobe Steel Ltd 無線電話装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006033404A1 (ja) * 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. 無線マルチメディア通信方法
WO2011001758A1 (ja) * 2009-06-30 2011-01-06 日本電気株式会社 無線システム及び動画解像度切り替え方法
CN102547266A (zh) * 2010-12-29 2012-07-04 中国移动通信集团公司 一种视频数据传输方法及设备

Also Published As

Publication number Publication date
CN100496018C (zh) 2009-06-03
KR100709971B1 (ko) 2007-04-25
US20060253888A1 (en) 2006-11-09
CN1745551A (zh) 2006-03-08
JP4100182B2 (ja) 2008-06-11
JP2004266330A (ja) 2004-09-24
BRPI0407059B1 (pt) 2018-01-02
EP1580938B1 (en) 2019-01-23
KR20050104362A (ko) 2005-11-02
BRPI0407059A (pt) 2006-01-17
US7634574B2 (en) 2009-12-15
EP1580938A4 (en) 2015-07-15
EP1580938A1 (en) 2005-09-28

Similar Documents

Publication Publication Date Title
WO2004068806A1 (ja) 通信制御装置、通信端末装置、サーバ装置、及び通信制御方法
CN101743725B (zh) 用于通信系统中的自适应速率控制的方法、装置和系统
JP4370356B2 (ja) 通信ネットワークの制御システム、通信端末および通信ネットワークの制御方法
EP1848163A1 (en) Communication network control system
US20080101338A1 (en) METHODS AND APPARATUS TO IMPLEMENT HIGHER DATA RATE VOICE OVER INTERNET PROTOCOL (VoIP) SERVICES
KR20130115986A (ko) 미디어 스트림의 끊김 없는 전송
WO2006100955A1 (ja) 通信端末及びネットワーク制御装置
JP2005137007A (ja) 映像送受信帯域幅及び画質制御機能を持つip映像端末装置及びその制御方法
WO2008062621A1 (fr) Système de communication à transmission en continu
WO2011160561A1 (zh) 视频浏览的实现方法、ims视频监控系统及监控前端
JP2005260649A (ja) 無線ip電話機
JP4705863B2 (ja) セッション制御システム、セッション制御方法及び移動端末装置
JP2007281865A (ja) サービス制御装置及びプログラム
CN109818901A (zh) 报文头压缩机制确定方法、设备及系统
WO2006132080A1 (ja) 送受信方法およびプログラム並びに記録媒体
JP2008311855A (ja) 通信端末装置
JP2004265154A (ja) ヘテロジニアスネットワークにおけるセッション維持方法及びその移動ノード
WO2012003771A1 (zh) 一种环形组网中数据传输的方法及系统
JP2001352326A (ja) 通信装置、通信制御装置および通信方法
JP3588570B2 (ja) 通信フロー制御方法、通信端末、そのプログラム記録媒体
JP2006217167A (ja) Ip電話装置およびipアダプタ装置
JP4578414B2 (ja) 階層符号化マルチキャスト通信システム
KR20080037950A (ko) 데이터를 송수신하는 방법 및 장치
KR101774482B1 (ko) 동영상 전송 시스템 및 그 전송방법, 및 동영상 재생 단말기 및 그 재생방법
JP2006345174A (ja) 送受信方法およびプログラム並びに記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004706297

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006253888

Country of ref document: US

Ref document number: 10543176

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 3336/DELNP/2005

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 20048030393

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 1020057013997

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004706297

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057013997

Country of ref document: KR

ENP Entry into the national phase

Ref document number: PI0407059

Country of ref document: BR

WWP Wipo information: published in national office

Ref document number: 10543176

Country of ref document: US