WO2012077390A1 - ネットワークシステム、及びそのサービス品質制御方法 - Google Patents

ネットワークシステム、及びそのサービス品質制御方法 Download PDF

Info

Publication number
WO2012077390A1
WO2012077390A1 PCT/JP2011/069819 JP2011069819W WO2012077390A1 WO 2012077390 A1 WO2012077390 A1 WO 2012077390A1 JP 2011069819 W JP2011069819 W JP 2011069819W WO 2012077390 A1 WO2012077390 A1 WO 2012077390A1
Authority
WO
WIPO (PCT)
Prior art keywords
service
network system
information
request
management
Prior art date
Application number
PCT/JP2011/069819
Other languages
English (en)
French (fr)
Inventor
啓生 宮本
秀貴 青木
功 下川
俊明 垂井
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2012547728A priority Critical patent/JP5666620B2/ja
Publication of WO2012077390A1 publication Critical patent/WO2012077390A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to a network service operation system, and more particularly to a network service operation management technique for guaranteeing the quality of a network service.
  • Patent Document 1 In network operation management technology, a method has been proposed that achieves power saving by controlling the power of physical servers that do not have business processing by appropriately allocating the resources used by the device according to business processing (Patent Document 1). Patent Document 2). These are methods of reducing the power consumption of IT equipment by consolidating virtual machines into several physical servers, finding out physical servers that are not running, and turning off those physical servers. Furthermore, in Patent Document 3, it is possible to determine the placement of a virtual machine in conjunction with the physical server and the actual state of an application by controlling a plurality of movement policies when moving the virtual machine.
  • Patent Document 1 Patent Document 2, and Patent Document 3 do not consider the network capacity required by the virtual machine. Therefore, guaranteeing QoS performance after consolidation of virtual machines becomes an issue.
  • Patent Document 4 does not include a method based on power saving for migration of virtual machines between data centers, and although the performance level after migration can be maintained, virtual machines can be efficiently transferred to physical servers. The method of operating is not considered.
  • the object of the present invention is to solve the above-mentioned problems, optimize the server position and communication path in the data center which is a network system, and further grasp the processing status of the data center to cooperate to optimize the resource allocation. Accordingly, it is an object of the present invention to provide a network system and a service quality control method thereof that can realize QoS and power saving.
  • a network system for providing a service to an external request, and a service quality control method thereof, an information processing apparatus and a communication apparatus for executing the service,
  • a storage device that stores software for managing the service and a management device that manages the information processing device and the communication device in conjunction with the software, and the management device changes a position of the information processing device that executes the service
  • a network system having a configuration for reducing the amount of communication generated in the network system and reducing the power to reduce the power consumption of the entire network system, and a service quality control method thereof.
  • a network system that provides a service to an external request, and a service quality control method thereof, an information processing apparatus and a communication for executing the service And a management device that manages the information processing device and the communication device in conjunction with the software.
  • the information processing device receives the request and receives the received request.
  • the management device Based on the result of analyzing and determining which service the request is for, the request is distributed, the QoS violation for each service for the request is monitored, and when QoS violation is detected, the processing of the request is reassigned to the resources in the network system Result of determining whether to deal with or whether to distribute to other network systems Based on the request processing allocation destination, the management device changes the position of the information processing device that executes the service, thereby reducing the amount of communication generated in the network system and reducing the power, A network system configured to save power in the entire network system and a service quality control method thereof are provided.
  • a network system such as a data center is a system that provides a service in response to a request from an external network system
  • the network system is Software for managing services, a management device for managing information processing devices and communication devices constituting a network system in conjunction with the software, an information processing device and communication device for configuring the network system and executing services
  • the network system configured by the above, by changing the location of the information processing device that executes the service, the amount of communication that occurs in the network system is reduced, the power of devices that are not used is reduced, and further for power saving For equipment equipped with the system By changing from the device to a state of power savings, to realize the resource allocation method for implementing the entire network system power saving.
  • the network system mainly means a system in which a plurality of data centers (Data Center: DC) cooperate to provide a single service for a client request.
  • DC data center
  • DC itself composed of servers, networks, storage resources, and a data center (DC) management node functioning as a resource management manager
  • a network system a system in which a plurality of data centers (DC) cooperates to provide a single service for a client request.
  • DC data center
  • DC data center
  • DC data center
  • DC data center
  • DC data center
  • various programs and software functions that are stored in a storage device in the data center (DC) and executed by the information processing device are called “means” or “unit” in addition to “function”. Please note that there are.
  • the service distribution function and the QoS information formulation function are a service distribution unit, a QoS information formulation unit, a service distribution unit, a QoS information formulation unit, and the like.
  • FIG. 1 is a diagram showing a configuration example of an inter-data center cooperation service system according to the first embodiment.
  • the inter-data center cooperation service system is a network system in which a plurality of data centers cooperate to provide one service in response to a client request.
  • Each data center (Data Center: DC) provides a plurality of services, and each service is assumed to operate in cooperation.
  • DC Data Center
  • a proxy that mediates the service is installed in each data center (DC), and conversion of input / output formats necessary for service cooperation and data transfer to the next service are performed.
  • DC data center
  • conversion of input / output formats necessary for service cooperation and data transfer to the next service are performed.
  • Each data center is a network system that consolidates high-performance servers and large-capacity networks and storage in the center so that information can be processed safely and at high speed.
  • Servers, networks, and storage which are physical resources in the data center (DC) are virtualized and can be provided so that resources exist more than physical devices.
  • Various services can be provided to clients using virtualized resources.
  • each data center processes the data received via the network in addition to these resources, and performs a corresponding response to the sender, and between the services.
  • Consists of a proxy There may be a plurality of proxies and services in the data center, and a configuration in which a proxy that bundles a certain service group exists can be taken.
  • the Proxy built on the virtualized resource exists as an intermediary when linking services between DCs.
  • a Proxy exists to manage the services within the same DC, ensuring consistency of interfaces between services.
  • the Proxy may be a device having the same function.
  • reference numeral 101 denotes a client
  • reference numeral 102 denotes a WAN
  • reference numeral 103 denotes a cloud manager (Cloud manager) as a parent management node
  • reference numeral 104 denotes DC4
  • reference numeral 105 denotes a proxy (Proxy)
  • 106 is service A
  • 107 is DC3
  • 108 is Proxy
  • 109 is service B
  • 110 is DC2
  • 111 is Proxy
  • 112 is service C
  • 113 is DC1
  • Reference numeral 115 is service D
  • reference numeral 116 is service cooperation information
  • reference numeral 120 is DNS
  • reference numeral 121 is QoS information (Service A)
  • reference numeral 124 is QoS information (service A to D)
  • reference numeral 127 is Service E.
  • DC4 ⁇ 104 is composed of Proxy105 and service ⁇ A106.
  • Proxy 105 is connected to Client 101, service A 106, Proxy 108, and Cloud Manager 103.
  • Service A 106 is connected to Proxy 105.
  • the DC 3107 is composed of a Proxy 108 and a service B 109.
  • Proxy 108 is connected to service B 109, Proxy 105, Proxy 111, and Cloud Manager 103.
  • Service B 109 is connected to Proxy 108.
  • the components of DC2 110 are composed of Proxy111, service C112, and Service E127.
  • Proxy 111 is connected to service C 112, Proxy 108, Proxy 114, and Cloud Manager 103.
  • Service C112 is connected to Proxy111.
  • DC1 ⁇ 113 is composed of Proxy114 and serviceD115. Proxy 114 is connected to service D 115, Proxy 111, Cloud Manager 103, and Client 101.
  • Client 101 is a customer who uses the service, can use services provided by each data center, and linked services, and is connected to Proxy 105, Proxy 114, and DNS (Domain Name Server) 120.
  • the WAN 102 is a wide area network.
  • the Cloud Manager 103 serving as a parent management node also has a function of interpreting the service flow constructed by the service provider and indicating the linkage method to the proxy of each data center.
  • the service provider defines the connection relationship between the services and the interface connection method necessary for connecting the services.
  • Cloud Manager 103 functions as a parent management node and is connected to Proxy 114, Proxy 111, Proxy 108, and Proxy 105. Based on the service information that can be acquired from each Proxy, the connection relationship and connection method are determined, and service coordination is performed for each Proxy. Send information. Each Proxy recognizes the connection relation of the service based on the service cooperation information from the Cloud Manager 103.
  • the service and processing contents of the distribution destination are identified by the cooperation service identifier (ID) of the cooperation service in the request, the service identifier (ID) of the cooperation destination, and the processing identifier (ID).
  • ID cooperation service identifier
  • ID the cooperation service
  • ID the service identifier
  • ID processing identifier
  • the process is distributed to the service to be executed, and the process result is identified and transmitted by the linked service identifier and the process identifier.
  • Proxy 114 may provide the function as software as described above, or may provide the function as hardware. That is, the Proxy reads the header information of the Request transmitted via the network, and distributes the processing to a service that conforms to the header information for a plurality of services in the data center managed by each Proxy. Also, when allocating the process, it is converted into a format suitable for the service.
  • Proxy is a resource management manager in the data center. It works with the data center (DC) management node, which will be described in detail later, and only satisfies the QoS when the server resource, network resource, and storage resource are in service operation state. By using these resources, it is possible to appropriately use power in the data center, and thus to realize power saving in the entire system.
  • DC data center
  • ServiceD115 is a software function that can be used via a network. It is also possible to provide a service by cooperating with a plurality of services, and the service is connected to Proxy 114.
  • the service cooperation information 116 describes conversion rules when the connection relation and interface of services necessary for providing the cooperation service are different.
  • the service linkage information exists for each linkage service, and by transmitting this information to each Proxy, the connection relationship between the Proxy can be clarified, and the services managed by each Proxy can be linked.
  • DNS120 Domain Name System
  • the QoS information (Service A) 121 is information that defines the QoS of each service managed by the Proxy, and each service desirably provides a service within the range of the QoS information.
  • QoS information is information built from contracts with customers who are service providers. For example, based on information such as SLA (Service Level Agreement), service quality as seen by clients such as service response time and the number of connectable services Defines information related to.
  • QoS information can also be defined for linked services, and linked services are also created based on SLA, which is a contract between a service provider and a data center operator.
  • FIG. 2 is a diagram showing a specific example of the cooperation service by the data center.
  • a plurality of services cooperate to provide one Service AA 207 by data centers DC1 to 202, DC2 to 209, and DC4 to 206. That is, Service A205, Service C203, and Service ⁇ ⁇ ⁇ D204 are sequentially processed to realize Service defined as Service AA.
  • the dotted line indicates the flow of processing.
  • the service name refers to a linked service when two alphabets are arranged in the name of the service, and in one case, refers to a service that does not include components other than itself.
  • FIG. 3A is a block diagram showing an example of the functional configuration of the Proxy in the data center (DC) in the system of the present embodiment shown in FIG.
  • this Proxy may provide the function as software, or may provide the function as hardware.
  • a load balancer equipped with a Proxy function can be used.
  • reference numeral 301 is a service
  • reference numeral 302 is a format conversion unit
  • reference numeral 303 is a transmission / reception unit
  • reference numeral 304 is a service distribution unit
  • reference numeral 305 is a service management table for recording service management information
  • reference numeral 306 is a load prediction unit
  • Reference numeral 307 is a service distribution determination unit
  • reference numeral 308 is a load information transmission / reception unit
  • reference numeral 309 is a preceding service
  • reference numeral 310 is a QoS monitoring unit
  • reference numeral 311 is a QoS information formulation unit
  • reference numeral 312 is a distribution destination determination unit
  • reference numeral 313 is a control Data transmission / reception unit
  • reference numeral 314 is a QOS definition table
  • reference numeral 315 is a subsequent service
  • reference numeral 316 is a configuration confirmation request
  • reference numeral 317 is a child management node
  • data center (DC) management that functions as a resource
  • the other data center (DC) 332 like the data center (DC) 300, includes server resources, storage resources, network resources, a DC management node that is a resource management manager, and the like. That is, as shown in the figure, the other DC 332 includes a communication device 335 that functions as a resource, a communication path 336, an information processing device 337, a storage device 338 that holds various software, a DC management node 339, and the like. Consists of
  • the transmission / reception unit 303 in the Proxy receives a service request transmitted from another data center via the WAN.
  • the transmission / reception unit 303 is an interface that is connected to the format conversion unit 302, the QoS monitoring unit 310, the service 301, and the like, and exchanges information about the service with other data centers (DCs) and clients.
  • a request to a service managed by Proxy is received from another data center or client, and the processing result is transmitted to the other data center or client.
  • the service request assumes a message exchange protocol used in a distributed processing system such as SOAP (Simple Object Access Protocol) or REST (Representational State Transfer).
  • SOAP Simple Object Access Protocol
  • REST Real State Transfer
  • the data input to the transmission / reception unit 303 is monitored by the monitoring unit 334, and the time variation of the traffic amount is measured for each service and stored in the traffic monitoring table 333.
  • the monitoring unit 334 may compress the measurement data.
  • the transmission / reception unit 303 acquires the service identifier and processing identifier of the transmission source from the received data, and transfers the acquired information to the format conversion unit 302.
  • FIG. 4 shows an example of the traffic monitoring table 333 used in this embodiment.
  • 401 is a service identifier
  • 402 is a cooperative service identifier
  • 403 is a compression flag
  • 404 is a monitoring period
  • 405 is a data reference destination.
  • the proxy monitoring unit 334 monitors the traffic flowing from the WAN side to the data center where the Proxy exists and the traffic sent to the WAN side.
  • This table 333 is a table necessary for accumulating the traffic data extracted for each service.
  • the traffic monitoring information table 333 will be described.
  • the service identifier 401 is information for identifying the observed traffic service.
  • the cooperation service identifier 402 is information for identifying a client that issued a service request, a service, and a response destination. Using this cooperative service identifier 402 as a key, it is used to acquire transmission source information and transmission destination information from a service management table 305 shown in FIG. 5, which will be described later.
  • the compression flag 403 is information for presenting to a data user or a program whether or not the data described in the data reference destination file is compressed.
  • the monitoring period 404 is an item in which the monitoring start time and the monitoring end time of data at the data reference destination are described.
  • the data reference destination 405 is a file name in which actual traffic monitoring information is described.
  • the storage managed by the Proxy may be compressed depending on the accumulation period and sampling interval, so the accumulated data is compressed to some degree of reversible data. It is also possible to take a method. For example, it is possible to compress the time fluctuation of the traffic volume of the service based on the traffic characteristics of the service by using wavelet conversion or the like. Information such as functions used for compression at this time and function input parameters can also be registered as accumulated data. If the file is compressed by wavelet conversion, etc., read the file format, check the format, expand it, and use it.
  • the format conversion unit 302 in FIG. 3A has a function of analyzing data received from the transmission / reception unit 303, determining which service the input value is managed by the Proxy, and performing conversion processing to the input format of the service. .
  • the format conversion rule is managed by the service management table 305, and the conversion rule is acquired using the service identifier, processing identifier, etc. described in the received data as keys. That is, the format conversion unit 302 refers to the service management table 305 based on the acquired information, determines the processing content, and performs format conversion on received data according to the processing content, if necessary.
  • a module that absorbs interface differences between services may be required.
  • create an interface definition file (not shown) that defines the input and output of the service when developing the service, compare the interface definition file on the input side with the interface definition file on the output side when linking services, This can be done by creating a conversion rule.
  • This conversion rule is synonymous with the conversion rule of the service management table 305 described with reference to FIG.
  • the interface is XML (eXtensible Markup Language)
  • XSLT XML Stylesheet Language Transformations
  • FIG. 5 shows an example of the service management table 305 that records the service management information of this embodiment.
  • the service management table 305 is a table for storing data indicating service management information describing a method for linking services, and is a management table for each proxy that manages services in the data center. Since the proxy manages service groups in the data center, if there are a plurality of service groups, a plurality of proxies may exist. In this case, a service management table exists for the proxy.
  • the service management table 305 is stored in a recording medium such as a RAM (Random Access Memory) or an HDD (Hard Disk Drive) and a storage device, and is managed by software such as a database.
  • Judge which service should be distributed to the service request sent by the proxy in the previous stage, and convert it if the request value and the input value of the service managed by the Proxy are different Have a rule to do. Furthermore, it manages the destination of service processing results.
  • reference numeral 601 is a service name
  • reference numeral 602 is a service identifier
  • reference numeral 603 is a processing identifier
  • reference numeral 604 is transmission source information
  • reference numeral 605 is distribution rules
  • reference numeral 606 is transmission destination information
  • reference numeral 607 is a conversion rule
  • reference numeral Reference numeral 608 denotes a cooperation service identifier.
  • This cooperation service identifier 608 indicates a service identifier when a plurality of services cooperate to provide one service. Although not used in this embodiment, it is used to associate requests from other data centers with priorities when priorities are assigned to each linked service.
  • service name 601 is a service name managed by Proxy.
  • a service identifier 602 indicates an identifier of a service managed by the Proxy. This is used when the service distribution unit 604 calls a service in the data center.
  • the process identifier 603 is used as identification information when the same service is used multiple times and the same service is used multiple times.
  • Transmission source information 604 indicates service request source information. Since a load distribution instruction to another data center is issued to the service request source, information that can be connected to the proxy of the service request source and further identifies the service of the request source is registered. For example, a proxy connection URL (Uniform Resource Locator) and a service identifier.
  • the distribution rule 605 indicates distribution rules and weights when processing is distributed to a plurality of data centers.
  • the transmission destination information 606 indicates a URI (Uniform Resource Identifier) for requesting processing according to the distribution rule 605. Specifically, it is a URL that can specify the service of the distribution destination.
  • a conversion rule 607 indicates a rule for converting to a service input format when a service request is received by the Proxy.
  • XML Extensible Markup Language
  • XLST XML Stylesheet Language Transformations
  • the received data subjected to format conversion by the format conversion unit 302 in FIG. 3A is transferred to the service distribution unit 304 and requests the corresponding service for processing.
  • the format conversion unit 302 transfers the data to the service distribution unit 304.
  • the service distribution unit 304 requests processing to the corresponding service according to the processing content.
  • the service distribution unit 304 is connected to the format conversion unit 302 and the service 301, and transfers the data transferred from the format conversion unit 302 or the transmission / reception unit 303 to the corresponding service according to the rules described in the service management table 305. .
  • the service requested at this time is a service 301 managed by the Proxy.
  • the service 301 is a program that operates on a virtual machine or the like in the data center (DC) described later, and is connected to the transmission / reception unit 303 and the service distribution unit 304.
  • the process result is transferred to the transmission / reception unit 303 together with the service information and the process identifier.
  • the transmission / reception unit 303 receives the processing result from each service, refers to the service management table 305, searches for the next transfer destination service, and transmits it via the WAN.
  • the QoS monitoring unit 310 of FIG. 3A refers to the throughput for each service from the transmission / reception unit 303 to check whether a QoS violation has occurred when requests for the above-described services are generated at any time. Monitor.
  • the QoS monitoring unit 310 is connected to the transmission / reception unit 303 and the service distribution determination unit 307, constantly monitors the transmission / reception unit 303, and checks the QoS for each service. When a violation is detected for the confirmation item described in the QoS definition table, the QoS monitoring unit 310 notifies the service allocation determination unit 307 of the service identifier and the violation content.
  • the QoS definition table 314 describes the allowable number of violations within a unit time with respect to the response time. To notify that the response time has been exceeded. That is, when a violation is detected by the QoS monitoring unit 310, the violation information is transferred to the service distribution determination unit 307.
  • the QoS definition table 314 in FIG. 3A is a table in which QoS information of services managed by the Proxy is registered. Performance information such as the number of simultaneous connections and response time defined for each service is registered. This information is information defined in relation to the contents that the service provider has concluded with the customer (client) as SLA (Service Level Agreement).
  • FIG. 10 shows a configuration example of the QoS definition table 314 used in this embodiment.
  • a service name 1001 indicates a service name managed by the Proxy.
  • a service identifier 1002 indicates an identifier of a service managed by the Proxy. This is used when calling a service in the data center in the service distribution unit 307 described below.
  • the simultaneous connection possible number (per unit time) 1003 defines the number of connections that the service can connect per unit time.
  • the response time 1004 indicates the time from when a request arrives at the Proxy and when the service is executed and the response is returned via the Proxy.
  • the use bandwidth upper limit value 1005 indicates the upper limit value of the use bandwidth specified for each service in the contract.
  • the service distribution determination unit 307 in FIG. 3A acquires the request status prediction value of each service from the load prediction unit 306 in advance and distributes it to the other data center together with the received violation information or the data center where the Proxy exists It is determined whether to improve processing performance by reallocating resources. That is, the service distribution determination unit 307 is connected to the load prediction unit 306, the QoS monitoring unit 310, and the distribution destination determination unit 312. The violation information detected by the QoS monitoring unit 310 and the load prediction unit 306 described later calculate Based on the future load prediction result, it is determined whether processing can be distributed to another data center or can be handled by internal resource reallocation.
  • the distribution destination determination unit 312 searches and determines candidate data centers when performing processing distribution to other data centers.
  • This search method registers whether there are sufficient resources to provide the required performance of the service and the quality of service described in the QoS definition table 314 from among the data centers (DCs) already registered as candidates. You can search from the information, and if you want to distribute according to the current situation, use the interface that combines the current load information in addition to the search result of the registered information, the candidate data center (DC ).
  • the service management table 305 describing the transfer destination of the service image and the processing result is transferred to the corresponding data center if necessary, and the service is started.
  • the QoS information formulation unit 311 is connected to the distribution destination determination unit 312 and the control transmission / reception unit 313, receives the distribution destination determination of the distribution destination determination unit 312 and newly creates a request distribution rate and QoS information.
  • the response time is the same as the original QoS information, and the number of simultaneous connections is divided between the current data center and the distribution destination data center. In the division, when the load prediction unit 306 exceeds the capacity of the load fluctuation data center, the excess is distributed to other data centers. At the time of distribution, as described above, the distribution process is requested to the Proxy that manages the preceding service.
  • the QoS information formulation unit 311 reads the service name described in the header part of the received data, and acquires the service name of the upper layer.
  • the service name of the transmission source is acquired from the main part of the received data, the service name and conversion rule of the conversion destination are searched in the service management table 305 using both service names as keys, and the conversion rule and service name are searched for in the format conversion unit 302.
  • the main part of the received data is transmitted.
  • the control transmission / reception unit 313 performs DC management as a management device.
  • a configuration confirmation request 316 that is a resource reassignment request is transmitted to the node 317, and server resources and network resources are reassigned according to the load prediction.
  • the control transmission / reception unit 313 is connected to the QoS information formulation unit 311, Cloud Manager 318, other DC332, DC management node 317 as a management device, and transmits / receives information such as service management information, QoS information, configuration confirmation request 316, etc. Interface.
  • the DC management node 317 receives the configuration confirmation request 316, it can also create a configuration confirmation request table therein.
  • the configuration confirmation request table has the same format as that of the service management table described with reference to FIG. 5, and an example thereof is shown in FIG. 12. However, as with the service confirmation request table of FIG. May be. Since the contents are the same as those in FIG. 5, illustration and description thereof are omitted here. That is, the numbers 1201 to 1207 correspond to the numbers 601 to 607 in FIG.
  • the load prediction unit 306 is connected to the control transmission / reception unit 313 and the service distribution determination unit 307, and there is a service that provides a service linked to the preceding service, and the service includes a load variation related to the load variation of the preceding service. Assuming that this is to be done, the load fluctuation of the service is predicted together with the past fluctuation history by obtaining the latest load fluctuation of the preceding service.
  • the service 309 of the upstream service connected to the WAN reads the service name described in the header part of the received data and acquires the service name of the upper layer. Get the service name of the sender from the main part of the received data, search for the service name and conversion rule of the conversion destination from the service conversion table using both service names as keys, and receive the conversion rule and service name in the format converter. Send the data body.
  • the service 315 of the subsequent service reads the service name described in the header part of the received data, and acquires the service name of the upper layer. Gets the source service name from the main part of the received data, searches the service conversion table for the conversion destination service name and conversion rule using both service names as keys, and converts the conversion rule, service name, and received data to the format conversion unit Send the body part.
  • Cloud Manager 318 and other DC332 read the service name written in the header part of the received data and acquire the service name of the upper layer. Gets the source service name from the main part of the received data, searches the service conversion table for the conversion destination service name and conversion rule using both service names as keys, and converts the conversion rule, service name, and received data to the format conversion unit Send the body part.
  • FIG. 3B is a diagram illustrating an example of a sequence from load prediction to execution of a distribution process in the proxy according to the first embodiment described above.
  • the control transmission / reception unit 313 transmits the pre-stage service load information to the load prediction unit 306 (S406).
  • the load prediction unit 306 performs a decoding process on the received information (S407), sets parameters such as a prediction period (S408), performs a traffic amount prediction process, and transmits the prediction information to the service distribution determination unit 307. (S409, S410).
  • the service allocation determination unit 307 confirms the line bandwidth (S411), and transmits a distribution destination determination request for the excess of the line bandwidth (S412).
  • the distribution destination determination unit 312 determines an excessive distribution destination (S413), and transmits the determined distribution destination list and distribution throughput to the QoS information formulation unit 311 together with the QoS information formulation request (S414).
  • the QoS information formulation unit 311 sets QoS for each distributed traffic (S415).
  • the set QoS information is stored in the service management table 305 as a distribution rule (S416).
  • the allocation destination determination unit 312 uses the priority control management table 609 shown in FIG.
  • the priority control management table 609 in the same figure records priority control information 610 corresponding to the service identifier 602.
  • This priority control management table 609 exists for each proxy that manages services, and defines the priority order of services in the data center where the proxy exists.
  • the priority control management table 609 can be stored in an expanded form of the service management table 305 shown in FIG. 5, but may be prepared separately.
  • the allocation destination determination unit 312 refers to the priority control management table 609 and determines the priority. Allocate bandwidth from high service.
  • the bandwidth guarantee type guarantees the maximum bandwidth determined for providing a service, and when a linked service having another priority conflicts with the line used, a communication bandwidth is preferentially assigned.
  • the bandwidth reservation type allocates the necessary communication bandwidth if there is a margin in the communication bandwidth of the used line, but if the used line competes between the bandwidth guaranteed service and the bandwidth secured service, the bandwidth guaranteed type is allocated. Bandwidth is allocated with priority on services, and the bandwidth used for bandwidth-reserved services is allowed to operate below the required bandwidth.
  • bandwidth is preferentially allocated to the bandwidth reservation type service.
  • the maximum bandwidth is determined, but the bandwidth is not guaranteed. If there is not enough bandwidth on the line used at the time of providing the service, a large delay may occur.
  • FIG. 7 is a diagram showing a specific example of the data center (DC) configuration in the first embodiment.
  • This data center (DC) corresponds to DC1, DC2, DC3, and DC4 in FIG.
  • the data center (DC) includes a DC management node, a proxy, a communication control device, a plurality of physical machines, and a storage device.
  • Reference numeral 501 is a service group construction unit
  • reference numeral 502 is service configuration information
  • reference numeral 503 is device configuration information
  • reference numeral 504 is network configuration information
  • reference numeral 505 is a network configuration information collection unit
  • reference numeral 506 is service operation information
  • reference numeral 507 is a control parameter Generation unit
  • reference numeral 508 is a DC management node
  • reference numeral 509 is a physical machine
  • reference numeral 510 is a WAN
  • reference numeral 511 is a communication control device
  • reference numeral 512 is a physical machine
  • reference numeral 513 is a virtual machine
  • reference numeral 514 is a virtual machine
  • reference numeral 515 is a virtual machine Machine
  • 516 is a virtual machine
  • 517 is a virtual machine
  • 518 is ServiceA
  • 519 is ServiceB
  • 520 is ServiceC
  • 521 is ServiceD
  • 522 is ServiceD
  • 523 is a configuration confirmation request
  • 524 is control
  • the physical machine 509 is a server that performs information processing for business in the data center, that is, an information processing device 337.
  • the hardware configuration of the physical machine 509 is the same as that of a computer including a CPU (Central Processing Unit) that is a processing unit of a general server, a memory that is a storage unit, and the like, which are not illustrated.
  • the WAN 510 is an example of a wide area network to which a data center (DC) is connected.
  • the communication control device 511 is a communication device typified by a so-called switch or router, and corresponds to the communication device 335.
  • the virtual machine 513 refers to a normal virtual machine such as Xen. An operating environment for executing the service is constructed on this virtual machine.
  • Service configuration information 502, device configuration information 503, network configuration information 504, and service operation information 506 are stored in a storage device such as a magnetic storage device in a data center (DC). This storage device corresponds to the storage device 338.
  • Service A 518 is an application implemented by software, and is connected to Service D 522 in the example of FIG. ServiceB519 is connected to ServiceD522.
  • ServiceD522 is connected to ServiceB519 and ServiceA518. It goes without saying that these services correspond to the service 301 in FIG. 3A.
  • the transmission / reception unit 525 in the Proxy is an interface for exchanging information about services with other data centers and clients.
  • a request to a service managed by Proxy is received from another data center or client, and the processing result is transmitted to the other data center or client.
  • the service request assumes a message exchange protocol used in a distributed processing system such as SOAP (Simple Object Access Protocol) or REST (Representational State Transfer).
  • SOAP Simple Object Access Protocol
  • REST Real State Transfer
  • the transmission / reception unit 525 has a function of transferring the reception data to the format conversion unit and further transmitting the service processing result with reference to the transmission destination from the service management table 305 described above and adding header information.
  • the transmission / reception unit 525 and the control transmission / reception unit 524 correspond to the transmission / reception unit 303 and the control transmission / reception unit 313 of FIG. 3A, respectively.
  • the proxy control transmission / reception unit 524 deletes information related to the service in which the own data center is not recorded in the transmission source information and transmission destination information from the service management table 305 to the DC management node 508. This is transmitted as a configuration confirmation request 523 corresponding to the configuration confirmation information 316 of 3A.
  • the DC management node 508 corresponding to the DC management node 317 receives the configuration confirmation request 523 and performs grouping for each adjacent service by the service group configuration unit 501. In addition, even when linked services are different, the same service is used as a grouping target. Then, a configuration confirmation request table can be stored therein.
  • the DC management node 508 acquires the service configuration information 502, service operation information 506, and device configuration information 503 from the storage device, confirms the correspondence between the virtual machine on which each service is operating and the physical machine, and the grouping result. Find the virtual machine with the lowest migration cost.
  • the network configuration information collecting unit 505 can confirm the network topology and confirm that the traffic has been reduced.
  • the service group construction unit 501 matches the received configuration confirmation request 523 with several situations, such as a service adjacent to the front and the back and a linked service using the same service.
  • the services are grouped by a method described later, and a virtual machine with the lowest migration cost is searched in consideration of the current service configuration information and device configuration information.
  • the service configuration information 502 is information for grasping which physical machine or virtual machine is operating which service in the combination of the physical machine, virtual machine, and service in the data center.
  • the device configuration information 503 is information for grasping device information in the data center, and grasps how many physical machines 509 and 512 and communication control devices 511 exist and how many.
  • the network configuration information 504 is information for grasping connection relations of physical networks such as physical machines and communication control devices.
  • the network configuration information collection unit 505 collects network configuration information and creates a current network topology. Based on the physical machine, virtual machine, and network topology information, search whether there is a machine or network that is not used as a result of migration, and if there are nodes that are not used as a result of the search, omit the target node. Reduce power consumption in power mode.
  • the service operation information 506 is information for grasping how much the service is operating at the present time. It stores load fluctuation information for each service.
  • the control parameter generation unit 507 performs control by converting into actual control parameters. Differences in interfaces between devices are absorbed here.
  • the DC management node 508 performs integrated management of information processing resources in the data center. Realizes power saving in the data center by monitoring resources and consolidating / distributing virtual machines according to the operating status. Basically, it is only necessary to have a function for collecting service operation information and device configuration information.
  • FIG. 8A shows the software version of the proxy in the data center (DC).
  • DC data center
  • FIG. 8B shows the hardware version of the proxy in the data center (DC).
  • DC data center
  • FIG. 9A and FIG. 9B are flowcharts showing an operation at the time of resource allocation in the data center in the first embodiment. That is, it is a flowchart for determining the information processing position in the data center (DC).
  • Flowcharts (1) and (2) are continuous flow charts, and are continuous at circle A and circle B. In this flowchart, it is possible to reduce the amount of communication on the network by grouping with linked services and completing the data transfer between the services in the memory in the server.
  • Step 901 is a process in which the configuration management request and the QoS management (definition) table are transmitted from the Proxy control transmission / reception unit to the DC management node, and the DC management node 317 receives the request.
  • Step 902 receives the configuration confirmation request 523 at the DC management node 317, starts service grouping at the service group construction unit 501, and uses a configuration confirmation request table etc. held in the service to establish a connection relationship within the same cooperative service
  • This is a process for confirming the existence of. That is, it is a process of referring to the transmission source information and the transmission destination information to check whether the transmission source information of a certain service can be confirmed as the transmission destination information of a certain service. If it can be confirmed that the source information of a certain service is the destination information of a certain service, the process proceeds to step 903. If the transmission source information and the transmission destination information are referred to and it cannot be confirmed that the transmission source information of a certain service is the transmission destination information of a certain service, the process proceeds to step 914, that is, END.
  • Step 903 is a process of issuing a group number and assigning the group number to the corresponding service.
  • Step 904 is a process for checking whether or not it is confirmed whether or not the same service exists between the groups in a plurality of linked services in which the group exists. If it is possible to confirm whether or not the same service exists between the groups in the plurality of linked services in which the group exists, the process proceeds to step 905. If it is not possible to confirm whether or not the same service exists between the groups in the plurality of linked services in which the group exists, the process proceeds to step 906.
  • Step 905 is a process of issuing a group number and assigning the group number to the corresponding group.
  • step 906 the DC management node 908 acquires the current service arrangement status from the device configuration information 903 and the service configuration information 902.
  • step 907 a service arrangement plan is created so that the services are aggregated on the physical machine for each group.
  • step 908 from the created arrangement plan, the time variation predicted value of the band fluctuation of the service in the group is superimposed, and an arrangement plan having a combination of services not exceeding the communication band of the physical machine is extracted.
  • step 909 out of the extracted placement plans, the time plan predicted value of the load fluctuation of the service in the group is superimposed, and a placement plan having a combination of services that makes the CPU usage rate of the physical machine 100% or less is extracted.
  • step 910 out of the extracted arrangement plans, an arrangement plan that minimizes the service movement cost, that is, the transfer time and the power consumption during transfer is extracted.
  • step 911 VLAN (Virtual LAN) is set based on the extracted placement plan, and in step 912, a movement instruction is issued to the corresponding service.
  • VLAN Virtual LAN
  • step 913 the distribution destination of the load balancer is set and the process ends (step 914).
  • the outline is shown as the timing chart of FIG.
  • the proxy (Proxy1) 1104 in the DC management node (DC1) 1102 that is the child management node transmits a configuration confirmation request and the QoS definition table to the DC management node (DC1) 1102 (801). The process is started.
  • the child management node (DC1) 1102 starts service grouping processing (801, 802, 803). That is, a service belonging to the same cooperative service is searched in DC (804). If a service belonging to the same linkage service is found, a group number (ID) is issued and registered in the service management table (805). A group having an overlapping service is searched from among a plurality of groups (806). When a group having an overlapping service is found, a new group ID is issued and registered in the service management table (807). After all the searches are completed, the arrangement of the service is determined based on the group ID and the movement cost of each service (808), and the movement of the service is instructed (809).
  • the service distribution method using Proxy in Example 1 has been described.
  • the QoS of the target service is managed while evaluating the performance based on the response time and the number of simultaneous connections.
  • multiple services are linked across data centers in a system that shifts excessive resources to the power saving mode according to the load and reduces power consumption in the data center.
  • the resource for processing the subsequent service is increased according to the operating status of the previous service.
  • the service in the previous stage is a DC management node in the data center that constantly measures the service load.
  • QoS Quality of Service
  • standby resources are allocated and immediately dealt with.
  • QoS violations may propagate to other services, leading to delays greater than the original violation and a reduction in the number of connections. is there.
  • the Proxy that manages services in multiple DCs and the parent management node (Cloud Manager) that manages these multiple Proxy are linked, and the propagation of violations is detected in advance by this parent management node, and violations are detected. Violation is absorbed by services after the generated service, and QoS can be guaranteed autonomously throughout the system.
  • the parent management node that manages multiple proxies detects the propagation of violations in advance, absorbs the violations in the services after the service that caused the violation, and is autonomous throughout the system.
  • a network system capable of guaranteeing QoS will be described.
  • each data center (DC) is provided with a DC management node as a management device, but the network system of the second embodiment has a wide area such as a WAN.
  • a parent management node (Cloud Manager) 318 is installed as a parent management device that can send and receive information to and from a plurality of management devices of a plurality of data centers (DC) via a network, that is, a plurality of DC management nodes.
  • This parent management node (Cloud Manager) 318 functions to determine the connection relationship and connection method based on the service information that can be acquired from each Proxy in the first embodiment, and to send service cooperation information to each Proxy.
  • the propagation of violations is detected in advance, and the violations are absorbed by services after the service that caused the violation, and QoS is guaranteed autonomously throughout the system.
  • FIG. 13 is a sequence diagram illustrating a function in which the parent management node in this embodiment autonomously guarantees QoS in the entire system.
  • the management node in each data center (DC) described with reference to FIG. 3A and the like is called a child management node in the description of this embodiment, and is distinguished from the parent management node (Cloud Manager).
  • the child management node 1102 of the data center (DC1) transmits the service ID list and the QoS definition table of each service to the proxy (Proxy) 1104 of the data center (DC1) (1106, 1107). .
  • the proxy 1104 registers the service described in the service (Service) ID list as a monitoring target (1108), and starts monitoring the communication band used by the service (1109).
  • the service ID of the detected service is transmitted to the child management node 1102 (1111, 1112).
  • the child management node 1102 determines the migration destination request condition (1113), and transmits the determined migration destination request condition to the parent management node (Cloud Manager) 1101 (1114, 1115).
  • the parent management node 1101 creates a data center (DC) list that matches the migration destination request condition (116), and transmits the created DC list to the requesting child management node 1102 (1117, 1118).
  • DC data center
  • the child management node 1102 receives the DC list, examines the RTT (Round Trip Time) of the DC list, determines the priority (1119), and requests the server resource confirmation request from the higher priority to the determined data center. In addition to transmitting (1120) to the child management node (DC2) 1103 of (DC2), the traffic fluctuation of the latest service 1 is calculated (1121), and the traffic fluctuation data of the calculated Service 1 is transmitted (1122). In the child management node (DC2) 1103 that has received the traffic fluctuation data, the server on which Service2 operates is prioritized to detect a service that can be superimposed on the traffic of Service1 (1123), and after the detection, the child management node (DC2) 1103 OK is returned to (1124).
  • RTT Red Trip Time
  • the child management node (DC1) 1102 transmits the image data and the like and the load balancing control rule that are the target of the service to the child management node (DC2) 1103 (1125).
  • the child management node (DC2) 1103 transmits the image data and the like to the corresponding server (1126). For example, in a system using VMWare, it is registered in vCenter (1127), and load balancing control is performed to the load balancer. A rule is set (1128) and a completion notification is sent (1129).
  • the parent management node 1101 in this embodiment further functions to perform a placement optimization process of a virtual machine (VM) between data centers (DC).
  • VM virtual machine
  • DC data centers
  • FIG. 14 is a sequence diagram showing virtual machine (VM) placement optimization processing between data centers (DC) according to the present embodiment.
  • a parent management node 1101 that is a Cloud server periodically collects service flow information from child management nodes of each data center (DC) (1408).
  • this periodic information collection sequentially transmits flow information acquisition requests to the child management nodes 1102, 1103, 1130 (1409, 1411, 1413) and collects flow information for each service (1410, 1412, 1414).
  • DC1, DC2 that have data transmission / reception between data centers (DCs)
  • DCs DCs
  • the DC list is transmitted (1417, 1418).
  • a movable virtual machine (VM) list request is made to DC2 1103 (1418).
  • a list of VMs that can be moved to DC1 1102 is created in DC2 1103 based on the movement restriction conditions of each service (1420) and transmitted to DC1 1102 (1421).
  • the child management node DC1 1102 executes steps 1422 to 1429 in FIG. That is, the CPU load information of the physical server on which the selected VM is operating and the predicted value of the time series data of the traffic being sent and received are acquired (1423), and the VM selected based on the flow information and VM list of the selected VM Search for VMs that are communicating with (1424), and the physical server on which the VM that has selected the search results and the predicted values of the time series data of the CPU utilization rate and traffic volume of VMs other than the VM selected in DC1 is operating Over time (1424), CPU usage rate is 100%, search for VMs whose traffic volume does not exceed the line conditions connected to the physical server (1426), and the physical server is equipped with the most VMs The list of VMs to be aggregated is created (1427), VMs are moved to physical servers based on the aggregate VM list (1428), VM aggregation is completed, and DC1 that has not been selected so far This VM is selected and repeated from
  • the propagation of violations is detected in advance by the parent management node (Cloud Manager) that manages multiple proxies, and the violations are absorbed by the service after the service that caused the violation, and autonomous throughout the system. It is possible to guarantee QoS. Furthermore, the parent management node (Cloud Manager) can optimize the placement of virtual machines (VMs) between data centers (DCs), guaranteeing QoS autonomously throughout the system, and saving power. .
  • VMs virtual machines
  • DCs data centers
  • a network system is a system that provides a service in response to a request from an external network system, and the network system includes software that manages the service and information processing that configures the network system in conjunction with the software.
  • An information processing apparatus that executes a service in the network system that includes a management apparatus that manages apparatuses and communication devices, an information processing apparatus that configures the network system, and executes the service, and the communication apparatus Changing the location reduces the amount of communication generated in the network system, lowers the power of devices that are not being used, and realizes power saving from the management device for devices equipped with a system for power saving By changing the status to Resource allocation method for realizing power saving of the entire work system.
  • Example 2 A network system that realizes power saving while ensuring response performance even for high load service requests by linking multiple network systems of Example 1.
  • Example 3 In the linked network system of Example 2, by linking the services provided on the network system, necessary and sufficient resources are secured from each network system even for a high-load service request generated in the previous stage.
  • the software of Example 1 capable of realizing a predetermined service product warranty.
  • Example 4 In the software of Example 1 in which a management apparatus that manages the components of a network system manages a network that connects the network system and a network system outside the network system, a linkage method between services managed by the software is described.
  • the management apparatus in Example 1 acquires service management information from the software, controls the information processing apparatus and communication equipment managed by the management apparatus, and determines the execution location of the service, thereby reducing the amount of communication. Management device.
  • Example 5 Service management information managed by the software in which connection relations with services provided by a plurality of network systems other than the network system in the network system of Example 1 are described.
  • Example 6 With respect to the software of Example 3, a plurality of network systems respectively have the software of Example 3 and the service management information of Example 5 managed by the software to define the connection relationship of services, and each network system provides A service linkage method that enables linkage between services having different inputs and outputs by converting and absorbing differences in input and output of services to be performed by the software.
  • Example 7 The service provided by the network system is managed by the software of Example 3, and the service quality of each service is managed by the service quality definition information, so that degradation of service quality can be detected. software.
  • Example 8 Service quality definition capable of detecting degradation of service quality by managing the service provided by the network system with the software of Example 3 and further managing the service quality of each service with service quality definition information information.
  • Example 9 Input / output destination information of software of a service provided by the network system in order to determine the execution position in the management apparatus of Example 4 that determines the execution position of a service for reducing the traffic in the network system
  • the software of Example 3 generates information to the management apparatus of Example 4 as information excluding the service provided by the network system that becomes an input from the service outside the network system and an output to the service outside the network system. Component confirmation request information to be transferred.
  • Example 10 A service management apparatus in which the software of Example 1 is installed.
  • the present invention relates to a network service operation system, and is particularly useful as a network service operation management technique for guaranteeing the quality of a network service.
  • Service management table 306 Load prediction unit 307 ⁇ ⁇ ⁇ Service allocation judgment unit 309 ⁇ ⁇ ⁇ Service 310 ⁇ ⁇ ⁇ QoS monitoring unit 311 ⁇ ⁇ ⁇ QoS information development department 312 ⁇ ⁇ ⁇ Destination determination unit 313 ⁇ ⁇ ⁇ Control transceiver 314 ... QOS definition table 315 ⁇ ⁇ ⁇ Service 316 ⁇ ⁇ ⁇ Configuration confirmation request 317 ... DC management node 318 ... Cloud Manager 332 ... Other DC 333 ... Traffic monitoring table 334 ⁇ ⁇ ⁇ Monitoring unit 335 ... Communication device 336 ⁇ ⁇ ⁇ Communication path 337 ... Information processing device 338 ... Storage device (software) 339 ...
  • DC management node 401 Service identifier 402 ⁇ ⁇ ⁇ Linked service identifier 403 ... Compression flag 404 ⁇ ⁇ ⁇ Monitoring period 405 ... Data reference destination 501 ⁇ ⁇ ⁇ Service Group Construction Department 502 ⁇ ⁇ ⁇ Service configuration information 503: Device configuration information 504 ... Network configuration information 505 ... Network configuration information collection unit 506 ⁇ ⁇ ⁇ Service operation information 507 ... Control parameter generator 508 ... DC management node 509 ... physical machine 510 ⁇ ⁇ ⁇ WAN 511 Communication control device 512 ... physical machine 513 ...
  • Virtual machine 514 Virtual machine 515: Virtual machine 516: Virtual machine 517: Virtual machine 518 ⁇ ⁇ ⁇ ServiceA 519 ⁇ ⁇ ⁇ ServiceB 520 ⁇ ⁇ ⁇ ServiceC 521 ⁇ ⁇ ⁇ ServiceD 522 ⁇ ⁇ ⁇ ServiceD 523 ⁇ ⁇ ⁇ Configuration confirmation request 524: Control transceiver 525 ⁇ ⁇ ⁇ Transceiver 526, 527, 528, 534 ... Communication control device 535 ... Expansion board 601, 1201 ⁇ ⁇ ⁇ Service name 602, 1202 ... Service identifier 603, 1203 ... Processing identifier 604, 1204 ... Source information 605 ... Rating rule 606, 1206 ... Destination information 607, 1207 ...
  • Conversion rules 608 ⁇ ⁇ ⁇ Linked service identifier 609: Priority control management table 1001 ⁇ ⁇ ⁇ Service name 1002 ⁇ ⁇ ⁇ Service identifier 1003 ⁇ ⁇ ⁇ Number of simultaneous connections 1004 ⁇ ⁇ ⁇ Response time 1005: Maximum bandwidth used.

Abstract

　データセンタ（DC）内のサーバ位置及び通信経路の適正化、更に連携するDCの処理状況を把握して資源配置適正化を行い、QoSの確保及び省電力化を実現する。複数のデータセンタ(DC)300、332を備え、外部からの要求に対してサービスを提供するネットワークシステムであって、DC300はサービスを実行するための情報処理装置及び通信装置と、サービス301を管理するソフトウェアと連動し、情報処理装置や通信装置などの管理を行うDC管理ノード317によって構成される。サービスを実行する情報処理装置の位置を変更することで、システム内に発生する通信量を削減し、利用していない装置の電力を下げ、さらには省電力向けのシステムが備わる装置については管理ノード317から省電力を実現する状態に変更することで、ネットワークシステム全体の省電力化を実現する。

Description

ネットワークシステム、及びそのサービス品質制御方法
　本発明はネットワークサービス運用システムに係り、特に、ネットワークサービスの品質の保証を行うネットワークサービス運用管理技術に関する。
　近年、情報システムの運用管理コスト増加を背景にしたデータセンタ(以下DC)の利用拡大と共に、IT機器による消費電力が問題化している。経済産業省が2008年に発表したグリーンIT(GreenIT)イニシアティブ会議での予測によれば、2025年のデータセンタ内のICT(Information and Communication Technology)機器の消費電力量は06年の2.5倍の527億kWhとなると言われている。これは06年のICT機器全体の消費電力の総和を超える。このような状況に対応すべく、Green of ICT/Green by ICTの名のもとに、ネットワーク装置の省電力化機構によってICT機器トータルで約４割の電力消費を削減することを目標に掲げている。特に、ICT機器そのものの省電力化技術(Green of ICT)だけでなく、ICT機器全体を制御する運用管理技術によって、省電力化を実現するGreen by ICTが注目されている。
　ネットワーク運用管理技術において、機器の使用リソースを業務処理合わせて適正に割り当てることで、業務処理を持たない物理サーバの電力制御を行い、省電力化を実現する方法が提案されている(特許文献1、特許文献２)。これらは仮想マシンをいくつかの物理サーバに集約することで、稼働しない物理サーバを見つけ出し、それらの物理サーバの電源を切ることによってIT機器の消費電力を削減する方法である。さらに、特許文献３では、仮想マシン移動時において、複数の移動ポリシーを制御することにより、物理サーバやアプリケーションの実態に連動した仮想マシンの配置決定が可能である。
　また、データセンタ内の仮想マシンの配置決定だけでなく、データセンタ間連携のための標準化団体が発足していることから、ユーザにより近いデータセンタやより高効率なデータセンタを選択して、仮想マシンを移動することも将来的には考えられる。たとえば、特許文献４のようにデータセンタ間で仮想マシンやアプリケーションの動作環境を仮想マシンの移行前に確認することで、データセンタ間における仮想マシンの性能レベルが維持されることを保証する。
特開２０１０－０１５１９２号公報 特開２００８－０９０６０７号公報 特開２００９－１１６８５２号公報 特開２００９－１３４６８７号公報
　しかし，特許文献１、特許文献２、特許文献３では、仮想マシンが必要とするネットワーク容量等を鑑みていない。従って，仮想マシンの集約後のQoS性能保証が課題となる。
　さらに、特許文献４では、データセンタ間で仮想マシンの移行に関して、省電力化を踏まえた方式は含まれておらず、移行後の性能レベルは維持できるものの、物理サーバへ効率的に仮想マシンを稼働させる方法については検討されていない。
　本発明の目的は、上記の課題を解決し、ネットワークシステムであるデータセンタ内のサーバ位置及び通信経路の適正化を行い、さらに連携するデータセンタの処理状況を把握して資源配置適正化を行うことで、QoSの確保及び省電力化を実現することが可能な、ネットワークシステム、及びそのサービス品質制御方法を提供することにある。
　上記の目的を達成するため、本発明においては、外部からのリクエストに対してサービスを提供するネットワークシステム、及びそのサービス品質制御方法であって、サービスを実行するための情報処理装置及び通信装置と、サービスを管理するソフトウェアを記憶する記憶装置と、ソフトウェアと連動して情報処理装置及び通信装置の管理を行う管理装置とを備え、管理装置は、サービスを実行する情報処理装置の位置を変更することにより、ネットワークシステム内に発生する通信量を削減し、電力を下げることにより、ネットワークシステム全体の省電力化を図る構成のネットワークシステム、及びそのサービス品質制御方法を提供する。
　また、上記の目的を達成するため、本発明においては、外部からのリクエストに対してサービスを提供するネットワークシステム、及びそのサービス品質制御方法であって、サービスを実行するための情報処理装置及び通信装置と、サービスを管理するソフトウェアを記憶する記憶装置と、ソフトウェアと連動して情報処理装置及び通信装置の管理を行う管理装置とを備え、情報処理装置は、リクエストを受信し、受信したリクエストを解析し、いずれのサービスに対するリクエストかを判定した結果に基づき、リクエストを振分け、リクエストに対するサービス毎のQoS違反を監視し、QoS違反を検出した場合、リクエストの処理を、ネットワークシステム内のリソース再割当てで対応するか、他ネットワークシステムに振分るかの判断結果に基づき、リクエストの処理の振分先を決定し、管理装置は、サービスを実行する情報処理装置の位置を変更することにより、ネットワークシステム内に発生する通信量を削減し、電力を下げることにより、ネットワークシステム全体の省電力化を図る構成のネットワークシステム、及びそのサービス品質制御方法を提供する。
　すなわち、上記の目的を達成するため、本発明の好適な実施態様においては、データセンタなどのネットワークシステムは外部のネットワークシステムからの要求に対してサービスを提供するシステムであって、当該ネットワークシステムはサービスを管理するソフトウェアと、ソフトウェアと連動してネットワークシステムを構成する情報処理装置や通信機器などの管理を行う管理装置と、ネットワークシステムを構成し、サービスを実行するための情報処理装置及び通信装置によって構成されたネットワークシステムにおいて、サービスを実行する情報処理装置の位置を変更することでネットワークシステム内に発生する通信量を削減し、利用していない装置等の電力を下げ、さらには省電力向けのシステムが備わる装置については管理装置から省電力を実現する状態に変更することで、ネットワークシステム全体の省電力化を実現するリソース割当方法を実現する。これによって課題となる資源の配置を適正化し、QoSを保証しつつ省電力化できるネットワークシステムが構築できる。
　ネットワークを考慮した資源の適正配置を実施することによってQoSを保証しつつ省電力化可能なネットワークシステムを実現できる。
第１の実施例に係るデータセンタ間連携サービスシステムの一構成例を示す図ある。 第１の実施例のシステムによるサービス連携の一具体例を示す図である。 第１の実施例に係わる、プロキシ（Proxy）の一構成例を示す図である。 第１の実施例に係わる、プロキシ（Proxy）の負荷予測から振り分け処理実施までのシーケンスの一例を示す図である。 第１の実施例に係わる、トラフィック監視テーブルの一例を示す図である。 第１の実施例に係わる、サービス管理テーブルの一例を示す図である。 第１の実施例の変形例に係わる、優先度制御管理テーブルの一例を示す図である。 第１の実施例に係わる、データセンタ（DC）の内部構成の一例を示す図である。 第１の実施例に係わる、データセンタ（DC）の内部構成の他の例を示す図である。 第１の実施例に係わる、データセンタ（DC）の内部構成の他の例を示す図である。 第１の実施例に係わる、データセンタ内の情報処理位置を決定するためのフローチャート（１）を示す図である。 第１の実施例に係わる、データセンタ内の情報処理位置を決定するためのフローチャート（２）を示す図である。 第１の実施例に係わる、QoS定義テーブルの一構成例を示す図である。 第１の実施例に係わる、DC管理ノードにおけるサービスグルーピング処理の一例を説明するためのシーケンス図である。 第１の実施例に係わる、構成確認要求テーブルの一例を示す図である。 第２の実施例に係わる、本実施例における親管理ノードが、システム全体で自律的にQoSを保証する機能を説明するシーケンス図である。 第２の実施例に係わる、データセンタ(DC)間仮想マシン配置最適化処理を示すシーケンス図である。
　以下、本発明の各種の実施例を図面に従い説明する。本明細書において、ネットワークシステムとは、主に、クライアント(Client)のリクエストに対して、複数のデータセンタ(Data Center：DC)が連携して、１つのサービス(service)を提供するシステムを意味するが、サーバ、ネットワーク、ストレージリソースと、リソース管理マネージャとして機能するデータセンタ(DC)管理ノードとから構成されるデータセンタ(DC)自身をネットワークシステムと呼ぶ場合がある。また、本明細書において、データセンタ(DC)内の記憶装置で記憶され、情報処理装置で実行される各種のプログラム、ソフトウェアの機能を「機能」以外に「手段」や「部」と呼ぶ場合がある点留意されたい。例えば、サービス振分機能やQoS情報策定機能等は、サービス振分手段やQoS情報策定手段、或いはサービス振分部やQoS情報策定部等となる。監視部、フォーマット変換部、振分け先決定部、負荷予測部他も同様である。
　図1は第一の実施例に係る、データセンタ間連携サービスシステムの一構成例を示す図である。データセンタ間連携サービスシステムは、クライアント(Client)のリクエストに対して、複数のデータセンタが連携して１つのサービス(service)を提供するネットワークシステムである。データセンタ(Data Center：DC)は、それぞれ複数のサービスを提供し、それぞれのサービスは、連携して動作することを想定している。サービス間を連携させるために、各データセンタ(DC)にサービスを仲介するプロキシ（Proxy）を設置し、サービス連携に必要な入出力フォーマットの変換や次サービスへのデータ転送を実施する。また、Proxy間で負荷情報を交換することによって、各データセンタで動作するサービスに必要なリソースにおいて、過剰分を削減し、省電力化されたシステムを提供することができる。
　各データセンタ(DC)は、情報を安全かつ高速に処理できるように、高性能のサーバや大容量のネットワークやストレージをセンタに集約したネットワークシステムである。データセンタ(DC)内の物理的なリソースであるサーバ、ネットワーク、ストレージは仮想化され、物理装置以上にリソースが存在するように提供することが可能である。仮想化されたリソースを使用して、様々なサービスをクライアントに提供することが可能である。
　上述のように、各データセンタ(DC)は、これらのリソース以外に、ネットワーク経由で受信したデータを情報処理し、送信者に対して相応のレスポンスを実施するサービス(service)と、サービス間を仲介するプロキシ（Proxy）によって構成される。データセンタ内にはProxyもサービスも複数あってもよく、あるサービスグループを束ねるProxyが存在する構成を取り得る。仮想化されたリソース上に構築されたProxyは、DC間のサービス連携時の仲介役として存在する。Proxyはサービス間のインタフェースの整合性をとり、同じDC内のサービスを管理するために存在する。Proxyは、同じ機能を有した装置であってもよい。
　図１のデータセンタ間連携サービスシステムにおいて、符号101はクライアント（Client）、符号102はWAN、符号103は親管理ノードであるクラウドマネージャー（Cloud Manager）、符号104はDC4、符号105はプロキシ（Proxy）、符号106はservice A、符号107はDC3、符号108はProxy、符号109はservice B、符号110はDC2、符号111はProxy、符号112はservice C、符号113はDC1、符号114はProxy、符号115はservice D、符号116はサービス連携情報、符号120はDNS、符号121はQoS情報(Service A)、符号124はQoS情報(service A to D)、符号127はService Eである。
　DC4 104はProxy105、service A106から構成されている。Proxy105はClient101、service A106、Proxy108、Cloud Manager103と接続されている。Service A106はProxy105と接続されている。同様に、DC3107はProxy108、service B109から構成されている。Proxy108はservice B109、Proxy105、Proxy111、Cloud Manager103と接続されている。Service B109はProxy108と接続されている。DC2 110の構成要素は、Proxy111、service C112、Service E127から構成されている。Proxy111はservice C112、Proxy108、Proxy114、Cloud Manager103と接続されている。Service C112はProxy111と接続されている。更に、DC1 113は、Proxy114、serviceD115から構成されている。Proxy114はservice D115、Proxy111、Cloud Manager103、Client 101と接続されている。
　ここで、Client101とは、サービスを利用する顧客であり、各データセンタが提供するサービス、連携サービスを使用することが可能であり、Proxy105、Proxy114、DNS(Domain Name Server)120と接続されている。WAN102は広域ネットワークである。また、親管理ノードとなるCloud Manager103は、サービス提供者が構築したサービスフローを解釈し、連携方法を各データセンタのProxyに示す機能も持つ。サービス提供者は、サービスの接続関係とサービス間を接続する際に必要なインタフェースの接続方法を定義する。
　Cloud Manager103は、親管理ノードとして機能し、Proxy114、Proxy111、Proxy108、Proxy105と接続しており、各Proxyから取得できるサービス情報を基に接続関係と接続方法を決定し、各Proxyに対してサービス連携情報を送信する。各ProxyはこのCloud Manager103からのサービス連携情報を基に、サービスの接続関係を認識する。サービス中は、要求(Request)の中の連携サービスの連携サービス識別子（ID）と連携先のサービス識別子（ID）と処理識別子（ID）によって、振り分け先のサービスと処理内容を識別して、該当するサービスへ処理を振り分け、処理結果を連携サービス識別子と処理識別子によって後段のサービスを特定して送信する。
　Proxy114は、上述の通りソフトウェアとしてその機能を提供してもよいし、ハードウェアとしてその機能を提供してもよい。すなわち、Proxyは、ネットワーク経由で送信されてきたRequestのヘッダ情報を読み取り、各Proxyが管理しているデータセンタ内の複数のサービスに対して、ヘッダ情報に適合したサービスへ処理を振り分ける。また、処理を振り分ける際に、サービスに適したフォーマットに変換する。
　本実施例の構成において、複数のサービスが連携する際には、前段のサービスを管理するProxyが前段のサービスの負荷状況を次段のサービスを管理するProxyに送信することによって、負荷状況を事前に通知し、適切なリソースを確保することでサービス毎に設定されたQoS情報を満足することを可能にする。また、Proxyはデータセンタ内のリソース管理マネージャである、後で詳述されるデータセンタ(DC)管理ノードと連動し、サーバリソース、ネットワークリソース、ストレージリソースをサービス稼働状態のときにQoSを満たすだけのリソースを利用することによって、データセンタ内の電力利用を適切にし、ひいてはシステム全体が省電力化を実現することを可能にする。
　serviceD115は、ソフトウェアの機能をネットワークを経由して、利用できるようにしたものである。サービスが複数連携することによって提供することも可能であり、Proxy114と接続されている。サービス連携情報116は連携サービスを提供するにあたり必要なサービスの接続関係とインタフェースが異なる場合の変換ルールが記載されている。サービス連携情報は１連携サービスごとに存在し、この情報を各Proxyに送信することによってProxy間の接続関係を明確にでき、各Proxyが管理するサービスを連携させることが可能になる。
　DNS120(Domain Name System)は、URL(Uniform Resource Locator)の名前解決するためのシステムである。クライアントからサービスにアクセスする際に使用する。QoS情報(ServiceA)121はProxyが管理する各サービスのQoSを定義する情報であって、各サービスはQoS情報の範囲でサービスを提供することが望ましい。QoS情報はサービス提供者である顧客と交わす契約から構築した情報であり、たとえばSLA(Service Level Agreement)といった情報を基に、サービスの応答時間、サービスの接続可能数といったクライアントから見たサービスの品質にかかわる情報を定義している。連携サービスのおいてもQoS情報は定義することができ、連携サービスも同様にサービス提供者とデータセンタ事業者が交わす契約であるSLAを基本として作成するものである。
　図２は、データセンタによる連携サービスの一具体例を示す図である。同図においては、データセンタDC1 202、DC2 209、DC4 206により、複数のサービスが連携して１つのService AA207を提供している。すなわち、Service A205とService C203とService D204が、シーケンシャルに処理が実施されることで、Service AAに定義するServiceを実現する。同図において、点線は処理の流れを示している。サービス名は、サービスの名前にアルファベット２つ並んでいる場合には、連携サービスを指し、１つの場合には、自分以外の構成要素を含まないサービスを指すものとする。
　図３Ａは図１に示した本実施例のシステム中のデータセンタ(DC)内のProxyの機能構成の一例を示す構成図である。このProxyは、上述の通り、ソフトウェアとしてその機能を提供してもよいし、ハードウェアとしてその機能を提供してもよい。ハードウェアとして提供する場合、例えば、Proxyの機能を搭載した負荷分散装置が利用できる。
　図３Ａにおいて、符号301はサービス、符号302はフォーマット変換部、符号303は送受信部、符号304はサービス振分部、符号305はサービス管理情報を記録するサービス管理テーブル、符号306は負荷予測部、符号307はサービス振分判断部、符号308は負荷情報送受信部、符号309は前段サービス、符号310はQoS監視部、符号311はQoS情報策定部、符号312は振分け先決定部、符号313は制御用送受信部、符号314はQOS定義テーブル、符号315は後段サービス、符号316は構成確認要求、符号317は子管理ノードであり、各データセンタ内のリソース管理マネージャとして機能するデータセンタ(DC)管理ノード、符号318は親管理ノードであるCloud Manager、符号332は他データセンタ（DC）、符号333はトラフィック監視テーブル、符号334は監視部である。
　なお、他データセンタ(DC)332は、データセンタ(DC)300と同様、サーバリソース、ストレージリソース、ネットワークリソースとリソース管理マネージャであるDC管理ノード等で構成される。すなわち、他DC332は、同図にそのハードウェア構成を示すように、リソースとして機能する通信装置335、通信経路336、情報処理装置337、各種ソフトウェアを保持する記憶装置338、及びDC管理ノード339などから構成される。
　次に図３Ａに示すProxy内の各機能ブロックを使ってその動作、処理の流れを説明する。まず、他のデータセンタからWAN経由で送信されてきたサービスリクエストに対してProxy内の送受信部303が受信する。送受信部303は、フォーマット変換部302、QoS監視部310、サービス301等と接続され、他データセンタ(DC)やクライアントとサービスに関する情報をやり取りするインタフェースである。他データセンタやクライアントからProxyが管理するサービスへのRequestを受信し、処理結果を他のデータセンタやクライアントへ送信する。サービスのRequestには、SOAP(Simple Object Access Protocol)やREST(Representational State Transfer)のような分散処理システムで利用するメッセージ交換プロトコルを想定している。送受信部303は、受信データをフォーマット変換部302へ転送、さらにはサービス処理結果に対してサービス管理テーブル305のサービス管理情報から送信先を参照し、ヘッダ情報を付けて送信する役目を持つ。
　一方、送受信部303に入力されるデータは、監視部334によってモニタリングされており、サービス単位でトラヒック量の時間変動を計測し、トラヒック監視テーブル333に蓄積する。蓄積する際、監視部334によって計測データに圧縮処理を実施してもよい。そして、送受信部303は受信データから送信元のサービス識別子と処理識別子を取得し、フォーマット変換部302へ取得した情報を転送する。
　図４に本実施例において使用するトラヒック監視テーブル333の一例を示した。同図において、401はサービス識別子、402は連携サービス識別子、403は圧縮フラグ、404は監視期間、405はデータ参照先である。Proxyが管理するサービスにおいて、当該Proxyが存在するデータセンタに対してWAN側から流れ込むトラヒック量と、WAN側へ送出するトラヒック量をProxyの監視部334で監視する。本テーブル333は、サービスごとに抽出したトラヒックデータを蓄積するために必要なテーブルである。以下、トラヒック監視情報テーブル333の説明をする。
　サービス識別子401は観測したトラヒックのサービスを特定する情報である。連携サービス識別子402は、サービスリクエストを発行したクライアントやサービス及び応答先を識別する情報である。この連携サービス識別子402をキーとして、後で説明する、図５に示すサービス管理テーブル305から送信元情報と送信先情報を取得するために用いられる。圧縮フラグ403はデータ参照先のファイルに記載されているデータが圧縮されているか否かをデータ利用者やプログラムに提示するための情報である。監視期間404はデータ参照先にあるデータの監視開始時間と監視終了時間が記載されている項目である。データ参照先405は実際のトラヒック監視情報が記載されているファイル名である。
　なお、すべてのサービスの単位時間ごとのトラヒック量を蓄積する場合、蓄積する期間やサンプリングの間隔によってProxyが管理するストレージを圧迫しかねないため、蓄積するデータをある程度可逆性のあるデータへ圧縮する方法をとることも可能である。たとえば、サービスのトラヒック量の時間的変動を、wavelet変換等を用いることにより、サービスのトラヒック特性を踏まえて圧縮することが可能になる。このときの圧縮に利用した関数や関数の入力パラメータ等の情報を蓄積データとして登録することもできる。ファイルがwavelet変換等で圧縮されている場合には、ファイルのフォーマットを読み取り、フォーマットを確認し、展開して利用する。
　図３Ａのフォーマット変換部302は、送受信部303から受信したデータを解析し、Proxyが管理するいずれのサービスの入力値であるかを判定し、そのサービスの入力フォーマットへ変換処理を行う機能を持つ。フォーマット変換ルールはサービス管理テーブル305で管理されており、受信データの中に記載されたサービス識別子や処理識別子等をキーとして変換ルールを取得する。すなわち、フォーマット変換部302は、取得した情報を基にサービス管理テーブル305を参照して、処理内容を決定し、必要であれば、受信データを処理内容に合わせてフォーマット変換を行う。異なるデータセンタ間でサービスを連携させる場合、サービス間のインタフェースの違いを吸収するモジュールが必要になる場合がある。これに対し、サービスを開発する際にサービスの入出力を定義する、図示を省略したインタフェース定義ファイルを作成し、サービス連携時に、入力側のインタフェース定義ファイルと出力側のインタフェース定義ファイルを比較し、変換ルールを作成することで対応できる。
　この変換ルールは、図５を用いて説明するサービス管理テーブル305の変換ルールと同義である。たとえば、インタフェースがXML（eXtensible Markup Language）であれば、XSLT(XML Stylesheet Language Transformations)で作成された変換ルールファイルを作成することになる。そこで、このときの変換ルールに関してはサービス管理テーブル305を参照する。
　図５に本実施例のサービス管理情報を記録するサービス管理テーブル305の一例を示した。サービス管理テーブル305はサービス間の連携方法を記載したサービス管理情報を示すデータを保存するテーブルであって、データセンタ内のサービスを管理するProｘｙ毎に持つ管理テーブルである。Proxyはデータセンタ内のサービスグループを管理するため、サービスグループが複数存在すれば、Proxyも複数存在してもよく、その場合、サービス管理テーブルはProxy分存在する。
　このサービス管理テーブル305は、RAM(Random Access Memory)やHDD(Hard Disk Drive)などの記録用媒体、記憶装置に蓄積されており、例えばデータベースのようなソフトウェアで管理されている。前段のProxyが送信してきたサービスリクエストに対して、いずれのサービスへ処理を振り分ければよいかを判断し、リクエストの値とProxyが管理するサービスの入力値が異なる場合であれば、それを変換するためのルールを持つ。さらに、サービスの処理結果の送信先をも管理する。
　図５において、符号601はサービス名、符号602はサービス識別子、符号603は処理識別子、符号604は送信元情報、符号605は振分ルール、符号606は送信先情報、符号607は変換ルール、符号608は連携サービス識別子である。この連携サービス識別子608は複数サービスが連携して、１つのサービスを提供するときのサービス識別子を示す。本実施例では使用しないが連携サービス毎に優先順位を付ける場合に、他データセンタ等からのリクエストと優先順位を対応づける場合に利用する。
　ここで、サービス名601はProxyが管理しているサービス名である。サービス識別子602はProxyが管理しているサービスの識別子を示す。サービス振分部604においてデータセンタ内のサービスを呼び出すときに利用する。処理識別子603は同じ連携サービスで、複数回同じサービスを利用する場合の識別情報をとして利用する。送信元情報604はサービスの要求元情報を示す。サービス要求元に対して他データセンタへの負荷分散指示を出すことから、サービス要求元のProxyに接続でき、さらに要求元のサービスを特定できる情報を登録する。例えば、Proxyへの接続URL(Uniform Resource Locator)、及びサービス識別子である。振分ルール605は複数のデータセンタに対して処理振り分けを実施する場合の振分ルール及び重みを示す。送信先情報606は振分ルール605に従って処理を依頼するためのURI（Uniform Resource Identifier）を示す。具体的には、振り分け先のサービスが特定できるURLである。変換ルール607はProxyでサービス要求を受信した際に、サービスの入力フォーマットに変換するためのルールを示す。ここでは入力情報としてXML (Extensible Markup Language)を受信したことを想定し、変換するためのXLST(XML Stylesheet Language Transformations)ファイル名を例に示した。
　図３Ａのフォーマット変換部302でフォーマット変換された受信データは、サービス振分部304に転送され、該当するサービスへ処理を依頼する。フォーマット変換部302がサービス振分部304にデータを転送する。
　サービス振分部304は、処理内容に従い、該当するサービスへ処理を依頼する。サービス振分部304はフォーマット変換部302、サービス301と接続され、フォーマット変換部302もしくは送受信部303から転送されたデータを、サービス管理テーブル305記載のルールに従って、該当するサービスへ当該データを転送する。このとき依頼するサービスは、当該Proxyが管理するサービス301である。
　サービス301は、後で説明するデータセンタ(DC)内の仮想マシン等の上で動作するプログラムであり、送受信部303、サービス振分部304と接続されている。サービス301は処理を完了すると送受信部303へサービス情報と処理識別子とともに処理結果を転送する。送受信部303は、各サービスからの処理結果を受け、サービス管理テーブル305を参照して、次の転送先サービスを検索してWAN経由で送信する。
　一方、図３ＡのQoS監視部310は、以上の説明したサービスへのリクエストが随時発生している際に、送受信部303からのサービスごとのスループットを参照してQoS違反が発生していないかを監視する。QoS監視部310は、送受信部303、サービス振分判断部307と接続され、送受信部303を常時監視し、サービス毎のQoSをチェックする。QoS定義テーブル記載の確認項目に対して違反を検出するとQoS監視部310は、サービス振分判断部307に対してサービス識別子と違反内容を通知する。違反情報の検出方法の例として、QoS定義テーブル314には応答時間に対して単位時間内における許容可能な違反回数が記載されており、その回数を超えた場合にサービス振分判断部307に対して応答時間を超えたことを通知するなどである。すなわち、QoS監視部310によって違反が検出された場合、サービス振分判断部307にその違反情報が転送される。
　なお、図３ＡのQoS定義テーブル314は、Proxyが管理するサービスのQoS情報が登録されたテーブルである。サービス毎に定義された同時接続可能数や応答時間等の性能情報が登録されている。本情報は、サービス提供者がSLA(Service Level Agreement)として顧客(クライアント)と締結した内容に関連して定義される情報である。図１０に本実施例で用いるQoS定義テーブル314の一構成例を示した。
　図１０に明らかなように、QoS定義テーブル314は、サービス名1001毎に、サービス識別子1002、同時接続可能数1003、応答時間1004、利用帯域上限値1005が蓄積されている。サービス名1001はProxyが管理しているサービス名を示す。サービス識別子1002はProxyが管理しているサービスの識別子を示す。次に説明するサービス振分部307においてデータセンタ内のサービスを呼び出すときに利用する。同時接続可能数(単位時間当たり)1003はサービスが単位時間当たり接続できる接続数を規定する。応答時間1004はここではProxyにリクエストが到着して、サービスが実施されてProxyを経由して応答をかえすまでの時間をさす。利用帯域上限値1005は契約上サービス毎に規定されている利用帯域の上限値を示す。
　図３Ａのサービス振分判断部307は、事前に負荷予測部306から各サービスのリクエスト状況予測値を取得し、受け取った違反情報と合わせて他データセンタへ振り分けるか、当該Proxyが存在するデータセンタ内のリソース再割当によって処理性能を向上させるかを判断する。すなわち、サービス振分判断部307は、負荷予測部306、QoS監視部310、振分け先決定部312と接続され、QoS監視部310が検出した違反情報と、後で説明する負荷予測部306が計算した今後の負荷予測結果を基に、他データセンタへ処理を振り分けるか、内部のリソース再割り当てで対応可能かを判断する。
　振分け先決定部312は、サービス振分判断部307の判断の結果、他データセンタへ処理振り分けを実施する場合、候補となるデータセンタを検索して決定する。この検索方法は、既に候補として登録されているデータセンタ（DC）の中からサービスの要求性能、及びQoS定義テーブル314記載のサービス品質を提供するのに十分なリソースが存在するか否かを登録情報の中から検索してもよいし、現状に沿った振り分けを実施するのであれば、登録情報の検索結果に加えて現在の負荷情報をとり合わせるインタフェースを用いて、候補となるデータセンタ（DC）に問い合わせてもよい。振り分け先のデータセンタが決まると、必要であればサービスイメージ及び処理結果の転送先を記載したサービス管理テーブル305を該当するデータセンタへ転送して、サービスの起動を行う。
　他データセンタへ処理振り分けを行う際、制御用送受信部313を経由して、前段サービスを管理するProxyへ振り分け処理を依頼する。振り分けルールはQoS情報策定部311で作成したQoS情報を基に作成する。内部リソースの再割当を行う際には、同じ連携サービスで利用するサービスをグルーピングし、可能な限り同じ物理サーバ上で処理を実施させることによって、サービス要求時に発生する通信を軽減させることが可能になる。
　QoS情報策定部311は、振分け先決定部312、制御用送受信部313と接続され、振分け先決定部312の振分け先決定を受け、リクエスト振り分け率及びQoS情報をあらたに作成する。例えば、応答時間は元のQoS情報と同じにし、同時接続可能数を現在のデータセンタ分と振分け先のデータセンタ分で分割する。分割にあたり、負荷予測部306による負荷変動データセンタの能力を超える場合、超えた分を他データセンタへ処理を振り分ける。振り分ける際には、上述のとおり、前段のサービスを管理するProxyに対して振り分け処理を依頼する。
　QoS情報策定部311は、受信データのヘッダ部記載のサービス名を読み取り、上位階層のサービス名を取得する。受信データの本体部から送信元のサービス名を取得し、両者のサービス名をキーにサービス管理テーブル305で変換先のサービス名と変換ルールを検索し、フォーマット変換部302に変換ルールとサービス名、受信データの本体部を送信する。
　ここでは、複数のデータセンタがユーザシームレスに連携してサービスを提供する場合、その複数のデータセンタのリソースは１つのデータセンタのリソースとして見えることが望ましい。その時、複数のデータセンタが提供する同時接続可能数を合わせた数をQoS情報として定義できることを想定している。また、当該Proxyが存在するデータセンタにおいて、十分なリソースが存在し、かつサービスの契約帯域上限値まで当該サービスが利用していない場合には、制御用送受信部313から、管理装置であるDC管理ノード317に対してリソース再割当要求である構成確認要求316を送信し、負荷予測に合わせたサーバリソース、ネットワークリソースを再割当てる。他データセンタ(DC)332を利用した処理振り分けによるQoS違反の回避、及びデータセンタ内の余剰リソースの再割当によるQoS違反の回避は、実施するまでのコストを考慮し、まずは後者を優先的に実施し、他データセンタへの処理振り分けはその後に実施することが望ましい。後者においても、サービス管理情報等の必要な情報が、他データセンタ(DC)332のプロキシに送信される。
　制御用送受信部313は、QoS情報策定部311、Cloud Manager 318、他DC332、管理装置であるDC管理ノード317と接続され、サービス管理情報、QoS情報や、構成確認要求316などの情報等を送受信するインタフェースである。なお、DC管理ノード317は構成確認要求316を受信すると、その内部に構成確認要求テーブルを作成することもできる。構成確認要求テーブルの構成は、図５を用いて説明したサービス管理テーブルと同様な形式となり、その一例を図１２として示したが、図５のサービス確認要求テーブル同様、振分ルール605も記録しても良い。その内容は、図５と同様であるのでここでは図示、説明を省略する。すなわち、番号1201～1207は図５の番号601～607に対応している。
　負荷予測部306は、制御用送受信部313、サービス振分判断部307と接続され、前段サービスと連携したサービスを提供するサービスが存在し、該サービスは前段サービスの負荷変動に関連した負荷変動とすることを想定した場合、前段のサービスの直近の負荷変動を取得することで、過去の変動履歴と合わせて、該サービスの負荷変動を予測する。
　図３Ａにおいて、WANに接続される前段サービスのサービス309は、受信データのヘッダ部記載のサービス名を読み取り、上位階層のサービス名を取得する。受信データの本体部から送信元のサービス名を取得し、両者のサービス名をキーに、サービス変換テーブルから変換先のサービス名と変換ルールを検索し、フォーマット変換部に変換ルールとサービス名、受信データの本体部を送信する。同様に、後段サービスのサービス315は受信データのヘッダ部記載のサービス名を読み取り、上位階層のサービス名を取得する。受信データの本体部から送信元のサービス名を取得し、両者のサービス名をキーにサービス変換テーブルから変換先のサービス名と変換ルールを検索し、フォーマット変換部に変換ルールとサービス名、受信データの本体部を送信する。
　Cloud Manager318や他DC332は受信データのヘッダ部記載のサービス名を読み取り、上位階層のサービス名を取得する。受信データの本体部から送信元のサービス名を取得し、両者のサービス名をキーにサービス変換テーブルから変換先のサービス名と変換ルールを検索し、フォーマット変換部に変換ルールとサービス名、受信データの本体部を送信する。
　図３Ｂは、以上説明した、実施例１のプロキシ(Proxy)における負荷予測から振り分け処理実施までのシーケンスの一例を示す図である。まず、制御用送受信部313は、前段サービス負荷情報を負荷予測部306に送信する（S406）。負荷予測部306は、受信した情報の復号化処理を行い（S407）、予測期間等のパラメータ設定を行い（S408）、トラフィック量予測処理を行い、予測情報をサービス振分判断部307に送信する（S409、S410）。サービス振分判断部307は回線帯域確認を行い（S411）、回線帯域超過分の振分け先決定依頼を送信する（S412）。依頼を受けた振分け先決定部312は、超過分の振分け先決定を行い(S413)、QoS情報策定依頼と共に、決定した振分け先一覧と振分けスループットをQoS情報策定部311に送信する（S414）。QoS情報策定部311は、振分けたトラフィックそれぞれに対しQoSを設定する（S415）。設定したQoS情報を振分ルールとしてサービス管理テーブル305に格納する（S416）。
　なお、以上説明した実施例１のデータセンタ(DC)のプロキシ(Proxy)における振分け処理方法の変形例を説明する。本実施例のデータセンタ間連携サービスシステムに利用される、いずれの通信回線も有限であることから、効率的に通信回線を使用できるように、夫々のサービスに優先度を設定する。
　すなわち、複数のサービスで使用する通信回線が競合し、他の要素で通信帯域の割り当てを解決できなかった場合に、振分け先決定部312は、図６に示す優先度制御管理テーブル609を利用して、割り当てる通信帯域の内訳を決定することができる。同図の優先度制御管理テーブル609は、サービス識別子602に対応する優先度制御情報610を記録する。この優先度制御管理テーブル609はサービスを管理するProxy単位で存在し、Proxyが存在するデータセンタ内サービスの優先順位を定義するものである。この優先度制御管理テーブル609は、図５に示したサービス管理テーブル305を拡張する形で蓄積することも可能であるが、別個に用意する形でも良い。
　以上のように、プロキシ(Proxy)が各サービスにおいて、複数のサービス間の使用帯域の割り当てを調整する際に、振分先決定部312は、この優先度制御管理テーブル609を参照して優先度の高いサービスから帯域割り当て実施する。
　図６に示すように、優先度制御情報記載の優先度は３種類存在し、優先順位の高いほうから帯域保証型、帯域確保型、ベストエフォート型とする。帯域保証型は、サービスを提供する上で決められた最大帯域を保証するものであり、他の優先度を持つ連携サービスと使用回線が競合した場合、優先的に通信帯域を割り当てる。帯域確保型は、使用回線の通信帯域に余裕がある場合は、必要な通信帯域を割り当てるが、帯域保証型のサービスと帯域確保型のサービスで使用回線が競合する場合には、帯域保証型のサービスを優先して帯域を割り当て、帯域確保型サービスの使用帯域は要求帯域以下で運用することを許容する。また、ベストエフォート型の連携サービスと使用回線が競合する場合には、帯域確保型のサービスに優先的に帯域を割り当てる。ベストエフォート型は、最大帯域は決められているが、その帯域を保証されない。サービスを提供するタイミングで使用回線の帯域が余っていなければ、大きな遅延が発生する可能性もある。
　図７は第１の実施例におけるデータセンタ（DC）構成の一具体例を示す図である。このデータセンタ（DC）は、図１のDC1、DC2、DC3、DC４に対応する。同図に示すように、データセンタ(DC)は、DC管理ノード、プロキシ(Proxy)、通信制御装置、複数の物理マシン、及び記憶装置から構成されている。
　符号501はサービスグループ構築部、符号502はサービス構成情報、符号503は機器構成情報、符号504はネットワーク構成情報、符号505はネットワーク構成情報収集部、符号506はサービス稼働情報、符号507は制御パラメータ生成部、符号508はDC管理ノード、符号509は物理マシン、符号510はWAN、符号511は通信制御装置、符号512は物理マシン、符号513は仮想マシン、符号514は仮想マシン、符号515は仮想マシン、符号516は仮想マシン、符号517は仮想マシン、符号518はServiceA、符号519はServiceB、符号520はServiceC、符号521はServiceD、符号522はServiceD、符号523は構成確認要求、符号524は制御用送受信部、符号525は送受信部である。
　図７のデータセンタ（DC）構成において、物理マシン509はデータセンタ内において業務向けの情報処理を行うサーバ、すなわち情報処理装置337である。物理マシン509のハードウェア構成については、図示を省略した、一般のサーバの処理部であるＣＰＵ(Central Processing Unit)や記憶部であるメモリ等から構成されるコンピュータの構成と同じである。WAN510はデータセンタ(DC)が接続される広域ネットワークの一例である。通信制御装置511はいわゆるスイッチやルータ等に代表される通信装置であり、通信装置335に対応するる。利用しないポート等を発見した場合には、外部からポートやNIF(Network Interface)単位で省電力化モードにする機能を持っていることが望ましい。仮想マシン513は、例えばXen等の通常の仮想マシンをさす。サービスを実行するための動作環境をこの仮想マシン上に構築する。サービス構成情報502、機器構成情報503、ネットワーク構成情報504、サービス稼働情報506は、データセンタ(DC)の磁気記憶装置等の記憶装置に記憶されている。この記憶装置は、記憶装置338に対応している。
　また、ServiceA518はソフトウェアで実装されたアプリケーションであり、図７の例においては、ServiceD522と接続されている。ServiceB519はServiceD522と接続されている。ServiceD522はServiceB519、ServiceA518と接続されている。これらのサービスは、図３Ａのサービス301に対応していることは言うまでもない。
　Proxy内の送受信部525は、他データセンタやクライアントとサービスに関する情報をやり取りするインタフェースである。他データセンタやクライアントからProxyが管理するサービスへのRequestを受信し、処理結果を他のデータセンタやクライアントへ送信する。サービスのRequestには、SOAP(Simple Object Access Protocol)やREST(Representational State Transfer)のような分散処理システムで利用するメッセージ交換プロトコルを想定している。送受信部525では、受信データをフォーマット変換部へ転送、さらにはサービス処理結果に対して、先に説明したサービス管理テーブル305から送信先を参照し、ヘッダ情報を付けて送信する役目を持つ。なお、この送受信部525と制御用送受信部524は、それぞれ図３Ａの送受信部303と制御用送受信部313に対応する。
　図７において、Proxyの制御用送受信部524からDC管理ノード508に対して、サービス管理テーブル305から自データセンタが送信元情報、送信先情報両者とも記録されていないサービスに関する情報は削除し、図３Ａの構成確認情報316相当する構成確認要求523として送信する。同じくDC管理ノード317に対応するDC管理ノード508は構成確認要求523を受信してサービスグループ構成部501によって、隣接するサービスごとにグルーピングする。また、連携サービスが異なる場合でも、同じサービスを利用している場合もグルーピングの対象とする。そして、その内部に構成確認要求テーブルを蓄積することができる。
　その後、DC管理ノード508は、サービス構成情報502及びサービス稼働情報506、機器構成情報503を記憶装置から取得し、各サービスが動作している仮想マシンと物理マシンの対応を確認し、グルーピングの結果と対応結果とが異なる場合に、移行コストが一番小さい仮想マシンを見つけ出す。ネットワーク構成情報収集部505によってネットワークトポロジーを確認でき、トラヒックが削減されたことを確認する。以上のように移行する仮想マシンを発見すると、移行に関して必要なマイグレーション（Migration）に関するサーバやスイッチ、ソフトウェアに対する制御方法を制御パラメータ生成部507で生成し、実際の物理マシンへの制御を実施する。
　より具体的に説明すると、サービスグループ構築部501は、送信されてきた構成確認要求523に対して、前後に隣接するサービスや、同じサービスを利用している連携サービスなど、いくつかの状況に合致したサービスを後で説明する手法でグルーピングし、現在のサービス構成情報及び機器の構成情報を考慮して、移動コストが一番少ない仮想マシンを検索する。
　サービス構成情報502はデータセンタ内の物理マシン、仮想マシン、サービスの組み合わせにおいていずれのサービスがどこの物理マシン、仮想マシンで動作しているかを把握するための情報である。機器構成情報503はデータセンタ内の機器情報を把握するための情報であり、物理マシン509、512や通信制御装置511が何台存在し、何台稼働しているかを把握する。ネットワーク構成情報504は物理マシンや通信制御装置などの物理的なネットワークの接続関係について把握するための情報である。ネットワーク構成情報収集部505はネットワーク構成情報を収集し、現在のネットワークトポロジーを作成する。物理マシン、仮想マシン、ネットワークトポロジーの情報を基に、マイグレーションの結果利用しないマシンやネットワークがあるか否かを検索し、検索の結果利用しないノード等が有った場合、対象となるノードを省電力化モードにして電力を削減する。
　サービス稼働情報506はサービスが現時点どのくらい稼働率で動作しているのかを把握するための情報である。サービス毎の負荷変動情報を格納するである。制御パラメータ生成部507はサービスグループ構成部501とネットワーク構成情報収集部506の結果を反映するために、実際の制御パラメータに変換して制御を行う。機器によるインタフェースの違い等はここで吸収する。DC管理ノード508はデータセンタ内の情報処理リソースを統合管理する。リソースを監視し、稼働状況に合わせて仮想マシンの集約/分散を実施することによってデータセンタ内の省電力化を実現する。基本的には、サービスの稼働情報や機器構成情報等の収集機能を持っていればよい。
　以上、図７を用いて本実施例におけるデータセンタ(DC)の構成の一具体例を説明したが、その構成の変形例を図８Ａと図８Ｂを用いて説明する。
　まず、図８Ａにデータセンタ（DC）内のプロキシ(Proxy)のソフトウェアバージョンを示す。同図に見るように図３Ａを用いて詳述したプロキシ(Proxy)を図７の物理マシン上の仮想マシンの１つで構成する変形例である。同図において、図７と同一符号は、同一物を示している。プロキシ(Proxy)531は複数の物理マシンが収納されたサーバラック529中の物理マシン512の上に形成された仮想マシン530によって実現される。図７の構成同様、各種のプロキシ機能を実現すると共に、制御用送受信部532と送受信部533により、通信制御装置526、528、511、更には534を介して各種の通信を行う。
　一方、図８Ｂに、データセンタ（DC）内のプロキシ(Proxy)のハードウェアバージョンを示す。同図に見るように図３Ａで詳述したプロキシ(Proxy)を、通信制御装置中に設置された拡張ボード上で構成する変形例である。同図において、図７と同一符号は、同一物を示しているが、一部符号表示を省略した。本変形例においては、通信制御装置５３４上の拡張ボード535にプロキシ(Proxy)536が構成され、プロキシ機能を実現すると共に、制御用送受信部537と送受信部538により各種の通信を行う。
　図９Ａ、図９Ｂは実施例１における、データセンタ内のリソース割当時の動作を示すフローチャートを示す図である。すなわち、データセンタ（DC）内の情報処理位置を決定するためのフローチャートである。なお、フローチャート（１）、（２）は連続するフローチャートであり、丸印のＡ、丸印のＢにおいて連続する。本フローチャートでは、連携するサービスでグルーピングをし、サービス間のデータ受け渡しをサーバ内のメモリ上での受け渡しで完了するようにすることでネットワーク上の通信量を削減することを可能にする。
　まず、ステップ901はProxyの制御用送受信部からDC管理ノードに対して構成確認要求とQoS管理（定義）テーブルを送信し、DC管理ノード317が受信を行う処理である。
　ステップ902はDC管理ノード317で構成確認要求523を受信し、サービスグループ構築部501においてサービスグルーピング開始し、内部に保持する構成確認要求テーブル等を用いて、同じ連携サービス内で接続関係にあるサービスの存在を確認する処理である。すなわち、送信元情報及び送信先情報を参照し、あるサービスの送信元情報が、あるサービスの送信先情報になっていることを確認できるかを調べる処理である。もしあるサービスの送信元情報があるサービスの送信先情報になっていることを確認できれば、ステップ903へ進む。送信元情報及び送信先情報を参照し、あるサービスの送信元情報があるサービスの送信先情報になっていることを確認できなければ、ステップ914、すなわちENDへ進む。
　ステップ903はグループ番号を発番し、該当するサービスにグループ番号を付与する処理である。
　ステップ904はグループが存在する複数の連携サービスにおいて、グループ間で同じサービスが存在するか否かを確認かどうか調べる処理である。もしグループが存在する複数の連携サービスにおいて、グループ間で同じサービスが存在するか否かを確認できれば、ステップ905へ進む。もしグループが存在する複数の連携サービスにおいて、グループ間で同じサービスが存在するか否かを確認できなければ、ステップ906へ進む。
　ステップ905はグループ番号を発番し、該当するグループにグループ番号を付与する処理である。
　ステップ906で、DC管理ノード908は、機器構成情報903とサービス構成情報902から現在のサービス配置状況を取得する。
　続いて、図９Ｂのフローに移り、ステップ907で、グループごとにサービスが物理マシン上に集約するようにサービス配置案を作成する。
　ステップ908において、作成した配置案のうち、グループ内のサービスの帯域変動の時間変化予測値を重畳させ、物理マシンの持つ通信帯域を超えないサービスの組み合わせを持つ配置案を抽出する。
　ステップ909において、抽出した配置案のうち、グループ内のサービスの負荷変動の時間変化予測値を重畳させ、物理マシンのCPU使用率が100％以下になるサービスの組み合わせを持つ配置案を抽出する。
　更に、ステップ910において、抽出した配置案のうち、サービスの移動コスト、すなわち、転送時間、転送時の消費電力が最小になる配置案を抽出する。
　ステップ911において、抽出した配置案をもとに、VLAN(Virtual LAN)の設定を実施し、ステップ912において、該当するサービスに対して移動指示を発行する。
　ステップ913において、負荷分散装置の振分け先を設定し、終了する（ステップ914）。
　なお、以上説明したデータセンタ(DC)内のサービスグループ構築部501でのサービスグルーピングの処理フロー（901-914）の理解を助けるため、図１１のタイミングチャートとしてその概略を示した。同図におい明らかなように、子管理ノードであるDC管理ノード(DC1)1102中のプロキシ(Proxy1)1104が、構成確認要求とQoS定義テーブルをDC管理ノード(DC1)1102に送信する（801）ことで処理が開始される。
　まず、子管理ノード(DC1)1102では、サービスグルーピング処理を開始する(801、802、803)。すなわち、DC内で同じ連携サービスに属するサービスを検索する(804)。もし、同じ連携サービスに属するサービスを発見した場合、グループ番号（ID）を発番し、サービス管理テーブルに登録する(805)。複数のグループの中から重複するサービスを持つグループを検索し(806)、重複するサービスを持つグループを発見した場合、新たにグループIDを発番し、サービス管理テーブルに登録する(807)。全ての検索終了後、グループIDと各サービスの移動コストを基にして、サービスの配置を決定し(808)、サービスの移動を指示する(809)。
　以上、実施例１における、Proxyを利用したサービス振り分け方法を説明してきた。本実施例の方法では、応答時間と同時接続可能数で性能を評価しながら目的とするサービスのQoSを管理している。過剰なリソースが動作していることを検知すると、負荷に応じて過剰なリソースを省電力モードに移行させ、データセンタ内の消費電力を低減するシステムにおいて、データセンタをまたいで複数サービスが連携する場合、前段のサービスの稼働状況に応じて、後段のサービスを処理するためのリソースを増加させる。
　そのとき、前段のサービスは、常時サービスの負荷を計測しているデータセンタ内のDC管理ノードで、各サービスでQoSを違反した場合、スタンバイ状態のリソースを割り当て、即時対処するが、急激な負荷が発生した場合には、対応できず、複数のサービスを連携させて提供するサービスでは、QoS違反が他のサービスへも伝搬し、元々の違反以上の遅延や接続数の低下につながる可能性がある。
　そこで、複数のDC内のサービスを管理するProxyと、これら複数のProxyを管理する親管理ノード(Cloud Manager)を連携させ、この親管理ノードで、違反の伝搬を事前に検知して、違反を発生したサービス以降のサービスで違反を吸収し、システム全体で自律的にQoSを保証することを可能にする。
　第２の実施例として、複数のProxyを管理する親管理ノード(Cloud Manager)で違反の伝搬を事前に検知して、違反を発生したサービス以降のサービスで違反を吸収し、システム全体で自律的にQoSを保証することを可能とするネットワークシステムについて説明する。
　図３Ａ、図７等に示したように、各データセンタ(DC)には、管理装置としてのDC管理ノードが設置されているが、第２の実施例のネットワークシステムには、WAN等の広域ネットワークを介して、複数のデータセンタ（DC）の複数の管理装置、すなわち複数のDC管理ノードと情報を送受信可能な、親管理装置としての親管理ノード(Cloud Manager)318が設置されており、この親管理ノード(Cloud Manager)318は、実施例１のおける、各Proxyから取得できるサービス情報を基に接続関係と接続方法を決定し、各Proxyに対してサービス連携情報を送信するよう機能することに加え、違反の伝搬を事前に検知し、違反を発生したサービス以降のサービスで違反を吸収し、システム全体で自律的にQoSを保証する。
　　図１３に、本実施例における親管理ノードが、システム全体で自律的にQoSを保証する機能を説明するシーケンス図である。なお、図３Ａ等で説明した各データセンタ(DC)内の管理ノードを本実施例の説明においては、子管理ノードと呼び、親管理ノード(Cloud Manager)と区別する。
　まず、図１３において、データセンタ(DC1)の子管理ノード1102がデータセンタ(DC1)のプロキシ(Proxy)1104に対して、サービスIDリストと各サービスのQoS定義テーブルを送信する(1106、1107)。この送信を受け、プロキシ(Proxy)1104は、サービス(Service)IDリスト記載のサービスを監視対象に登録し(1108)、サービスが利用する通信帯域の監視を開始する(1109)。そして、サービスの通信帯域のQoS警戒点超えを検出した場合(1110)、検出したサービスのService IDを子管理ノード1102に送信する(1111、1112)。
　子管理ノード1102は移行先要求条件を決定し(1113)、決定した移行先要求条件を親管理ノード(Cloud Manager)1101に送信する(1114、1115)。親管理ノード1101では、移行先要求条件に合致するデータセンタ(DC)リストを作成し(116)、作成したDCリストを要求元の子管理ノード1102送信する(1117、1118)。
　子管理ノード1102ではDCリストを受け、DCリストのRTT(Round Trip Time)を調査して、優先順位決定を行い(1119)、優先順位上位のものからサーバのリソース確認要求を、決定したデータセンタ(DC2)の子管理ノード(DC2)1103に送信する(1120)と共に、直近未来のService 1のトラフィック変動を算出し(1121)、算出したService 1のトラフィック変動データ送信を行う(1122)。トラフィック変動データを受信した子管理ノード(DC2)1103では、Service2が動作するサーバを優先的に、Service1のトラフィックと重畳できるサービスの検出を行い(1123)、検出後、子管理ノード (DC2)1103にＯＫを返信する（1124）。
　返信に応答し、子管理ノード(DC1)1102は当該サービスの対象となるイメージデータ等と負荷分散制御ルールを子管理ノード(DC2)1103に送信する(1125)。子管理ノード(DC2)1103はそのイメージデータ等を該当するサーバに送信し(1126)、例えば、ＶＭＷａｒeを利用するシステムにあっては、vCenterに登録し(1127)、負荷分散装置へ負荷分散制御ルールを設定し(1128)、完了通知を行う(1129)。
　更に、本実施例おける親管理ノード1101が更に、データセンタ(DC)間の仮想マシン(VM)の配置最適化処理を施すよう機能する場合について説明する。
　図１４に本実施例に係わる、データセンタ(DC)間仮想マシン(VM)配置最適化処理を示すシーケンス図である。同図において、Cloud Serverである親管理ノード1101はサービスのフロー情報を各データセンタ(DC)の子管理ノードに対して定期的に収集を行う（1408）。この定期的な情報収集は、図１２の場合、子管理ノード1102、1103、1130に対し順次フロー情報取得要求を送信し（1409、1411、1413）、サービス単位のフロー情報を収集する(1410、1412、1414)。
　取得したサービスフロー情報からデータセンタ(DC)間でデータの送受信が存在するDCを複数(DC1,DC2)選択し(1415)、選択したDCのリストを作成し（1416）、最適化処理指示とDCリストを送信する（1417、1418）。DC2 1103に移動可能仮想マシン(VM)リスト要求を行う(1418)。これに対応し、DC2 1103において、各サービスの移動制約条件を基に、DC1 1102へ移動可能なVMリストを作成し(1420)、DC1 1102に送信する（1421）。
　これを受け、子管理ノードDC1 1102では、図１２のステップ1422～1429を実行する。すなわち、選択したVMが動作中の物理サーバのCPU負荷情報及びと送受信しているトラヒックの時系列データの予測値を取得(1423)、選択したVMのフロー情報とVMリストを基に選択したVMと通信が発生しているVMを検索(1424)、検索結果とDC１内で選択したVM以外のVMのCPU利用率及びトラヒック量の時系列データの予測値を選択したVMが動作中の物理サーバのそれに時間を合わせて重ね合わせ(1424)、CPU利用率が１００％、トラヒック量が物理サーバに接続された回線条件を超えないVMを検索(1426)、物理サーバにVMが一番たくさん搭載される場合を最適解とし、集約するVMのリストを作成(1427)、集約VMリストを基に、VMを物理サーバに移動(1428)、VMの集約が終了し、これまで選択されていないDC1内のVMを選択し、移動可能VMリスト要求から繰り返し実施する(1429)。
　本実施例によれば、複数のProxyを管理する親管理ノード(Cloud Manager)で違反の伝搬を事前に検知して、違反を発生したサービス以降のサービスで違反を吸収し、システム全体で自律的にQoSを保証することを可能となる。さらに、親管理ノード(Cloud Manager)により、データセンタ(DC)間の仮想マシン(VM)の配置最適化処理を施し、システム全体で自律的にQoSを保証し、省電力化を図ることができる。
　なお、本発明の種々の実施例について説明してきたが、本発明はこれらの実施例に限定されるものなく、様々な変形例が含まれうることは言うまでもない。上述した実施例は本発明のより良い理解のために説明したものであり、本発明はそれに限定されるもので無い。また、ある実施例構成の一部を他の実施例の構成に置き換えることも可能であり、ある実施例の構成に他の実施例の構成を加えることも可能である。また、上述した各実施例の構成、機能、処理手段等は、それらの一部又は全部をソフトウェア構成のみならず、専用のハードウェア構成、あるいはそれらを共用した構成としても良いことは言うまでもない。
　また、以上詳述した本発明の開示内容から明らかなように、特許請求の範囲に記載された請求項に係る発明以外の発明も、本願明細書に多数存在する。その一部を例示すれば下記のとおりである。
　例示１：ネットワークシステムは外部のネットワークシステムからの要求に対してサービスを提供するシステムであって、当該ネットワークシステムは当該サービスを管理するソフトウェアと、前記ソフトウェアと連動してネットワークシステムを構成する情報処理装置や通信機器などの管理を行う管理装置と、当該ネットワークシステムを構成し、当該サービスを実行するための情報処理装置及び通信装置によって構成された前記ネットワークシステムにおいて、サービスを実行する情報処理装置の位置を変更することでネットワークシステム内に発生する通信量を削減し、利用していない装置等の電力を下げ、さらには省電力向けのシステムが備わる装置については前記管理装置から省電力を実現する状態に変更することで、前記ネットワークシステム全体の省電力化を実現するリソース割当方法。
　例示２：例示１のネットワークシステムを複数連動させることによって高負荷なサービス要求に対してもお応答性能を確保しつつ省電力化を実現できるネットワークシステム。
　例示３：例示２の連動したネットワークシステムにおいて、ネットワークシステム上で提供するサービスを連携させることによって、前段で発生した高負荷なサービス要求に対しても、必要十分な資源を各ネットワークシステムから確保し、決められたサービス品櫃保証を実現することができる例示１のソフトウェア。
　例示４：ネットワークシステムの構成要素を管理する管理装置がネットワークシステムとネットワークシステム外部のネットワークシステムをつなぐネットワークを管理する例示１のソフトウェアにおいて、前記ソフトウェアが管理するサービス間の連携方式が記載されているサービス管理情報を例示１の管理装置が前記ソフトウェアから取得し、前記管理装置が管理する情報処理装置及び通信機器を制御し、サービスの実行場所を決定することで通信量を削減することを可能にする管理装置。
　例示５：例示１のネットワークシステムにおいて、当該ネットワークシステム以外の複数のネットワークシステムが提供するサービスとの接続関係が記載された前記ソフトウェアが管理するサービス管理情報。
　例示６：例示３の前記ソフトウェアに関して複数のネットワークシステムにそれぞれ例示３の前記ソフトウェアと前記ソフトウェアが管理する例示５のサービス管理情報を所有させてサービスの接続関係を規定し、さらにそれぞれネットワークシステムが提供するサービスの入出力の違いを前記ソフトウェアで変換して吸収することで入出力の異なるサービス間を連携させることを可能にするサービス連携方法。
　例示７：ネットワークシステムが提供するサービスを例示３のソフトウェアで管理し、さらにそれぞれのサービスのサービス品質をサービス品質定義情報によって管理することで、サービス品質の劣化を検知することが可能な例示３のソフトウェア。
　例示８：ネットワークシステムが提供するサービスを例示３のソフトウェアで管理し、さらにそれぞれのサービスのサービス品質をサービス品質定義情報によって管理することで、サービス品質の劣化を検知することが可能なサービス品質定義情報。
　例示９：ネットワークシステム内の通信量削減するためのサービスの実行位置を決定する例示４の管理装置において、前記実行位置を決定するために、前記ネットワークシステムが提供するサービスのソフトウェアの入出力先情報に対して当該ネットワークシステム外のサービスからの入力や当該ネットワークシステム外のサービスへの出力になる当該ネットワークシステムが提供するサービスを除いた情報として例示３のソフトウェアが生成して例示４の管理装置へ転送する構成要素確認要求情報。
　例示１０：例示１のソフトウェアが実装されたサービス管理装置。
　本発明はネットワークサービス運用システムに係り、特に、ネットワークサービスの品質の保証を行うネットワークサービス運用管理技術として極めて有用である。
101・・・Client
102・・・WAN
103・・・Cloud Manager（親管理ノード）
104・・・DC4
105・・・Proxy
106・・・serviceA
107・・・DC3
108・・・Proxy
109・・・serviceB
110・・・DC2
111・・・Proxy
112・・・serviceC
113・・・DC1
114・・・Proxy
115・・・serviceD
116・・・サービス連携情報
120・・・DNS
121・・・QoS情報(ServiceA)
124・・・QoS情報(serviceAtoD)
127・・・ServiceE
201・・・ServiceB
203・・・ServiceC
204・・・ServiceD
205・・・ServiceA
207・・・ServiceAA
300・・・データセンタ(DC)
301・・・サービス
302・・・フォーマット変換部
303・・・送受信部
304・・・サービス振分部
305・・・サービス管理テーブル
306・・・負荷予測部
307・・・サービス振分判断部
309・・・サービス
310・・・QoS監視部
311・・・QoS情報策定部
312・・・振分け先決定部
313・・・制御用送受信部
314・・・QOS定義テーブル
315・・・サービス
316・・・構成確認要求
317・・・DC管理ノード
318・・・Cloud Manager
332・・・他DC
333・・・トラフィック監視テーブル
334・・・監視部
335・・・通信装置
336・・・通信経路
337・・・情報処理装置
338・・・記憶装置（ソフトウェア）
339・・・DC管理ノード
401・・・サービス識別子
402・・・連携サービス識別子
403・・・圧縮フラグ
404・・・監視期間
405・・・データ参照先
501・・・サービスグループ構築部
502・・・サービス構成情報
503・・・機器構成情報
504・・・ネットワーク構成情報
505・・・ネットワーク構成情報収集部
506・・・サービス稼働情報
507・・・制御パラメータ生成部
508・・・DC管理ノード
509・・・物理マシン
510・・・WAN
511・・・通信制御装置
512・・・物理マシン
513・・・仮想マシン
514・・・仮想マシン
515・・・仮想マシン
516・・・仮想マシン
517・・・仮想マシン
518・・・ServiceA
519・・・ServiceB
520・・・ServiceC
521・・・ServiceD
522・・・ServiceD
523・・・構成確認要求
524・・・制御用送受信部
525・・・送受信部
526、527、528、534・・・通信制御装置
535・・・拡張ボード
601、1201・・・サービス名
602、1202・・・サービス識別子
603、1203・・・処理識別子
604、1204・・・送信元情報
605・・・振分ルール
606、1206・・・送信先情報
607、1207・・・変換ルール
608・・・連携サービス識別子
609・・・優先度制御管理テーブル
1001・・・サービス名
1002・・・サービス識別子
1003・・・同時接続可能数
1004・・・応答時間
1005・・・利用帯域上限値。

Claims (15)

  1. 外部からのリクエストに対してサービスを提供するネットワークシステムであって、
    前記サービスを実行するための情報処理装置及び通信装置と、前記サービスを管理するソフトウェアを記憶する記憶装置と、前記ソフトウェアと連動して前記情報処理装置及び前記通信装置の管理を行う管理装置とを備え、
    前記情報処理装置は、前記リクエストを受信し、前記リクエストに対する前記サービスの処理結果を送信する送受信部と、
    前記リクエストを解析し、前記サービスのいずれに対するリクエストかを判定した結果に基づき、前記リクエストを振分けるサービス振分部と、
    前記リクエストに対する、前記サービス毎のQoS違反を監視するQoS監視部と、前記QoS監視部が、QoS違反を検出した場合、前記リクエストの処理を、前記ネットワークシステム内のリソース再割当てで対応するか、他ネットワークシステムに振分るかの判断結果に基づき、前記リクエストの処理の振分先を決定する振分け先決定部と、前記決定された振分け先に基づいて作成される構成確認要求を前記管理装置に送信する制御用送受信部を備え、
    前記管理装置は、前記構成確認要求に基づいて、前記サービスを実行する前記情報処理装置の位置を変更する、
    ことを特徴とするネットワークシステム。
  2. 請求項１に記載のネットワークシステムであって、
    前記管理装置は、前記ネットワークシステム内に発生する通信量を削減し、電力を下げることにより、前記ネットワークシステム全体の省電力化のために、前記情報処理装置の位置を変更することを特徴とするネットワークシステム。
  3. 請求項２に記載のネットワークシステムであって、
    前記情報処理装置は、前記振分先決定部の決定を受け、リクエスト振分率及びQoS情報を含むサービス管理情報を策定するQoS情報策定部を備え、
    前記制御用送受信部は、前記QoS情報策定部が策定した前記サービス管理情報を、構成確認要求とともに前記管理装置に送信する、
    ことを特徴とするネットワークシステム。
  4. 請求項３に記載のネットワークシステムであって、
    前記情報処理装置は、前記サービス管理情報をサービス管理テーブルに蓄積する、
    ことを特徴とするネットワークシステム。
  5. 請求項４に記載のネットワークシステムであって、
    前記情報処理装置は、前記サービス管理テーブルに管理する前記サービス管理情報として、前記他ネットワークシステムが提供するサービスとの接続関係を記録する、
    ことを特徴とするネットワークシステム。
  6. 請求項３に記載のネットワークシステムであって、
    前記管理装置は、前記制御用送受信部から受信した前記サービス管理情報を用いて、前記管理装置が管理する前記情報処理装置及び前記通信装置を制御し、前記サービスの実行場所を決定する、
    ことを特徴とするネットワークシステム。
  7. 請求項６に記載のネットワークシステムであって、
    前記管理装置は、前記構成確認要求を受信した場合、前記サービス管理情報に基づき、前記サービスに連携するサービスが存在するか否かを確認し、存在する場合にサービスグルーピング処理を実行する、
    ことを特徴とするネットワークシステム。
  8. 外部からのリクエストに対してサービスを提供するネットワークシステムのサービス品質制御方法であって、
    前記ネットワークシステムは、前記サービスを実行するための情報処理装置及び通信装置と、前記サービスを管理するソフトウェアを記憶する記憶装置と、前記ソフトウェアと連動して前記情報処理装置及び前記通信装置の管理を行う管理装置とを備え、
    前記ネットワークシステムの前記管理装置は、前記サービスを実行する前記情報処理装置の位置を変更することにより、前記ネットワークシステム内に発生する通信量を削減し、電力を下げることにより、前記ネットワークシステム全体の省電力化を図る、
    ことを特徴とするサービス品質制御方法。
  9. 請求項８に記載のサービス品質制御方法であって、
    前記情報処理装置は、前記リクエストを受信し、
    前記リクエストを解析し、前記サービスのいずれに対するリクエストかを判定した結果に基づき、前記リクエストを振分け、
    前記リクエストに対する、前記サービス毎のQoS違反を監視し、
    前記QoS違反を検出した場合、前記リクエストの処理を、前記ネットワークシステム内のリソース再割当てで対応するか、他ネットワークシステムに振分るかの判断結果に基づき、前記リクエストの処理の振分先を決定する、
    ことを特徴とするサービス品質制御方法。
  10. 請求項９に記載のサービス品質制御方法であって、
    前記情報処理装置は、前記リソース内の再割当てで対応すると決定した場合、サービス管理情報を作成し、作成した前記サービス管理情報と構成確認要求を前記管理装置に送信する、
    ことを特徴とするサービス品質制御方法。
  11. 請求項１０に記載のサービス品質制御方法であって、
    前記情報処理装置は、前記サービス管理情報をサービス管理テーブルに蓄積すると共に、
    前記サービス管理情報として、前記他ネットワークシステムが提供するサービスとの接続関係を記録する、
    ことを特徴とするサービス品質制御方法。
  12. 請求項１０に記載のサービス品質制御方法であって、
    前記管理装置は、前記情報処理装置から受信した前記サービス管理情報を用いて、前記管理装置が管理する前記情報処理装置及び前記通信装置を制御し、前記サービスの実行場所を決定する、
    ことを特徴とするサービス品質制御方法。
  13. 請求項１０に記載のサービス品質制御方法であって、
    前記管理装置は、前記構成確認要求を受信した場合、前記サービス管理情報に基づき、前記サービスに連携するサービスが存在するか否かを確認し、存在する場合にサービスグルーピング処理を実行する、
    ことを特徴とするサービス品質制御方法。
  14. 請求項１０に記載のサービス品質制御方法であって、
    前記サービス管理テーブルに、前記サービスの接続関係を規定し、更に前記ネットワークシステム各々が提供する前記サービスの入出力の違いを前記ソフトウェアで変換して吸収することで入出力の異なる前記サービス間を連携させる、ことを特徴とするサービス品質制御方法。
  15. 請求項９に記載のサービス品質制御方法であって、
    前記情報処理装置は、前記リクエストの処理を、前記他ネットワークシステムに振分ると決定した場合、前記リクエストに係るサービス管理情報を前記他ネットワークシステムに送信する、
    ことを特徴とするサービス品質制御方法。
PCT/JP2011/069819 2010-12-07 2011-08-31 ネットワークシステム、及びそのサービス品質制御方法 WO2012077390A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012547728A JP5666620B2 (ja) 2010-12-07 2011-08-31 ネットワークシステム、及びそのサービス品質制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-272592 2010-12-07
JP2010272592 2010-12-07

Publications (1)

Publication Number Publication Date
WO2012077390A1 true WO2012077390A1 (ja) 2012-06-14

Family

ID=46206895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/069819 WO2012077390A1 (ja) 2010-12-07 2011-08-31 ネットワークシステム、及びそのサービス品質制御方法

Country Status (2)

Country Link
JP (1) JP5666620B2 (ja)
WO (1) WO2012077390A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078215A (ja) * 2012-09-20 2014-05-01 Nec Corp スケジュールシステム、スケジュール方法、スケジュールプログラム、及び、オペレーティングシステム
JP2014085773A (ja) * 2012-10-22 2014-05-12 Fujitsu Ltd リソース管理システム、リソース管理方法、およびリソース管理プログラム
JP2015001828A (ja) * 2013-06-14 2015-01-05 富士通株式会社 割当プログラム、割当装置および割当方法
JP2015022629A (ja) * 2013-07-22 2015-02-02 日本電信電話株式会社 統合制御装置および統合制御方法
WO2016016949A1 (ja) * 2014-07-29 2016-02-04 株式会社日立製作所 計算機システムおよび管理計算機の制御方法
JP2016143257A (ja) * 2015-02-03 2016-08-08 日本電信電話株式会社 管理装置、および、ソフトウェアコンポーネントグルーピング方法
JP2016541183A (ja) * 2013-11-25 2016-12-28 アマゾン・テクノロジーズ・インコーポレーテッド 分散システムにおける顧客志向ネットワークの限界

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218842A (ja) * 1996-02-14 1997-08-19 Fujitsu Ltd ロードシェアシステム
JP2009048607A (ja) * 2007-08-20 2009-03-05 Hitachi Ltd 視覚化および地理的分散データセンタ用記憶装置およびサーバプロビジョニング
JP2010146420A (ja) * 2008-12-22 2010-07-01 Hitachi Ltd 余剰資源管理システム、その管理方法、及びサーバ装置
JP2010250778A (ja) * 2009-04-20 2010-11-04 Ntt Data Corp コンピュータリソース提供システム、コンピュータリソース提供方法およびリソース取引プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004595A (ja) * 2005-06-24 2007-01-11 Hitachi Ltd コンピュータ制御方法、コンピュータ、情報処理システム、及びプログラム
JP5057361B2 (ja) * 2006-10-02 2012-10-24 独立行政法人 宇宙航空研究開発機構 資源の制約をともなう自律分散型制御
JP5104588B2 (ja) * 2007-10-18 2012-12-19 富士通株式会社 マイグレーションプログラム、および仮想マシン管理装置
US7801994B2 (en) * 2007-11-29 2010-09-21 Hitachi, Ltd. Method and apparatus for locating candidate data centers for application migration
JP4922255B2 (ja) * 2008-06-30 2012-04-25 株式会社日立製作所 情報処理システムおよびそのシステムにおける省電力制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218842A (ja) * 1996-02-14 1997-08-19 Fujitsu Ltd ロードシェアシステム
JP2009048607A (ja) * 2007-08-20 2009-03-05 Hitachi Ltd 視覚化および地理的分散データセンタ用記憶装置およびサーバプロビジョニング
JP2010146420A (ja) * 2008-12-22 2010-07-01 Hitachi Ltd 余剰資源管理システム、その管理方法、及びサーバ装置
JP2010250778A (ja) * 2009-04-20 2010-11-04 Ntt Data Corp コンピュータリソース提供システム、コンピュータリソース提供方法およびリソース取引プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078215A (ja) * 2012-09-20 2014-05-01 Nec Corp スケジュールシステム、スケジュール方法、スケジュールプログラム、及び、オペレーティングシステム
JP2014085773A (ja) * 2012-10-22 2014-05-12 Fujitsu Ltd リソース管理システム、リソース管理方法、およびリソース管理プログラム
JP2015001828A (ja) * 2013-06-14 2015-01-05 富士通株式会社 割当プログラム、割当装置および割当方法
JP2015022629A (ja) * 2013-07-22 2015-02-02 日本電信電話株式会社 統合制御装置および統合制御方法
JP2016541183A (ja) * 2013-11-25 2016-12-28 アマゾン・テクノロジーズ・インコーポレーテッド 分散システムにおける顧客志向ネットワークの限界
WO2016016949A1 (ja) * 2014-07-29 2016-02-04 株式会社日立製作所 計算機システムおよび管理計算機の制御方法
US9690610B2 (en) 2014-07-29 2017-06-27 Hitachi, Ltd. Computer system and management computer controlling method
JP2016143257A (ja) * 2015-02-03 2016-08-08 日本電信電話株式会社 管理装置、および、ソフトウェアコンポーネントグルーピング方法

Also Published As

Publication number Publication date
JP5666620B2 (ja) 2015-02-12
JPWO2012077390A1 (ja) 2014-05-19

Similar Documents

Publication Publication Date Title
JP5666620B2 (ja) ネットワークシステム、及びそのサービス品質制御方法
WO2021190482A1 (zh) 算力处理的网络系统及算力处理方法
CN107066319B (zh) 一种面向异构资源的多维调度系统
US7761557B2 (en) Facilitating overall grid environment management by monitoring and distributing grid activity
JP6563936B2 (ja) クラウドに基づく仮想オーケストレーターのための方法、システム、およびコンピュータ読取可能な媒体
EP2944072B1 (en) System for service allocation
JP6729399B2 (ja) システム、仮想化制御装置、仮想化制御装置の制御方法及びプログラム
CN114138486B (zh) 面向云边异构环境的容器化微服务编排方法、系统及介质
JP5113093B2 (ja) ネットワークの管理システム及び管理方法
WO2013104217A1 (zh) 基于云基础设施的针对应用系统维护部署的管理系统和方法
WO2012100544A1 (zh) 基于网络数据流向的虚拟机迁移方法、设备和集群系统
CN102469023A (zh) 基于云计算的调度方法、单元及系统
CN112994937A (zh) 智融标识网络中虚拟cdn的部署与迁移系统
CN116346948A (zh) 一种基于微服务的多协议规约转换方法及系统
Durga et al. Context-aware adaptive resource provisioning for mobile clients in intra-cloud environment
JP2004046372A (ja) 分散処理システム、リソース割当方法およびプログラムならびにリソース割当プログラムが記録された記録媒体
KR101081932B1 (ko) 멀티 에이전트 시스템의 부하 분산 방법 및 그 장치
CN115499432A (zh) 家庭终端算力资源管理系统及算力资源调度方法
Mokhtari et al. Multi-objective task scheduling using smart MPI-based cloud resources
JP6191361B2 (ja) 情報処理システム、情報処理システムの制御方法及び制御プログラム
Watashiba et al. An architectural design of a job management system leveraging software defined network
Xiang et al. Robust and cost-effective resource allocation for complex iot applications in edge-cloud collaboration
CN102761597A (zh) 一种基于业务感知的信息栅格系统架构
CN113098705B (zh) 网络业务的生命周期管理的授权方法及装置
WO2024041572A1 (zh) 业务处理方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11846554

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012547728

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11846554

Country of ref document: EP

Kind code of ref document: A1