WO2018230332A1 - 分散処理システム、及び分散処理システムの管理方法 - Google Patents

分散処理システム、及び分散処理システムの管理方法 Download PDF

Info

Publication number
WO2018230332A1
WO2018230332A1 PCT/JP2018/020582 JP2018020582W WO2018230332A1 WO 2018230332 A1 WO2018230332 A1 WO 2018230332A1 JP 2018020582 W JP2018020582 W JP 2018020582W WO 2018230332 A1 WO2018230332 A1 WO 2018230332A1
Authority
WO
WIPO (PCT)
Prior art keywords
operating
information
information processing
processing
configuration information
Prior art date
Application number
PCT/JP2018/020582
Other languages
English (en)
French (fr)
Inventor
宏明 郡浦
木下　雅文
伸之 茶木
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US16/494,601 priority Critical patent/US11010269B2/en
Publication of WO2018230332A1 publication Critical patent/WO2018230332A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2035—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/142—Reconfiguring to eliminate the error
    • G06F11/1425—Reconfiguring to eliminate the error by reconfiguration of node membership
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2025—Failover techniques using centralised failover control functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Definitions

  • the present invention relates to a distributed processing system and a distributed processing system management method.
  • Patent Document 1 describes that a control method using two host computers (host servers) takes over processing at the other host server when one host server fails.
  • Patent Document 2 describes that N active servers and one standby server are prepared, and the hard disk is made redundant and mirrored.
  • Patent Document 3 describes an active server and a standby server.
  • a server system including a plurality of redundant configurations each including a management server 3 that manages the redundant configuration is disclosed.
  • Patent Document 4 discloses, as another mechanism for ensuring redundancy, the server management system, based on information related to service levels, out of a plurality of systems configured with virtual machines, SLA (service level quality).
  • SLA service level quality
  • this ACT / ACT configuration has limitations regarding redundancy.
  • the ACT / ACT configuration has a problem that a predetermined number or more of information processing apparatuses must be provided, and handling regarding redundancy is fixed. Therefore, the introduction (trial introduction or small start) of the distributed processing system having the ACT / ACT configuration is burdensome and costly for the introducer (customer).
  • Patent Document 4 describes that the redundancy can be changed by changing the configuration according to the SLA, but a mechanism for guaranteeing the ACT / ACT configuration is not disclosed. It is not easy to ensure redundancy and flexible operation in a distributed processing system.
  • the present invention has been made in view of such a situation, and an object of the present invention is to provide a distributed processing system capable of stable operation while ensuring redundancy in the distributed processing system, and a management method of the distributed processing system.
  • the purpose is to provide.
  • one aspect of the present invention includes a plurality of information processing apparatuses including a processor and a memory that are communicatively connected to each other.
  • a distributed processing system capable of parallel processing performed in parallel with the information processing apparatus, and stores configuration information that is information relating to the number of the information processing apparatuses constituting the distributed processing system and a combination of the information processing apparatuses
  • a configuration information storage unit a state monitoring unit that monitors each operating state of the information processing device, and the number and combination of the information processing devices that are operating when a change in the operating state of the information processing device is detected
  • the configuration information is changed based on the changed configuration information, and the predetermined processing is performed on at least one information processing apparatus that is operating based on the changed configuration information.
  • a system reconfiguration unit to or parallel effected Germany.
  • FIG. 1 is a diagram illustrating an example of a configuration of a distributed processing management system 100 according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of the ACT / ACT configuration in the distributed application system 109 (case 1, case 2, and case 3).
  • FIG. 3 is a diagram illustrating an example of hardware and functions provided in the distributed application system monitoring server 106.
  • FIG. 4 is a diagram illustrating an example of the system configuration information 225.
  • FIG. 5 is a diagram illustrating an example of the communication destination information 226.
  • FIG. 6 is a diagram for explaining the hardware and functions of the distributed application server 108.
  • FIG. 7 is a diagram illustrating an example of the distributed data store configuration information 325.
  • FIG. 8 is a sequence diagram illustrating an example of processing performed by the distributed processing management system 100.
  • FIG. 9 is a flowchart illustrating an example of processing performed by the distributed application system monitoring server 106.
  • FIG. 10 is a flowchart illustrating an example of processing performed by the state transition processing definition information generation program 222.
  • FIG. 11 is a flowchart for explaining an example of the state transition process definition information 224 in Case 1.
  • FIG. 12 is a diagram illustrating an example of the data structure of the state transition process definition information 224 in Case 1.
  • FIG. 13 is a flowchart for explaining an example of the state transition process definition information 224 in Case 2.
  • FIG. 1 is a diagram illustrating an example of a configuration of a distributed processing management system 100 according to the present embodiment.
  • the distributed processing management system 100 includes devices 101, a sensor 102, and a destination server 103, a distributed application system 109 that is communicably connected to these devices, and a distributed application system 109. It includes a distributed application system monitoring server 106 that is communicably connected.
  • the device 101 is, for example, an information processing terminal (for example, a mobile phone, a smartphone, a tablet, or the like), and performs predetermined information processing in cooperation with the distributed application system 109.
  • an information processing terminal for example, a mobile phone, a smartphone, a tablet, or the like
  • the sensor 102 is, for example, a temperature sensor, an illuminance sensor, an acceleration sensor, or the like.
  • the sensor 102 acquires a predetermined measurement value in response to a request from the distributed application server 108 and transmits the acquired measurement value to the distributed application system 109.
  • the destination server 103 transmits the data and program of the distributed application system 109 to an external information processing apparatus, or transfers the data and program transmitted from the external information processing apparatus to the distributed application system 109.
  • the distributed application system 109 includes a plurality of distributed application servers 108 (108A, 108B,... 108N) connected to each other via a communication facility network 107B.
  • Each of the distributed application servers 108 is a predetermined application program (hereinafter referred to as “this application”) used by a user of the distributed application server 108 (hereinafter simply referred to as a user) and a predetermined application associated with the distributed application server 108.
  • this data (hereinafter referred to as this data).
  • the distributed application server 108 is communicably connected to the distributed application system monitoring server 106 via the communication facility network 107A.
  • the distributed application server 108 is communicably connected to the device 101, the sensor 102, and the destination server 103 via the wireless network 104 or the Internet 105.
  • the communication equipment network 107A and the communication equipment network 107B are, for example, a LAN (Local Area Network), a WAN (Wide Area Network), the Internet, an intranet, a dedicated line, and the like.
  • the wireless network 104 is, for example, a wireless LAN, a wireless WAN, a dedicated wireless communication network, or the like.
  • the distributed application system monitoring server 106 is a server that monitors the operating state of each distributed application server 108.
  • the distributed application system monitoring server 106 stores configuration information that is information regarding the number and combination of the distributed application servers 108 constituting the distributed application system 109 (not shown; details will be described later).
  • the distributed application system monitoring server 106 transmits an instruction related to configuration information (hereinafter referred to as reconfiguration notification) to the distributed application system 109, and each distributed application server 108 in the distributed application system 109 performs the present configuration based on the reconfiguration notification.
  • Application processing can be performed in parallel with other distributed application servers 108 (that is, parallel processing is performed.
  • the distributed application system 109 is a distributed processing system having an ACT / ACT (ACTive / ACTive) configuration in which all information processing apparatuses constituting the distributed application system 109 are active.
  • FIG. 2 is a diagram showing an example of ACT / ACT configuration (case 1, case 2, case 3) in the distributed application system 109.
  • ACT / ACT configuration case 1, case 2, case 3
  • FIG. 2 is a diagram showing an example of ACT / ACT configuration (case 1, case 2, case 3) in the distributed application system 109.
  • a plurality of M distributed application servers 108 stored in the configuration information are processed in parallel by the application. (Multiplicity M). Even if some of these distributed application servers 108 become inoperable, if more than half of the distributed application servers 108 are operating, these distributed application servers 108 are not activated.
  • This application can be processed in parallel in the / ACT configuration (so-called majority algorithm).
  • the ACT / ACT configuration is maintained even when some of the distributed application servers 108 constituting the distributed application system 109 become inoperable.
  • the distributed application server 108 again executes this application in parallel with the other distributed application servers 108 by a predetermined program (automatic replication program). Can be executed.
  • each distributed application server 108 stores the automatic replication program.
  • the distributed application system 109 includes three distributed application servers 108 (server 1, server 2, and server 3). Among these, two distributed application servers 108 in a predetermined combination indicated by the configuration information are included. Execute the processing of this application in parallel. Specifically, this combination includes a combination in which server 1 is a master and server 2 is a slave, a combination in which server 2 is a master and server 3 is a slave, and a combination in which server 3 is a master and server 1 is a slave. including.
  • a state 201 where the master server 1 and the slave server 2 are performing parallel processing when the server 1 stops operating, either the server 2 or the server 3 becomes a master or a slave.
  • the transition to the new state 202 allows the distributed application system 109 to continue parallel processing.
  • the distributed application system 109 includes three distributed application servers 108 (server 1, server 2, and server 3), and the three distributed application servers 108 in a predetermined combination indicated by the configuration information are included. Execute the processing of this application in parallel.
  • this combination includes a combination in which server 1 is a master and server 2 and server 3 are slaves, a combination in which server 2 is a master and server 3 and server 1 are slaves, and server 3 is a master and server 1. And a combination in which the server 2 becomes a slave.
  • the distributed application system 109 is composed of N distributed application servers 108 (server 1, server 2,..., Server N), of which a predetermined combination indicated by the configuration information M (N> M) distributed application servers 108 execute the processing of this application in parallel.
  • this combination includes a plurality of combinations in which any one server X is a master and M ⁇ 1 servers other than the server X are slaves.
  • the number of distributed application servers 108 (hereinafter referred to as the required number) in which the distributed application server 108 can process the application in parallel in the distributed application system 109. ) Is stored.
  • a group of distributed application servers 108 that perform processing in parallel is referred to as a data group.
  • FIG. 3 is a diagram illustrating an example of hardware and functions provided in the distributed application system monitoring server 106.
  • the distributed application system monitoring server 106 includes a processor 211 such as a CPU (Central Processing Unit), an input / output circuit interface 212 that communicates with other information processing apparatuses, a RAM (Random Access Memory), a ROM (Read Only Memory), A storage device 213 such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive) and an input / output device 214 including a keyboard, a mouse, a touch panel, a monitor (display), and the like are provided.
  • a processor 211 such as a CPU (Central Processing Unit)
  • an input / output circuit interface 212 that communicates with other information processing apparatuses
  • RAM Random Access Memory
  • ROM Read Only Memory
  • a storage device 213 such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive)
  • an input / output device 214 including a keyboard, a mouse, a touch
  • the storage device 213 stores the monitoring program 221, the state transition process definition information generation program 222, and the distributed data store multiplicity collection program 223. Further, the distributed application server 108 stores state transition process definition information 224, system configuration information 225, and distributed application / distributed data store program communication destination information 226.
  • the monitoring program 221 includes a configuration information storage unit 51, a state monitoring unit 52, a system reconfiguration unit 53, and a reconfiguration notification unit 60.
  • the configuration information storage unit 51 is configuration information (system configuration information 225) that is information about the number of the information processing devices (distributed application server 108) constituting the distributed processing system (distributed application system 109) and a combination of the information processing devices. ) Is memorized.
  • the state monitoring unit 52 monitors the operating state of each information processing apparatus (distributed application server 108).
  • the state monitoring unit 52 monitors predetermined data transmitted by the distributed application server 108.
  • the state monitoring unit 52 determines that the distributed application server 108 is not operating when the data cannot be received for a predetermined time (hereinafter, referred to as a timeout time).
  • the system reconfiguration unit 53 When the system reconfiguration unit 53 detects a change in the operation state of the information processing apparatus (distributed application server 108), the system reconfiguration unit 53 changes the configuration information based on the number and combination of the information processing apparatuses that are operating, Based on the configuration information, the at least one information processing apparatus that is operating is caused to perform the predetermined processing (processing of this application) alone or in parallel.
  • the system reconfiguration unit 53 includes a degeneration unit 54 and a return unit 55.
  • the degeneration unit 54 When the reduction unit 54 detects that some of the information processing devices that have been operating are no longer operating, the degeneration unit 54 is configured based on the number and combination of the information processing devices that are operating. Information is changed, and based on the changed configuration information, a reduction process is performed to cause the operating information processing apparatus to perform the predetermined process independently or in parallel.
  • the degeneration unit 54 includes a redundancy change unit 56 and a configuration change unit 57.
  • the redundancy change unit 56 is in a state in which a number of the information processing devices indicated by the configuration information are operating due to the fact that some of the information processing devices indicated by the configuration information stop operating. The number and combination of the configuration information in the configuration information is replaced with a new number and combination of the information processing devices that are operating and the information processing devices that are no longer operating are excluded. Based on the changed configuration information, a redundancy change process is performed to cause the information processing apparatus that is operating to perform the predetermined process.
  • the configuration changing unit 57 is in a state in which a plurality of the information processing devices greater than or equal to the number indicated by the configuration information are still operating as a part of the information processing devices indicated by the configuration information is not operating. When this is detected, the combination in the configuration information is changed to a new combination of the information processing apparatuses from which the information processing apparatus that has stopped operating is excluded, and the combination is operated based on the changed configuration information.
  • the configuration change process is performed to cause the information processing apparatus to perform the predetermined process in parallel.
  • the restoration unit 55 detects that the information processing apparatus that has not been operating has started operating after the degeneration processing has been performed, the number and combination of the information processing apparatuses that are operating The configuration information is changed based on the configuration information, and based on the changed configuration information, a return process is performed to cause the plurality of operating information processing apparatuses to perform the predetermined processing in parallel.
  • the return unit includes a redundancy recovery unit 58 and a configuration recovery unit 59.
  • the redundancy recovery unit 58 determines the number and the combination in the configuration information.
  • the information processing device including the information processing device that has started operation is changed to a new number and combination of the information processing devices, and the predetermined processing is performed on the plurality of information processing devices that are operating based on the changed configuration information. Redundancy recovery processing is performed in parallel.
  • the configuration recovery unit 59 When the configuration recovery unit 59 detects that the information processing apparatus that has not been operating has started operating after the configuration change processing has been executed, the configuration recovery unit 59 starts the operation with the combination in the configuration information.
  • the information processing apparatus including the information processing apparatus is changed to a new combination, and based on the changed configuration information, a configuration recovery process is performed to cause the information processing apparatus in operation to perform the predetermined process in parallel.
  • the configuration information includes a combination of a master that is the information processing device that controls the predetermined processing performed in parallel and a slave that is the information processing device whose processing is controlled by the master.
  • the configuration changing unit 57 changes the configuration information to change any of the operating slaves as the new master. By doing so, the predetermined information processing apparatus is caused to perform the predetermined processing in parallel.
  • the reconfiguration notification unit 60 outputs that the system reconfiguration unit 53 has changed the configuration information or the content of the change.
  • state transition process definition information generation program 222 generates information (state transition process definition information 224) that defines the operating state of the distributed application server 108 and the process to be performed when this changes.
  • the distributed data store multiplicity collection program 223 acquires information related to the system configuration in the distributed application system 109 and stores the acquired information as system configuration information 225 (configuration information).
  • system configuration information 225 configuration information
  • an example of the system configuration information 225 will be described.
  • FIG. 4 is a diagram illustrating an example of the system configuration information 225.
  • the system configuration information 701A in the case 1 and the system configuration information 701B in the case 2 are shown.
  • the system configuration information 225 includes multiplicity information 7011 in the distributed application system 109, information 7012 for identifying each data group, information 7013 indicating the position of the master in the data group on the network, and on the network of each slave in the data group.
  • the information 7014 indicating the position of is included.
  • distributed application / distributed data store program communication destination information (hereinafter referred to as communication destination information 226) is information regarding the configuration of the main application and the main data in the distributed application system 109.
  • communication destination information 2226 will be described.
  • FIG. 5 is a diagram illustrating an example of the communication destination information 226.
  • the communication destination information 226 includes an identifier (hereinafter referred to as a node name 2263) indicating each of the application 2261 and the data 2262, and an IP address 2264 of the distributed application server 108 in which each is stored. And each information of the port number 2265 of the distributed application server 108 in which each is stored is included.
  • the communication destination information 226 is used, for example, when the distributed application system monitoring server 106 accesses the distributed application configuration information 324 and the distributed data store configuration information 325 of each distributed application server 108.
  • FIG. 6 is a diagram for explaining the hardware and functions of the distributed application server 108.
  • the distributed application server 108 includes a processor 311 such as a CPU (Central Processing Unit), an input / output circuit interface 312 that communicates with other information processing apparatuses, a RAM (Random Access Memory), a ROM (Read Only Memory), a HDD (A storage device 313 such as a hard disk drive (SSD) or a solid state drive (SSD), and an input / output device 314 including a keyboard, a mouse, a touch panel, a monitor (display), and the like.
  • a processor 311 such as a CPU (Central Processing Unit)
  • an input / output circuit interface 312 that communicates with other information processing apparatuses
  • RAM Random Access Memory
  • ROM Read Only Memory
  • HDD A storage device 313 such as a hard disk drive (SSD) or a solid state drive (SSD)
  • an input / output device 314 including a keyboard, a mouse, a touch panel,
  • the distributed application server 108 stores programs such as a distributed application program 321, a distributed data store program 326, a configuration information update program 322, and a data replication support program 323 in the storage device 313. Further, the distributed application server 108 stores, in the storage device 313, distributed application configuration information 324 and distributed data store configuration information 325, which are data corresponding to the configuration information.
  • the distributed application program 321 is a program of the above-described application, and is a program that the distributed application server 108 executes in parallel or independently with other distributed application servers 108.
  • the distributed data store program 326 is a program for managing the data.
  • the distributed data store program 326 has an automatic replication program.
  • the configuration information update program 322 updates (changes) the distributed application configuration information 324 and the distributed data store configuration information 325 based on a reconfiguration instruction from the distributed application system monitoring server 106.
  • the data replication support program 323 is a program that executes data replication (data synchronization processing) based on an instruction from the distributed application system monitoring server 106. Specifically, for example, the data replication support program 323 synchronizes data by transferring data to another distributed application server 108 or receiving data transfer from another distributed application server 108. As a result, a plurality of distributed application servers 108 can perform processing of this application in parallel.
  • Distributed application configuration information 324 is information relating to the configuration of the distributed application program 321. For example, information on a combination of distributed application programs 321 of the distributed application server 108 that performs parallel processing.
  • the distributed data store configuration information 325 includes information for determining the operating state of the distributed application system 109.
  • FIG. 7 is a diagram illustrating an example of the distributed data store configuration information 325.
  • the distributed data store configuration information 325 includes an IP address 3251 of the distributed application server 108, a port number 3252 of the distributed application server 108, log information 3253 regarding the operating state of the distributed application server 108, and the distributed application server 108.
  • Cluster mode information 3254 indicating whether or not to execute this application in the cluster mode (whether or not to execute this application in parallel by a plurality of distributed application servers 108), timeout information 3255 relating to timeout time, and the like .
  • the distributed data store configuration information 325 is different for each distributed application server 108 (325A, 325B, 325C,).
  • the programs of the distributed application system monitoring server 106 and the distributed application server 108 described above are executed by the hardware of each server or by the processor of each server reading it.
  • these programs are, for example, a secondary storage device, a nonvolatile semiconductor memory, a hard disk drive, a storage device such as an SSD, or a non-transitory data storage that can be read by a computer, such as an IC card, an SD card, or a DVD. Stored on media.
  • the distributed processing management system 100 can continue the processing of this application even when the distributed processing system having the ACT / ACT configuration cannot be maintained. If the distributed processing system having the ACT / ACT configuration is temporarily released, it can be recovered.
  • FIG. 8 is a sequence diagram illustrating an example of processing performed by the distributed processing management system 100.
  • FIG. 9 is a flowchart illustrating an example of processing performed by the distributed application system monitoring server 106.
  • processing performed by the distributed processing management system 100 (hereinafter referred to as distributed processing system management processing) will be described with reference to these drawings. This process is started when the distributed processing management system 100 is activated, for example.
  • the distributed application system monitoring server 106 generates state transition process definition information 224 (s1001).
  • the monitoring program 221 of the distributed application system monitoring server 106 checks whether or not the state transition process definition information 224 has been generated (s401). If the state transition process definition information 224 has been generated (s401: YES), the process proceeds to s404 described later. If the state transition process definition information 224 has not yet been generated (s401: NO), the process proceeds to s402. .
  • the monitoring program 221 causes the distributed data store multiplicity collection program 223 to be executed. Then, the distributed data store multiplicity collection program 223 generates system configuration information 225 and stores it.
  • the distributed data store multiplicity collection program 223 acquires information (for example, distributed application configuration information 324 and distributed data store configuration information 325) stored in each distributed application server 108, or
  • the system configuration information 225 is generated by monitoring the presence / absence of data transmitted / received by each distributed application server 108.
  • the monitoring program 221 causes the state transition process definition information generation program 222 to be executed based on the system configuration information 225 generated in s402 (s403). Thereafter, the process proceeds to s404 described later.
  • the monitoring program 221 of the distributed application system monitoring server 106 monitors the operating state of each distributed application server 108 in the distributed application system 109 (s1002). , S1003, s1004). Specifically, for example, the monitoring program 221 monitors predetermined data transmitted from the distributed data store program 326 of each distributed application server 108 (s1001), and when the predetermined data is detected, the predetermined data is detected. The contents of the configuration information (distributed data store configuration information 325) of the distributed application server 108 that has transmitted the data are acquired (s1003, s1004).
  • the monitoring program 221 of the distributed application system monitoring server 106 monitors the state of the distributed data store program 326 (distributed data store configuration information 325) in each distributed application server 108 (s404). As a result, degeneration or restoration in the distributed application system 109 is detected (s405).
  • the state transition process definition information 224 is referred to.
  • the distributed application system 109 acquires the state to be changed and the content of the process for changing to that state (s1005).
  • the monitoring program 221 of the distributed application system monitoring server 106 acquires the state transition process definition information 224 and monitors the acquired state transition process definition information 224 in s405.
  • the state next to the current state of the distributed application system 109 in the state transition process definition information 224 (hereinafter referred to as the next state) and the next A process for transitioning to a state (hereinafter referred to as the next process) is acquired (s406).
  • the monitoring program 221 of the distributed application system monitoring server 106 determines that there is a next state, it instructs each distributed application server 108 about the contents of the next processing (reconfiguration instruction). Send).
  • the monitoring program 221 instructs each distributed application server 108 to execute the data replication support program as necessary (s1006, s1007), and instructs the configuration information update program 322 of each distributed application server 108 to change the configuration information.
  • the distributed data store program 326 of each distributed application server 108 is instructed to restart the distributed application server 108 (s1010), and the distributed application program 321 of each distributed application server 108 is restarted.
  • the activation is instructed (s1011).
  • the monitoring program 221 outputs that there is no next state or next process, and the process ends (s1014).
  • the monitoring program 221 of the distributed application system monitoring server 106 determines whether or not there is a next state (s407). If there is no next state (s407: NO), the next state Is output, indicating that the distributed application system 109 cannot be recovered (for example, outputting to a predetermined log file or a predetermined output device of the distributed application system monitoring server 106), and the process ends (s411, s412). On the other hand, when there is a next state (s407: YES), the monitoring program 221 instructs each distributed application server 108 to perform the next process (s408).
  • the monitoring program 221 of the distributed application system monitoring server 106 outputs that the next process has been executed and the contents of the next process (s1012). Thereafter, the process returns to s1002 (s1013).
  • the monitoring program 221 of the distributed application system monitoring server 106 instructs each distributed application server 108 to perform the next process, and then indicates that the next process has been performed and the contents of the next process.
  • the data is output to a predetermined log file or output device (s409). Thereafter, the process returns to s404.
  • the distributed application system monitoring server 106 outputs the fact that the configuration information has been changed or the contents of the change, so that the administrator of the distributed processing management system 100 appropriately grasps the operational status of the distributed processing system. Can do.
  • FIG. 10 is a flowchart showing an example of processing performed by the state transition processing definition information generation program 222.
  • the state transition process definition information generation program 222 registers the initial state of the distributed application system 109 (s501). Specifically, for example, the state transition process definition information generation program 222 has, as an initial state, the current number of distributed application servers 108 in the distributed application system 109, the current multiplicity in the distributed application system 109, and the distributed application system 109. Is stored in the state transition process definition information 224 as an initial state. The state transition process definition information generation program 222 stores this initial state as a processing state.
  • the state transition process definition information generation program 222 when one distributed application server 108 is not operated (that is, when one is degenerated), the distributed application server 108 that is operating. It is determined whether or not the number of units is more than a majority of the multiplicity (more than the necessary number) (s502).
  • the state transition process definition information generation program 222 defines the degenerated state as a state transition definition. It is added to the state information (s503). The state transition process definition information generation program 222 stores the degenerated state as a processing state. Thereafter, the process of s502 is repeated.
  • the state transition process definition information generation program 222 is operating (this book Confirm that there is a distributed application server 108 capable of executing the application (s504).
  • the state transition process definition information generation program 222 performs a process for updating the distributed data store configuration information 325 (update for degeneration) as a state transition process definition.
  • the state of the distributed application system 109 after the processing is stored as a processing state (s505). Thereafter, the process of s502 is repeated.
  • the state transition process definition information generation program 222 uses the distributed data store configuration information 325 as one operating distributed application server 108. Changes to the configuration information for executing this application alone, and also generates information indicating that the processing for changing the multiplicity of the distributed application system 109 to 1 (redundancy change processing) is performed. It is added to the state transition process definition information 224.
  • the state transition process definition information generation program 222 may store the distributed data store configuration information 325 when the number of the distributed application servers 108 in operation is two or more, and the distributed application server 108 Information indicating a process for changing to a configuration in which the above process is performed in parallel (configuration change process) is generated, and the generated information is added to the state transition process definition information 224.
  • the state transition process definition information generation program 222 uses other data stored in the distributed application server 108 that is operating as a master. May be transferred to the distributed application server 108, processing information whose master is the distributed application server 108 that is the transfer destination, and the generated information may be added to the state transition processing definition information 224.
  • the state transition process definition information generation program 222 has been added to the state transition process definition information 224 so far.
  • the states excluding the initial state
  • one or more distributed application servers 108 that have not been operating have started operating, so that a plurality of distributed application servers 108 have changed to a state in which application processing is performed in parallel. It is determined whether or not there is a state (hereinafter referred to as “recoverable state”) in which the process to be performed (return process) is not added (s506).
  • the generation program 222 selects one of the recoverable states, and determines whether the return processing from the recoverable state is possible by the automatic replication program in the distributed application server 108 (s507).
  • the state transition process definition information generation program 222 adds information indicating the execution of the automatic replication program as the return process to the state transition process definition information. (S508). Thereafter, the process of s506 is repeated.
  • the state transition process definition information generation program 222 adds the return process not using the automatic replication program to the state transition process definition information 224, and The state of the distributed application system 109 after performing the return processing is stored as a processing state (s508). Thereafter, the process of s506 is repeated.
  • the state transition process definition information generation program 222 is executed by the distributed application system 109 when one or more distributed application servers 108 start operating from the state in which the redundancy change process is executed.
  • the configuration of the distributed application system 109 includes a plurality of distributed applications including the distributed application servers 108 that have started operation.
  • the application server 108 changes to a configuration for executing this application, and generates and generates information indicating processing (redundancy recovery processing) for returning the multiplicity of the distributed application system 109 to the multiplicity before execution of the redundancy change processing.
  • State transition processing To add to the definition information 224.
  • the state transition process definition information generation program 222 operates the configuration of the distributed application system 109 as a return process when one distributed application server 108 starts operation from the state in which the configuration change process is executed.
  • a plurality of distributed application servers 108 including the distributed application server 108 that started the process generate information indicating a process (configuration recovery process) for changing to a configuration in which this application is executed in parallel, and the generated information is used as a state transition process. It is added to the definition information 224.
  • FIG. 11 is a flowchart for explaining an example of the state transition process definition information 224 in Case 1.
  • one distributed application server 108 is operated from the state where three distributed application servers 108 of three distributed application servers 108 constituting the distributed application system 109 are operating (s601).
  • the state of the distributed application system 109 changes (returns) to the state of s601 by the automatic data replication program.
  • the distributed application system 109 when the state of s602 makes a transition to the state in which one distributed application server 108 out of operation (s603) out of the two distributed application servers 108 that have been operating, the distributed application system 109 The two distributed application servers 108 that are not operating are excluded (separated), and one distributed application server 108 that is operating in the distributed application system 109 performs processing of this application independently (s607, s608, s605).
  • the distributed application configuration information 324 and the distributed data store configuration information 325 are individually operated by a single distributed application server 108 in response to a reconfiguration instruction from the distributed application system monitoring server 106 (multiple The information is updated to the configuration information for performing application processing (severity 1) (s607), and the distributed application system 109 is restarted (s608). As a result, the state of the distributed application system 109 becomes a state in which one distributed application server 108 executes the processing of this application (s605).
  • the distributed application configuration information 324 and the distributed data store configuration information 325 are received from the distributed application system monitoring server 106 according to the reconfiguration instruction, and the distributed application server 108 that has already been operated and the distributed application server 108 that has started the operation are Is updated to information of a configuration for performing the processing in parallel (with multiplicity of 3) (s610), and the distributed application system 109 is restarted (s609).
  • the state of the distributed application system 109 becomes a state in which the distributed application servers 108 that are more than the majority of the multiplicity (two or three) execute the processing of this application in parallel (s601, s602).
  • the data replication support program may reconfigure the master and slave as described later, if necessary.
  • FIG. 12 is a diagram illustrating an example of the data structure of the state transition process definition information 224 in Case 1.
  • this state transition process definition information 224 includes a state specifying unit 6211 indicating the state of the distributed application system 109 (the number of distributed application servers 108 in operation and the multiplicity of the distributed application system 109), the current state State of the transition from the state indicated by the unit 6211 to the other state (for example, the trigger unit 6212 indicating that one distributed application server 108 is degenerated), and the state of the distributed application system 109 that has reached the result of the transition indicated by the trigger unit 6212 And at least one information set 6215 having each item of a next processing unit 6214 indicating a process performed when transitioning to the state indicated by the next state unit 6213. .
  • FIG. 13 is a flowchart for explaining an example of the state transition process definition information 224 in Case 2.
  • one distributed application server 108 is operated from the state (s631) in which three distributed application servers 108 are operating among the three distributed application servers 108 constituting the distributed application system 109.
  • the distributed application configuration information 324 and the distributed data store configuration information 325 are distributed in the distributed application system 109 in the distributed application system 109 from which the distributed application server 108 that has stopped operating is disconnected by a reconfiguration instruction from the distributed application system monitoring server 106. Is updated to information of a configuration for performing processing of this application in parallel (s638), and the distributed application system 109 is restarted (s639). As a result, the two distributed application servers 108 are in a state of executing the processing of this application in parallel (s634).
  • both of the two distributed application servers 108 that are operating become slaves and synchronization processing cannot be performed normally.
  • the data replication support program may be reconfigured so that one of the two slaves in operation is the master, and data synchronization processing is performed between these two (state 201 and FIG. 2). (See state 202).
  • s634 when one of the distributed application servers 108 starts operation, the operation starts when the state of the distributed application system 109 changes to a state where three distributed application servers 108 are operating.
  • the distributed application server 108 is incorporated into the distributed application system 109, and the three distributed application servers 108 in the distributed application system 109 perform processing of this application in parallel (s641, s642, s631).
  • the data replication support program is executed in response to a reconfiguration instruction from the distributed application system monitoring server 106, so that the data of the distributed application server 108 that is already in operation has been started.
  • the data is transferred to the application server 108, and data is synchronized between these distributed application servers 108 (s640).
  • the distributed application configuration information 324 and the distributed data store configuration information 325 are transferred from the distributed application server 108 that is already in operation and the distributed application server 108 that has started operation to this application. Is updated to information of a configuration for performing the processing in parallel (s641), and the distributed application system 109 is restarted (s642). Thereby, the state of the distributed application system 109 becomes a state in which the three distributed application servers 108 execute the processing of this application in parallel (s631).
  • reconfiguration may be performed in which the distributed application server 108 that has started operation is set as a master and other distributed application servers 108 that are operating as slaves.
  • the distributed processing management system 100 has configuration information (system configuration information 225) related to the number and combination of information processing apparatuses (distributed application servers 108) constituting the distributed processing system (distributed application system 109). Is stored, and when a change in the operating state of the information processing apparatus is detected, the configuration information is changed based on the number and combination of the information processing apparatuses that are operating, and at least one information processing apparatus is operating. This is a case where predetermined processing (processing of this application) is performed alone or in parallel, so that the operating state of the distributed application server 108 changes and some of the distributed application servers 108 stop operating or start operating. However, the processing of this application continues in parallel or independently It can be carried out.
  • system configuration information 225 related to the number and combination of information processing apparatuses (distributed application servers 108) constituting the distributed processing system (distributed application system 109). Is stored, and when a change in the operating state of the information processing apparatus is detected, the configuration information is changed based on the number and combination of
  • the distributed processing management system 100 of the present embodiment by changing the configuration and redundancy of the distributed application system 109 according to the operating state of the distributed application server 108, the redundancy in the distributed application system 109 can be increased. While ensuring, stable operation can be performed.
  • the distributed processing management system 100 is configured so that, when some of the information processing apparatuses (distributed application system 109) that have been operating do not operate, Since the configuration information (system configuration information 225) is changed based on the number and combination and the information processing apparatus in operation performs predetermined processing (processing of this application) alone or in parallel, the distributed application system 109 Even if some of them do not operate, the processing of this application can be reliably continued by changing the configuration of the distributed application system 109.
  • the distributed processing management system 100 operates when the information processing apparatus (distributed application server 108) that has not been operating starts operating after the degeneration processing is executed.
  • the configuration information (system configuration information 225) is changed based on the number and combination of devices, and predetermined processing (processing of this application) is performed in parallel on a plurality of operating information processing devices. If the distributed application server 108 that has not been operating resumes operation even if the degree temporarily decreases, the parallel processing of this application can be resumed to recover the redundancy.
  • the configuration information is obtained when some of the information processing apparatuses (distributed application server 108) indicated by the configuration information (system configuration information 225) are not operated.
  • the new number of information processing devices in operation that excludes information processing devices that are no longer in operation from the number and combination in the configuration information Since the information processing apparatus is changed to the combination and the information processing apparatus that is operating performs the predetermined process (the process of this application) (redundancy change process), the distributed application server 108 that has stopped operating is temporarily transferred from the distributed application system 109. And the application using the other distributed application server 108.
  • the process of Deployment can be reliably performed.
  • the distributed processing management system 100 is configured so that the configuration information can be obtained when an information processing apparatus (distributed application server 108) that has not been operating has started operating after the redundancy change processing has been executed.
  • the number and combination in (system configuration information 225) are changed to a new number and combination including the information processing apparatus that has started operation, and predetermined processing (processing of this application) is performed on a plurality of information processing apparatuses that are operating. Since the processing is performed in parallel (redundancy recovery processing), the distributed application server 108 that has been separated from the distributed application system 109 by the redundancy change processing is incorporated into the distributed application system 109 again, so that parallel processing of this application is ensured. It can be resumed.
  • the distributed processing management system 100 needs to indicate the configuration information even when a part of the information processing apparatus (distributed application server 108) indicated by the configuration information (system configuration information 225) is not operated.
  • the combination in the configuration information is changed to a new combination that excludes information processing devices that are no longer operating, and the information processing devices that are operating Since the predetermined processing (processing of this application) is performed in parallel (configuration change processing), even if a part of the information processing apparatus (distributed application server 108) stops operating, the distributed application system 109 operates. Parallel application processing by distributed application server 108 It is possible to continue.
  • the distributed processing management system 100 is configured so that the configuration information (system configuration) is set when the information processing apparatus (distributed application server 108) that has not been operating starts operating after the configuration change processing is executed.
  • the combination in the information 225) is changed to a new combination of information processing apparatuses including the information processing apparatus that has started operation, and the information processing apparatus that is in operation performs predetermined processing (processing of this application) in parallel. Therefore, even if a part of the distributed application server 108 does not operate, the parallel processing of this application can be performed in a state where the configuration of the distributed application system 109 is returned to before the configuration change process is executed. .
  • the configuration information (system configuration information 225) includes a combination of a master and a slave, and the distributed processing management system 100 does not operate the information processing apparatus (distributed If the application server 108) is a master, the configuration information is changed to make any of the operating slaves a new master, whereby the processing of this application is performed on the operating information processing apparatus. Therefore, the synchronization in the parallel processing of the application in the distributed application system 109 can be ensured.
  • the distributed processing system 100 assumes a distributed processing system having an ACT / ACT configuration in which the distributed application system 109 requires a predetermined number of information processing apparatuses (distributed application servers 108), Even if some information processing devices stop operating and fall below the required number, the processing of this application can be continued with the configuration and number of new distributed application systems 109 that temporarily change the ACT / ACT configuration. it can. When the distributed application server 108 that has not been operating starts operating, the ACT / ACT configuration can be recovered again.
  • the distributed application system is operated by a function unique to the distributed processing system having an ACT / ACT configuration (for example, an automatic replication program). 109 can continue the processing of this application.
  • a function unique to the distributed processing system having an ACT / ACT configuration for example, an automatic replication program.
  • 109 can continue the processing of this application.
  • it is always stable and flexible regardless of the required number of distributed application servers 108 (for example, more than a majority) in the distributed processing system having the ACT / ACT configuration.
  • a distributed processing system can be operated.
  • downtime processing time
  • the synchronization of processing in the distributed application system 109 can be ensured, and the occurrence of split brain that may impair processing consistency can be avoided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Hardware Redundancy (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

相互に通信可能に接続された複数の情報処理装置を含んで構成され、前記情報処理装置が所定の処理を他の前記情報処理装置と並列的に行う並列処理が可能な分散処理システムであって、前記分散処理システムを構成する前記情報処理装置の台数及び前記情報処理装置の組み合わせに関する情報である構成情報を記憶する構成情報記憶部５１と、前記情報処理装置のそれぞれの稼働状態を監視する状態監視部５２と、前記情報処理装置の稼働状態の変化を検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している少なくとも１台以上の前記情報処理装置に前記所定の処理を単独で又は並列的に行わせるシステム再構成部５３と、を備える。

Description

分散処理システム、及び分散処理システムの管理方法
　本発明は、分散処理システム、及び分散処理システムの管理方法に関する。
＝＝＝参照による取り込み＝＝＝
　本出願は、２０１７年６月１５日に出願された日本特許出願第２０１７－１１７６５９号の優先権を主張し、その内容すべてを参照することにより、本出願に取り込む。
　複数の情報処理装置（サーバ等）による分散システムの運用形態の一つとして、稼動系及び待機系の情報処理装置を設け、稼動系の情報処理装置に障害が生じた場合に、待機系の情報処理装置が稼動系の情報処理装置の処理を引き継いで当該処理を続行することにより冗長性を確保するという、いわゆるＡＣＴ／ＳＴＢ型（ACTive/STand-By型）の構成の分散処理システム（以下、ＡＣＴ／ＳＴＢ構成という。）が提案されている。
　例えば、特許文献１には、ホスト計算機（ホストサーバ）２台による制御方法について、一方のホストサーバの障害時には他方のホストサーバで処理を引き継ぐことが記載されている。また、特許文献２には、Ｎ台の運用系サーバと１台の待機系サーバを用意し、ハードディスクを冗長化してミラーリングすることが記載され、特許文献３には、運用系サーバと待機系サーバとをそれぞれ１つずつ備える複数の冗長構成と、冗長構成を管理する管理サーバ３とを備えるサーバシステムが開示されている。
　また、特許文献４には、冗長性を確保する別の仕組みとして、サーバ管理システムが、サービスレベルに関わる情報を基に、仮想マシンで構成された複数のシステムのうち、ＳＬＡ（サービスレベルの品質に関する契約）違反が発生する危険性のあるシステムを自動的に高可用性の環境に移行させることで、冗長性を変更する技術が開示されている。
特開２００５－０８８１７０号公報 特開２００５－０５５９９５号公報 特開２０１１－１５９２２２号公報 特開２０１１－３９７４０号公報
　しかし、特許文献１－３をはじめとするＡＣＴ／ＳＴＢ構成では一般に、稼動系から待機系への処理の引き継ぎ時（切り替え時）に、ダウンタイム（切り替えのためのシステム変更に要する作業時間等）が発生するという問題がある。そこで、全ての情報処理装置を稼働系とすることでダウンタイムの発生を回避する、いわゆるＡＣＴ／ＡＣＴ型（ACTive/ACTive型）の構成（以下、ＡＣＴ／ＡＣＴ構成という。）の分散処理システムが提案されている。
　しかし、このＡＣＴ／ＡＣＴ構成には冗長性に関する制約がある。例えば、ある分散処理システムにおける冗長度を確保し多重障害に耐える（処理の一貫性を保証する）ためには、例えば、Ｎ重障害（Ｎ＝１，２，３，…）に対する対策としてサーバを最低「２Ｎ＋１」台設ける必要がある（いわゆる多数決アルゴリズム）。例えば、二重障害（Ｎ＝２）に対する耐性の獲得には、サーバは最低限５台必要であり、１台の障害耐性を獲得する必要がある場合は、サーバの必要台数は３台である。
　このように、ＡＣＴ／ＡＣＴ構成は、情報処理装置を所定台数以上設けなければならず、冗長度に関する扱いが固定的であるという問題がある。それゆえ、ＡＣＴ／ＡＣＴ構成の分散処理システムの導入（試験的導入ないしスモールスタート）は、導入者（顧客）にとって負荷が大きくコストもかかっている。
　この点、特許文献４には、ＳＬＡに応じて構成を変更して冗長度を変更できることが記載されているが、ＡＣＴ／ＡＣＴ構成を保証する仕組みは開示されていない。分散処理システムにおける冗長度の確保と柔軟な運用との両立は容易ではない。
　本発明はこのような現状に鑑みてなされたものであり、その目的は、分散処理システムにおいて冗長性を確保しつつも安定的な運用が可能な分散処理システム、及び分散処理システムの管理方法を提供することを目的とする。
　上記目的を達成するための本発明の一つは、相互に通信可能に接続された、プロセッサ及びメモリを備える複数の情報処理装置を含んで構成され、前記情報処理装置が所定の処理を他の前記情報処理装置と並列的に行う並列処理が可能な分散処理システムであって、前記分散処理システムを構成する前記情報処理装置の台数及び前記情報処理装置の組み合わせに関する情報である構成情報を記憶する構成情報記憶部と、前記情報処理装置のそれぞれの稼働状態を監視する状態監視部と、前記情報処理装置の稼働状態の変化を検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している少なくとも１台以上の前記情報処理装置に前記所定の処理を単独で又は並列的に行わせるシステム再構成部と、を備える。
　本発明によれば、分散処理システムにおいて冗長性を確保しつつも安定的な運用を可能とすることができる。
図１は、本実施形態に係る分散処理管理システム１００の構成の一例を示す図である。 図２は、分散アプリケーションシステム１０９におけるＡＣＴ／ＡＣＴ構成の例（ケース１、ケース２、ケース３）を示す図である。 図３は、分散アプリケーションシステム監視サーバ１０６が備えるハードウェア及び機能の一例を説明する図である。 図４は、システム構成情報２２５の例を示す図である。 図５は、通信先情報２２６の一例を示す図である。 図６は、分散アプリケーションサーバ１０８が備えるハードウェア及び機能を説明する図である。 図７は、分散データストア構成情報３２５の一例を示す図である。 図８は、分散処理管理システム１００が行う処理の一例を示すシーケンス図である。 図９は、分散アプリケーションシステム監視サーバ１０６が行う処理の一例を説明するフローチャートである。 図１０は、状態遷移処理定義情報生成プログラム２２２が行う処理の一例を示すフローチャートである。 図１１は、ケース１における状態遷移処理定義情報２２４の一例を説明するフローチャートである。 図１２は、ケース１における状態遷移処理定義情報２２４のデータ構造の一例を示す図である。 図１３は、ケース２における状態遷移処理定義情報２２４の一例を説明するフローチャートである。
　以下、本発明を実施するための形態を、図面を参照しつつ説明する。
＜＜システム構成＞＞
　図１は、本実施形態に係る分散処理管理システム１００の構成の一例を示す図である。同図に示すように、分散処理管理システム１００は、デバイス１０１、センサ１０２、及び宛先サーバ１０３の各装置と、これらの装置と通信可能に接続された分散アプリケーションシステム１０９と、分散アプリケーションシステム１０９と通信可能に接続された分散アプリケーションシステム監視サーバ１０６とを含んで構成されている。
　デバイス１０１は、例えば情報処理端末（例えば携帯電話、スマートフォン、タブレット等）であり、分散アプリケーションシステム１０９と連携して所定の情報処理を行う。
　センサ１０２は、例えば温度センサ、照度センサ、加速度センサ等である。センサ１０２は、例えば、分散アプリケーションサーバ１０８の要求に応じて所定の測定値を取得し、取得した測定値を分散アプリケーションシステム１０９に送信する。
　宛先サーバ１０３は、分散アプリケーションシステム１０９のデータやプログラムを外部の情報処理装置に送信し、又は、外部の情報処理装置から送信されてきたデータやプログラムを分散アプリケーションシステム１０９に転送する。
　分散アプリケーションシステム１０９は、通信設備網１０７Ｂによって相互に通信可能に接続された複数の分散アプリケーションサーバ１０８（１０８Ａ、１０８Ｂ、…１０８Ｎ）を含む。
　分散アプリケーションサーバ１０８はそれぞれ、分散アプリケーションサーバ１０８のユーザ等（以下、単にユーザという。）が使用する所定のアプリケーションプログラム（以下、本アプリケーションという。）、及び、分散アプリケーションサーバ１０８に対応づけられた所定のデータ（以下、本データという。）を記憶している。
　分散アプリケーションサーバ１０８は、通信設備網１０７Ａを介して分散アプリケーションシステム監視サーバ１０６と通信可能に接続されている。また、分散アプリケーションサーバ１０８は、無線網１０４又はインターネット１０５を介して、デバイス１０１、センサ１０２、及び宛先サーバ１０３と通信可能に接続されている。
　なお、通信設備網１０７Ａ及び通信設備網１０７Ｂは、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、イントラネット、専用線などである。無線網１０４は、例えば無線ＬＡＮ、無線ＷＡＮ、専用の無線通信網等である。
　次に、分散アプリケーションシステム監視サーバ１０６は、各分散アプリケーションサーバ１０８の稼動状態を監視するサーバである。
　分散アプリケーションシステム監視サーバ１０６は、分散アプリケーションシステム１０９を構成する分散アプリケーションサーバ１０８の台数及び組み合わせに関する情報である構成情報を記憶している（不図示。詳細は後述）。分散アプリケーションシステム監視サーバ１０６は、構成情報に関する指示（以下、再構成通知という。）を分散アプリケーションシステム１０９に送信し、分散アプリケーションシステム１０９における各分散アプリケーションサーバ１０８は、この再構成通知に基づき、本アプリケーションの処理を他の分散アプリケーションサーバ１０８と並列的に行う（すなわち、並列処理を行う。以下において同じ。）ことが可能となっている。すなわち、分散アプリケーションシステム１０９は、これを構成する全ての情報処理装置が稼働系となっているＡＣＴ／ＡＣＴ（ACTive/ACTive）構成の分散処理システムである。
＜分散アプリケーションシステム１０９におけるＡＣＴ／ＡＣＴ構成＞
　ここで、分散アプリケーションシステム１０９におけるＡＣＴ／ＡＣＴ構成について具体的に説明する。
　図２は、分散アプリケーションシステム１０９におけるＡＣＴ／ＡＣＴ構成の例（ケース１、ケース２、ケース３）を示す図である。本実施形態の分散アプリケーションシステム１０９では、分散アプリケーションシステム１０９を構成するＮ台の分散アプリケーションサーバ１０８のうち、構成情報に記憶されているＭ台の複数の分散アプリケーションサーバ１０８が、本アプリケーションの並列処理を行う（多重度Ｍ）。そして、これらの分散アプリケーションサーバ１０８のうち一部が稼働不可能な状態となっても、Ｍ台のうち過半数の分散アプリケーションサーバ１０８が稼動している場合には、それらの分散アプリケーションサーバ１０８がＡＣＴ／ＡＣＴ構成にて本アプリケーションの並列処理を行うことができる（いわゆる多数決アルゴリズム）。これにより、分散アプリケーションシステム１０９を構成する分散アプリケーションサーバ１０８のうち一部が稼動不可能な状態となっても、ＡＣＴ／ＡＣＴ構成が維持される。そして、稼動していなかった分散アプリケーションサーバ１０８が稼動を開始した場合は、所定のプログラム（自動レプリケーションプログラム）により、その分散アプリケーションサーバ１０８は再び、その他の分散アプリケーションサーバ１０８と共に本アプリケーションを並列的に実行することができる。
　なお、自動レプリケーションプログラムは、例えば、各分散アプリケーションサーバ１０８が記憶している。
　ケース１では、分散アプリケーションシステム１０９は、３台の分散アプリケーションサーバ１０８（サーバ１、サーバ２、サーバ３）から構成され、このうち、構成情報が示す所定の組み合わせの２台の分散アプリケーションサーバ１０８が、本アプリケーションの処理を並列的に実行する。具体的には、この組み合わせは、サーバ１がマスターとなりサーバ２がスレーブとなる組み合わせと、サーバ２がマスターとなりサーバ３がスレーブとなる組み合わせと、サーバ３がマスターとなりサーバ１がスレーブとなる組み合わせとを含む。
　ここで、例えば、マスターのサーバ１及びスレーブのサーバ２が並列処理を行っている状態２０１において、サーバ１が稼動を停止した場合には、サーバ２及びサーバ３のいずれかがマスター又はスレーブとなる新たな状態２０２に遷移することで、分散アプリケーションシステム１０９は並列処理を続行することができる。
　次に、ケース２では、分散アプリケーションシステム１０９は、３台の分散アプリケーションサーバ１０８（サーバ１、サーバ２、サーバ３）から構成され、構成情報が示す所定の組み合わせの３台の分散アプリケーションサーバ１０８が、本アプリケーションの処理を並列的に実行する。具体的には、この組み合わせは、サーバ１がマスターとなりサーバ２及びサーバ３がスレーブとなる組み合わせと、サーバ２がマスターとなりサーバ３及びサーバ１がスレーブとなる組み合わせと、サーバ３がマスターとなりサーバ１及びサーバ２がスレーブとなる組み合わせとを含む。
　一般的には、ケース３に示すように、分散アプリケーションシステム１０９がＮ台の分散アプリケーションサーバ１０８（サーバ１、サーバ２、…、サーバＮ）から構成され、このうち、構成情報が示す所定の組み合わせのＭ台（Ｎ＞Ｍ）の分散アプリケーションサーバ１０８が、本アプリケーションの処理を並列的に実行する。具体的には、この組み合わせは、任意の１台のサーバＸがマスターとなり、サーバＸ以外のＭ－１台のサーバがスレーブとなる複数の組み合わせを含む。
　なお、本実施形態では、分散アプリケーションシステム１０９に、分散アプリケーションサーバ１０８が並列的に本アプリケーションの処理を行うことができる分散アプリケーションサーバ１０８の台数（以下、必要台数という。本実施形態では、多重度の過半数の値。）の情報が記憶されているものとする。また、以下では、並列的に処理を行う分散アプリケーションサーバ１０８のグループをデータグループという。
　次に、分散アプリケーションシステム監視サーバ１０６の構成について説明する。
＜分散アプリケーションシステム監視サーバ１０６の構成＞
　図３は、分散アプリケーションシステム監視サーバ１０６が備えるハードウェア及び機能の一例を説明する図である。分散アプリケーションシステム監視サーバ１０６は、ＣＰＵ（Central Processing Unit）などのプロセッサ２１１と、他の情報処理装置と通信を行う入出力回路インタフェース２１２と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置２１３と、キーボード、マウス、タッチパネル、モニタ（ディスプレイ）などからなる入出力装置２１４とを備える。
　記憶装置２１３には、監視プログラム２２１、状態遷移処理定義情報生成プログラム２２２、及び分散データストア多重度収集プログラム２２３の各プログラムを記憶している。また、分散アプリケーションサーバ１０８は、状態遷移処理定義情報２２４、システム構成情報２２５、及び分散アプリケーション／分散データストアプログラム通信先情報２２６の各情報が記憶されている。
　監視プログラム２２１は、構成情報記憶部５１、状態監視部５２、システム再構成部５３、再構成通知部６０の各部を備える。
　構成情報記憶部５１は、前記分散処理システム（分散アプリケーションシステム１０９）を構成する前記情報処理装置（分散アプリケーションサーバ１０８）の台数及び前記情報処理装置の組み合わせに関する情報である構成情報（システム構成情報２２５）を記憶する。
　状態監視部５２は、前記情報処理装置（分散アプリケーションサーバ１０８）のそれぞれの稼働状態を監視する。
　具体的には、例えば、状態監視部５２は、分散アプリケーションサーバ１０８が送信する所定のデータを監視する。状態監視部５２は、所定時間（以下、タイムアウト時間という。）、このデータを受信できなかった場合に、その分散アプリケーションサーバ１０８が稼動していないと判断する。
　システム再構成部５３は、前記情報処理装置（分散アプリケーションサーバ１０８）の稼働状態の変化を検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している少なくとも１台以上の前記情報処理装置に前記所定の処理（本アプリケーションの処理）を単独で又は並列的に行わせる。
　システム再構成部５３は、縮退部５４及び復帰部５５を備える。
　縮退部５４は、稼動していた前記情報処理装置のうち一部の前記情報処理装置が稼動しなくなったことを検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している情報処理装置に前記所定の処理を単独で又は並列的に行わせる縮退処理を行う。
　前記縮退部５４は、冗長度変更部５６及び構成変更部５７を備える。
　冗長度変更部５６は、前記構成情報が示す前記情報処理装置のうち一部の前記情報処理装置が稼働しなくなったことにより前記構成情報が示す台数未満の前記情報処理装置が稼動している状態となったことを検知した場合に、前記構成情報における前記台数及び前記組み合わせを、前記稼動しなくなった前記情報処理装置が除外された、稼動している前記情報処理装置の新たな台数及び組み合わせに変更し、変更した前記構成情報に基づき、稼動している前記情報処理装置に前記所定の処理を行わせる冗長度変更処理を行う。
　構成変更部５７は、前記構成情報が示す前記情報処理装置のうち一部が稼働しなくなったがいまだ前記構成情報が示す前記台数以上の複数の前記情報処理装置が稼動している状態となったことを検知した場合に、前記構成情報における前記組み合わせを、前記稼動しなくなった情報処理装置が除外された、前記情報処理装置の新たな組み合わせに変更し、変更した前記構成情報に基づき、稼動している情報処理装置に前記所定の処理を並列的に行わせる構成変更処理を行う。
　一方、復帰部５５は、前記縮退処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、稼動している複数の前記情報処理装置に前記所定の処理を並列的に行わせる復帰処理を行う。
　前記復帰部は、冗長度回復部５８及び構成回復部５９を備える。
　冗長度回復部５８は、前記冗長度変更処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、前記構成情報における前記台数及び前記組み合わせを、前記稼動を開始した情報処理装置を含む、前記情報処理装置の新たな台数及び組み合わせに変更し、変更した前記構成情報に基づき、稼動している複数の前記情報処理装置に前記所定の処理を並列的に行わせる冗長度回復処理を行う。
　構成回復部５９は、前記構成変更処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、前記構成情報における組み合わせを、前記稼動を開始した情報処理装置を含む前記情報処理装置の新たな組み合わせに変更し、変更した前記構成情報に基づき、稼動している前記情報処理装置に前記所定の処理を並列的に行わせる構成回復処理を行う。
　なお、前記構成情報は、並列的に行う前記所定の処理を制御する前記情報処理装置であるマスター、及び前記マスターにより処理が制御される前記情報処理装置であるスレーブの組み合わせを含む。
　前記構成変更部５７は、前記稼働しなくなった情報処理装置が前記マスターであった場合には、前記稼動している前記スレーブのいずれかを新たな前記マスターとする変更を前記構成情報に対して行うことにより、前記稼動している情報処理装置に前記所定の処理を並列的に行わせる。
　再構成通知部６０は、システム再構成部５３が前記構成情報を変更した旨又はその変更の内容を出力する。
　次に、状態遷移処理定義情報生成プログラム２２２は、分散アプリケーションサーバ１０８の稼働状態、及びこれが変化した場合に行われる処理を定義した情報（状態遷移処理定義情報２２４）を生成する。
　分散データストア多重度収集プログラム２２３は、分散アプリケーションシステム１０９におけるシステム構成に関する情報を取得し、取得した情報をシステム構成情報２２５（構成情報）として記憶する。
　ここで、システム構成情報２２５の一例を説明する。
＜システム構成情報２２５＞
　図４は、システム構成情報２２５の例を示す図である。ここでは、前記のケース１におけるシステム構成情報７０１Ａ、及び、前記のケース２におけるシステム構成情報７０１Ｂを示した。
　システム構成情報２２５は、分散アプリケーションシステム１０９における多重度の情報７０１１、各データグループを識別する情報７０１２、データグループにおけるマスターのネットワーク上の位置を示す情報７０１３、及び、データグループにおける各スレーブのネットワーク上の位置を示す情報７０１４を含む。
　次に、図３に示すように、分散アプリケーション／分散データストアプログラム通信先情報（以下、通信先情報２２６という。）は、分散アプリケーションシステム１０９における本アプリケーション及び本データの構成に関する情報である。
　ここで、通信先情報２２６について説明する。
＜通信先情報２２６＞
　図５は、通信先情報２２６の一例を示す図である。同図に示すように、通信先情報２２６は、本アプリケーション２２６１及び本データ２２６２のそれぞれを示す識別子（以下、ノード名２２６３という。）、それぞれが記憶されている分散アプリケーションサーバ１０８のＩＰアドレス２２６４、及び、それぞれが記憶されている分散アプリケーションサーバ１０８のポート番号２２６５の各情報を含む。これらの通信先情報２２６は、例えば、分散アプリケーションシステム監視サーバ１０６が、各分散アプリケーションサーバ１０８の分散アプリケーション構成情報３２４、及び分散データストア構成情報３２５にアクセスする際に用いられる。
　次に、分散アプリケーションサーバ１０８の構成について説明する。
＜分散アプリケーションサーバ１０８＞
　図６は、分散アプリケーションサーバ１０８が備えるハードウェア及び機能を説明する図である。分散アプリケーションサーバ１０８は、ＣＰＵ（Central Processing Unit）などのプロセッサ３１１と、他の情報処理装置と通信を行う入出力回路インタフェース３１２と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置３１３と、キーボード、マウス、タッチパネル、モニタ（ディスプレイ）などからなる入出力装置３１４とを備える。
　分散アプリケーションサーバ１０８は、記憶装置３１３に、分散アプリケーションプログラム３２１、分散データストアプログラム３２６、構成情報更新プログラム３２２、及びデータレプリケーション支援プログラム３２３の各プログラムを記憶している。また、分散アプリケーションサーバ１０８は、記憶装置３１３に、構成情報に対応するデータである、分散アプリケーション構成情報３２４及び分散データストア構成情報３２５を記憶している。
　分散アプリケーションプログラム３２１は、前記の本アプリケーションのプログラムであり、分散アプリケーションサーバ１０８が他の分散アプリケーションサーバ１０８と並列的に又は単独で実行するプログラムである。
　分散データストアプログラム３２６は、前記の本データを管理するプログラムである。なお、分散データストアプログラム３２６は、自動レプリケーションプログラムを有する。
　構成情報更新プログラム３２２は、分散アプリケーションシステム監視サーバ１０６からの再構成指示に基づき、分散アプリケーション構成情報３２４及び分散データストア構成情報３２５を更新（変更）する。
　データレプリケーション支援プログラム３２３は、分散アプリケーションシステム監視サーバ１０６からの指示に基づき、データレプリケーション（データの同期処理）を実行するプログラムである。具体的には、例えば、データレプリケーション支援プログラム３２３は、他の分散アプリケーションサーバ１０８にデータを転送し、又は他の分散アプリケーションサーバ１０８からデータの転送を受けることにより、データの同期を行う。これにより、複数の分散アプリケーションサーバ１０８が、本アプリケーションの処理を並列的に行うことができるようになる。
　分散アプリケーション構成情報３２４は、分散アプリケーションプログラム３２１の構成に関する情報である。例えば、並列処理を行う分散アプリケーションサーバ１０８の分散アプリケーションプログラム３２１の組み合わせに関する情報である。
　分散データストア構成情報３２５は、分散アプリケーションシステム１０９の稼動状態を判断するための情報を含む。
＜分散データストア構成情報３２５＞
　ここで、分散データストア構成情報３２５の具体例を説明する。
　図７は、分散データストア構成情報３２５の一例を示す図である。同図に示すように、分散データストア構成情報３２５は、分散アプリケーションサーバ１０８のＩＰアドレス３２５１、分散アプリケーションサーバ１０８のポート番号３２５２、分散アプリケーションサーバ１０８の稼動状態に関するログの情報３２５３、分散アプリケーションサーバ１０８における本アプリケーションをクラスタモードで実行するか否か（本アプリケーションを複数の分散アプリケーションサーバ１０８により並列的に実行するか否か）を示すクラスタモード情報３２５４、及び、タイムアウト時間に関するタイムアウト情報３２５５等を含む。分散データストア構成情報３２５は、分散アプリケーションサーバ１０８ごとに異なる（３２５Ａ、３２５Ｂ、３２５Ｃ、…）。
　以上に説明した分散アプリケーションシステム監視サーバ１０６及び分散アプリケーションサーバ１０８のプログラムは、各サーバのハードウェアによって、もしくは、各サーバのプロセッサがこれを読み出すことにより実行される。
　また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤなどの記憶デバイス、又は、ＩＣカード、ＳＤカード、ＤＶＤなどの、計算機で読み取り可能な非一時的データ記憶媒体に格納される。
＜＜処理＞＞
　次に、分散処理管理システム１００が行う処理について説明する。本実施形態の分散処理管理システム１００は、以下に説明するように、ＡＣＴ／ＡＣＴ構成の分散処理システムを維持できなくなった場合であっても、本アプリケーションの処理を続行することができ、また、ＡＣＴ／ＡＣＴ構成の分散処理システムを一時的に解除していた場合にはこれを回復することができる。
　図８は、分散処理管理システム１００が行う処理の一例を示すシーケンス図である。また、図９は、分散アプリケーションシステム監視サーバ１０６が行う処理の一例を説明するフローチャートである。以下、これらの図に基づき、分散処理管理システム１００が行う処理（以下、分散処理システム管理処理という。）について説明する。なお、この処理は、例えば、分散処理管理システム１００が起動した際に開始される。
　図８に示すように、まず、分散アプリケーションシステム監視サーバ１０６は、状態遷移処理定義情報２２４を生成する（ｓ１００１）。
　具体的には、図９に示すように、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、状態遷移処理定義情報２２４が生成されているか否かを確認する（ｓ４０１）。状態遷移処理定義情報２２４が生成されている場合（ｓ４０１：ＹＥＳ）、処理は後述するｓ４０４に進み、状態遷移処理定義情報２２４がいまだ生成されていない場合（ｓ４０１：ＮＯ）、処理はｓ４０２に進む。
　ｓ４０２において監視プログラム２２１は、分散データストア多重度収集プログラム２２３を実行させる。すると、分散データストア多重度収集プログラム２２３は、システム構成情報２２５を生成し、これを記憶する。
　具体的には、例えば、分散データストア多重度収集プログラム２２３は、各分散アプリケーションサーバ１０８が記憶している情報（例えば、分散アプリケーション構成情報３２４、及び分散データストア構成情報３２５）を取得し、又は、各分散アプリケーションサーバ１０８が送受信するデータの有無を監視することにより、システム構成情報２２５を生成する。
　次に、監視プログラム２２１は、ｓ４０２で生成したシステム構成情報２２５に基づき、状態遷移処理定義情報生成プログラム２２２を実行させる（ｓ４０３）。その後は後述するｓ４０４の処理に進む。
　次に、図８に示すように、状態遷移処理定義情報２２４の生成後、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、分散アプリケーションシステム１０９における各分散アプリケーションサーバ１０８の稼動状態を監視する（ｓ１００２、ｓ１００３、ｓ１００４）。具体的には、例えば、監視プログラム２２１は、各分散アプリケーションサーバ１０８の分散データストアプログラム３２６から送信される所定のデータを監視し（ｓ１００１）、その所定のデータを検知した場合には、その所定のデータを送信した分散アプリケーションサーバ１０８の構成情報（分散データストア構成情報３２５）の内容を取得する（ｓ１００３、ｓ１００４）。
　すなわち、図９に示すように、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、各分散アプリケーションサーバ１０８における分散データストアプログラム３２６の状態（分散データストア構成情報３２５）を監視しており（ｓ４０４）、これにより分散アプリケーションシステム１０９における縮退又は復帰を検知する（ｓ４０５）。
　次に、図８に示すように、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、稼動状態の監視の結果、稼動状態が変化したことを検知した場合には、状態遷移処理定義情報２２４を参照することで、分散アプリケーションシステム１０９が遷移すべき状態とその状態に遷移するための処理の内容とを取得する（ｓ１００５）。
　すなわち、図９に示すように、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、状態遷移処理定義情報２２４を取得し、取得した状態遷移処理定義情報２２４を、ｓ４０５で監視していた、現在の分散アプリケーションシステム１０９の状態を示す分散データストア構成情報３２５と対比することで、状態遷移処理定義情報２２４における現在の分散アプリケーションシステム１０９の状態の次の状態（以下、次状態という。）と、次状態に遷移するための処理（以下、次処理という。）とを取得する（ｓ４０６）。
　そして、図８に示すように、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、次状態があると判断した場合には、次処理の内容を各分散アプリケーションサーバ１０８に指示する（再構成指示を送信する）。例えば、監視プログラム２２１は、データレプリケーション支援プログラムの実行を各分散アプリケーションサーバ１０８に必要に応じて指示し（ｓ１００６、ｓ１００７）、構成情報の変更を各分散アプリケーションサーバ１０８の構成情報更新プログラム３２２に指示し（ｓ１００８、ｓ１００９）、各分散アプリケーションサーバ１０８の分散データストアプログラム３２６に分散アプリケーションサーバ１０８の再起動を指示し（ｓ１０１０）、各分散アプリケーションサーバ１０８の分散アプリケーションプログラム３２１に分散アプリケーションサーバ１０８の再起動を指示する（ｓ１０１１）。一方、次状態がない場合は、監視プログラム２２１は、次状態又は次処理がない旨を出力し、処理は終了する（ｓ１０１４）。
　すなわち、図９に示すように、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、次状態があるか否かを判断し（ｓ４０７）、次状態がない場合には（ｓ４０７：ＮＯ）、次状態が存在せず分散アプリケーションシステム１０９の復旧が不可能である旨を出力して（例えば、分散アプリケーションシステム監視サーバ１０６の所定のログファイルや所定の出力装置に出力する）処理を終了する（ｓ４１１、ｓ４１２）。一方、次状態がある場合には（ｓ４０７：ＹＥＳ）、監視プログラム２２１は、各分散アプリケーションサーバ１０８に対して次処理を指示する（ｓ４０８）。
　次に、図８に示すように、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、次処理を実行した旨及び次処理の内容を出力する（ｓ１０１２）。その後は、処理はｓ１００２に戻る（ｓ１０１３）。
　すなわち、図９に示すように、例えば、分散アプリケーションシステム監視サーバ１０６の監視プログラム２２１は、各分散アプリケーションサーバ１０８に次処理の指示を行った後、次処理を行った旨及び次処理の内容を、所定のログファイルや出力装置に出力する（ｓ４０９）。その後、処理はｓ４０４に戻る。このように、分散アプリケーションシステム監視サーバ１０６は、構成情報を変更した旨又はその変更の内容を出力するので、分散処理管理システム１００の管理者等は、分散処理システムの運用状況を適宜把握することができる。
＜状態遷移処理定義情報生成プログラム２２２＞
　ここで、ｓ１００１及びｓ４０３で説明した、状態遷移処理定義情報２２４を生成するための状態遷移処理定義情報生成プログラム２２２について説明する。
　図１０は、状態遷移処理定義情報生成プログラム２２２が行う処理の一例を示すフローチャートである。同図に示すように、まず状態遷移処理定義情報生成プログラム２２２は、分散アプリケーションシステム１０９の初期状態を登録する（ｓ５０１）。具体的には、例えば、状態遷移処理定義情報生成プログラム２２２は、初期状態として、分散アプリケーションシステム１０９における現在の分散アプリケーションサーバ１０８の台数、分散アプリケーションシステム１０９における現在の多重度、及び分散アプリケーションシステム１０９における分散アプリケーションサーバ１０８の現在の組み合わせを初期状態として状態遷移処理定義情報２２４に記憶する。なお、状態遷移処理定義情報生成プログラム２２２は、この初期状態を処理中の状態として記憶する。
　次に、状態遷移処理定義情報生成プログラム２２２は、分散アプリケーションシステム１０９において、１台の分散アプリケーションサーバ１０８が稼動しなくなった場合（すなわち、１台縮退した場合）、稼働している分散アプリケーションサーバ１０８の台数が多重度の過半数以上（必要台数以上）であるか否かを判定する（ｓ５０２）。
　稼働している分散アプリケーションサーバ１０８の台数が多重度の過半数以上（必要台数以上）である場合には（ｓ５０２：ＹＥＳ）、状態遷移処理定義情報生成プログラム２２２は、前記縮退した状態を状態遷移定義状態情報に追加する（ｓ５０３）。なお、状態遷移処理定義情報生成プログラム２２２は、前記縮退した状態を処理中の状態として記憶する。その後はｓ５０２の処理が繰り返される。
　一方、稼働している分散アプリケーションサーバ１０８の台数が多重度の過半数未満（必要台数未満）である場合には（ｓ５０２：ＮＯ）、状態遷移処理定義情報生成プログラム２２２は、稼働している（本アプリケーションを実行可能な）分散アプリケーションサーバ１０８があることを確認する（ｓ５０４）。
　稼働している分散アプリケーションサーバ１０８がある場合は（ｓ５０４：ＹＥＳ）、状態遷移処理定義情報生成プログラム２２２は、分散データストア構成情報３２５を更新する処理（縮退のための更新）を状態遷移処理定義情報２２４に追加すると共に、その処理を行った後の分散アプリケーションシステム１０９の状態を処理中の状態として記憶する（ｓ５０５）。なお、その後はｓ５０２の処理が繰り返される。
　具体的には、例えば、稼動している分散アプリケーションサーバ１０８が１台の場合、状態遷移処理定義情報生成プログラム２２２は、分散データストア構成情報３２５を、稼動している１台の分散アプリケーションサーバ１０８が単独で本アプリケーションを実行する構成の情報に変更すると共に、分散アプリケーションシステム１０９の多重度を１に変更する処理（冗長度変更処理）を行うことを示す情報を生成し、生成した情報を、状態遷移処理定義情報２２４に追加する。
　また、例えば、状態遷移処理定義情報生成プログラム２２２は、稼働している分散アプリケーションサーバ１０８の台数が２台以上の場合には、分散データストア構成情報３２５を、それらの分散アプリケーションサーバ１０８が本アプリケーションの処理を並列的に行う構成に変更する処理（構成変更処理）を示す情報を生成し、生成した情報を状態遷移処理定義情報２２４に追加する。なお、この場合、状態遷移処理定義情報生成プログラム２２２は、稼動しなくなった分散アプリケーションサーバ１０８がマスターである場合には、稼動しているスレーブの分散アプリケーションサーバ１０８に記憶されているデータを、他の分散アプリケーションサーバ１０８に転送すると共にその転送先の分散アプリケーションサーバ１０８をマスターとする処理の情報を生成し、生成した情報を状態遷移処理定義情報２２４に追加してもよい。
　一方、稼働している（本アプリケーションを実行可能な）分散アプリケーションサーバ１０８が存在しない場合は（ｓ５０４：ＮＯ）、状態遷移処理定義情報生成プログラム２２２は、これまでに状態遷移処理定義情報２２４に追加した全ての状態（初期状態を除く）のうち、稼動していなかった１台以上の分散アプリケーションサーバ１０８が稼動を開始したことにより複数の分散アプリケーションサーバ１０８が並列的にアプリケーション処理を行う状態に変化させる処理（復帰処理）が追加されていない状態（以下、復帰可能状態という。）があるか否かを判定する（ｓ５０６）。
　復帰処理が全て追加されている場合には（ｓ５０６：ＹＥＳ）、処理は終了するが（ｓ５１０）、復帰処理が追加されていない状態がある場合には（ｓ５０６：ＮＯ）、状態遷移処理定義情報生成プログラム２２２は、復帰可能状態の一つを選択した上で、分散アプリケーションサーバ１０８における自動レプリケーションプログラムによって復帰可能状態からの復帰処理が可能であるか否かを判定する（ｓ５０７）。
　自動レプリケーションプログラムによって復帰処理が可能である場合は（ｓ５０７：ＹＥＳ）、状態遷移処理定義情報生成プログラム２２２は、復帰処理としての自動レプリケーションプログラムの実行を示す情報を、状態遷移処理定義情報に追加する（ｓ５０８）。その後はｓ５０６の処理が繰り返される。
　一方、自動レプリケーションプログラムによる復帰処理が可能でない場合は（ｓ５０７：ＮＯ）、状態遷移処理定義情報生成プログラム２２２は、自動レプリケーションプログラムによらない復帰処理を状態遷移処理定義情報２２４に追加すると共に、その復帰処理を行った後の分散アプリケーションシステム１０９の状態を処理中の状態として記憶する（ｓ５０８）。その後はｓ５０６の処理が繰り返される。
　具体的には、例えば、状態遷移処理定義情報生成プログラム２２２は、冗長度変更処理が実行された状態から１台又は２台以上の分散アプリケーションサーバ１０８が稼動を開始することにより分散アプリケーションシステム１０９において稼動している分散アプリケーションサーバ１０８の台数が多重度の過半数以上（必要台数以上）となる場合の復帰処理として、分散アプリケーションシステム１０９の構成を、稼動を開始した分散アプリケーションサーバ１０８を含む複数の分散アプリケーションサーバ１０８が本アプリケーションを実行する構成に変更すると共に、分散アプリケーションシステム１０９の多重度を冗長度変更処理の実行前の多重度に戻す処理（冗長度回復処理）を示す情報を生成し、生成した情報を、状態遷移処理定義情報２２４に追加する。
　また、例えば、状態遷移処理定義情報生成プログラム２２２は、構成変更処理が実行された状態から１台の分散アプリケーションサーバ１０８が稼動を開始する場合の復帰処理として、分散アプリケーションシステム１０９の構成を、稼動を開始した分散アプリケーションサーバ１０８を加えた複数の分散アプリケーションサーバ１０８が本アプリケーションを並列的に実行する構成に変更する処理（構成回復処理）を示す情報を生成し、生成した情報を、状態遷移処理定義情報２２４に追加する。
＜状態遷移処理定義情報２２４＞
　ここで、状態遷移処理定義情報生成プログラム２２２により生成される状態遷移処理定義情報２２４の具体例を説明する。
（ケース１の状態遷移処理定義情報２２４）
　図１１は、ケース１における状態遷移処理定義情報２２４の一例を説明するフローチャートである。同図に示すように、分散アプリケーションシステム１０９を構成する３台の分散アプリケーションサーバ１０８のうち３台の分散アプリケーションサーバ１０８が稼動している状態（ｓ６０１）から、１台の分散アプリケーションサーバ１０８が稼動しなくなったことにより２台の分散アプリケーションサーバ１０８が稼動している状態（ｓ６０２）に遷移した場合（すなわち、１台の縮退が発生した場合）において、稼動していなかった１台の分散アプリケーションサーバ１０８が稼動を開始した場合（復帰した場合）、分散アプリケーションシステム１０９の状態は、自動データレプリケーションプログラムによってｓ６０１の状態に遷移する（戻る）。
　これに対して、ｓ６０２の状態から、稼動していた２台の分散アプリケーションサーバ１０８のうち１台の分散アプリケーションサーバ１０８がさらに稼動しなくなった状態（ｓ６０３）に遷移した場合、分散アプリケーションシステム１０９から、稼動していない２台の分散アプリケーションサーバ１０８が除外され（切り離され）、その分散アプリケーションシステム１０９において稼動している１台の分散アプリケーションサーバ１０８が、単独で本アプリケーションの処理を行う（ｓ６０７、ｓ６０８、ｓ６０５）。具体的には、例えば、分散アプリケーション構成情報３２４及び分散データストア構成情報３２５が、分散アプリケーションシステム監視サーバ１０６からの再構成指示により、稼動している１台の分散アプリケーションサーバ１０８が単独で（多重度１で）アプリケーション処理を行う構成の情報に更新され（ｓ６０７）、分散アプリケーションシステム１０９が再起動される（ｓ６０８）。これにより、分散アプリケーションシステム１０９の状態は、１台の分散アプリケーションサーバ１０８が本アプリケーションの処理を実行する状態となる（ｓ６０５）。
　ｓ６０５において、稼動していなかった分散アプリケーションサーバ１０８のうち少なくとも１台以上が稼動を開始することにより、分散アプリケーションシステム１０９の状態が、複数の分散アプリケーションサーバ１０８が稼動している状態に遷移した場合には、稼動を開始した分散アプリケーションサーバ１０８が分散アプリケーションシステム１０９に組み込まれ、その分散アプリケーションシステム１０９における複数の分散アプリケーションサーバ１０８が、本アプリケーションの処理を並列的に行う（ｓ６１１、ｓ６１０、ｓ６０９）。具体的には、例えば、まず、データレプリケーション支援プログラムが実行されることにより、既に稼動している分散アプリケーションサーバ１０８のデータが、稼動を開始した分散アプリケーションサーバ１０８に転送され、稼動している分散アプリケーションサーバ１０８のデータが同期する（ｓ６１１）。そして、分散アプリケーション構成情報３２４及び分散データストア構成情報３２５が、分散アプリケーションシステム監視サーバ１０６からの再構成指示により、既に稼働している分散アプリケーションサーバ１０８及び稼動を開始した分散アプリケーションサーバ１０８が本アプリケーションの処理を並列的に（多重度３で）行う構成の情報に更新され（ｓ６１０）、分散アプリケーションシステム１０９が再起動される（ｓ６０９）。これにより、分散アプリケーションシステム１０９の状態は、多重度の過半数の台数以上（２台又は３台）の分散アプリケーションサーバ１０８が本アプリケーションの処理を並列的に実行する状態となる（ｓ６０１、ｓ６０２）。なお、ｓ６１１においてデータレプリケーション支援プログラムは、必要に応じて、後述するようなマスターとスレーブの再構成を行うようにしてもよい。
　ｓ６０３又はｓ６０７の状態から、分散アプリケーションシステム１０９における全ての分散アプリケーションサーバ１０８が稼動していない状態になると、分散アプリケーションシステム１０９における全ての分散アプリケーションサーバ１０８が本アプリケーションの処理を停止する（ｓ６０４）。
　また、ｓ６０８又はｓ６０５の状態から、分散アプリケーションシステム１０９における全ての分散アプリケーションサーバ１０８が稼動していない状態になると、分散アプリケーションシステム１０９における全ての分散アプリケーションサーバ１０８が本アプリケーションの処理を停止する（ｓ６０６）。
　なお、図１２は、ケース１における状態遷移処理定義情報２２４のデータ構造の一例を示す図である。同図に示すように、この状態遷移処理定義情報２２４は、分散アプリケーションシステム１０９の状態（稼働中の分散アプリケーションサーバ１０８の台数及び分散アプリケーションシステム１０９の多重度）を示す状態特定部６２１１、現在状態部６２１１が示す状態から他の状態への遷移の内容（例えば、分散アプリケーションサーバ１０８が１台縮退すること）を示すトリガー部６２１２、トリガー部６２１２が示す遷移の結果達した分散アプリケーションシステム１０９の状態を示す次状態部６２１３、及び、次状態部６２１３が示す状態に遷移する場合に行われる処理を示す次処理部６２１４の各項目を有する情報の集合体６２１５を、少なくとも１つ以上有している。
　次に、ケース２の状態遷移処理定義情報２２４の例を説明する。
（ケース２の状態遷移処理定義情報２２４）
　図１３は、ケース２における状態遷移処理定義情報２２４の一例を説明するフローチャートである。同図に示すように、分散アプリケーションシステム１０９を構成する３台の分散アプリケーションサーバ１０８のうち３台の分散アプリケーションサーバ１０８が稼動している状態（ｓ６３１）から、１台の分散アプリケーションサーバ１０８が稼動しなくなったことにより２台の分散アプリケーションサーバ１０８が稼動している状態（ｓ６３２）に遷移した場合（すなわち、１台の縮退が発生した場合）、稼動しなくなった１台の分散アプリケーションサーバ１０８が分散アプリケーションシステム１０９から除外され（切り離され）、その分散アプリケーションシステム１０９において稼動している２台の分散アプリケーションサーバ１０８が、本アプリケーションの処理を並列的に行う（ｓ６３７、ｓ６３８、ｓ６３９、ｓ６３４）。具体的には、例えば、分散アプリケーションシステム監視サーバ１０６からの再構成指示により、データレプリケーション支援プログラム３２３が実行され、稼動している分散アプリケーションサーバ１０８のデータが同期する（ｓ６３７）。また、分散アプリケーション構成情報３２４及び分散データストア構成情報３２５が、分散アプリケーションシステム監視サーバ１０６からの再構成指示により、稼動しなくなった分散アプリケーションサーバ１０８が切り離された分散アプリケーションシステム１０９における分散アプリケーションサーバ１０８が本アプリケーションの処理を並列的に行う構成の情報に更新され（ｓ６３８）、分散アプリケーションシステム１０９が再起動される（ｓ６３９）。これにより、２台の分散アプリケーションサーバ１０８が、本アプリケーションの処理を並列的に実行する状態となる（ｓ６３４）。
　なお、ｓ６３２において稼動しなくなった分散アプリケーションサーバ１０８がマスターであった場合には、稼動している２台の分散アプリケーションサーバ１０８がいずれもスレーブとなり同期処理が正常に行えなくなるので、例えば、ｓ６３７においてデータレプリケーション支援プログラムが、稼動している２台のスレーブのうちいずれかをマスターとし、これらの２台の間でデータの同期処理を行う再構成が行われてもよい（図２の状態２０１及び状態２０２を参照）。
　ｓ６３４において、分散アプリケーションサーバ１０８のうち１台が稼動を開始することにより、分散アプリケーションシステム１０９の状態が、３台の分散アプリケーションサーバ１０８が稼動している状態に遷移した場合には、稼動を開始した分散アプリケーションサーバ１０８が分散アプリケーションシステム１０９に組み込まれ、その分散アプリケーションシステム１０９における３台の分散アプリケーションサーバ１０８が、本アプリケーションの処理を並列的に行う（ｓ６４１、ｓ６４２、ｓ６３１）。具体的には、例えば、まず、分散アプリケーションシステム監視サーバ１０６からの再構成指示によりデータレプリケーション支援プログラムが実行されることにより、既に稼動している分散アプリケーションサーバ１０８のデータが、稼動を開始した分散アプリケーションサーバ１０８に転送され、これらの分散アプリケーションサーバ１０８の間でデータが同期される（ｓ６４０）。そして、分散アプリケーションシステム監視サーバ１０６からの再構成指示により、分散アプリケーション構成情報３２４及び分散データストア構成情報３２５が、既に稼働している分散アプリケーションサーバ１０８及び稼動を開始した分散アプリケーションサーバ１０８が本アプリケーションの処理を並列的に行う構成の情報に更新され（ｓ６４１）、分散アプリケーションシステム１０９が再起動される（ｓ６４２）。これにより、分散アプリケーションシステム１０９の状態は、３台の分散アプリケーションサーバ１０８が本アプリケーションの処理を並列的に実行する状態となる（ｓ６３１）。
　なお、ｓ６４０においてデータレプリケーションが行われる場合、稼動を開始した分散アプリケーションサーバ１０８をマスターとし、その他の稼動している分散アプリケーションサーバ１０８をスレーブとする再構成が行われてもよい。
　ｓ６３２、ｓ６３７、又はｓ６３８の状態において、稼動していた分散アプリケーションシステム１０９が１台稼動しなくなった場合（すなわち、１台縮退した場合）、分散アプリケーションシステム１０９は、稼動している１台の分散アプリケーションサーバ１０８が、単独で本アプリケーションの処理を行う状態になる（ｓ６３３）。
　ｓ６３９又はｓ６３４の状態において、稼動していた分散アプリケーションサーバ１０８の１台が稼動しなくなった状態（ｓ６３５）になった場合（すなわち、１台縮退した場合）、分散アプリケーションシステム１０９の状態は、自動レプリケーションプログラムによりｓ６３４の状態に遷移する（戻る）。
　これに対して、ｓ６３５の状態から、稼動していた１台の分散アプリケーションサーバ１０８のうちさらに１台が稼動しなくなった状態（ｓ６３６）に遷移した場合、分散アプリケーションシステム１０９における全ての分散アプリケーションサーバ１０８は本アプリケーションの処理を停止する（ｓ６３６）。
　以上のように、本実施形態の分散処理管理システム１００は、分散処理システム（分散アプリケーションシステム１０９）を構成する情報処理装置（分散アプリケーションサーバ１０８）の台数及び組み合わせに関する構成情報（システム構成情報２２５）を記憶し、情報処理装置の稼働状態の変化を検知した場合に、稼動している情報処理装置の台数及び組み合わせに基づき構成情報を変更し、稼動している少なくとも１台以上の情報処理装置に所定の処理（本アプリケーションの処理）を単独で又は並列的に行わせるので、分散アプリケーションサーバ１０８の稼動状態が変化して一部の分散アプリケーションサーバ１０８が稼動しなくなったり稼動を開始した場合であっても、本アプリケーションの処理を引き続き並列的に又は単独で行うことができる。このように、本実施形態の分散処理管理システム１００によれば、分散アプリケーションシステム１０９の構成及び冗長度を分散アプリケーションサーバ１０８の稼動状態に応じて変更することにより、分散アプリケーションシステム１０９における冗長性を確保しつつもその安定的な運用を行うことができる。
　また、本実施形態の分散処理管理システム１００は、稼動していた情報処理装置（分散アプリケーションシステム１０９）のうち一部の情報処理装置が稼動しなくなった場合に、稼動している情報処理装置の台数及び組み合わせに基づき構成情報（システム構成情報２２５）を変更し、稼動している情報処理装置に所定の処理（本アプリケーションの処理）を単独で又は並列的に行わせるので、分散アプリケーションシステム１０９のうち一部が稼動しなくなっても、分散アプリケーションシステム１０９における構成を変更することにより、本アプリケーションの処理を確実に続行させることができる。
　また、本実施形態の分散処理管理システム１００は、縮退処理が実行された後において、稼動していなかった情報処理装置（分散アプリケーションサーバ１０８）が稼動を開始した場合に、稼動している情報処理装置の台数及び組み合わせに基づき構成情報（システム構成情報２２５）を変更し、稼動している複数の情報処理装置に所定の処理（本アプリケーションの処理）を並列的に行わせるので、縮退処理により冗長度が一時的に減少しても、稼動していなかった分散アプリケーションサーバ１０８が稼働を再開した場合には、本アプリケーションの並列処理を再開して冗長度を回復させることができる。
　そして、本実施形態の分散処理管理システム１００は、構成情報（システム構成情報２２５）が示す情報処理装置（分散アプリケーションサーバ１０８）のうち一部の情報処理装置が稼働しなくなったことにより構成情報が示す台数未満の情報処理装置が稼動している状態となった場合に、構成情報における台数及び組み合わせを、稼動しなくなった情報処理装置が除外された、稼動している情報処理装置の新たな台数及び組み合わせに変更し、稼動している情報処理装置に所定の処理（本アプリケーションの処理）を行わせるので（冗長度変更処理）、稼動しなくなった分散アプリケーションサーバ１０８を分散アプリケーションシステム１０９から一時的に切り離し、それ以外の分散アプリケーションサーバ１０８を用いて本アプリケーションの処理を確実に行うことができる。
　また、例えば、本実施形態の分散処理管理システム１００は、冗長度変更処理が実行された後において、稼動していなかった情報処理装置（分散アプリケーションサーバ１０８）が稼動を開始した場合に、構成情報（システム構成情報２２５）における台数及び組み合わせを、稼動を開始した情報処理装置を含む新たな台数及び組み合わせに変更し、稼動している複数の情報処理装置に所定の処理（本アプリケーションの処理）を並列的に行わせるので（冗長度回復処理）、冗長度変更処理により分散アプリケーションシステム１０９から切り離されていた分散アプリケーションサーバ１０８を再び分散アプリケーションシステム１０９に組み込むことにより、本アプリケーションの並列処理を確実に再開させることができる。
　また、例えば、本実施形態の分散処理管理システム１００は、構成情報（システム構成情報２２５）が示す情報処理装置（分散アプリケーションサーバ１０８）のうち一部が稼働しなくなったがいまだ構成情報が示す必要台数以上の複数の情報処理装置が稼動している状態となった場合に、構成情報における組み合わせを、稼動しなくなった情報処理装置を除外した新たな組み合わせに変更し、稼動している情報処理装置に所定の処理（本アプリケーションの処理）を並列的に行わせるので（構成変更処理）、情報処理装置（分散アプリケーションサーバ１０８）の一部が稼働しなくなった場合でも、分散アプリケーションシステム１０９における、稼動している分散アプリケーションサーバ１０８により、本アプリケーションの並列処理を続行することができる。
　また、本実施形態の分散処理管理システム１００は、構成変更処理が実行された後において、稼動していなかった情報処理装置（分散アプリケーションサーバ１０８）が稼動を開始した場合に、構成情報（システム構成情報２２５）における組み合わせを、稼動を開始した情報処理装置を含む情報処理装置の新たな組み合わせに変更し、稼動している情報処理装置に所定の処理（本アプリケーションの処理）を並列的に行わせるので（構成回復処理）、分散アプリケーションサーバ１０８の一部が稼動しなくなっても、分散アプリケーションシステム１０９の構成を構成変更処理の実行前に戻した状態で、本アプリケーションの並列処理を行うことができる。
　さらに、本実施形態の分散処理管理システム１００では、構成情報（システム構成情報２２５）は、マスター、及びスレーブの組み合わせを含んでおり、分散処理管理システム１００は、稼働しなくなった情報処理装置（分散アプリケーションサーバ１０８）がマスターであった場合には、稼動しているスレーブのいずれかを新たなマスターとする変更を構成情報に対して行うことにより、稼動している情報処理装置に本アプリケーションの処理を並列的に行わせるので、分散アプリケーションシステム１０９における本アプリケーションの並列処理における同期性を確保することができる。
　以上からわかるように、分散処理管理システム１００は、分散アプリケーションシステム１０９が所定の必要台数の情報処理装置（分散アプリケーションサーバ１０８）を必要とするＡＣＴ／ＡＣＴ構成の分散処理システムを想定した場合、その一部の情報処理装置が稼働しなくなって必要台数を下回っても、ＡＣＴ／ＡＣＴ構成を一時的に変更した新たな分散アプリケーションシステム１０９の構成及び台数にて、本アプリケーションの処理を続行することができる。そして、稼動していなかった分散アプリケーションサーバ１０８が稼動を開始した場合には再びＡＣＴ／ＡＣＴ構成を回復することができる。他方、一部の分散アプリケーションサーバ１０８が稼働しなくなってもその台数が必要台数を下回らないときは、ＡＣＴ／ＡＣＴ構成の分散処理システムの固有の機能（例えば、自動レプリケーションプログラム）により、分散アプリケーションシステム１０９は本アプリケーションの処理を続行することができる。このように、本実施形態の分散処理管理システム１００によれば、ＡＣＴ／ＡＣＴ構成の分散処理システムにおける分散アプリケーションサーバ１０８の必要台数（例えば、過半数以上の台数）に関わらず、常に安定的かつ柔軟な分散処理システムの運用が可能となる。そしてこれにより、分散アプリケーションシステム１０９の構成変更におけるダウンタイム（処理時間）を大きく低減させることができる。また、分散アプリケーションシステム１０９における処理の同期性を確保し、処理の一貫性を損ねる虞のあるスプリットブレイン（Split brain）の発生も回避することができる。
　以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。
１００　分散処理管理システム、１０６　分散アプリケーションシステム監視サーバ、１０８　分散アプリケーションサーバ、１０９　分散アプリケーションシステム、５１　構成情報記憶部、５２　状態監視部、５３　システム再構成部

Claims (15)

  1. 　相互に通信可能に接続された、プロセッサ及びメモリを備える複数の情報処理装置を含んで構成され、前記情報処理装置が所定の処理を他の前記情報処理装置と並列的に行う並列処理が可能な分散処理システムであって、
    　前記分散処理システムを構成する前記情報処理装置の台数及び前記情報処理装置の組み合わせに関する情報である構成情報を記憶する構成情報記憶部と、
    　前記情報処理装置のそれぞれの稼働状態を監視する状態監視部と、
    　前記情報処理装置の稼働状態の変化を検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している少なくとも１台以上の前記情報処理装置に前記所定の処理を単独で又は並列的に行わせるシステム再構成部と、
    　を備える、分散処理システム。
  2. 　前記システム再構成部は、稼動していた前記情報処理装置のうち一部の前記情報処理装置が稼動しなくなったことを検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している情報処理装置に前記所定の処理を単独で又は並列的に行わせる縮退処理を行う縮退部を備える、請求項１に記載の分散処理システム。
  3. 　前記システム再構成部は、前記縮退処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、稼動している複数の前記情報処理装置に前記所定の処理を並列的に行わせる復帰処理を行う復帰部を備える、請求項２に記載の分散処理システム。
  4. 　前記縮退部は、前記構成情報が示す前記情報処理装置のうち一部の前記情報処理装置が稼働しなくなったことにより前記構成情報が示す台数未満の前記情報処理装置が稼動している状態となったことを検知した場合に、前記構成情報における前記台数及び前記組み合わせを、前記稼動しなくなった前記情報処理装置が除外された、稼動している前記情報処理装置の新たな台数及び組み合わせに変更し、変更した前記構成情報に基づき、稼動している前記情報処理装置に前記所定の処理を行わせる冗長度変更処理を行う冗長度変更部を備える、請求項２に記載の分散処理システム。
  5. 　前記復帰部は、前記冗長度変更処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、前記構成情報における前記台数及び前記組み合わせを、前記稼動を開始した情報処理装置を含む、前記情報処理装置の新たな台数及び組み合わせに変更し、変更した前記構成情報に基づき、稼動している複数の前記情報処理装置に前記所定の処理を並列的に行わせる冗長度回復処理を行う冗長度回復部を備える、請求項４に記載の分散処理システム。
  6. 　前記縮退部は、前記構成情報が示す前記情報処理装置のうち一部が稼働しなくなったがいまだ前記構成情報が示す前記台数以上の複数の前記情報処理装置が稼動している状態となったことを検知した場合に、前記構成情報における前記組み合わせを、前記稼動しなくなった情報処理装置が除外された、前記情報処理装置の新たな組み合わせに変更し、変更した前記構成情報に基づき、稼動している情報処理装置に前記所定の処理を並列的に行わせる構成変更処理を行う構成変更部を備える、請求項２に記載の分散処理システム。
  7. 　前記復帰部は、前記構成変更処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、前記構成情報における組み合わせを、前記稼動を開始した情報処理装置を含む前記情報処理装置の新たな組み合わせに変更し、変更した前記構成情報に基づき、稼動している前記情報処理装置に前記所定の処理を並列的に行わせる構成回復処理を行う構成回復部を備える、請求項６に記載の分散処理システム。
  8. 　前記構成情報は、並列的に行う前記所定の処理を制御する前記情報処理装置であるマスター、及び前記マスターにより処理が制御される前記情報処理装置であるスレーブの組み合わせを含み、
    　前記構成変更部は、前記稼働しなくなった情報処理装置が前記マスターであった場合には、前記稼動している前記スレーブのいずれかを新たな前記マスターとする変更を前記構成情報に対して行うことにより、前記稼動している情報処理装置に前記所定の処理を並列的に行わせる、請求項６に記載の分散処理システム。
  9. 　前記構成情報を変更した旨又はその変更の内容を出力する再構成通知部を備える、請求項１に記載の分散処理システム。
  10. 　前記構成情報を変更した旨又はその変更の内容を出力する再構成通知部をさらに備え、
    　前記システム再構成部は、稼動していた前記情報処理装置のうち一部の前記情報処理装置が稼動しなくなったことを検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している情報処理装置に前記所定の処理を単独で又は並列的に行わせる縮退処理を行う縮退部と、
    　前記縮退処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、稼動している複数の前記情報処理装置に前記所定の処理を並列的に行わせる復帰処理を行う復帰部とを備え、
    　前記縮退部は、前記構成情報が示す前記情報処理装置のうち一部の前記情報処理装置が稼働しなくなったことにより前記構成情報が示す台数未満の前記情報処理装置が稼動している状態となったことを検知した場合に、前記構成情報における前記台数及び前記組み合わせを、前記稼動しなくなった前記情報処理装置が除外された、稼動している前記情報処理装置の新たな台数及び組み合わせに変更し、変更した前記構成情報に基づき、稼動している前記情報処理装置に前記所定の処理を行わせる冗長度変更処理を行う冗長度変更部を備え、
    　前記復帰部は、前記冗長度変更処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、前記構成情報における前記台数及び前記組み合わせを、前記稼動を開始した情報処理装置を含む、前記情報処理装置の新たな台数及び組み合わせに変更し、変更した前記構成情報に基づき、稼動している複数の前記情報処理装置に前記所定の処理を並列的に行わせる冗長度回復処理を行う冗長度回復部を備え、
    　前記縮退部は、前記構成情報が示す前記情報処理装置のうち一部が稼働しなくなったがいまだ前記構成情報が示す前記台数以上の複数の前記情報処理装置が稼動している状態となったことを検知した場合に、前記構成情報における前記組み合わせを、前記稼動しなくなった情報処理装置が除外された、前記情報処理装置の新たな組み合わせに変更し、変更した前記構成情報に基づき、稼動している情報処理装置に前記所定の処理を並列的に行わせる構成変更処理を行う構成変更部を備え、
    　前記復帰部は、前記構成変更処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、前記構成情報における組み合わせを、前記稼動を開始した情報処理装置を含む前記情報処理装置の新たな組み合わせに変更し、変更した前記構成情報に基づき、稼動している前記情報処理装置に前記所定の処理を並列的に行わせる構成回復処理を行う構成回復部を備え、
    　前記構成情報は、並列的に行う前記所定の処理を制御する前記情報処理装置であるマスター、及び前記マスターにより処理が制御される前記情報処理装置であるスレーブの組み合わせを含み、
    　前記構成変更部は、前記稼働しなくなった情報処理装置が前記マスターであった場合には、前記稼動している前記スレーブのいずれかを新たな前記マスターとする変更を前記構成情報に対して行うことにより、前記稼動している情報処理装置に前記所定の処理を並列的に行わせる、
    　請求項１に記載の分散処理システム。
  11. 　相互に通信可能に接続された、プロセッサ及びメモリを備える複数の情報処理装置を含んで構成され、前記情報処理装置が所定の処理を他の前記情報処理装置と並列的に行う並列処理が可能な分散処理システムにおける分散処理システムの管理方法であって、
    　プロセッサ及びメモリを備える情報処理装置が、
    　前記分散処理システムを構成する前記情報処理装置の台数及び前記情報処理装置の組み合わせに関する情報である構成情報を記憶する構成情報記憶処理と、
    　前記情報処理装置のそれぞれの稼働状態を監視する状態監視処理と、
    　前記情報処理装置の稼働状態の変化を検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している少なくとも１台以上の前記情報処理装置に前記所定の処理を単独で又は並列的に行わせるシステム再構成処理と、
    　を実行する、分散処理システムの管理方法。
  12. 　前記システム再構成処理は、稼動していた前記情報処理装置のうち一部の前記情報処理装置が稼動しなくなったことを検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、前記稼動している情報処理装置に前記所定の処理を単独で又は並列的に行わせる縮退処理を行う、請求項１１に記載の分散処理システムの管理方法。
  13. 　前記システム再構成処理は、前記縮退処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、稼動している前記情報処理装置の台数及び組み合わせに基づき前記構成情報を変更し、変更した前記構成情報に基づき、稼動している複数の前記情報処理装置に前記所定の処理を並列的に行わせる復帰処理を行う、請求項１２に記載の分散処理システムの管理方法。
  14. 　前記縮退処理は、前記構成情報が示す前記情報処理装置のうち一部の前記情報処理装置が稼働しなくなったことにより前記構成情報が示す台数未満の前記情報処理装置が稼動している状態となったことを検知した場合に、前記構成情報における前記台数及び前記組み合わせを、前記稼動しなくなった前記情報処理装置が除外された、稼動している前記情報処理装置の新たな台数及び組み合わせに変更し、変更した前記構成情報に基づき、稼動している前記情報処理装置に前記所定の処理を行わせる冗長度変更処理を行う、請求項１２に記載の分散処理システムの管理方法。
  15. 　前記復帰処理は、前記冗長度変更処理が実行された後において、稼動していなかった前記情報処理装置が稼動を開始したことを検知した場合に、前記構成情報における前記台数及び前記組み合わせを、前記稼動を開始した情報処理装置を含む、前記情報処理装置の新たな台数及び組み合わせに変更し、変更した前記構成情報に基づき、稼動している複数の前記情報処理装置に前記所定の処理を並列的に行わせる冗長度回復処理を行う、請求項１４に記載の分散処理システムの管理方法。
PCT/JP2018/020582 2017-06-15 2018-05-29 分散処理システム、及び分散処理システムの管理方法 WO2018230332A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/494,601 US11010269B2 (en) 2017-06-15 2018-05-29 Distributed processing system and method for management of distributed processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-117659 2017-06-15
JP2017117659A JP6934754B2 (ja) 2017-06-15 2017-06-15 分散処理システム、分散処理システムの管理方法、及び分散処理システム管理プログラム

Publications (1)

Publication Number Publication Date
WO2018230332A1 true WO2018230332A1 (ja) 2018-12-20

Family

ID=64660933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020582 WO2018230332A1 (ja) 2017-06-15 2018-05-29 分散処理システム、及び分散処理システムの管理方法

Country Status (3)

Country Link
US (1) US11010269B2 (ja)
JP (1) JP6934754B2 (ja)
WO (1) WO2018230332A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11042443B2 (en) * 2018-10-17 2021-06-22 California Institute Of Technology Fault tolerant computer systems and methods establishing consensus for which processing system should be the prime string

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265013A (ja) * 2006-03-28 2007-10-11 Fujitsu Ltd クラスタ制御プログラム、クラスタ制御方法およびクラスタ制御装置
JP2009217434A (ja) * 2008-03-10 2009-09-24 Fujitsu Ltd 資源割り当て方法及び装置並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914657A (en) * 1987-04-15 1990-04-03 Allied-Signal Inc. Operations controller for a fault tolerant multiple node processing system
US6363497B1 (en) * 1997-05-13 2002-03-26 Micron Technology, Inc. System for clustering software applications
US6108699A (en) * 1997-06-27 2000-08-22 Sun Microsystems, Inc. System and method for modifying membership in a clustered distributed computer system and updating system configuration
US6401120B1 (en) * 1999-03-26 2002-06-04 Microsoft Corporation Method and system for consistent cluster operational data in a server cluster using a quorum of replicas
US6615366B1 (en) * 1999-12-21 2003-09-02 Intel Corporation Microprocessor with dual execution core operable in high reliability mode
US6915391B2 (en) * 2000-12-15 2005-07-05 International Business Machines Corporation Support for single-node quorum in a two-node nodeset for a shared disk parallel file system
US7296268B2 (en) * 2000-12-18 2007-11-13 Microsoft Corporation Dynamic monitor and controller of availability of a load-balancing cluster
JP2005055995A (ja) 2003-08-07 2005-03-03 Hitachi Ltd ストレージ制御方法、および、冗長化機能を有するサーバシステム
JP4089569B2 (ja) 2003-09-19 2008-05-28 日立工機株式会社 圧縮空気ねじ締め機
JP5368907B2 (ja) 2009-08-10 2013-12-18 株式会社エヌ・ティ・ティ・データ サーバ管理システム、サーバ管理方法、及びプログラム
JP2011159222A (ja) 2010-02-03 2011-08-18 Nec Corp サーバシステム及びサーバシステムの制御方法
US9086962B2 (en) * 2012-06-15 2015-07-21 International Business Machines Corporation Aggregating job exit statuses of a plurality of compute nodes executing a parallel application
US9032251B2 (en) * 2013-03-12 2015-05-12 Cray Inc. Re-forming an application control tree without terminating the application
US9372766B2 (en) * 2014-02-11 2016-06-21 Saudi Arabian Oil Company Circumventing load imbalance in parallel simulations caused by faulty hardware nodes
JP6558037B2 (ja) * 2015-04-10 2019-08-14 富士通株式会社 運用管理プログラム、運用管理方法、および運用管理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265013A (ja) * 2006-03-28 2007-10-11 Fujitsu Ltd クラスタ制御プログラム、クラスタ制御方法およびクラスタ制御装置
JP2009217434A (ja) * 2008-03-10 2009-09-24 Fujitsu Ltd 資源割り当て方法及び装置並びにプログラム

Also Published As

Publication number Publication date
JP6934754B2 (ja) 2021-09-15
US20200089585A1 (en) 2020-03-19
US11010269B2 (en) 2021-05-18
JP2019004327A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
US8423821B1 (en) Virtual recovery server
JP6341543B2 (ja) 分散型記憶システム管理装置および方法
JP4648447B2 (ja) 障害復旧方法、プログラムおよび管理サーバ
US20200073655A1 (en) Non-disruptive software update system based on container cluster
US9645900B2 (en) Warm standby appliance
JP5352115B2 (ja) ストレージシステム及びその監視条件変更方法
JP2007226400A (ja) 計算機管理方法、計算機管理プログラム、実行サーバの構成を管理する待機サーバ及び計算機システム
GB2407887A (en) Automatically modifying fail-over configuration of back-up devices
JP2020021277A (ja) 情報処理システム、情報処理システムの管理方法及びプログラム
WO2018230332A1 (ja) 分散処理システム、及び分散処理システムの管理方法
WO2007094041A1 (ja) サーバ管理装置及びサーバ管理プログラム
EP3316114A1 (en) Data reading and writing method and device
US11762741B2 (en) Storage system, storage node virtual machine restore method, and recording medium
JP2008276281A (ja) データ同期システム、方法、及び、プログラム
JP6773345B1 (ja) フォールトトレラントシステム、サーバ、及びそれらの運用方法
KR20180018195A (ko) 공정 관리 장치, 이와 연동하는 데이터 서버를 포함하는 반도체 공정 관리 시스템 및 이를 이용한 반도체 공정 관리 방법
CN112882771A (zh) 应用系统的服务器切换方法及装置、存储介质及电子设备
JP2011081830A (ja) サーバ切替方法、プログラムおよび管理サーバ
WO2016046951A1 (ja) 計算機システム及びそのファイル管理方法
KR20160101705A (ko) 공정 관리 장치, 이와 연동하는 데이터 서버를 포함하는 반도체 공정 관리 시스템 및 이를 이용한 반도체 공정 관리 방법
JP2009042846A (ja) 分散監視制御システム
WO2014155654A1 (ja) 情報処理装置及び情報処理装置の交換支援システム並びに交換支援方法
JP2015005149A (ja) クラウドプリントにおけるプリントサーバ障害時のリカバリ方法
JP4472498B2 (ja) ディスクレスブートシステムのストレージ接続方法、そのシステム、そのための管理サーバ、ストレージ、およびプログラム
JP6093320B2 (ja) 分散処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18817997

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18817997

Country of ref document: EP

Kind code of ref document: A1