WO2012001780A1 - システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法 - Google Patents

システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法 Download PDF

Info

Publication number
WO2012001780A1
WO2012001780A1 PCT/JP2010/061152 JP2010061152W WO2012001780A1 WO 2012001780 A1 WO2012001780 A1 WO 2012001780A1 JP 2010061152 W JP2010061152 W JP 2010061152W WO 2012001780 A1 WO2012001780 A1 WO 2012001780A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
volatile memory
nonvolatile memory
memory
processing device
Prior art date
Application number
PCT/JP2010/061152
Other languages
English (en)
French (fr)
Inventor
小林友宏
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP10854077.4A priority Critical patent/EP2590072A4/en
Priority to PCT/JP2010/061152 priority patent/WO2012001780A1/ja
Priority to JP2012522385A priority patent/JP5376058B2/ja
Publication of WO2012001780A1 publication Critical patent/WO2012001780A1/ja
Priority to US13/728,261 priority patent/US20130117518A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1441Resetting or repowering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures

Definitions

  • the present invention relates to a system controller, an information processing system, and a data saving and restoring method for the information processing system.
  • the information processing system adopts a configuration in which a plurality of processing units are operated in parallel.
  • the information processing system includes a system control unit that performs system control of each processing unit.
  • FIG. 13 is a block diagram of a conventional information processing system.
  • the information processing system 100 includes a system board unit 110 and a system control unit 120.
  • the system board unit 110 includes a CPU (Central Processing Unit) 112 and constitutes a server main unit of the information processing system.
  • the system control unit 120 includes a CPU (processor) 122.
  • the CPU 122 of the system control unit 120 executes a system monitoring program (mechanism) 124 and controls the entire system including hardware constituting the server main body device 110.
  • a system monitoring program (mechanism)
  • the system control unit 120 performs power on / off of the hardware units constituting the server main unit 110 via the control line C1, monitoring / logging / notification of the apparatus, maintenance guidance, communication with an OS (Operating System), etc. Perform the function.
  • OS Operating System
  • the operator can change the set value data necessary for starting the server main unit 110.
  • an information processing system that uses UNIX (registered trademark) as an OS executes a boot program to start the OS.
  • the set value at the time of starting the OS is set to a default value.
  • the operator sets other set values.
  • Other set values are stored in the volatile area (set area) 114 of the memory of the system board unit 110.
  • the system monitoring mechanism 124 of the system control unit 120 executes saving / restoring of setting value data.
  • the system monitoring mechanism 124 of the system control unit 120 reads the set value data in the volatile area 114 of the memory of the system board unit 110 via the connection line C2, and stores it in the nonvolatile area 126 of the memory. To do.
  • the system monitoring mechanism 124 of the system control unit 120 reads the set value data from the nonvolatile area (storage area) 126 of the memory, and stores the memory of the system board unit 110 via the connection line C2. Write to the volatile area (setting area) 114. Thereby, the setting value data is restored.
  • the set value data to be restored is simply binary data for the system monitoring mechanism on the control side.
  • the boot program of the server main body apparatus 110 has a mechanism for checking a set value at the time of starting the server at the time of setting.
  • a check mechanism is often not open to the public.
  • FIG. 14 and FIG. 15 are explanatory diagrams of problems in data saving / restoring.
  • the system monitoring mechanism 122 saves data from the setting area 114 of the system board unit 110
  • a hardware abnormality occurs intermittently or fixedly in the data communication path
  • the received data is It may break.
  • an intermittent or fixed hardware abnormality occurs, data destroyed by the hardware abnormality is saved in the storage area 126. Then, when the saved data is restored and the server body is started next time, the server body cannot be started.
  • the system monitoring mechanism 122 restores data from the storage area 126 to the setting area 114 of the system board unit 110, a hardware abnormality occurred intermittently or fixedly in the data communication path. In some cases, the restored data may be corrupted. When an intermittent or fixed hardware abnormality occurs, data destroyed by the hardware abnormality is restored to the setting area 114. For this reason, when starting the server body, the server body cannot be started.
  • the boot program checking mechanism of the server main unit 110 checks the validity of the variable value at power-on. However, if the check mechanism determines that the data in the setting area 114 is abnormal, the check mechanism initializes the data in the setting area. Since the data is initialized, it is necessary for the operator to reset the data and give an instruction to start the system.
  • An object of the present invention is to provide a system control device, an information processing system, and an information processing device that accurately restore saved data even if an intermittent or fixed failure occurs in a data communication path between the processing device and the system control device.
  • An object of the present invention is to provide a system data saving and restoring method.
  • the disclosed information processing system includes a processing device that executes startup processing according to data in a volatile memory, and is connected to the processing device, receives data in the volatile memory, and stores the data in a nonvolatile memory.
  • a system control device that saves, transmits data in the nonvolatile memory to the processing device, and restores the data to the volatile memory.
  • the system control device has a first nonvolatile memory that holds the received data.
  • the memory, the second non-volatile memory, and the data of the first non-volatile memory are restored to the volatile memory at the time of restoration, and the processing device is started, and in response to a startup success notification from the processing device
  • a processing unit for storing data of the first nonvolatile memory in the second nonvolatile memory.
  • the disclosed system control device is connected to a processing device that executes start-up processing according to the data in the volatile memory, receives the data in the volatile memory, saves the data in the nonvolatile memory,
  • a system control device that transmits data in the nonvolatile memory to the processing device and restores the data to the volatile memory, and includes a first nonvolatile memory that holds the received data, a second nonvolatile memory, The data in the first non-volatile memory is restored to the volatile memory at the time of restoration, and the processing device is activated, and the data in the first non-volatile memory is activated in response to the activation success notification from the processing device. Is stored in the second nonvolatile memory.
  • the disclosed data saving and restoring method of the information processing system receives the data of the volatile memory of the processing device that executes the startup process according to the data of the volatile memory, and receives the first nonvolatile memory In response to a notification of successful startup from the processing device, a step of restoring the data in the first nonvolatile memory to the volatile memory at the time of restoration, and starting the processing device. Storing the data of the first nonvolatile memory in the second nonvolatile memory.
  • the save is temporarily done in the temporary data memory, and the processor is started with the data in the temporary data memory at the time of restoration.
  • saved data is saved in the formal data memory when it is found that it can be restored, it is possible to prevent restoration with incorrect saved data even if an abnormality occurs in the communication path or the temporary data memory is abnormal .
  • FIG. 2 is a block diagram of the data saving and restoring configuration of FIG. 1.
  • FIG. 4 is an explanatory diagram of a save operation when the system board of FIG. 3 is abnormal.
  • FIG. 10 is a restoration process flowchart (2) according to the embodiment.
  • FIG. 10 is an explanatory diagram of the data restoration operation of FIGS. 8 and 9.
  • FIG. 10 is an explanatory diagram of a data restoration operation when the data communication path of FIGS. 8 and 9 is abnormal.
  • FIG. 10 is an explanatory diagram of a data restoration operation when the first nonvolatile memory of FIGS. 8 and 9 is abnormal.
  • It is a block diagram of the conventional information processing system. It is explanatory drawing of the problem in the conventional data backup / restoration. It is explanatory drawing of the problem in the other conventional data backup / restoration.
  • FIG. 1 is a block diagram of an information processing system according to an embodiment.
  • the processing apparatus includes system board units 2A and 2B.
  • the system board units 2A and 2B are composed of CPU / memory boards.
  • the system board units (hereinafter referred to as system boards) 2A, 2B are used for controlling a plurality of central processing units (CPUs) 22A, 22B, 22C, 22D, a system controller 24, a memory access controller 26, a host memory 28, and the like. And a memory 29.
  • CPUs central processing units
  • the CPUs 22A to 22D are connected to the system controller 24.
  • the system controller 24 is connected to a memory access controller 26 connected to the host memory 28.
  • the system controller 24 is connected to a plurality of I / O (Input / Output) boards 4A to 4N via the crossbar switch 3.
  • the I / O boards 4A to 4N include an I / O controller 40 and a plurality of PCI (Peripheral Component Interconnect) Express slots 42.
  • An external memory large capacity memory and / or storage device
  • a network interface card NIC
  • the system controller 24 performs transfer control between the CPUs 22A to 22D and the memory access controller 26 and between the crossbar switch 3 and the CPUs 22A to 22D and the memory access controller 26.
  • Crossbar switch 3 is system boards 2A and 2B.
  • the system boards 2A and 2B and the I / O boards 4A to 4N are directly connected in a one-to-one relationship.
  • the crossbar switch 3 can speed up data transfer between the system boards 2A and 2B, and the system boards 2A and 2B and the I / O boards 4A to 4N.
  • the information processing system is equipped with two system boards, but may be equipped with a single system board or a plurality of other system board units.
  • the control memory 29 is a storage unit that stores programs and data for controlling the system boards 2A and 2B.
  • the control memory 29 includes a nonvolatile memory that stores a boot program and the like, and a nonvolatile memory 29A that stores data including setting values.
  • the system controller 1 monitors the operation of the system boards 2A and 2B and makes various settings via the control lines LAC and LAD.
  • the system control device (hereinafter referred to as a system control unit) 1 includes power on / off of hardware units constituting the system boards 2A and 2B, abnormality monitoring / logging / notification of the system boards 2A and 2B, maintenance guidance, Communication with OS (Operating System) is executed.
  • system control unit 1 is connected to the volatile memory 29A of the control memory 29 of the system board 2A through the first signal line PE1 and the second signal line PR1, and the third signal line PE2 and the fourth signal line PR1 are connected to the fourth signal line PE1.
  • the signal line PR2 is connected to the volatile memory 29A of the control memory 29 of the system board 2B.
  • the system control unit 1 includes a processing unit (CPU: Central Processing Unit) 10, a storage unit 12, a first interface circuit group 14A, 15A, 16A for communication with the system board 2A, and a system board 2B.
  • a second interface circuit group 14B, 15B, 16B for communication and a communication bus 18 for connecting these circuits are provided.
  • the first interface circuit groups 14A, 15A, and 16A include a control interface circuit 14A that performs operation monitoring and various settings of the system board 2A via the control line LAC, a first signal line PE1, and a second signal line PR1.
  • a pair of signal interface circuits 15A and 16A connected to the volatile memory 29A of the control memory 29 of the system board 2A is provided.
  • the second interface circuit groups 14B, 15B, and 16B include a control interface circuit 14B that performs operation monitoring and various settings of the system board 2B via the control line LAD, a first signal line PE2, and a second signal line PR2.
  • a pair of signal interface circuits 15B and 16B connected to the volatile memory 29A of the control memory 29 of the system board 2B are provided.
  • the storage unit 12 includes a first nonvolatile memory 12A, a second nonvolatile memory 12C, and a volatile memory 12B.
  • the first nonvolatile memory 12 ⁇ / b> A and the second nonvolatile memory 12 ⁇ / b> C include a storage area for setting value data.
  • the volatile memory 12B includes a comparison area.
  • the system control unit 1 is connected to the terminal device 5A via the communication path 50.
  • the terminal device 5A is composed of, for example, a personal computer having a monitor and an input device.
  • the operator operates the terminal device 5A to give a hardware control instruction to the system control unit 1.
  • the system control unit 1 executes a power-on sequence, an initialization process sequence, and an end sequence.
  • the communication path 50 is preferably a LAN (Local Area Network), for example.
  • the terminal device 5A is connected to the communication path 50, and rewrites the set value of the volatile memory 29A of the system boards 2A and 2B via the system control unit 1 by the operation of the user (operator).
  • an Open Boot PROM boots program
  • OS an IEEE 1275-compliant Solaris operating system
  • the operator changes the set value data by an eeprom command on the OS.
  • the changed set value data is referred to as an OBP environment variable.
  • the OBP environment variable sets the OS environment by executing the Open Boot PROM. This set value data is written in the volatile memory 29A of the system boards 2A and 2B.
  • the OBP environment variable for example, a boot device (boot-device) setting, a security setting range, a diagnosis level, and the like are known.
  • the boot device can be set to “disk” or “net”.
  • the Open Boot PROM (boot program) has a default value of the OBP environment variable, and the changed value of the OBP environment variable is stored in the volatile memory 29A.
  • FIG. 2 is an explanatory diagram showing the relationship between the system control unit 1 and the control memory of the system board 2A in FIG.
  • the interface circuit groups 14A, 15A, and 16A in FIG. 1 are omitted.
  • the CPU 10 of the system control unit 1 includes a system monitoring mechanism (program) 11 that performs monitoring control of the system boards 2A and 2B.
  • the system monitoring mechanism 11 saves and restores set value data in the volatile memory 29A of the system board 2A.
  • the volatile memory 29A of the system board 2A and the system control unit 1 are connected by a pair of signal lines PE1 and PR1.
  • the pair of signal lines PE1 and PR1 are desirably signal lines standardized by JTAG (Joint Test Action Group).
  • the first nonvolatile memory 12A of the system control unit 1 constitutes a temporary data saving area
  • the second nonvolatile memory 12C constitutes a formal data saving area.
  • the system monitoring mechanism 11 reads the setting data of the volatile memory 29A of the system board 2A to the first nonvolatile memory 12A and the volatile memory 12B via the signal line PE1.
  • the first case is a case where an evacuation request command is issued to the system monitoring mechanism 11 when the setting value data change (execution of the eeprom command on the OS) is performed by the operator.
  • the second case is a case where the system monitoring mechanism 11 itself makes a judgment when the system power is turned off.
  • the setting data of the volatile memory 29A of the system board 2A is held as temporary data in the first nonvolatile memory 12A via the signal line PE1.
  • the temporary data of the first nonvolatile memory 12A is transferred to the second nonvolatile memory 12C. Save as official data.
  • the system board 2A is activated with the temporary data of the first nonvolatile memory 12A. If the activation of the system board 2A fails with the temporary data in the first nonvolatile memory 12A, the formal data in the second nonvolatile memory 12C is restored.
  • the temporary data in the first nonvolatile memory 12A and the comparison data read into the volatile memory 12B indicate a mismatch, the temporary data in the first nonvolatile memory 12A is not used, The system board 2A is attempted to be activated with the official data of the second nonvolatile memory 12C.
  • the restoration timing of this set value data is determined by the system monitoring mechanism 11 itself when the system power is turned on.
  • the storage area of the nonvolatile memory 12A in the system control unit 1 is changed to the position for temporary data, and a new nonvolatile memory 12C for formal data is added. That is, the system control unit 1 has two save areas (nonvolatile memories) 12A and 12C.
  • the route PR1 to the first second nonvolatile memory 12C is a different route.
  • a volatile memory 12B for the comparison area is provided in order to strengthen checking of data read at the time of saving.
  • the system monitoring mechanism 11 compares the temporary data in the first nonvolatile memory 12A and the data written in the comparison area volatile memory 12B, and detects a match / mismatch.
  • FIG. 3 is a data saving process flowchart of the system monitoring mechanism according to the embodiment.
  • FIG. 4 is an operation explanatory diagram of the data saving process of FIG. 5 to 7 are diagrams for explaining the operation of the data saving process when the power is turned off in FIG.
  • FIG. 3 the same components as those shown in FIGS. 1 and 2 are denoted by the same symbols.
  • the system monitoring mechanism 11 of the system control unit 1 receives the installation value data of the non-volatile memory (referred to as setting area) 29A of the system board 2A in one of the pair of paths (for example, the interface circuit 15A) when the data is saved. , Read through the route PE1).
  • setting area the installation value data of the non-volatile memory (referred to as setting area) 29A of the system board 2A in one of the pair of paths (for example, the interface circuit 15A) when the data is saved. , Read through the route PE1).
  • the system monitoring mechanism 11 writes the set value data read to the interface circuit 15A as temporary data in the storage area of the first nonvolatile memory 12A (see (1) in FIG. 4).
  • the system monitoring mechanism 11 writes the set value data read to the interface circuit 15A as comparison data in the volatile memory 12B (see (2) in FIG. 4).
  • the system monitoring mechanism 11 compares the data saved in the first nonvolatile memory 12A with the data saved in the volatile memory 12B (see (3) in FIG. 4).
  • FIG. 5 is an operation explanatory diagram when data is broken in the data communication path PE1 during data saving.
  • the data breakage of the data communication path PE1 including the interface circuit 15A
  • both the first nonvolatile memory 12A temporary data storage area
  • the volatile memory 12B compact area
  • this abnormal data is not written to the second nonvolatile memory 12C (formal data storage area). That is, the second nonvolatile memory 12C is not updated with abnormal data.
  • the system monitoring mechanism 11 can restore the formal data of the second nonvolatile memory 12C to the volatile memory 29A of the system board 2A via the communication path PR1. For this reason, the system starts up successfully.
  • FIG. 6 is an operation explanatory diagram when data is corrupted due to an abnormal data state in the storage area of the first nonvolatile memory 12A during data saving.
  • the system monitoring mechanism 11 can detect data corruption due to a failure of the first nonvolatile memory 12A by comparing the temporary data of the first nonvolatile memory 12A and the comparison data of the volatile memory 12B. . That is, data cannot be correctly written in the first nonvolatile memory 12A, but data is correctly written in the volatile memory 12B.
  • the system monitoring mechanism 11 compares the temporary data of the first nonvolatile memory 12A and the data in the comparison area of the volatile memory 12B, and recognizes a mismatch. Since the system monitoring mechanism 11 records that the comparison result flag 12D is “mismatched”, it is possible to prevent restoration from temporary data in the first nonvolatile memory 12A at the time of activation. As will be described later, the system monitoring mechanism 11 restores with the official data of the second nonvolatile memory 12C at the time of restoration.
  • FIG. 7 is an operation explanatory diagram when an abnormal data state occurs in the volatile memory 29A of the system board 2A when the system power-off data is saved. If the data in the setting area of the volatile memory 29A is damaged during system operation, the first nonvolatile memory 12A (temporary data storage area) and the volatile memory 12B (comparison area) are saved by data saving when the system power is turned off. ) Is written with abnormal data.
  • this abnormal data is not written to the second nonvolatile memory 12C (formal data storage area). That is, the second nonvolatile memory 12C is not updated with abnormal data.
  • the system monitoring mechanism 11 can restore the formal data of the second nonvolatile memory 12C to the volatile memory 29A of the system board 2A via the communication path PR1. For this reason, the system starts up successfully.
  • FIGS. 8 and 9 are restoration processing flowcharts of the system monitoring mechanism 11 according to the embodiment.
  • FIG. 10 is an explanatory diagram of the operation of the restoration process of FIGS.
  • the system monitoring mechanism 11 determines whether the comparison flag 12D indicates a match ((4) in FIG. 10).
  • the system monitoring mechanism 11 writes (copies) the read temporary data or formal data to the volatile memory 29A of the system board 2A via the interface circuit 16A and the signal line PR1 ((5) in FIG. 10).
  • the system board 2A is powered on.
  • the system monitoring mechanism 11 requests activation of the system board 2A via the control line LAC.
  • the system board 2A starts activation using the set value data copied to the volatile memory 29A.
  • the system monitoring mechanism 11 waits for reception of the activation result from the system board 2A via the control line LAC ((6) in FIG. 10).
  • the system monitoring mechanism 11 determines whether or not the activation result of the system board 2A is a notification of activation (running) (FIG. 10 (6)).
  • step S42 when the system monitoring mechanism 11 determines that the startup result of the system board 2A is not a startup success notification, the system monitoring mechanism 11 reads the formal data in the second nonvolatile memory 12C.
  • the system monitoring mechanism 11 writes (copies) the read formal data to the volatile memory 29A of the system board 2A via the interface circuit 16A and the signal line PR1 ((5) in FIG. 10).
  • the system monitoring mechanism 11 requests activation of the system board 2A via the control line LAC.
  • the system board 2A starts activation using the set value data copied to the volatile memory 29A.
  • the system monitoring mechanism 11 waits for reception of the activation result from the system board 2A via the control line LAC ((6) in FIG. 10).
  • the system monitoring mechanism 11 determines whether or not the activation result of the system board 2A is a notification of successful activation (running) (FIG. 10 (6)). If the system monitoring mechanism 11 determines that the startup result of the system board 2A is a startup success (running) notification, the system monitoring mechanism 11 ends the restoration process. Conversely, when the system monitoring mechanism 11 determines that the activation result of the system board 2A is not a notification of successful activation (running), the system monitoring mechanism 11 determines that the hardware abnormality of the nonvolatile memory 29A of the system board 2A. Then, the restoration process ends.
  • FIG. 11 is an operation explanatory diagram when data corruption occurs in the data communication path.
  • the system monitoring mechanism 11 checks the comparison result flag 12D, recognizes “match”, and determines that there is no hardware abnormality in the storage area (temporary data) of the first nonvolatile memory 12A ((( 4)).
  • the system monitoring mechanism 11 restores data using the temporary data stored in the first nonvolatile memory 12A ((5) in FIG. 11).
  • the system monitoring mechanism 11 recognizes the system start failure by receiving the error log notification from the OpenBootPROM of the system board 2A ((8) in FIG. 11).
  • the system monitoring mechanism 11 performs data restoration again with the formal data in the second volatile memory 12C ((10) in FIG. 11).
  • the system monitoring mechanism 11 requests the OpenBootPROM of the system board 2A to restart ((9) in FIG. 11).
  • the system monitoring mechanism 11 recognizes the successful start of the system by receiving the running notification from the OpenBootPROM of the system board 2A ((6) in FIG. 11).
  • the second nonvolatile memory 12C has a history of OS activation in the past. The OS can be restarted using the data.
  • FIG. 12 is an explanatory diagram of the data restoration operation in the data abnormal state of the first nonvolatile memory 12A.
  • the system monitoring mechanism 11 checks the comparison result flag 12D, recognizes “mismatch”, and determines that there is a hardware abnormality in the storage area (provisional data) of the first nonvolatile memory 12A ((( 4)).
  • the system monitoring mechanism 11 restores with the second nonvolatile memory 12C formal data ((10) in FIG. 12).
  • the system monitoring mechanism 11 recognizes the successful start of the system by receiving the running notification from the OpenBootPROM of the system board 2A ((6) in FIG. 12).
  • the system monitoring mechanism 11 when the system monitoring mechanism 11 is notified of the error log again from the system board 2A, it can be identified as a failure of the volatile memory 29A of the system board 2A as in step S50 of FIG. That is, the failure location can be specified, and the system board 2A may be replaced.
  • the first nonvolatile memory and the second nonvolatile memory are provided, and the data that has a history of starting the processing unit main body is stored in the second nonvolatile memory.
  • the processing unit can be activated using the formal data in the second non-volatile memory without resetting by the operator. .
  • the temporary data in the first nonvolatile memory is restored, and when the processing unit is successfully started, the temporary data in the first nonvolatile memory is copied to the second nonvolatile memory, and the formal data is stored.
  • the setting value with a start record can be stored in the second nonvolatile memory.
  • the system control unit that controls data saving / restoring may not have a check function that guarantees data, or may not be able to implement the check function due to licensing reasons. Even in this case, it is possible to ensure that normal data is stored in the nonvolatile memory (setting area) and the first and second nonvolatile memories (saving areas). For this reason, it is possible to maintain the operation on the side using the data in the processing unit.
  • the data restoration path PR1 has been described in FIG. 11, but when any of the data restoration paths is abnormal, a data restoration path that is not abnormal may be selected and the data restoration process may be performed. good.
  • the comparison process using the volatile memory can be omitted.
  • the OS is not limited to UNIX (registered trademark) but can be applied to other OSs
  • the setting value data is not limited to the OBP environment variable, but may be a setting value necessary for starting another OS.
  • the setting value of the OS has been described as an example, but the present invention can also be applied to saving and restoring other data and programs.
  • the save is temporarily done in the temporary data memory, and the processor is started with the data in the temporary data memory at the time of restoration.
  • saved data is saved in the formal data memory when it is found that it can be restored, it is possible to prevent restoration with incorrect saved data even if an abnormality occurs in the communication path or the temporary data memory is abnormal .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Stored Programmes (AREA)

Abstract

処理装置(2A,2B)の揮発性メモリ(29A)のデータを退避し、復元するシステム制御装置(1)の不揮発性メモリ領域に、仮データ用と正式データ用の2つの退避用メモリ(12A,12C)を設ける。システム制御装置(1)は、退避は一旦、仮データ用メモリ(12A)に行い、復元時に仮データ用メモリ(12A)のデータで処理装置(2A,2B)の起動ができると分かった時点で、正式データ用メモリ(12C)に退避データを保存する。このため、通信経路で異常が生じたり、仮データ用メモリが異常であっても、誤った退避データで復元することを防止できる。

Description

システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法
 本発明は、システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法に関する。
 情報処理システムの高速化、大規模化に伴い、情報処理システムは、複数の処理ユニットを並列に動作する構成を採用している。この情報処理システムは、各処理ユニットのシステム制御を行うシステム制御ユニットを備える。
 図13は従来の情報処理システムのブロック図である。情報処理システム100は、システムボードユニット110とシステム制御ユニット120とを備える。システムボードユニット110は、CPU(Central Processing Unit)112を搭載し、情報処理システムのサーバ本体装置を構成する。システム制御ユニット120は、CPU(プロセッサ)122を搭載する。システム制御ユニット120のCPU122は、システム監視プログラム(機構)124を実行し、サーバ本体装置110を構成するハードウェアを含めたシステム全体の制御を行う。
 システム制御ユニット120は、制御線C1を介しサーバ本体装置110を構成するハードウェアユニットの電源投入/切断、装置の異常監視/ログ採取/通報、保守ガイダンス、OS(Operating System)との通信等の機能を実行する。
 このシステム構成において、オペレータは、サーバ本体装置110の起動に必要な設定値データを変更できる。例えば、OSとして、UNIX(登録商標)を使用する情報処理システムは、ブートプログラムを実行して、OSを起動する。そのOSの起動の際の設定値はデフォルト値に設定されている。一方、オペレータは他の設定値を設定する。この他の設定値は、システムボードユニット110のメモリの揮発性領域(設定領域)114に格納される。
 システムボードユニット110が、他の設定値を変更できるように揮発性領域に格納するため、電源切断時に他の設定値を退避し、電源投入時に他の設定値を揮発性領域114に復元する必要がある。システム制御ユニット120のシステム監視機構124は、設定値データの退避/復元を実行する。
 即ち、電源切断時等に、システム制御ユニット120のシステム監視機構124はシステムボードユニット110のメモリの揮発性領域114の設定値データを、接続線C2を介し読み出し、メモリの不揮発性領域126に保存する。又、電源投入時等は、システム制御ユニット120のシステム監視機構124は、メモリの不揮発性領域(保存領域)126から設定値データを読み出して、接続線C2を介し、システムボードユニット110のメモリの揮発性領域(設定領域)114に書き込む。これにより、設定値データの復元を行う。
日本特許公開平5-265720号公報 日本特許公開平6-309234号公報
 復元の対象となる設定値データは、制御側であるシステム監視機構にとって単なるバイナリデータでしかない。また、サーバ本体装置110のブートプログラムは、設定時にサーバ起動時の設定値をチェックする機構を有している。しかしながら、このようなチェック機構は一般に公開されていないことが多い。
 図14及び図15はデータ退避/復元における問題点の説明図である。図14に示すように、システム監視機構122がシステムボードユニット110の設定領域114からデータを退避する際に、データ通信経路で間欠的または固定的にハード異常が発生した場合には、受信データが壊れることがある。間欠的又は固定的なハード異常が発生する場合には、ハード異常により破壊されたデータを保存領域126に退避してしまう。そして、次回、その退避データを復元して、サーバ本体を起動する際に、サーバ本体の起動が行えなくなってしまう。
 同様に、図15に示すように、システム監視機構122が保存領域126からデータをシステムボードユニット110の設定領域114に復元する際に、データ通信経路で間欠的または固定的にハード異常が発生した場合には、復元データが壊れることがある。間欠的又は固定的なハード異常が発生する場合には、ハード異常により破壊されたデータを設定領域114に復元してしまう。このため、サーバ本体を起動する際に、サーバ本体の起動が行えなくなってしまう。
 又、サーバ本体装置110のブートプログラムのチェック機構は、パワーオン時に、変数値の正当性をチェックする。しかし、このチェック機構は、設定領域114のデータが異常と判断した場合には、設定領域のデータを初期化する。データが初期化されるため、オペレータによって、データの再設定および、システム起動の指示を行う必要がある。
 本発明の目的は、処理装置とシステム制御装置との間のデータ通信経路の間欠的又は固定的な障害が発生しても、退避データを正確に復元するシステム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法を提供することにある。
 この目的の達成のため、開示の情報処理システムは、揮発性メモリのデータに従い起動処理を実行する処理装置と、前記処理装置に接続され、前記揮発性メモリのデータを受信し、不揮発性メモリに退避し、前記不揮発性メモリのデータを前記処理装置に送信し、前記揮発性メモリに復元するシステム制御装置とを有し、前記システム制御装置は、前記受信したデータを保持する第1の不揮発性メモリと、第2の不揮発性メモリと、復元時に前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動するととともに、前記処理装置からの起動成功通知に応じて、前記第1の不揮発性メモリのデータを前記第2の不揮発性メモリに保存する処理ユニットとを有する。
 又、この目的の達成のため、開示のシステム制御装置は、揮発性メモリのデータに従い起動処理を実行する処理装置に接続され、前記揮発性メモリのデータを受信し、不揮発性メモリに退避し、前記不揮発性メモリのデータを前記処理装置に送信し、前記揮発性メモリに復元するシステム制御装置であって、前記受信したデータを保持する第1の不揮発性メモリと、第2の不揮発性メモリと、復元時に前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動するととともに、前記処理装置からの起動成功通知に応じて、前記第1の不揮発性メモリのデータを前記第2の不揮発性メモリに保存する処理ユニットとを有する。
 更に、この目的の達成のため、開示の情報処理システムのデータ退避及び復元方法は、揮発性メモリのデータに従い起動処理を実行する処理装置の前記揮発性メモリのデータを受信し、第1の不揮発性メモリに退避する工程と、復元時に前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動する工程と、前記処理装置からの起動成功通知に応じて、前記第1の不揮発性メモリのデータを前記第2の不揮発性メモリに保存する工程とを有する。
 システム制御装置の不揮発性メモリ領域に、仮データ用と正式データ用の2つの退避用メモリを持ち、退避は一旦、仮データ用メモリに行い、復元時に仮データ用メモリのデータで処理装置の起動ができると分かった時点で、正式データ用メモリに退避データを保存するため、通信経路で異常が生じたり、仮データ用メモリが異常であっても、誤った退避データで復元することを防止できる。
実施の形態の情報処理システムのブロック図である。 図1のデータ退避及び復元構成のブロック図である。 実施の形態のデータ退避処理フロー図である。 図3の退避処理の動作説明図である。 図3のデータ通信経路の異常時の退避動作の説明図である。 図3の第1の不揮発性メモリの異常時の退避動作の説明図である。 図3のシステムボードの異常時の退避動作の説明図である。 実施の形態の復元処理フロー図(その1)である。 実施の形態の復元処理フロー図(その2)である。 図8及び図9のデータ復元動作の説明図である。 図8及び図9のデータ通信経路の異常時のデータ復元動作の説明図である。 図8及び図9の第1の不揮発性メモリの異常時のデータ復元動作の説明図である。 従来の情報処理システムのブロック図である。 従来のデータ退避/復元における問題点の説明図である。 従来の他のデータ退避/復元における問題点の説明図である。
 以下、実施の形態の例を、情報処理システム、データ退避処理、データ復元処理、他の実施の形態の順で説明するが、開示の情報処理システムの構成は、この実施の形態に限られない。
 (情報処理システム)
 図1は、実施の形態の情報処理システムのブロック図である。図1の情報処理システムの例は、1台のシステム制御装置が、複数の処理装置のシステム制御を行う。図1に示すように、処理装置は、システムボードユニット2A、2Bを有する。システムボードユニット2A、2BはCPU/メモリボードで構成される。システムボードユニット(以下、システムボードという)2A,2Bは、複数の演算処理装置(CPU:Central Processing Unit)22A、22B、22C、22Dとシステムコントローラ24とメモリアクセスコントローラ26とホストメモリ28と制御用メモリ29とを有する。この例では、4つの演算処理装置(以下、CPUという)がシステムボード2A,2Bに設けられている。システムボード2A,2BにおけるCPUの搭載数は、単数であっても、他の複数であっても良い。
 各CPU22A~22Dはシステムコントローラ24に接続する。システムコントローラ24は、ホストメモリ28に接続されたメモリアクセスコントローラ26に接続する。システムコントローラ24は、クロスバースイッチ3を介し複数のI/O(Input/Output)ボード4A~4Nに接続する。
 I/Oボード4A~4Nは、I/Oコントローラ40と複数のPCI(Peripheral Component Interconnect) Expressスロット42とを有する。PCI Expressスロット42に、外部メモリ(大容量メモリ及び/又はストレージ装置)やネットワークインタフェースカード(NIC)が接続される。システムコントローラ24は、CPU22A~22Dとメモリアクセスコントローラ26との間、及びクロスバースイッチ3とCPU22A~22D,メモリアクセスコントローラ26との間の転送制御を行う。クロスバースイッチ3は、システムボード2Aと2B。及びシステムボード2A,2BとI/Oボード4A~4Nとを1対1で直接接続する。
 このクロスバースイッチ3により、システムボード2Aと2B、及びシステムボード2A,2BとI/Oボード4A~4Nとのデータ転送を高速化できる。図1の例では、情報処理システムはシステムボードを2台搭載されているが、単数又は他の複数のシステムボードユニットを搭載しても良い。
 制御用メモリ29は、システムボード2A,2Bの制御のためのプログラム、データを格納する記憶ユニットである。例えば、制御用メモリ29は、ブートプログラム等を格納する不揮発性メモリと、設定値を含むデータを格納する不揮発性メモリ29Aとを有する。
 システム制御装置1は制御線LAC,LADを介しシステムボード2A,2Bの動作監視及び種々の設定を行う。例えば、システム制御装置(以下、システム制御ユニットという)1は、システムボード2A、2Bを構成するハードウェアユニットの電源投入/切断、システムボード2A、2Bの異常監視/ログ採取/通報、保守ガイダンス、OS(Operating System)との通信を実行する。
 又、システム制御ユニット1は、第1の信号線PE1と第2の信号線PR1とにより、システムボード2Aの制御用メモリ29の揮発性メモリ29Aに接続し、第3の信号線PE2と第4の信号線PR2とにより、システムボード2Bの制御用メモリ29の揮発性メモリ29Aに接続する。
 システム制御ユニット1は、処理ユニット(CPU:Cental Processing Unit)10と、記憶ユニット12と、システムボード2Aとの通信のための第1のインターフェース回路群14A,15A,16Aと、システムボード2Bとの通信のための第2のインターフェース回路群14B,15B,16Bと、これらの回路を接続する通信バス18とを有する。
 第1のインターフェース回路群14A,15A,16Aは、制御線LACを介しシステムボード2Aの動作監視及び種々の設定を行う制御インターフェース回路14Aと、第1の信号線PE1と第2の信号線PR1とにより、システムボード2Aの制御用メモリ29の揮発性メモリ29Aに接続する一対の信号インターフェース回路15A、16Aとを有する。
 第2のインターフェース回路群14B,15B,16Bは、制御線LADを介しシステムボード2Bの動作監視及び種々の設定を行う制御インターフェース回路14Bと、第1の信号線PE2と第2の信号線PR2とにより、システムボード2Bの制御用メモリ29の揮発性メモリ29Aに接続する一対の信号インターフェース回路15B、16Bとを有する。
 記憶ユニット12は、第1の不揮発性メモリ12Aと第2の不揮発性メモリ12Cと揮発性メモリ12Bとを有する。図2により後述するように、第1の不揮発性メモリ12A、第2の不揮発性メモリ12Cは,設定値データの保存領域を備える。揮発性メモリ12Bは比較領域を備える。
 システム制御ユニット1は通信経路50を介し端末装置5Aと接続する。端末装置5Aは、例えば、モニターと入力装置とを有するパーソナルコンピュータで構成される。オペレータは、端末装置5Aを操作し、システム制御ユニット1にハードウェア制御指示を行う。例えば、システム制御ユニット1は、電源投入シーケンス、初期化処理シーケンス、終了シーケンスを実行する。
 通信経路50は例えばLAN(Local Area Network)を用いることが望ましい。端末装置5Aは通信経路50に接続し、ユーザー(オペレータ)の操作によりシステム制御ユニット1を介しシステムボード2A,2Bの揮発性メモリ29Aの設定値を書き換える。
 例えば、UNIX(登録商標)をOSに使用した情報処理システムでは、Open Boot PROM(ブートプログラム)が、IEEE1275準拠のSolarisオペレーティングシステム(以下、OSという)を起動する。このOS上でeepromコマンドにより、オペレータは設定値データの変更を行う。変更された設定値データは、OBP環境変数と称される。OBP環境変数は、Open Boot PROMの実行により、OSの環境設定を行う。この設定値データはシステムボード2A,2Bの揮発性メモリ29Aに書き込まれる。
 OBP環境変数は、例えば、ブートデバイス(boot-device)の設定、セキュリテイの設定範囲、診断レベル等が知られている。例えば、ブートデバイスを「デイスク(disk)」や「ネット(net)」に設定できる。Open Boot PROM(ブートプログラム)は、OBP環境変数のデフォルト値を持ち、OBP環境変数の変更値は、揮発性メモリ29Aに格納される。
 図2は、図1において、システム制御ユニット1とシステムボード2Aの制御用メモリとの関係を示した説明図である。尚、図2では、図1のインターフェース回路群14A,15A,16Aを省略してある。システム制御ユニット1のCPU10は、前述のシステムボード2A、2Bの監視制御を行うシステム監視機構(プログラム)11を備える。システム監視機構11は、システムボード2Aの揮発性メモリ29Aの設定値データの退避及び復元を行う。
 システムボード2Aの揮発性メモリ29Aとシステム制御ユニット1とは、一対の信号線PE1,PR1で接続される。この一対の信号線PE1,PR1は、JTAG(Joint Test Action Group)で規格された信号線であることが望ましい。
 システム制御ユニット1の第1の不揮発性メモリ12Aは、仮データ用退避領域を構成し、第2の不揮発性メモリ12Cは、正式データ用退避領域を構成する。システム監視機構11は、システムボード2Aの揮発性メモリ29Aの設定データを、信号線PE1を介し、第1の不揮発性メモリ12Aと揮発性メモリ12Bとに読み出す。
 揮発性メモリ29Aの設定値データの退避契機は2つのケースがある。第1のケースは、オペレータによる設定値データ変更(OS上でeepromコマンドを実行)が行われた場合に、システム監視機構11に対して退避依頼コマンドが発行される場合である。第2のケースは、システム電源切断時に、システム監視機構11自身で判断して行う場合である。
 後述するように、システムボード2Aの揮発性メモリ29Aの設定データを、信号線PE1を介し、第1の不揮発性メモリ12Aに仮データとして、保持する。そして、復元時に、第1の不揮発性メモリ12Aの保持する仮データでシステムボード2Aの起動ができると分かった時点で、第2の不揮発性メモリ12Cへ第1の不揮発性メモリ12Aの仮データを正式データとして保存する。
 又、復元時には、第1の不揮発性メモリ12Aの仮データで、システムボード2Aの起動を行う。第1の不揮発性メモリ12Aの仮データで、システムボード2Aの起動に失敗した場合には、第2の不揮発性メモリ12Cの正式データで復元する。
 更に、復元時には、第1の不揮発性メモリ12Aの仮データと揮発性メモリ12Bに読み込んだ比較データが不一致を示している場合、第1の不揮発性メモリ12Aの仮データを使用せずに、第2の不揮発性メモリ12Cの正式データで、システムボード2Aの起動を試みる。
 この設定値データの復元契機は、システム電源投入時にシステム監視機構11自身で判断して行う。
 このように、システム制御ユニット1内の不揮発性メモリ12Aの保存領域を仮データ用という位置付けに変更し、新たに正式データ用の不揮発性メモリ12Cを追加する。即ち、システム制御ユニット1は、2つの退避用領域(不揮発性メモリ)12A、12Cを持つ。又、通信経路の冗長化を図るため、システムボード2Aの揮発性領域29Aとシステム制御ユニット1の第1の不揮発性メモリ12Aとの経路PE1と、システムボード2Aの揮発性領域29Aとシステム制御ユニット1の第2の不揮発性メモリ12Cとの経路PR1を別経路とする。
 更に、退避時に読み込んだデータのチェックを強化するために、比較領域用の揮発性メモリ12Bを設ける。システム監視機構11は、第1の不揮発性メモリ12Aの仮データと比較領域用の揮発性メモリ12Bに書き込まれたデータとを比較し、一致/不一致を検出する。
 (データ退避処理)
 図3は、実施の形態のシステム監視機構のデータ退避処理フロー図である。図4は、図3のデータ退避処理の動作説明図である。図5乃至図7は、図3の電源切断時のデータ退避処理の動作説明図である。図3において、図1及び図2で示したものと同一のものは、同一の記号で示してある。
 (S10)システム制御ユニット1のシステム監視機構11は、データ退避契機に、インターフェース回路15Aに、システムボード2Aの不揮発性メモリ(設定領域という)29Aの設置値データを、一対の経路の一方(例えば、経路PE1)を介し読み出す。
 (S12)システム監視機構11は、インターフェース回路15Aに読み出した設定値データを、第1の不揮発性メモリ12Aの保存領域に仮データとして書き込む(図4の(1)参照)。
 (S14)システム監視機構11は、インターフェース回路15Aに読み出した設定値データを、揮発性メモリ12Bに比較データとして書き込む(図4の(2)参照)。
 (S16)システム監視機構11は、第1の不揮発性メモリ12Aに退避したデータと、揮発性メモリ12Bに退避したデータとを比較する(図4の(3)参照)。
 (S18)システム監視機構11は、第1の不揮発性メモリ12Aに退避したデータと、揮発性メモリ12Bに退避したデータとの比較結果が一致している場合には、第1の不揮発性メモリ12Aに設けた比較結果フラグ(テーブル)に一致を書き込む(図4の(3)参照)。
 (S20)システム監視機構11は、第1の不揮発性メモリ12Aに退避したデータと、揮発性メモリ12Bに退避したデータとの比較結果が一致していない場合には、第1の不揮発性メモリ12Aに設けた比較結果フラグ(テーブル)に不一致を書き込む(図4の(3)参照)。
 このように、データの退避時は、仮データとして保存し、正式データとしては、保存しない。即ち、データ退避時に第1の不揮発性メモリ12Aに保存し、第2の不揮発性メモリ12Cに保存しない。
 図5は、データ退避時に於いて、データ通信経路PE1でデータが壊れた場合の動作説明図である。データ通信経路PE1(インターフェース回路15Aを含む)のデータ壊れが固定的である場合には、第1の不揮発性メモリ12A(仮データ保存領域)と揮発性メモリ12B(比較領域)には、いずれも異常データが書き込まれてしまう。
 一方、この異常データは、第2の不揮発性メモリ12C(正式データ保存領域)に書き込まれられない。即ち、第2の不揮発性メモリ12Cは、異常データで更新されない。後述するように、次回のデータ復元時には、システム監視機構11は、第2の不揮発性メモリ12Cの正式データを、通信経路PR1を介しシステムボード2Aの揮発性メモリ29Aに復元できる。このため、システム起動が成功する。
 図6は、データ退避時に、第1の不揮発性メモリ12Aの保存領域のデータ異常状態でデータが壊れた場合の動作説明図である。システム監視機構11は、第1の不揮発性メモリ12Aの仮データと揮発性メモリ12Bの比較データの比較を行うことにより、第1の不揮発性メモリ12Aの障害によるデータの壊れを検出することができる。即ち、第1の不揮発性メモリ12Aには、データを正しく書き込めないが、揮発性メモリ12Bには、データは正しく書き込まれる。
 システム監視機構11は、第1の不揮発性メモリ12Aの仮データと揮発性メモリ12Bの比較領域のデータとを比較し、不一致と認識する。システム監視機構11は、比較結果フラグ12Dに“不一致”であったことを記録するため、起動時に、第1の不揮発性メモリ12Aの仮データからの復元を行うことを防止できる。後述するように、システム監視機構11は、復元時に、第2の不揮発性メモリ12Cの正式データで復元を行う。
 図7は、システム電源切断のデータ退避時にシステムボード2Aの揮発性メモリ29Aでのデータ異常状態が発生した場合の動作説明図である。システム運用中に揮発性メモリ29Aの設定領域のデータが壊れた場合、システム電源切断されると、データ退避により、第1の不揮発性メモリ12A(仮データ保存領域)と揮発性メモリ12B(比較領域)には、いずれも異常データが書き込まれてしまう。
 一方、この異常データは、第2の不揮発性メモリ12C(正式データ保存領域)に書き込まれられない。即ち、第2の不揮発性メモリ12Cは、異常データで更新されない。後述するように、次回のシステム電源投入時、システムボードのユニット診断によってハード異常が検出され、システムボードユニットが交換される。次回のデータ復元時には、システム監視機構11は、第2の不揮発性メモリ12Cの正式データを、通信経路PR1を介しシステムボード2Aの揮発性メモリ29Aに復元できる。このため、システム起動が成功する。
 (データ復元処理)
 図8及び図9は、実施の形態のシステム監視機構11の復元処理フロー図である。図10は、図8及び図9の復元処理の動作説明図である。
 (S30)システム監視機構11は、図10に示す比較フラグ12Dを読み出す。
 (S32)システム監視機構11は、比較フラグ12Dが一致を示すかを判定する(図10の(4))。
 (S34)システム監視機構11は、比較フラグ12Dが一致を示すと判定した場合には、第1の不揮発性メモリ12Aの保存領域(仮データ)のハードウェアの異常なしと判断する。そして、システム監視機構11は、第1の不揮発性メモリ12Aの仮データを読み出す。
 (S36)システム監視機構11は、比較フラグ12Dが一致を示していないと判定した場合には、第1の不揮発性メモリ12Aの保存領域(仮データ)のハードウェアの異常有りと判断する。そして、システム監視機構11は、第2の不揮発性メモリ12Cの正式データを読み出す。
 (S38)システム監視機構11は、読み出した仮データ又は正式データをインターフェース回路16A、信号線PR1を介し、システムボード2Aの揮発性メモリ29Aに書き込む(コピーする)(図10の(5))。
 (S40)システムボード2Aは電源投入されている。システム監視機構11は、制御線LACを介しシステムボード2Aに起動を依頼する。システムボード2Aは、揮発性メモリ29Aにコピーされた設定値データを用いて、起動を開始する。システム監視機構11は、制御線LACを介しシステムボード2Aからの起動結果の受信を待つ(図10の(6))。
 (S42)システム監視機構11は、システムボード2Aの起動結果が、起動成功(running)通知であるか否かを判定する(図10(6))。
 (S44)システム監視機構11は、システムボード2Aの起動結果が、起動成功(running)通知であると判定した場合には、第1の不揮発性メモリ12Aの仮データを第2の不揮発性メモリ12Cに書き込む(コピーする)(図10の(7))。そして、復元処理を終了する。
 (S46)ステップS42で、システム監視機構11は、システムボード2Aの起動結果が、起動成功(running)通知でないと判定した場合には、第2の不揮発性メモリ12Cの正式データを読み出す。システム監視機構11は、読み出した正式データをインターフェース回路16A、信号線PR1を介し、システムボード2Aの揮発性メモリ29Aに書き込む(コピーする)(図10の(5))。
 (S48)システム監視機構11は、制御線LACを介しシステムボード2Aに起動を依頼する。システムボード2Aは、揮発性メモリ29Aにコピーされた設定値データを用いて、起動を開始する。システム監視機構11は、制御線LACを介しシステムボード2Aからの起動結果の受信を待つ(図10の(6))。
 (S50)システム監視機構11は、システムボード2Aの起動結果が、起動成功(running)通知であるか否かを判定する(図10(6))。システム監視機構11は、システムボード2Aの起動結果が、起動成功(running)通知であると判定した場合には、復元処理を終了する。逆に、システム監視機構11は、システムボード2Aの起動結果が、起動成功(running)通知でないと判定した場合には、システムボード2Aの不揮発性メモリ29Aのハードウェア異常と判定する。そして、復元処理を終了する。
 図11は、データ通信経路でデータ壊れが発生した場合の動作説明図である。システム監視機構11は、比較結果フラグ12Dのチェックを行い、“一致”と認識し、第1の不揮発性メモリ12Aの保存領域(仮データ)のハードウェアの異常なしと判断する(図11の(4))。システム監視機構11は、第1の不揮発性メモリ12Aの仮データを使用して、復元する(図11の(5))。システム監視機構11は、システムボード2AのOpenBootPROMからのエラーログ通知を受信することにより、システム起動失敗を認識する(図11の(8))。
 システム監視機構11は、第2の揮発性メモリ12Cの正式データで再度、データ復元を行う(図11の(10))。システム監視機構11は、システムボード2AのOpenBootPROMに再起動を依頼する(図11の(9))。システム監視機構11は、システムボード2AのOpenBootPROMからのrunning通知を受信することにより、システム起動成功を認識する(図11の(6))。
 このように、データ通信経路でデータ異常があり、第1の不揮発性メモリ12Aの仮データでのOS起動に失敗したとしても、第2の不揮発性メモリ12Cの過去にOS起動の実績がある正式データを用いて、OSの再起動が可能となる。
 図12は、第1の不揮発性メモリ12Aのデータ異常状態におけるデータ復元動作の説明図である。システム監視機構11は、比較結果フラグ12Dのチェックを行い、“不一致”と認識し、第1の不揮発性メモリ12Aの保存領域(仮データ)のハードウェアの異常ありと判断する(図12の(4))。システム監視機構11は、第2の不揮発性メモリ12C正式データで復元する(図12の(10))。システム監視機構11は、システムボード2AのOpenBootPROMからのrunning通知を受信することにより、システム起動成功を認識する(図12の(6))。
 このように、第1の不揮発性メモリ12Aの障害があっても、第2の不揮発性メモリ12Cの正式データで復元できる。
 更に、図11において、システム監視機構11が、システムボード2Aからエラーログを再度通知された場合、図9のステップS50のように、システムボード2Aの揮発性メモリ29Aの障害と特定できる。即ち、故障箇所特定が可能となり、システムボード2Aの交換を行えばよい。
 又、揮発性メモリ29Aの故障の場合には、実際に揮発性メモリ29Aのハードウェアの故障のケースと、ハードウェアは正常だが、故障データが復元されたままのケースがある。後者のケースの場合、ハードウェアを交換したとしても、正常なデータは失われている。本実施の形態では、システム電源投入時、システムボードのユニット診断によってハードウェアの異常が検出され、システムボードユニットが交換される。交換後のデータ復元時には、図11と同様の動作により、正式データによってシステム起動が成功する。
 このように、第1の不揮発性メモリと第2の不揮発性メモリを設け、第2の不揮発性メモリに処理ユニット本体の起動実績があるデータを保存する。これにより、復元時に第1の不揮発性メモリの仮データで、処理ユニットの起動が失敗しても、第2の不揮発性メモリの正式データを用いて処理ユニットの起動を試みることができる。
 又、データ復元時にハード異常によるデータ破壊が起きていた場合、データを使用する側のチェック機能によってデータが初期化される。このため、システム監視機構側に正常なデータがあるにも関わらず、処理ユニット本体の起動を行うため、オペレーターがシステムボードユニット側のデータを再設定する必要があった。本実施の形態では、オペレーターによって誤った設定値変更がされたとしても、オペレーターによる再設定を行わずとも、第2の不揮発性メモリの正式データを用いて、処理ユニットの起動を行うことができる。
 更に、第1の不揮発性メモリの仮データを復元して、処理ユニットの起動が成功した場合に、第1の不揮発性メモリの仮データを第2の不揮発性メモリにコピーして、正式データを更新するため、運用中にオペレーターが設定値を変更しても、起動実績のある設定値を第2の不揮発性メモリに保存できる。
 データの退避/復元を制御するシステム制御ユニットにおいて、データを保証するチェック機能を持たない、もしくは、ライセンス等の都合でチェック機能を実装することができない場合がある。この場合でも、不揮発性メモリ(設定領域)および、第1及び第2の不揮発性メモリ(退避領域)に正常なデータを格納することを保証することができる。このため、処理ユニットでデータを利用する側の運用を持続することが可能となる。
 (他の実施の形態)
 前述の実施の形態では、図11において、データ復元経路PR1を用いて説明したが、データ復元経路のいずれかが異常の場合に、異常でないデータ復元経路を選択し、データ復元処理を行っても良い。
 又、第1の不揮発性メモリ12Aの仮データと揮発性メモリ12Bの比較データの比較を行うことにより、第1の不揮発性メモリ12Aの障害によるデータの壊れを検出し、起動時に、第1の不揮発性メモリ12Aの仮データからの復元を行うことを防止しているが、揮発性メモリを用いた比較処理を省略することもできる。
 更に、OSはUNIX(登録商標)に限らず、他のOSにも適用でき、設定値データもOBP環境変数に限らず、他のOS起動に必要な設定値であっても良い。又、OSの設定値を例に説明したが、他のデータやプログラム等の退避及び復元にも適用できる。
 以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。
 システム制御装置の不揮発性メモリ領域に、仮データ用と正式データ用の2つの退避用メモリを持ち、退避は一旦、仮データ用メモリに行い、復元時に仮データ用メモリのデータで処理装置の起動ができると分かった時点で、正式データ用メモリに退避データを保存するため、通信経路で異常が生じたり、仮データ用メモリが異常であっても、誤った退避データで復元することを防止できる。
1 システム制御ユニット
2A、2B システムボード
3 クロスバー
4A~4N I/Oポート
10 処理装置
11 システム監視機構
12 メモリ群
12A 第1の不揮発性メモリ
12B 揮発性メモリ
12C 第2の不揮発性メモリ
12D 比較結果フラグ
22A~22D CPU
29 制御メモリ
29A 揮発性メモリ
LAC,LAD 制御線
PE1,PE2,PR1,PR2 信号線

Claims (20)

  1.  揮発性メモリのデータに従い起動処理を実行する処理装置と、
     前記処理装置に接続され、前記揮発性メモリのデータを受信し、不揮発性メモリに退避し、前記不揮発性メモリのデータを前記処理装置に送信し、前記揮発性メモリに復元するシステム制御装置とを有し、
     前記システム制御装置は、
     前記受信したデータを保持する第1の不揮発性メモリと、
     第2の不揮発性メモリと、
     復元時に前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動するととともに、前記処理装置からの起動成功通知に応じて、前記第1の不揮発性メモリのデータを前記第2の不揮発性メモリに保存する処理ユニットとを有する
     ことを特徴とする情報処理システム。
  2.  請求項1の情報処理システムにおいて、
     前記処理ユニットは、前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動した結果、前記処理装置から起動不成功を通知されたことに応じて、前記第2の不揮発性メモリに保持されたデータを前記揮発性メモリに復元し、前記処理装置を起動する
     ことを特徴とする情報処理システム。
  3.  請求項1の情報処理システムにおいて、
     前記システム制御装置は、前記受信したデータを保持する第3のメモリを有し、
     前記処理ユニットは、データの退避時に、前記第1の不揮発性メモリのデータと前記第3のメモリのデータとを比較し、比較結果を記録する
     ことを特徴とする情報処理システム。
  4.  請求項3の情報処理システムにおいて、
     前記処理ユニットは、前記復元時に前記比較結果を参照し、前記比較結果が一致を示している場合には、前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記比較結果が一致を示していない場合には、前記第2の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動する
     ことを特徴とする情報処理システム。
  5.  請求項1の情報処理システムにおいて、
     前記処理装置の前記揮発性メモリと前記システム制御装置とを冗長構成の信号線で接続した
     ことを特徴とする情報処理システム。
  6.  請求項1の情報処理システムにおいて、
     前記処理装置の前記揮発性メモリの保持する前記データは、前記処理装置の起動に必要な設定値を有し、前記処理装置が前記起動の指示に応じて、前記揮発性メモリの設定値を用いて起動処理する
     ことを特徴とする情報処理システム。
  7.  請求項1の情報処理システムにおいて、
     前記システム制御装置の処理ユニットは、前記処理装置の動作を監視する
     ことを特徴とする情報処理システム。
  8.  揮発性メモリのデータに従い起動処理を実行する処理装置に接続され、前記揮発性メモリのデータを受信し、不揮発性メモリに退避し、前記不揮発性メモリのデータを前記処理装置に送信し、前記揮発性メモリに復元するシステム制御装置であって、
     前記受信したデータを保持する第1の不揮発性メモリと、
     第2の不揮発性メモリと、
     復元時に前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動するととともに、前記処理装置からの起動成功通知に応じて、前記第1の不揮発性メモリのデータを前記第2の不揮発性メモリに保存する処理ユニットとを有する
     ことを特徴とするシステム制御装置。
  9.  請求項8のシステム制御装置において、
     前記処理ユニットは、前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動した結果、前記処理装置から起動不成功を通知されたことに応じて、前記第2の不揮発性メモリに保持されたデータを前記揮発性メモリに復元し、前記処理装置を起動する
     ことを特徴とするシステム制御装置。
  10.  請求項8のシステム制御装置において、
     前記受信したデータを保持する第3のメモリを有し、
     前記処理ユニットは、データの退避時に、前記第1の不揮発性メモリのデータと前記第3のメモリのデータとを比較し、比較結果を記録する
     ことを特徴とするシステム制御装置。
  11.  請求項10のシステム制御装置において、
     前記処理ユニットは、前記復元時に前記比較結果を参照し、前記比較結果が一致を示している場合には、前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記比較結果が一致を示していない場合には、前記第2の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動する
     ことを特徴とするシステム制御装置。
  12.  請求項8のシステム制御装置において、
     前記処理装置の前記揮発性メモリと前記システム制御装置とを冗長構成の信号線で接続した
     ことを特徴とするシステム制御装置。
  13.  請求項8のシステム制御装置において、
     前記処理装置の前記揮発性メモリの保持する前記データは、前記処理装置の起動に必要な設定値を有し、前記処理装置が前記起動の指示に応じて、前記揮発性メモリの設定値を用いて起動処理する
     ことを特徴とするシステム制御装置。
  14.  請求項8のシステム制御装置において、
     前記処理ユニットは、前記処理装置の動作を監視する
     ことを特徴とするシステム制御装置。
  15.  揮発性メモリのデータに従い起動処理を実行する処理装置の前記揮発性メモリのデータを受信し、第1の不揮発性メモリに退避する工程と、
     復元時に前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動する工程と、
     前記処理装置からの起動成功通知に応じて、前記第1の不揮発性メモリのデータを前記第2の不揮発性メモリに保存する工程とを有する
     ことを特徴とする情報処理システムのデータ退避及び復元方法。
  16.  請求項15の情報処理システムのデータ退避及び復元方法において、
     前記第1の不揮発性メモリのデータを前記揮発性メモリに復元し、前記処理装置を起動した結果、前記処理装置から起動不成功を通知されたことに応じて、前記第2の不揮発性メモリに保持されたデータを前記揮発性メモリに復元し、前記処理装置を起動する工程を更に有する
     ことを特徴とする情報処理システムのデータ退避及び復元方法。
  17.  請求項15の情報処理システムのデータ退避及び復元方法において、
     前記退避する工程は、
     前記データの退避時に、第3のメモリに受信した前記揮発性メモリのデータを保持する工程と、
     前記第1の不揮発性メモリのデータと前記第3のメモリのデータとを比較し、比較結果を記録する工程とを更に有する
     ことを特徴とする情報処理システムのデータ退避及び復元方法。
  18.  請求項17の情報処理システムのデータ退避及び復元方法において、
     前記復元する工程は、
     前記比較結果を参照し、前記比較結果が一致を示している場合には、前記第1の不揮発性メモリのデータを前記揮発性メモリに復元する工程と、
     前記比較結果が一致を示していない場合には、前記第2の不揮発性メモリのデータを前記揮発性メモリに復元する工程とを更に有する
     ことを特徴とする情報処理システムのデータ退避及び復元方法。
  19.  請求項15の情報処理システムのデータ退避及び復元方法において、
     前記処理装置の前記揮発性メモリと前記システム制御装置とを冗長構成の信号線で接続した
     ことを特徴とする情報処理システムのデータ退避及び復元方法。
  20.  請求項15の情報処理システムのデータ退避及び復元方法において、
     前記起動する工程は、前記処理装置が前記起動の指示に応じて、前記揮発性メモリの前記処理装置の起動に必要な設定値を用いて起動処理する工程を有する
     ことを特徴とする情報処理システムのデータ退避及び復元方法。
PCT/JP2010/061152 2010-06-30 2010-06-30 システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法 WO2012001780A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10854077.4A EP2590072A4 (en) 2010-06-30 2010-06-30 SYSTEM CONTROL DEVICE, INFORMATION PROCESSING SYSTEM, AND DATA MIGRATION AND RESTORATION METHOD FOR INFORMATION PROCESSING SYSTEM
PCT/JP2010/061152 WO2012001780A1 (ja) 2010-06-30 2010-06-30 システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法
JP2012522385A JP5376058B2 (ja) 2010-06-30 2010-06-30 システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法
US13/728,261 US20130117518A1 (en) 2010-06-30 2012-12-27 System controller, information processing system and method of saving and restoring data in the information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/061152 WO2012001780A1 (ja) 2010-06-30 2010-06-30 システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/728,261 Continuation US20130117518A1 (en) 2010-06-30 2012-12-27 System controller, information processing system and method of saving and restoring data in the information processing system

Publications (1)

Publication Number Publication Date
WO2012001780A1 true WO2012001780A1 (ja) 2012-01-05

Family

ID=45401535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/061152 WO2012001780A1 (ja) 2010-06-30 2010-06-30 システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法

Country Status (4)

Country Link
US (1) US20130117518A1 (ja)
EP (1) EP2590072A4 (ja)
JP (1) JP5376058B2 (ja)
WO (1) WO2012001780A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082675A (ko) * 2018-01-02 2019-07-10 기초과학연구원 락탐 화합물의 제조방법 및 이로부터 제조된 락탐 화합물
KR20200082952A (ko) * 2018-12-31 2020-07-08 기초과학연구원 키랄 감마-락탐 화합물의 제조방법 및 이를 위한 금속 착체

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5240260B2 (ja) * 2010-09-13 2013-07-17 株式会社デンソー 車両用電子制御装置
JP5773775B2 (ja) * 2011-06-24 2015-09-02 キヤノン株式会社 情報処理装置、印刷装置及び監視方法
CN104731687A (zh) * 2013-12-24 2015-06-24 镇江金钛软件有限公司 一种电脑活动的实时监控方法
KR20150092386A (ko) * 2014-02-03 2015-08-13 에스케이하이닉스 주식회사 메모리 시스템
KR102148984B1 (ko) * 2014-05-29 2020-08-27 삼성에스디에스 주식회사 데이터 처리 시스템 및 방법
JP6421516B2 (ja) * 2014-09-25 2018-11-14 沖電気工業株式会社 サーバ装置、冗長構成サーバシステム、情報引継プログラム及び情報引継方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265720A (ja) 1992-03-19 1993-10-15 Fujitsu Ltd システム情報管理方式
JPH06309234A (ja) 1993-02-15 1994-11-04 Toshiba Corp ディスク制御装置
JPH0756719A (ja) * 1993-07-30 1995-03-03 Microsoft Corp 最後にブートに成功した既知のシステム構成データ・セットを用いたコンピュータ・システムのブート方法および装置
JP2003099146A (ja) * 2001-09-20 2003-04-04 Fujitsu Ltd 計算機システムの起動制御方式
WO2008114375A1 (ja) * 2007-03-19 2008-09-25 Fujitsu Limited シンクライアント端末装置、その運用プログラム、及び方法、並びにシンクライアントシステム
JP2009025967A (ja) * 2007-07-18 2009-02-05 Nec Computertechno Ltd 二重化ファームウェアのバックアップ方式、方法、及び、オペレーティングシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181687A (ja) * 1998-12-18 2000-06-30 Fujitsu Ltd 制御装置,電子機器,環境設定方法およびプログラムを格納したコンピュータ読取可能な記録媒体
JP2000298579A (ja) * 1999-04-14 2000-10-24 Nec Corp 簡易初期設定biosシステム及びそれに用いる設定方法並びにその制御プログラムを記録した記録媒体
US7613897B2 (en) * 2005-03-30 2009-11-03 International Business Machines Corporation Allocating entitled processor cycles for preempted virtual processors
US8301868B2 (en) * 2005-09-23 2012-10-30 Intel Corporation System to profile and optimize user software in a managed run-time environment
US7467295B2 (en) * 2005-10-07 2008-12-16 International Business Machines Corporation Determining a boot image based on a requesting client address
US7577829B2 (en) * 2006-04-28 2009-08-18 Dell Products L.P. System and method for maintaining multiple information handling system configuration images
US9003000B2 (en) * 2006-07-25 2015-04-07 Nvidia Corporation System and method for operating system installation on a diskless computing platform
US7689820B2 (en) * 2006-09-27 2010-03-30 L3 Communications Corporation Rapid-boot computing device with dual operating systems
JP2008289099A (ja) * 2007-05-21 2008-11-27 Murata Mach Ltd 複合機
US9098448B2 (en) * 2007-05-29 2015-08-04 Dell Products L.P. Intelligent boot services
US20090193230A1 (en) * 2008-01-30 2009-07-30 Ralf Findeisen Computer system including a main processor and a bound security coprocessor
TWI366136B (en) * 2008-06-11 2012-06-11 Disk-based operating environment management system and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265720A (ja) 1992-03-19 1993-10-15 Fujitsu Ltd システム情報管理方式
JPH06309234A (ja) 1993-02-15 1994-11-04 Toshiba Corp ディスク制御装置
JPH0756719A (ja) * 1993-07-30 1995-03-03 Microsoft Corp 最後にブートに成功した既知のシステム構成データ・セットを用いたコンピュータ・システムのブート方法および装置
JP2003099146A (ja) * 2001-09-20 2003-04-04 Fujitsu Ltd 計算機システムの起動制御方式
WO2008114375A1 (ja) * 2007-03-19 2008-09-25 Fujitsu Limited シンクライアント端末装置、その運用プログラム、及び方法、並びにシンクライアントシステム
JP2009025967A (ja) * 2007-07-18 2009-02-05 Nec Computertechno Ltd 二重化ファームウェアのバックアップ方式、方法、及び、オペレーティングシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2590072A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082675A (ko) * 2018-01-02 2019-07-10 기초과학연구원 락탐 화합물의 제조방법 및 이로부터 제조된 락탐 화합물
KR102214593B1 (ko) 2018-01-02 2021-02-15 기초과학연구원 락탐 화합물의 제조방법 및 이로부터 제조된 락탐 화합물
US11046661B2 (en) 2018-01-02 2021-06-29 Institute For Basic Science Method for producing lactam compound, and lactam compound produced thereby
KR20200082952A (ko) * 2018-12-31 2020-07-08 기초과학연구원 키랄 감마-락탐 화합물의 제조방법 및 이를 위한 금속 착체
KR102590897B1 (ko) 2018-12-31 2023-10-19 기초과학연구원 키랄 감마-락탐 화합물의 제조방법 및 이를 위한 금속 착체

Also Published As

Publication number Publication date
EP2590072A4 (en) 2013-10-09
JP5376058B2 (ja) 2013-12-25
JPWO2012001780A1 (ja) 2013-08-22
EP2590072A1 (en) 2013-05-08
US20130117518A1 (en) 2013-05-09

Similar Documents

Publication Publication Date Title
JP5376058B2 (ja) システム制御装置、情報処理システム及び情報処理システムのデータ退避及び復元方法
US7035953B2 (en) Computer system architecture with hot pluggable main memory boards
US8788636B2 (en) Boot controlling method of managed computer
KR101081092B1 (ko) 병렬 컴퓨터 시스템과 병렬 컴퓨터 시스템 구동 방법과 컴퓨터 판독가능한 기록 매체
CN113489597A (zh) 用于网络装置的最佳启动路径的方法和系统
US20090282284A1 (en) Recovery server for recovering managed server
US20040153738A1 (en) Redundancy management method for BIOS, data processing apparatus and storage system for using same
CN114116280B (zh) 交互式bmc自恢复方法、系统、终端及存储介质
US7434102B2 (en) High density compute center resilient booting
US20240289243A1 (en) Server and control method therefor
TW200426571A (en) Policy-based response to system errors occurring during os runtime
US20170132102A1 (en) Computer readable non-transitory recording medium storing pseudo failure generation program, generation method, and generation apparatus
JP2011253408A (ja) サーバシステム及びそのbios復旧方法
US20240103971A1 (en) Systems and methods for error recovery in rebootless firmware updates
JP6599725B2 (ja) 情報処理装置およびログ管理方法、並びにコンピュータ・プログラム
KR101063720B1 (ko) 피어 프로그램 가능 하드웨어 장치에 대한 자동화 펌웨어 복구
JP2011204267A (ja) データ処理装置間の基本入出力プログラムの同期化方法及びコンピュータシステム
JP2006285384A (ja) プロセッサ障害処理方式、管理プロセッサ及びプロセッサ障害処理方法
US11740969B2 (en) Detecting and recovering a corrupted non-volatile random-access memory
TWI777664B (zh) 嵌入式系統的開機方法
JP2004054616A (ja) ファームウェア自動修復機能を有する情報処理装置
CN114296995A (zh) 一种服务器自主修复bmc的方法、系统、设备及存储介质
JP6911591B2 (ja) 情報処理装置、制御装置および情報処理装置の制御方法
TWI830418B (zh) 複雜可程式邏輯單元的韌體更新方法
JP2785992B2 (ja) サーバプログラムの管理処理方式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10854077

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012522385

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2010854077

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE