WO2016075813A1 - 計算機システム、及びその制御方法 - Google Patents

計算機システム、及びその制御方法 Download PDF

Info

Publication number
WO2016075813A1
WO2016075813A1 PCT/JP2014/080193 JP2014080193W WO2016075813A1 WO 2016075813 A1 WO2016075813 A1 WO 2016075813A1 JP 2014080193 W JP2014080193 W JP 2014080193W WO 2016075813 A1 WO2016075813 A1 WO 2016075813A1
Authority
WO
WIPO (PCT)
Prior art keywords
cpus
cpu
pci devices
pci
pci device
Prior art date
Application number
PCT/JP2014/080193
Other languages
English (en)
French (fr)
Inventor
優志 神谷
康央 笹島
哲生 平光
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2014/080193 priority Critical patent/WO2016075813A1/ja
Publication of WO2016075813A1 publication Critical patent/WO2016075813A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus

Definitions

  • the present invention relates to a computer system and a control method thereof, for example, a technique for managing a PCI device.
  • Expansion devices that support the PCI-Express standard are supported by almost all current devices, from high-density servers to tower-type inexpensive server devices.
  • maintenance replacement accompanied by a system down generally occurs.
  • the PCI device connected to the CPU is restarted by the other CPU. It is impossible to continue using the system without accompanying the process, and the process of shutting down the OS, replacing parts, and starting up the OS is always performed, and it takes time to continue using the PCI device.
  • Patent Document 1 when a failure occurs in a certain device connected to the bus, a dedicated reset circuit is provided, and other devices are temporarily reset in a failure mode. The other device is restarted. By doing so, it is possible to electrically disconnect the device in which the failure has occurred and realize continuous operation of the device.
  • Patent Document 1 a dedicated operation mode (failure mode) must be set in advance for each device or server and operated in the dedicated operation mode when a failure occurs. In other words, a dedicated reset circuit must be provided for each device. Therefore, the technique of Patent Document 1 has a problem that the cost of the system becomes excessive.
  • the present invention has been made in view of such a situation, and provides a technique for suppressing downtime from the occurrence of a system failure to recovery without providing a special operation mode for the device.
  • a computer system sets a plurality of PCI devices, a plurality of CPUs that execute at least an OS and drivers of the plurality of PCI devices, and interrupt vectors of the plurality of PCI devices. And at least one memory providing a virtual memory area.
  • Each of the plurality of CPUs manages the correspondence between the plurality of PCI devices and the plurality of CPUs, and interrupt vectors assigned to the plurality of PCI devices.
  • all interrupt vectors of a plurality of PCI devices are set in a memory for each of a plurality of CPUs.
  • FIG. 10 is a sequence diagram for explaining interrupt vector allocation processing at the time of OS startup. It is a figure for demonstrating allocation of the interrupt vector to a PCI device by a prior art. It is a figure for demonstrating allocation of the interrupt vector to a PCI device (redundant structure with a standby system) by embodiment of this invention. It is a figure which shows the state of the resource allocation to a PCI device when CPU1 fails (abnormal system). It is a figure for demonstrating the flow of data when no abnormality has occurred in the system. It is a figure for demonstrating the flow of data when abnormality generate
  • the present invention relates to a technique for realizing continuous operation of a PCI device by switching the path of the PCI device connected to the CPU when a failure occurs in the CPU. For this reason, as described above, the present invention primarily provides a technique for suppressing downtime between the occurrence of a system failure and recovery without providing a special operation mode for the device.
  • the present invention is secondarily a computer system having a plurality of CPU sockets among systems that are generally configured with a SMP (Symmetric-Mutli-Processing) configuration and sharing a physical memory among a plurality of CPU cores. In this case, when one CPU fails, the PCI device connected to the CPU is dynamically assigned to another CPU without causing a system down.
  • SMP Symmetric-Mutli-Processing
  • the embodiment of the present invention may be implemented by software running on a general-purpose computer, or may be implemented by dedicated hardware or a combination of software and hardware.
  • FIG. 1 is a diagram showing an overall configuration of a computer system according to an embodiment of the present invention.
  • CPUs there are a plurality of CPUs (in FIG. 1, only two of CPU1_10 and CPU2_11 are shown for convenience of explanation, but the number is not limited to two), and the bus 102 or 103 corresponds to each CPU.
  • SVP Service Pro
  • CPU1_10 and CPU2_11 both function as normal multiprocessors during normal operation and do not enter a standby state. Therefore, in the computer system 1, both CPUs are used during normal operation.
  • the bridge chip 12 controls an input / output interface with the outside such as a keyboard, a mouse, and a display device.
  • the operations of the PCI device 1_20 and the PCI device 2_21 are controlled by the CPU 1_10.
  • the operations of the PCI device 3_22 and the PCI device 4_23 are controlled by the CPU 2_11. Therefore, it can be said that the PCI device 1_20 and the PCI device 2_21 are dedicated devices for the CPU 1_10, and the PCI device 3_22 and the PCI device 4_23 are dedicated devices for the CPU 2_11.
  • the embodiment of the present invention assumes a system employing a general SMT (Simultaneous Multi-Thread), but the idea of the present invention is not necessarily limited thereto.
  • an external extension function such as an input / output device or USB sets an interrupt vector in one CPU. Therefore, in this embodiment, an interrupt vector is generally assigned to the CPU 1_10. However, like the PCI device, the extended function is also connected to the CPU 2_11 in order to provide redundancy.
  • the bridge chip 12 is a small microchip and can control each device by itself. Therefore, the bridge chip 12 can control itself to use the CPU 2_11 when the CPU 1_10 fails.
  • the OS is read from the storage and HDD into the memory modules 100 and 101, and executed by each CPU.
  • the driver of each PCI device is also read from the memory modules 100 and 101 and executed by each CPU, and each PCI device is controlled by the CPU in charge.
  • FIG. 2 is a diagram for explaining a sequence of processing on the PCI driver side and processing on the OS side executed to provide redundancy to the PCI device.
  • the resources used during normal operation as the active system and the resources used when a failure occurs as the standby system are separated, and the PCI driver and the OS individually manage them.
  • each sequence will be described with the OS or the PCI device driver as the operation subject.
  • the OS and the driver are executed by the CPU 1_10 and the CPU 2_11, the CPU may be regarded as the operation subject.
  • the OS executed by the CPU 1_10 and the CPU 2_11 (hereinafter simply referred to as “CPU” in the description of FIG. 2) is a PCI link speed to the PCI driver executed by the CPU during the initialization of the OS. Notify information.
  • the PCI link speed to be notified is, for example, 1 ⁇ , 2 ⁇ , 4 ⁇ , 8 ⁇ , 16 ⁇ , 32 ⁇ ,.
  • (Ii) Sequence 202 The driver that has received the PCI link speed information checks and determines the link speed necessary for normal operation of each PCI device based on the link speed notified by the OS. Then, the driver notifies the OS of the determined link speed.
  • (Iii) Sequence 203 The OS receives a link speed notification from the driver, and notifies the driver of resources (CPU resource amount: the number of interrupt vectors that can be used by the PCI device) that can be used according to the link speed.
  • resources CPU resource amount: the number of interrupt vectors that can be used by the PCI device
  • (Iv) Sequence 204 The driver confirms with the OS whether the resources required by each PCI device can be secured for the OS. More specifically, the driver requests the OS to allocate an interrupt vector according to the PCI device specification (link speed determined in the sequence 202).
  • resources to be secured for each device are determined in advance, and it is common to control the number of resources secured by a driver. Therefore, if the resource is smaller than the capacity required for normal operation, there are some drivers that notify the OS that the device cannot be used. Some drivers try to operate normally. (Depending on the driver implementation) Therefore, the processing when sufficient resources cannot be secured depends on the driver implementation and is different for each.
  • the driver checks whether resources can be secured by the number of original resources required by the PCI device for the OS operated by the active CPU 1_10. Note that the processing of the sequence is processing that occurs regardless of the redundancy of the PCI device, and is not processing unique to the present invention. In addition, when a resource necessary for the active CPU 1_10 to operate normally cannot be secured, the error handling is controlled by the device driver as to how the PCI device is handled.
  • the vector assignment request in this sequence is for assigning the interrupt vector of the active system (CPU1_10), and the standby system is set after the vector setting of the active system is completed.
  • (V) Sequence 205 The OS notifies the driver of a memory area (virtual memory area) to which the requested number of vectors can be allocated.
  • (Vi) Sequence 206 The driver receives notification of the vector allocatable area from the OS, allocates resources for the active system for the target PCI device, and notifies the OS of information on the memory area.
  • (Viii) Sequence 208 When the driver can secure a resource for normal use of the target PCI device, the driver inquires of the OS again whether the multiple of the resource can be secured. That is, the OS is inquired whether the number of interrupt vectors allocated for the active system can be secured for the standby system.
  • (Ix) Sequence 209 In response to a request from the driver, the OS confirms a vector assignable area (virtual memory area) and notifies the driver of the available area.
  • (X) Sequence 210 Based on the vector allocatable area information notified from the OS, the driver determines whether the number of interrupt vectors equal to the number of interrupt vectors assigned to the active PCI device can be set in the standby PCI device. If the setting is possible (Yes in sequence 210), the process proceeds to sequence 211. If the setting is impossible (No in sequence 210), the process proceeds to sequence 212.
  • (Xi) Sequence 211 The OS sets an interrupt vector for the standby PCI device, and notifies the driver of the vector number used for the interrupt as the standby PCI device.
  • the PCI device cannot be used normally. For this reason, if the resources allocated to the active system can be secured but the resources allocated to the standby system are insufficient, it is necessary to review the vector allocation method.
  • sequence 202 the driver determines a different link speed (e.g., 4x) that is the link speed required to operate each PCI device, which is slower than the speed considered so far (e.g., 8x). Then, the driver notifies the OS of the determined link speed. Thereafter, as described above, the processes of sequences 203 to 212 are repeated until the same number of interrupt vectors can be set in both the active system and the standby system.
  • a different link speed e.g., 4x
  • the same number of interrupt vectors are allocated to the working and standby PCI devices.
  • the number of interrupt vectors assigned to each PCI device is half of the number of interrupt vectors originally assigned (by the conventional method).
  • the present inventor has found a technical value regarding a technology capable of continuing the use of the device even with a normal half of the resource.
  • the PCI device It is necessary to verify whether the function can be sufficiently satisfied.
  • the embodiment of the present invention is based on the same number of vector interrupts for the active system and the standby system. This is because the mechanism is the simplest, and the development cost and the cost for mounting the mechanism are taken into consideration in mounting the control mechanism. However, it is not always necessary to use the same number of vector interrupts in the active system and the standby system.
  • an expansion PCI card for supporting a legacy device such as a SCSI card for connecting a SCSI device or a PCI card for serial input / output, is representative.
  • a legacy device such as a SCSI card for connecting a SCSI device or a PCI card for serial input / output
  • the bandwidth is excessive and the number of interrupts to be raised by the device is very small, but an extra interrupt vector is secured.
  • the number of vectors assigned by the setting on the OS is reduced in response to a driver interrupt vector securing request so that a small number of interrupt vectors are assigned to the active system and the standby system in advance, and resources are allocated to other PCI devices. It is possible to devise such a way as to make room for the purpose.
  • the user should consider the user by, for example, outputting it to the SVP 104 log so as not to use this function.
  • the PCI device redundancy function is used (this embodiment)
  • the user is alerted using SVP or the like that the normal operation cannot be performed due to insufficient resources. For this reason, the user knows that the PCI device itself cannot be activated when the resource is insufficient, and that the redundant configuration of the PCI device cannot be built when the PCI card is to be added.
  • the user can be aware of the restrictions before entering into the actual operation of the system.
  • FIG. 3 is a diagram illustrating a state after the driver determines which interrupt vector number is to be used for the PCI device according to the prior art and assigns the interrupt vector number.
  • the PCI device 1_20 is a device that originally requires four interrupt vectors. Therefore, normally four interrupt vectors are set.
  • virtual memory addresses 0x0000 to 0x0003 are assigned to the PCI device 1_20 and virtual memory addresses 0x0004 to 0x0007 are assigned to the CPU 1_10 for the PCI device 2_21.
  • the virtual memory addresses for the PCI device 3 and the PCI device 4 are not assigned to the CPU 1_10.
  • virtual memory addresses 0x0008 to 0x000B are assigned to the PCI device 3_22
  • virtual memory addresses 0x000C to 0x000F are assigned to the CPU 2_11 for the PCI device 4_23.
  • each PCI device corresponds to one CPU on a one-to-one basis, and there is no redundancy when the CPU fails.
  • FIG. 4 is a diagram illustrating a state after the driver determines and assigns which interrupt vector number to use for the PCI device according to the embodiment of the present invention.
  • the CPU 2_11 controls the PCI device 1_20 after halving the number of resources used by the CPU 1_10 for the PCI device 1_20 so that continuous operation can be performed even when the system apparatus fails. Assign interrupt vectors so that you can.
  • the CPU 1_10 assigns virtual memory addresses 0x0000 to 0x0001 for the PCI device 1_20, virtual memory addresses 0x0003 to 0004 for the PCI device 2_21, virtual memory addresses 0x0008 and 0x0009 for the PCI device 3_22, and the PCI device 4_23.
  • Virtual memory addresses 0x000C and 0x000d are allocated for this purpose.
  • the CPU 1_10 does not access the PCI device 3_22 and the PCI device 4_23 under the management of the CPU 2_11 side.
  • the CPU 2_11 controls 0x0002 to 0x0003 for controlling the PCI device 1_20, 0x0006 to 0x0007 for controlling the PCI device 2_21, 0x000A to 0x000B for controlling the PCI device 3_22, and the PCI device 4_23. Therefore, 0x000E to 0x000F are secured respectively. Of these, only the PCI device 3_22 and the PCI device 4_23 are controlled in the normal operating state.
  • the interrupt vector is for generating an interrupt to the CPU when the PCI device communicates with the CPU, securing CPU resources exclusively for the PCI device that generated the interrupt, and performing data communication. For this reason, in general, the larger the number of interrupt vectors, the longer the time that the PCI device can occupy the CPU resources, which is advantageous in terms of the performance of the PCI device.
  • the number of interrupt vectors set in each PCI device is half that of the prior art, so that the performance is deteriorated as compared with the prior art. Therefore, when the present invention is applied, it is understood how much resources the target PCI device originally requires, but performance degradation caused by controlling the PCI device with less resources is not considered (allowable). There must be). For this reason, the user does not apply PCI devices that cannot guarantee normal operation other than performance degradation due to the decrease in the number of interrupt vectors so that the function as a PCI device is not impaired even if the number of interrupt vectors decreases. There is a need to. In addition, when the PCI-Express changeover switch is used and the redundancy according to the present invention is not possible, the EFI / It is necessary to implement the function using BMC or the like.
  • Fig. 4 when resources are allocated, the resources that can be used during normal operation are halved. However, if the resources are halved, the PCI device can operate without significantly changing the implementation around the driver from the existing system.
  • a mechanism to adjust the allocated resources according to the configuration of the entire system is implemented on the EFI / BMC side so that the maximum resources can be secured within the range allowed by the system, and a measure to minimize performance degradation is also considered. It is done.
  • FIG. 5 shows a state in the computer system 1 where the CPU 1_10 has failed and becomes unusable, and both the PCI device 1_20 and the PCI device 2_21 managed by the CPU 1_10 are assigned to the CPU 2_11.
  • the CPU 2_11 directly uses the interrupt vector to set the PCI2_11.
  • the device 1_20 and the PCI device 2_21 can be controlled.
  • each of the CPU 1_10 and the CPU 2_11 manages the correspondence between the PCI devices 1_20 to 4_23 and the CPUs 1_10 and 2_11 and the interrupt vectors assigned to the PCI devices 1_20 to 4_23. .
  • FIG. 6 is a diagram illustrating a connection relationship between the CPU and the PCI device.
  • FIG. 7 is a diagram illustrating a connection relationship between the CPU and the PCI device when the CPU 1_10 fails.
  • the CPU 1_10, CPU 2_11, PCI device 1_20 to PCI device 4_23, SW1_55, and SW2_56 are shown with their connection relationships.
  • SW1_55 provides a path connecting only CPU1_10 to PCI device 1_20 and PCI device 2_21 so that PCI2_11 and PCI device 2_21 cannot be controlled by CPU2_11 across SW1_55 and SW2_56.
  • SW2_56 also provides a path connecting the CPU 2_11 to the PCI device 3_22 and the PCI device 4_23 so that the CPU 1_10 cannot control the PCI device 3_22 and the PCI device 4_23.
  • the SW 1_55 blocks the path connecting the SW 1_55 and the CPU 1_10 and switches to the path between the SW 1_55 and the SW 2_56.
  • SW2_56 has blocked the path 52 connected to SW1_55, but opens the path 52. Therefore, the CPU 2 can also control the PCI device 1_20 and the PCI device 2_21 controlled by the CPU 1_10, separately from the path connecting the PCI device 3_22 and the PCI device 4_23 before the occurrence of the abnormality.
  • the PCI Express switch allows seamless switching even when a failure occurs in the CPU 1_10 by switching the path in synchronization with the PCI Express clock.
  • the resources that can be used by the PCI device are reduced, but the PCI devices 1_20 to 4_23 can continue to operate even if the CPU 1_10 fails.
  • the path 52 connecting SW1_55 and SW2_56 is normally closed, but SW1_ is PCI when the failure of the CPU1_10 occurs.
  • the path 51 of the device 1_20 and the PCI device 2_21 is connected to the CPU 2_11 via the path 52. Therefore, although the resources available for the PCI device are reduced, the PCI devices 1_20 to 4_23 can continue to operate even if the CPU 1_10 fails.
  • At least one PCI device controlled at normal time is connected as a dedicated device to each CPU, and each of the plurality of CPUs includes a plurality of dedicated devices. All the interrupt vectors of the PCI device are set in the virtual memory area. Note that it is desirable to set the same number of interrupt vectors for each of a plurality of PCI devices. By making the PCI path redundant in this way, the system can continue to operate even if the CPU directly connected to the PCI device fails. Also, even if an abnormality occurs in the CPU (active CPU), another CPU (standby CPU) uses a previously set vector number to connect to the PCI device connected to the CPU in which the abnormality has occurred.
  • an SVP for monitoring the system state may be provided in the computer system.
  • each of the plurality of CPUs notifies the SVP that the resource is insufficient when it detects an insufficient resource when setting the interrupt vector. By doing so, it is recorded in the SVP log that there is a shortage of resources, and it is possible to acquire information useful for managing the system.
  • the present invention can also be realized by software program codes that implement the functions of the embodiments.
  • a storage medium in which the program code is recorded is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.
  • a storage medium for supplying such program code for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
  • an OS operating system
  • the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code.
  • the program code is stored in a storage means such as a hard disk or a memory of a system or apparatus, or a storage medium such as a CD-RW or CD-R
  • the computer (or CPU or MPU) of the system or apparatus may read and execute the program code stored in the storage means or the storage medium when used.
  • control lines and information lines are those that are considered necessary for the explanation, and not all control lines and information lines on the product are necessarily shown. All the components may be connected to each other.

Abstract

　計算機システムは、複数のPCIデバイスと、複数のＣＰＵと、ベクタ番号と当該複数のＰＣＩデバイスと当該複数のＣＰＵとの対応関係をしめす情報を管理し、当該情報に基づいて、当該複数のＰＣＩデバイスと当該複数のＣＰＵの通信を制御するデバイスドライバを備える。そして、デバイスドライバは、ＯＳ起動時に、現用系のＣＰＵとＰＣＩデバイスの組み合わせに対して第１のベクタ番号を割り当て、第１のベクタ番号に基づき、待機系のＣＰＵとＰＣＩデバイスの組み合わせに対して第２のベクタ番号を割り当てる。このようにすることにより、ＣＰＵに接続されたＰＣＩデバイスをシステム装置のシステムダウンを伴うことなく、保守交換を行うまでシステムとして動作を継続させる（図４参照）。

Description

計算機システム、及びその制御方法
　本発明は、計算機システム、及びその制御方法に関し、例えば、ＰＣＩデバイスの管理のための技術に関するものである。
　ＰＣＩ－Ｅｘｐｒｅｓｓ規格に対応した拡張デバイスはサーバ機器において高密度サーバからタワー型の廉価サーバ機器まで、現行のほとんど全ての機器においてサポートしている。しかしＰＣＩデバイスが物理的故障を起こした場合、一般にシステムダウンを伴う保守交換が発生する。例えば、複数のＣＰＵと複数のＰＣＩデバイスを備えるシステムにおいて、正常に動作しているＣＰＵに異常が発生した場合、当該ＣＰＵに接続していたＰＣＩデバイスを、もう一方のＣＰＵでシステム装置の再起動を伴わずに継続して使用することができず、必ずＯＳのシャットダウン、部品交換、ＯＳ起動というプロセスを踏むこととなり、ＰＣＩデバイスの使用継続には時間を要する。
　このような不都合を解決するために、例えば特許文献１では、バスに接続されたあるデバイスに障害が発生した場合、専用のリセット回路を設け、他のデバイスを一旦リセットし、障害用モードにて他のデバイスを再起動するようにしている。このようにすることにより、障害が発生したデバイスを電気的に切り離し、デバイスの継続動作を実現させることができる。
特開２００７－２４９５０５公報
　しかしながら、特許文献１では、各デバイスやサーバに専用動作モード（障害用モード）を予め設定し、障害発生時に専用動作モードで動作させなければならない。つまり、専用のリセット回路を各デバイスに設けなければならない。従って、システムのコストが過大となるという課題が特許文献１の技術には存在する。
　本発明はこのような状況に鑑みてなされたものであり、デバイスに特殊な動作モードを設けることなくシステム障害発生から復旧までの間のダウンタイムを抑えるための技術を提供するものである。
　上記課題を解決するために、本発明による計算機システムは、複数のＰＣＩデバイスと、少なくともＯＳと複数のＰＣＩデバイスのドライバを実行する複数のＣＰＵと、当該複数のＰＣＩデバイスの割り込みベクタを設定するための仮想メモリ領域を提供する少なくとも１つのメモリと、を有する。そして、複数のＣＰＵのそれぞれは、複数のＰＣＩデバイスと複数のＣＰＵとの対応関係と、複数のＰＣＩデバイスに割り当てられた割り込みベクタと、を管理する。このような計算機システムでは、複数のＣＰＵのそれぞれに対して、複数のＰＣＩデバイスの全ての割り込みベクタがメモリ内に設定されている。
　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され実現される。
　本明細書の記述は典型的な例示に過ぎず、本発明の請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
　本発明によれば、デバイスに特殊な動作モードを設けることなくシステム障害発生から復旧までの間のダウンタイムを抑えることができるようになる。
本発明による計算機システムの主要部分の概略構成を示す図である。 ＯＳ起動時における割り込みベクタの割り当て処理を説明するためのシーケンス図である。 従来技術による、ＰＣＩデバイスへの割込みベクタの割り当てを説明するための図である。 本発明の実施形態による、ＰＣＩデバイスへの割込みベクタの割り当て（待機系を持つ冗長構成）を説明するための図である。 ＣＰＵ１が故障した時におけるＰＣＩデバイスへのリソース割り当ての状態を示す図である（異常系）。 システムに異常発生していない場合のデータの流れを説明するための図である。 システムに異常発生し、待機系にて動作している場合のデータの流れを説明するための図である。
　本発明は、ＣＰＵに障害が発生した際にＣＰＵと接続されたＰＣＩデバイスの経路を切り替えることにより、ＰＣＩデバイスの継続稼動を実現する技術に関するものである。このため、本発明は、上述のように、一次的には、デバイスに特殊な動作モードを設けることなくシステム障害発生から復旧までの間のダウンタイムを抑えるための技術を提供するものである。また、本発明は、二次的には、一般にＳＭＰ（Symmetric Mutli Processing）構成の、複数のＣＰＵコアで物理メモリを共有する方式で構成されるシステムのうち、複数のＣＰＵソケットを備えた計算機システムにおいて、１つのＣＰＵが故障した際に、当該ＣＰＵに接続されているＰＣＩデバイスを別のＣＰＵにシステムダウンを伴う事なく動的に割り当てを変更するものである。
　以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
　本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
　更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
　＜システム構成＞
　図１は、本発明の実施形態による計算機システムの全体構成を示す図である。
　複数のＣＰＵ（図１では、説明の便宜のためＣＰＵ１_１０及びＣＰＵ２_１１の２つのみが示されているが２つに限定されるものではない）と、それぞれのＣＰＵに対応し、バス１０２又は１０３を介して接続されるメモリモジュール１００及び１０１と、ＣＰＵ１_１０に接続される少なくとも１つのＰＣＩデバイス（ＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１が示されているが、２つに限定されるものではない）と、ＣＰＵ２_１１に接続される少なくとも１つのＰＣＩデバイス（ＰＣＩデバイス３_２２及びＰＣＩデバイス４_２３が示されているが、２つに限定されるものではない）と、バスを介してＣＰＵ１_１０及びＣＰＵ２_１１と接続されるブリッジチップ１２と、システムの状態を通知する機能を有するＳＶＰ（Service Processor）チップ１０４と、を含んでいる。
　ＣＰＵ１_１０及びＣＰＵ２_１１は、正常稼動時においてはいずれも通常のマルチプロセッサとして機能し、待機状態とはならない。そのため、計算機システム１では、正常稼動時においては両方のＣＰＵが使用されるようになっている。
　ブリッジチップ１２は、キーボードやマウス、ディスプレイ装置といった外部との入出力インタフェースを制御する。
　通常時、ＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１は、ＣＰＵ１_１０によって動作が制御される。同様に、ＰＣＩデバイス３_２２及びＰＣＩデバイス４_２３は、ＣＰＵ２_１１によって動作が制御される。従って、ＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１はＣＰＵ１_１０の専用デバイス、ＰＣＩデバイス３_２２及びＰＣＩデバイス４_２３はＣＰＵ２_１１の専用デバイスということができる。
なお、本発明の実施形態で想定するのは、一般的なＳＭＴ（Simultaneous Multi Thread）を採用したシステムであるが、本発明の思想は必ずしもそれに限定されるものではない。
　一般的なマルチプロセッサシステムに対応したＯＳでは、入出力装置やＵＳＢといった外付けの拡張機能は、１つのＣＰＵに割り込みベクタを設定する。そのため、本実施形態においては、ＣＰＵ１_１０に割り込みベクタが割り当てられているのが一般的である。しかし、ＰＣＩデバイスと同様に、冗長性を持たせるため、拡張機能もＣＰＵ２_１１にも接続している。
　ブリッジチップ１２は、小型のマイクロチップであり、自ら各デバイスを制御できる。そのため、ブリッジチップ１２は、ＣＰＵ１_１０が故障した場合には、ＣＰＵ２_１１を使用するように自ら制御することができる。
　また、入出力インタフェースやＵＳＢなどは、ＰＣＩデバイスと異なり、一度ＯＳから切り離されてしまっても、若干のダウンタイムは発生するものの、再度ＯＳに割り当てる事は、ブリッジチップの回路規模にもよるが、比較的容易である。そのため、本発明においては以降、ＰＣＩデバイスの切り替えに関して記載し、入出力デバイスやＵＳＢといった拡張機能に関しては記載の対象としないこととする。
　なお、当該計算機システム１において、ＯＳは、ストレージやＨＤＤからメモリモジュール１００及び１０１にそれぞれ読み込まれ、それぞれのＣＰＵによって実行される。また、各ＰＣＩデバイスのドライバも、メモリモジュール１００及び１０１から読みだされ、それぞれのＣＰＵによって実行され、担当のＣＰＵによって各ＰＣＩデバイスが制御される。
　＜ＰＣＩドライバ側の処理とＯＳ側の処理＞
　図２は、ＰＣＩデバイスに冗長性を持たせるために実行されるＰＣＩドライバ側の処理とＯＳ側の処理のシーケンスを説明するための図である。計算機システム１では、現用系として通常稼動時に使用するリソースと、待機系として障害発生時に使用するリソースを分け、ＰＣＩドライバ及びＯＳがそれぞれを個別に管理している。なお、以下においては、ＯＳ或いはＰＣＩデバイスドライバを動作主体として各シーケンスについて説明するが、ＯＳ及びドライバはＣＰＵ１_１０及びＣＰＵ２_１１によって実行されるため、ＣＰＵを動作主体として捉えても良い。
（i）シーケンス２０１
　まず、ＣＰＵ１_１０及びＣＰＵ２_１１（以下、図２の説明では、単に「ＣＰＵ」と記す）によって実行されるＯＳは、ＯＳの初期化中に、ＣＰＵによって実行されるＰＣＩドライバに対して、ＰＣＩのリンク速度の情報を通知する。通知されるＰＣＩのリンク速度は、例えば、１×、２×、４×、８×、１６×、３２×、・・・等である。
（ii）シーケンス２０２
　ＰＣＩのリンク速度の情報を受け取ったドライバは、ＯＳによって通知されたリンク速度に基づいて、各ＰＣＩデバイスを正常に動作させるために必要なリンク速度を確認し、決定する。そして、ドライバは、ＯＳに対して決定したリンク速度を通知する。
（iii）シーケンス２０３
　ＯＳは、ドライバからリンク速度の通知を受け、当該リンク速度に応じて使用できるリソース（ＣＰＵのリソース量：ＰＣＩデバイスが使える割り込みベクタの数）をドライバに通知する。
（iv）シーケンス２０４
　ドライバは、ＯＳに対して各ＰＣＩデバイスが必要とするリソースを確保できるかＯＳ側へ確認を取る。より具体的には、ドライバは、ＰＣＩデバイスの仕様（シーケンス２０２で決定したリンク速度）に応じて割り込みベクタを割り当ててくれるようにＯＳに対して要求する。
　通常、ＰＣＩデバイスにおいてはデバイス毎に確保するリソースが予め決まっており、ドライバによって確保するリソースの数を制御するのが一般的である。そのため、リソースが通常稼動に必要な容量より小さい場合、デバイスを使用不可としてＯＳに通知するドライバもあれば、リソースが通常使用する容量より少なくても、使用不可にするような例外処理を入れず、正常稼動させようとするドライバも存在する。（ドライバの実装に依存する）よって、リソースが十分確保できない場合の処理は、ドライバの実装に依存し、各々異なる。
　図２の処理例では、ドライバは、現用系のＣＰＵ１_１０が動作させるＯＳに対してＰＣＩデバイスが必要とする本来のリソース数の分だけリソースを確保できるか確認を取る。なお、当該シーケンスの処理は、ＰＣＩデバイスの冗長化に関係なく発生する処理であり、本発明特有の処理ではない。また、現用系ＣＰＵ１_１０が通常稼動するために必要なリソースを確保できない場合はエラー処理として、ＰＣＩデバイスをどのように扱うかデバイスドライバで制御する点も本発明特有の処理ではない。
　なお、本実施形態において、当該シーケンスにおけるベクタ割り当て要求は、現用系（ＣＰＵ１_１０）の割り込みベクタを割り当てるためのものであり、待機系については現用系のベクタ設定が完了してから設定される。
（v）シーケンス２０５
　ＯＳは、ドライバに対して、要求されたベクタ数を割り当てることができるメモリ領域（仮想メモリ領域）をドライバに通知する。
（vi）シーケンス２０６
　ドライバは、ベクタ割り当て可能領域の通知をＯＳから受け、対象のＰＣＩデバイスについて現用系のためのリソースを割り当て、そのメモリ領域の情報をＯＳに通知する。
（vii）シーケンス２０７
　ＯＳは、メモリ領域の情報をドライバから受け、現用系の割り込みベクタを設定する。
（viii）シーケンス２０８
　ドライバは、対象のＰＣＩデバイスを通常使用するためのリソースを確保できた場合、その倍数のリソースを確保できるか再度ＯＳに問い合わせる。つまり、現用系のために割り当てられた割り込みベクタ数が待機系のためにも確保できるかＯＳに問い合わせる。
（ix）シーケンス２０９
　ＯＳは、ドライバからの要求に応じて、ベクタ割り当て可能領域（仮想メモリ領域）を確認し、ドライバに当該可能領域を通知する。
（x）シーケンス２１０
　ドライバは、ＯＳから通知されたベクタ割り当て可能領域の情報に基づいて、現用系のＰＣＩデバイスに割り当てた割り込みベクタと同数の割り込みベクタ数を待機系のＰＣＩデバイスに設定可能か判断する。設定可能な場合（シーケンス２１０でＹｅｓの場合）、処理はシーケンス２１１に移行する。設定不可能な場合（シーケンス２１０でＮｏの場合）、処理はシーケンス２１２に移行する。
（xi）シーケンス２１１
　ＯＳは、待機系のＰＣＩデバイスに対して割り込みベクタを設定し、ドライバに対して待機系のＰＣＩデバイスとして割り込みに使用するベクタ番号を通知する。
（xii）シーケンス２１２
　ドライバは、現用系及び待機系のベクタ割り当てについて再検討するため、既に設定された現用系のＰＣＩデバイスに対する割り込みベクタの設定を取り消す。
　待機系のＰＣＩデバイスが正常稼動するために必要な割り込みベクタがＯＳから十分に供給されない場合、現用系に故障が発生した場合、ＰＣＩデバイスが正常に使用できない状態となる。そのため、現用系に割り当てるリソースは確保できても待機系に割り当てるリソースが不十分である場合には、ベクタ割り当て方式の再検討を行う必要がある。
　シーケンス２１２の処理後、処理はシーケンス２０２に移行する。シーケンス２０２では、ドライバは、各ＰＣＩデバイスを動作させるために必要なリンク速度であって、今まで検討した速度（例えば８×）よりも遅い速度の異なるリンク速度（例えば４×）を決定する。そして、ドライバは、ＯＳに対して決定したリンク速度を通知する。以後、上述のように、現用系及び待機系の両方に同数の割り込みベクタが設定できるまで、シーケンス２０３～２１２の処理が繰り返される。
　以上のように、本発明の実施形態では、現用及び待機系のＰＣＩデバイスには同数の割り込みベクタが割り当てられる。ただし、各ＰＣＩデバイスに割り当てられる割り込みベクタ数は、本来（従来の方式によって）割り当てられる割り込みベクタ数の半分となる。
　ところで、通常、システム設計に当たっては、各ＰＣＩデバイスのデバイスドライバがＯＳに要求するリソースを確保できる前提でシステム設計を行う。よって、本システム設計の基本に則れば、ＰＣＩデバイスが通常動作するために必要とする半分のリソースは確実に確保可能である。通常使用する倍数のリソースを確保できるのであれば、現用系および待機系で何らかの不具合が発生することはない。
　本発明者は、通常の半分のリソースでも当該デバイスの使用を継続可能な技術に関して技術的価値を見出しているが、実際の運用の際には、通常の半分のリソースであってもＰＣＩデバイスの機能を十分満足できるかどうかを検証する必要がある。
　上述のように、本発明の実施形態においては現用系および待機系について、同数のベクタ割り込みを基本としている。これは、機構が最も単純であり、制御機構の実装上、開発コストや機構の実装にかかるコストを考慮したためである。ただし、必ずしも現用系と待機系で同数のベクタ割り込みを使用しなくても良い。
　また、ＰＣＩデバイスによっては、当該ＰＣＩデバイスの性能を引き出すのに本来必要なリソース以上にリソースを確保するデバイスも存在する。例えば、ＳＣＳＩデバイス接続用ＰＣＩカードやシリアル入出力対応ＰＣＩカードなど、レガシデバイスに対応させるための拡張ＰＣＩカードなどが代表的である。このようなデバイスの場合、ＰＣＩ　Ｅｘｐｒｅｓｓの帯域自体が規格上最小のｘ１でも帯域過多であり、デバイスが割り込みを上げる数も非常に少ないにも拘らず、使用する割り込みベクタを余分に確保しているデバイスも存在する。このような場合、現用系および待機系に対して割り込みベクタ自体を予め少なく割り当てるように、ドライバの割り込みベクタ確保要求に対し、ＯＳ上の設定で割り当てるベクタ数を削減し、リソースを他のＰＣＩデバイスのために空けるといった工夫が考えられる。
　以上のように、本発明では、ＰＣＩデバイスが通常確保するリソースの倍数を確保できる余裕がある場合は問題ない。一方、正常系および待機系のＰＣＩデバイスに割り当てる事が可能な割り込みベクタのリソース数が通常より少ない場合には、ＰＣＩデバイスが正常動作するか否かを十分検証する必要がある。
　しかし、十分なリソースが確保できず、ＰＣＩデバイスを正常稼動させることができない場合でも、ＯＳから下位の物理レイヤーに対してハードウェア異常が発生している事を通知することは既存技術を用いれば可能である。
　そこで、ＯＳが割り当て可能なリソースの上限を超えるようなリソースが必要となる場合は、ユーザー側に本機能を使用しないよう、ＳＶＰ１０４のログに出力するなどし、ユーザーへの配慮を図る。また、ＰＣＩデバイスの冗長化機能を使用したとき（本実施形態）には、リソース不足で正常稼動できない旨、ＳＶＰ等を利用してユーザーに対して注意が喚起される。このため、ユーザーは、リソース不足の場合はＰＣＩデバイス自体が起動できず、ＰＣＩカードを増設しようとする時点においてＰＣＩデバイスの冗長構成が組めないことが分かる。よって、ユーザーは、システムの本運用に入る前に制約事項に気付くことができる。
　＜従来の割り込みベクタの設定＞
　図３は、従来技術によってドライバがＰＣＩデバイスに対してどの割り込みベクタ番号を使用するか決定し、割り当てた後の状態を示す図である。
　ＰＣＩデバイス１_２０は、本来、割り込みベクタを４個必要とするデバイスであるとする。そのため、通常であれば、割り込みベクタは４個設定される。
　従って、図３では、ＰＣＩデバイス１_２０用に仮想メモリアドレス０ｘ００００から０ｘ０００３を、ＰＣＩデバイス２_２１用に仮想メモリアドレス０ｘ０００４から０ｘ０００７をＣＰＵ１_１０に割り当てている。一方、ＣＰＵ１_１０にはＰＣＩデバイス３およびＰＣＩデバイス４用の仮想メモリアドレスは割り当てない。同様に、ＰＣＩデバイス３_２２用に仮想メモリアドレス０ｘ０００８から０ｘ０００Ｂを、ＰＣＩデバイス４_２３用に仮想メモリアドレス０ｘ０００Ｃから０ｘ０００ＦをＣＰＵ２_１１に割り当てている。このように、従来技術に依る場合には、各ＰＣＩデバイスは１つのＣＰＵと１対１で対応し、ＣＰＵが故障した場合の冗長性は無い。
　＜本発明による割り込みベクタの設定＞
　図４は、本発明の実施形態によってドライバがＰＣＩデバイスに対してどの割り込みベクタ番号を使用するかを決定し、割り当てた後の状態を示す図である。本発明の実施形態では、システム装置が故障した場合にも継続的な動作ができるよう、ＣＰＵ１_１０がＰＣＩデバイス１_２０のために使用するリソースの数を半分にしたうえで、ＣＰＵ２_１１がＰＣＩデバイス１_２０を制御できるよう、割り込みベクタを割り当てる。
　具体的には、ＣＰＵ１_１０は、ＰＣＩデバイス１_２０用に仮想メモリアドレス０ｘ００００～０ｘ０００１を、ＰＣＩデバイス２_２１用に仮想メモリアドレス０ｘ０００３～０００４を、ＰＣＩデバイス３_２２用に仮想メモリアドレス０ｘ０００８と０ｘ０００９を、ＰＣＩデバイス４_２３用に仮想メモリアドレス０ｘ０００Ｃと０ｘ０００ｄを割り当てている。このうち、システム装置が正常に稼動しており、いずれのＣＰＵにも異常がない時、ＣＰＵ１_１０はＣＰＵ２_１１側の管理下にあるＰＣＩデバイス３_２２及びＰＣＩデバイス４_２３にはアクセスしない。
　また、ＣＰＵ２_１１は、ＰＣＩデバイス１_２０を制御するために０ｘ０００２～０ｘ０００３を、ＰＣＩデバイス２_２１を制御するために０ｘ０００６～０ｘ０００７を、ＰＣＩデバイス３_２２を制御するために０ｘ０００Ａ～０ｘ０００Ｂを、ＰＣＩデバイス４_２３を制御するために０ｘ０００Ｅ～０ｘ０００Ｆをそれぞれ確保している。このうち、正常に稼動している状態で制御するＰＣＩデバイスはＰＣＩデバイス３_２２とＰＣＩデバイス４_２３のみである。
　このように、あらかじめＯＳ起動時にドライバが双方のＣＰＵからＰＣＩデバイスにアクセスできるよう、固定的に割り込みベクタを割り振っておく。
　この場合に考慮（許容）すべき点としては、ＰＣＩデバイスに割り当てられるリソースが確実に減少することである。割り込みベクタは、ＰＣＩデバイスがＣＰＵと通信する際にＣＰＵに対して割込みを発生させ、割込みを発生させたＰＣＩデバイス専用にＣＰＵのリソースを確保し、データ通信を行うためにある。そのため、一般的に割り込みベクタの数が多い方が、ＰＣＩデバイスがＣＰＵリソースを占有できる時間が長くなり、ＰＣＩデバイスの性能面において有利となる。
　しかしながら、本発明を適用する場合には、各ＰＣＩデバイスに設定される割り込みベクタ数は従来の半分となるため、従来よりも性能は劣化する。従って、本発明を適用する場合には、対象のＰＣＩデバイスが本来どれだけリソースを必要とするのかを把握するが、少ないリソースでＰＣＩデバイスを制御することによる性能面の劣化は考慮しない（許容しなければならない）。このため、ユーザーは、割り込みベクタ数が減ってもＰＣＩデバイスとしての機能を損なうことのないよう、割り込みベクタ数減少により性能低下以外の正常動作を保障できないＰＣＩデバイスについては本発明の適用対象外とする必要がある。また、ＰＣＩ－Ｅｘｐｒｅｓｓ切り替えスイッチを使用し、本発明による冗長化ができない場合には、ユーザーは、ＯＳ起動前に、ＰＣＩスロット単位でＰＣＩの冗長化構成を組まないように設定できるよう、ＥＦＩ／ＢＭＣなどを使用して機能を実装する必要がある。
　図４では、リソースを割り当てるとき、通常稼動時に使用できるリソースが半分になる。しかし、リソースを半分にしておけば、既存のシステムからドライバ周りの実装を大幅に変更することなく、ＰＣＩデバイスが動作可能となる。一方、システムが許す範囲内において、最大限のリソースを確保できるよう、システム全体の構成に応じて割り当てリソースを調整する仕組みをＥＦＩ／ＢＭＣ側で実装し、性能劣化を最小限に抑える工夫も考えられる。
　図５は、計算機システム１において、ＣＰＵ１_１０が故障して使用不可となり、ＣＰＵ１_１０が管理していたＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１がいずれもＣＰＵ２_１１に割り当てられている様子を示している。図５からも分かるように、ＯＳ起動時において、予めＰＣＩデバイス１_２０用に０ｘ０００２～０ｘ０００３と、ＰＣＩデバイス２_２１用に０ｘ０００６～０ｘ０００７を確保しているため、当該割り込みベクタを使用してＣＰＵ２_１１が直接ＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１をコントロールできるようになる。
　以上のように、本実施形態では、ＣＰＵ１_１０及びＣＰＵ２_１１のそれぞれは、ＰＣＩデバイス１_２０乃至４_２３とＣＰＵ１_１０及び２_１１との対応関係と、ＰＣＩデバイス１_２０乃至４_２３に割り当てられた割り込みベクタと、を管理している。
　＜本発明を適用した場合の接続関係＞
　図６は、ＣＰＵとＰＣＩデバイスとの接続関係を示す図である。図７は、ＣＰＵ１_１０が故障した場合のＣＰＵとＰＣＩデバイスとの接続関係を示す図である。ここでは、ＣＰＵ１_１０、ＣＰＵ２_１１、ＰＣＩデバイス１_２０～ＰＣＩデバイス４_２３、ＳＷ１_５５、ＳＷ２_５６に特化してその接続関係が示されている。
　図６において、通常時は、ＳＷ１_５５は、ＣＰＵ１_１０とＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１のみを結ぶ経路を提供し、ＳＷ１_５５とＳＷ２_５６を跨いでＰＣＩデバイス１_２０やＰＣＩデバイス２_２１をＣＰＵ２_１１が制御できないようにしている。同様に、通常時は、ＳＷ２_５６も、ＣＰＵ２_１１とＰＣＩデバイス３_２２及びＰＣＩデバイス４_２３を結ぶ経路を提供し、ＰＣＩデバイス３_２２やＰＣＩデバイス４_２３をＣＰＵ１_１０が制御することはできないようにしている。
　一方、図７に示すように、ＣＰＵ１_１０が故障した場合、ＳＷ１_５５は、ＳＷ１_５５とＣＰＵ１_１０とを結ぶ経路を遮断し、ＳＷ１_５５とＳＷ２_５６との間の経路へ切り替える。ＳＷ２_５６は、ＳＷ１_５５と接続する経路５２を閉塞していたが、経路５２を開放する。よって、ＣＰＵ２は、異常発生前のＰＣＩデバイス３_２２とＰＣＩデバイス４_２３とを結ぶ経路とは別に、ＣＰＵ１_１０が制御していたＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１も制御可能になる。このとき、ＰＣＩ　Ｅｘｐｒｅｓｓスイッチは、ＰＣＩ　Ｅｘｐｒｅｓｓのクロックと同期して経路を切り替える事により、ＣＰＵ１_１０に故障が発生した場合においても、シームレスな切り替えを可能とする。このように、本実施形態ではＰＣＩデバイスが利用可能なリソースが減少するものの、ＰＣＩデバイス１_２０～４_２３はＣＰＵ１_１０が故障してもそのまま継続稼動可能となっている。
　既存（従来）の方式では、ＣＰＵ１_１０が故障した場合、何ら仕組みを設けていないので、ＣＰＵ１_１０及びＣＰＵ１_１０に接続されているＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１は即時にシステムダウンに至る。ＣＰＵやＰＣＩデバイスに障害が発生した場合に当該障害が発生したデバイスは使用できないが、別のデバイスは継続動作可能とされるシステムが以前から存在する。このようなシステムにおいては、故障したＣＰＵやＰＣＩデバイスを使用するために、システムのシャットダウン後、デバイスの入れ替えを実施する必要がある。この仕組みを実現するには、システムのＣＰＵの故障を検知し、デバイスの切り離し（閉塞）処理をＢｌａｄｅなどのシステム全体で実装することになる（例えば、ＥＦＩやＢＭＣにより実装される）。
　これに対し、本発明の実施形態では、図６及び７に示されるように、ＳＷ１_５５とＳＷ２_５６とを結ぶ経路５２は正常時には閉塞しているが、ＳＷ１_は、ＣＰＵ１_１０の障害の発生とともに、ＰＣＩデバイス１_２０及びＰＣＩデバイス２_２１の経路５１を経路５２経由でＣＰＵ２_１１と接続する。このため、ＰＣＩデバイスが利用可能なリソースが減少するものの、ＰＣＩデバイス１_２０～ＰＣＩデバイス４_２３は、ＣＰＵ１_１０が故障してもそのまま継続稼動可能となる。
　＜まとめ＞
（i）本発明の実施形態では、計算機システムにおいて、各ＣＰＵには、通常時に制御される少なくとも１つのＰＣＩデバイスが専用デバイスとして接続されており、複数のＣＰＵのそれぞれは、専用デバイスを含む複数のＰＣＩデバイスの全ての割り込みベクタを仮想メモリ領域に設定している。なお、複数のＰＣＩデバイスのそれぞれについては同数の割り込みベクタを設定することが望ましい。このようにＰＣＩの経路を冗長化することにより、ＰＣＩデバイスに直接接続されているＣＰＵが故障しても、システムはそのまま継続動作が可能となる。また、ＣＰＵ（現用系ＣＰＵ）に異常が発生しても、別のＣＰＵ（待機系ＣＰＵ）が、あらかじめ設定されていたベクタ番号を用いて、異常の発生したＣＰＵに接続されているＰＣＩデバイスに、ＯＳ再起動を伴わずに直接アクセスできる。したがって、ＣＰＵに接続されたＰＣＩデバイスをシステムのシステムダウンを伴うことなく、保守交換を行うまでシステムとして動作を継続させる。そのため、ＰＣＩ　Ｅｘｐｒｅｓｓのバスを多重化し、ＣＰＵに異常が発生しても、他のＣＰＵにＰＣＩデバイスの処理をシームレスに移行させる事を可能にする。例えば、高い信頼性を要求するシステムにおいて、あるＣＰＵが故障した際に、システムを停止させることなく、継続動作が可能となることは非常に有益である。そのため、ＣＰＵの故障判明後、できる限り早い段階で保守交換は必要となるが、故障によるダウンタイムを回避でき、保守交換は計画的に実施することが可能である。従って、本発明は高い信頼性を要求するシステムに対して十分に実用的に適用可能である。
　また、計算機システムにシステムの状態を監視するＳＶＰを設けるようにしても良い。この場合、複数のＣＰＵのそれぞれは、割り込みベクタを設定する際にリソース不足を検知したときにはＳＶＰにリソース不足であることを通知する。このようにすることにより、ＳＶＰのログにはリソース不足であったことが記録され、システムを管理する上で有益な情報を取得することが可能となる。
　割り込みベクタを設定する際に、待機系のＣＰＵに対して十分な数のベクタ番号を割り当てるリソースがない場合には、ＰＣＩリンク速度を下げて（例えば、８×→４×）再度割り込みベクタを現用系ＣＰＵ及び待機系ＣＰＵに設定する処理を実行する。このようにすることにより、ＰＣＩデバイスの性能とシステム故障時における動作担保との両立を図りながら割り込みベクタを割り当てることが可能となる。
（ii）本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
　さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
　最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがある。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
　さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
１０　ＣＰＵ１
１１　ＣＰＵ２
１２　ブリッジチップ
２０　ＰＣＩデバイス１
２１　ＰＣＩデバイス２
２２　ＰＣＩデバイス３
２３　ＰＣＩデバイス４
１００　メモリモジュール
１０１　メモリモジュール
１０２　バス
１０３　バス
１０４　ＳＶＰチップ

Claims (11)

  1. 　複数のＰＣＩデバイスと、少なくともＯＳと前記複数のＰＣＩデバイスのドライバを実行する複数のＣＰＵと、当該複数のＰＣＩデバイスの割り込みベクタを設定するための仮想メモリ領域を提供する少なくとも１つのメモリと、ＣＰＵ間の経路を開閉するための複数のスイッチと、を有し、
    　各ＣＰＵには、通常時に制御される少なくとも１つのＰＣＩデバイスが専用デバイスとして接続されており、
    　前記複数のＣＰＵのそれぞれは、前記専用デバイスを含む前記複数のＰＣＩデバイスの全ての前記割り込みベクタを前記仮想メモリ領域に設定する、
    ことを特徴とする計算機システム。
  2. 　請求項１において、
    　前記複数のＣＰＵのそれぞれは、前記複数のＰＣＩデバイスのそれぞれについて同数の割り込みベクタを設定することを特徴とする計算機システム。
  3. 　請求項１において、
    　前記複数のスイッチは、何れかのＣＰＵが使用不可となった場合に、当該使用不可となったＣＰＵに接続された前記専用デバイスの制御を当該使用不可となったＣＰＵとは別のＣＰＵに実行させるための経路を提供することを特徴とする計算機システム。
  4. 　請求項１において、
    　さらに、計算機システムの状態を監視するＳＶＰを有し、
    　前記複数のＣＰＵのそれぞれは、前記割り込みベクタを設定する際にリソース不足を検知したときには前記ＳＶＰにリソース不足であることを通知することを特徴とする計算機システム。
  5. 　複数のＰＣＩデバイスと、少なくともＯＳと前記複数のＰＣＩデバイスのドライバを実行する複数のＣＰＵと、当該複数のＰＣＩデバイスの割り込みベクタを設定するための仮想メモリ領域を提供する少なくとも１つのメモリと、を有し、
    　前記複数のＣＰＵのそれぞれは、前記複数のＰＣＩデバイスと前記複数のＣＰＵとの対応関係と、前記複数のＰＣＩデバイスに割り当てられた割り込みベクタと、を管理し、
    　前記複数のＣＰＵのそれぞれに対して、前記複数のＰＣＩデバイスの全ての前記割り込みベクタが前記メモリ内に設定されている、
    ことを特徴とする計算機システム。
  6. 　計算機システムの制御方法であって、
    　前記計算機システムは、複数のＰＣＩデバイスと、少なくともＯＳと前記複数のＰＣＩデバイスのドライバを実行する複数のＣＰＵと、当該複数のＰＣＩデバイスの割り込みベクタを設定するための仮想メモリ領域を提供する少なくとも１つのメモリと、を有し、
    　前記制御方法は、
    　　前記複数のＣＰＵのそれぞれが、前記ドライバを用いて前記ＰＣＩデバイスのリンク速度を決定するステップと、
    　　前記複数のＣＰＵのそれぞれが、前記ドライバを用いて前記リンク速度に応じて前記複数のＰＣＩデバイスの割り込みベクタの割り当てを前記ＯＳに要求するステップと、
    　　前記複数のＣＰＵのそれぞれが、前記ＯＳからの割り当て可能領域の通知を受け、前記ドライバを用いて、前記複数のＣＰＵのそれぞれに対して前記複数のＰＣＩデバイスの全ての前記割り込みベクタを前記仮想メモリ領域内に設定可能か否か判断するステップと、
    　　前記複数のＣＰＵのそれぞれが、前記判断するステップで設定可能であると判断され場合に、前記複数のＣＰＵのそれぞれに対して前記複数のＰＣＩデバイスの全ての前記割り込みベクタを前記仮想メモリ領域内に設定するステップと、
    を有することを特徴とする制御方法。
  7. 　請求項６において、
    　前記複数のＣＰＵのそれぞれは、前記複数のＰＣＩデバイスのそれぞれについて同数の割り込みベクタを設定することを特徴とする制御方法。
  8. 　請求項７において、
    　前記設定可能か否か判断するステップにおいて、前記複数のＣＰＵのそれぞれは、前記複数のＰＣＩデバイスのそれぞれについて同数の割り込みベクタを設定することが可能か否か判断し、
    　前記同数の割り込みベクタの設定が可能ではないと判断された場合、前記複数のＣＰＵのそれぞれは、前記リンク速度を決定するステップを再度実行し、前回設定したリンク速度よりも低速のリンク速度を決定し、前記ＯＳに要求するステップ、前記設定可能か否か判断するステップ、及び前記設定するステップを繰り返し実行することを特徴とする制御方法。
  9. 　請求項６において、
    　前記割り込みベクタ設定後は、前記複数のＣＰＵのそれぞれは、前記複数のＰＣＩデバイスと前記複数のＣＰＵとの対応関係と、前記複数のＰＣＩデバイスに割り当てられた割り込みベクタと、を管理することを特徴とする制御方法。
  10. 　請求項６において、
    　前記複数のＰＣＩデバイスに関しては、ＣＰＵが使用不可となる状況以外の状況である通常時に制御を担当するＣＰＵが予め決められており、
    　前記計算機システムは、前記複数のＣＰＵ間の経路を開閉するための複数のスイッチを有し、
    　前記制御方法は、さらに、
    　　前記複数のＣＰＵの何れかが使用不可となったとき、当該使用不可となったＣＰＵ以外の正常に稼働する少なくとも１つのＣＰＵが、前記使用不可となったＣＰＵによって制御されていたＰＣＩデバイスの制御を担当するように、前記複数のスイッチによる経路の開閉の制御するステップを有することを特徴とする制御方法。
  11. 　請求項６において、
    　さらに、計算機システムの状態を監視するＳＶＰを有し、
    　前記制御方法は、さらに、
    　　前記複数のＣＰＵのそれぞれが、前記割り込みベクタを設定する際にリソース不足を検知したときには前記ＳＶＰにリソース不足であることを通知するステップを有することを特徴とする制御方法。
PCT/JP2014/080193 2014-11-14 2014-11-14 計算機システム、及びその制御方法 WO2016075813A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/080193 WO2016075813A1 (ja) 2014-11-14 2014-11-14 計算機システム、及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/080193 WO2016075813A1 (ja) 2014-11-14 2014-11-14 計算機システム、及びその制御方法

Publications (1)

Publication Number Publication Date
WO2016075813A1 true WO2016075813A1 (ja) 2016-05-19

Family

ID=55953926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080193 WO2016075813A1 (ja) 2014-11-14 2014-11-14 計算機システム、及びその制御方法

Country Status (1)

Country Link
WO (1) WO2016075813A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769004B2 (en) 2017-01-27 2020-09-08 Fujitsu Limited Processor circuit, information processing apparatus, and operation method of processor circuit

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124948A (ja) * 1997-06-27 1999-01-29 Fujitsu Ltd マルチプロセッサシステムの割込み制御方式および装置
JP2008065713A (ja) * 2006-09-08 2008-03-21 Canon Inc マルチプロセッサシステム及び割込み制御方法
JP2010250453A (ja) * 2009-04-14 2010-11-04 Hitachi Ltd 計算機システム、割込み中継回路及び割込み中継方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124948A (ja) * 1997-06-27 1999-01-29 Fujitsu Ltd マルチプロセッサシステムの割込み制御方式および装置
JP2008065713A (ja) * 2006-09-08 2008-03-21 Canon Inc マルチプロセッサシステム及び割込み制御方法
JP2010250453A (ja) * 2009-04-14 2010-11-04 Hitachi Ltd 計算機システム、割込み中継回路及び割込み中継方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769004B2 (en) 2017-01-27 2020-09-08 Fujitsu Limited Processor circuit, information processing apparatus, and operation method of processor circuit

Similar Documents

Publication Publication Date Title
JP4001877B2 (ja) 入出力ファブリックにおけるハードウェア・エラーからの自動回復
JP5585844B2 (ja) 仮想計算機の制御方法及び計算機
US8555279B2 (en) Resource allocation for controller boards management functionalities in a storage management system with a plurality of controller boards, each controller board includes plurality of virtual machines with fixed local shared memory, fixed remote shared memory, and dynamic memory regions
JP4723290B2 (ja) ディスクアレイ装置及びその制御方法
US8032786B2 (en) Information-processing equipment and system therefor with switching control for switchover operation
JP5069732B2 (ja) 計算機装置、計算機システム、アダプタ承継方法
WO2016165304A1 (zh) 一种实例节点管理的方法及管理设备
US9507664B2 (en) Storage system including a plurality of storage units, a management device, and an information processing apparatus, and method for controlling the storage system
KR20150005854A (ko) 컴퓨터 시스템, pci 익스프레스 엔드포인트 디바이스에 액세스하는 방법 및 장치
US10289564B2 (en) Computer and memory region management method
EP3761564B1 (en) Master/standby container system switch
CN110874261A (zh) 可用性系统、方法和存储有程序的存储介质
US8402195B2 (en) Storage system mounted with plurality of processors
JP5531487B2 (ja) サーバシステム及びサーバシステムの管理方法
WO2016075813A1 (ja) 計算機システム、及びその制御方法
CN110674539B (zh) 一种硬盘保护设备、方法及系统
US11055263B2 (en) Information processing device and information processing system for synchronizing data between storage devices
EP1890229B1 (en) System controller, data processor, and input output request control method
JP5773446B2 (ja) 記憶装置、冗長性回復方法、およびプログラム
JP6063576B2 (ja) サーバシステム、計算機システム、サーバシステムの管理方法、及びコンピュータ読み取り可能な記憶媒体
CN113590306A (zh) 一种实现域控制器双系统之间可靠通讯的方法
US7447842B2 (en) Mass memory device and method for operating a mass memory device
TWI733744B (zh) 計算設備及計算設備儲存部件的管理方法及系統
US11366618B2 (en) All flash array server and control method thereof
RU2810634C2 (ru) Способ повышения надежности систем хранения данных и соответствующее устройство

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14906080

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14906080

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP