JP4841632B2 - ロジカル・パーティションにプロセッサを割り当てるための方法、装置、およびプログラム - Google Patents

ロジカル・パーティションにプロセッサを割り当てるための方法、装置、およびプログラム Download PDF

Info

Publication number
JP4841632B2
JP4841632B2 JP2008532706A JP2008532706A JP4841632B2 JP 4841632 B2 JP4841632 B2 JP 4841632B2 JP 2008532706 A JP2008532706 A JP 2008532706A JP 2008532706 A JP2008532706 A JP 2008532706A JP 4841632 B2 JP4841632 B2 JP 4841632B2
Authority
JP
Japan
Prior art keywords
processor
partition
partitions
failed
processors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008532706A
Other languages
English (en)
Other versions
JP2009510572A5 (ja
JP2009510572A (ja
Inventor
アームストロング、ウィリアム、ジョセフ
ネイヤー、ナレシュ
リカード、ゲイリー、ロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2009510572A publication Critical patent/JP2009510572A/ja
Publication of JP2009510572A5 publication Critical patent/JP2009510572A5/ja
Application granted granted Critical
Publication of JP4841632B2 publication Critical patent/JP4841632B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1658Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/2025Failover techniques using centralised failover control functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/2028Failover techniques eliminating a faulty processor or activating a spare
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2035Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2043Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share a common memory address space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485Task life-cycle, e.g. stopping, restarting, resuming execution
    • G06F9/4856Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5011Pool
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5021Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Hardware Redundancy (AREA)
  • Multi Processors (AREA)

Description

本発明の分野はデータ処理であり、更に具体的には、複数のロジカル・パーティションをサポートするコンピュータにおいて、ロジカル・パーティションに対してプロセッサを割り当てるための方法、装置、および製品に関する。
1948年のEDVACコンピュータ・システムの開発は、コンピュータ時代の幕開けと言われることが多い。それ以来、コンピュータ・システムは極めて複雑なデバイスへと進化している。今日のコンピュータは、EDVAC等の初期のシステムに比べてはるかに洗練されている。コンピュータ・システムは通常、ハードウェアおよびソフトウェア・コンポーネント、アプリケーション・プログラム、オペレーティング・システム、プロセッサ、バス、メモリ、入出力デバイス等の組み合わせを含む。半導体処理およびコンピュータ・アーキテクチャの向上によってコンピュータの性能がいっそう高度になるにつれて、このハードウェアの高性能を利用するようなもっと洗練されたコンピュータ・ソフトウェアが現れ、結果として、今日のコンピュータ・システムはわずか数年前のものよりもずっと強力となっている。
進歩している領域としては、固有のリソースが割り当てられて別個のオペレーティング・システムを動作させている複数のパーティションにおける多数の実行スレッドの並列処理が挙げられる。コンピュータ・ハードウェアおよびソフトウェアが、高度に並列でロジカル・パーティション化したモデルへとシフトすることで、たった数年前には実質的に存在しなかった高いシステム可用性のチャンスが得られる。高い可用性を維持するためのある機構では、故障が予測されたプロセッサを未使用のプロセッサによって動的に実行時に置換することが可能となる。ただし、これは、置換プロセスが完了するまで故障プロセッサが機能し続けることができる場合である。高い可用性のための別の機構は、完全なプロセッサ状態情報を維持し、破局的なプロセッサ故障の場合であっても(例えばチェックストップ(checkstop))、プロセッサによって実行中の動作を置換プロセッサ上で継続することができるようになっている。これらの回復機構における置換プロセッサの重要性は明白である。未使用のプロセッサが利用可能な場合は、こういった置換をどこで行うかは明らかである。しかしながら、未使用のプロセッサは一般的に無駄が多くて高価であり、このため、ほとんどのシステムではまれにしか存在しない。プロセッサがチェックストップし、未使用のプロセッサが使用可能でない場合、システムには2つの選択肢がある。すなわち、パーティションを終了させること、または、基礎にあるハイパーバイザが、物理的に利用可能であるよりも多くのプロセッサを有するかのようにパーティションを動作させることができる。これらのケースは双方とも望ましくない。前者の場合はパーティションが死んでおり、後者の場合はパーティションが所望の性能レベルで動作していない。確かに、利用しているプロセッサがチェックストップした場合、必ずシステム上のあるパーティションは悪影響を受けるが、偶発的な故障プロセッサに基づいて悪影響を受けるパーティションの選択を運に任せることは、最適な手順ではない。
開示する方法、装置、およびコンピュータ・プログラムは、概して、複数のロジカル・パーティションをサポートするコンピュータにおいて、ロジカル・パーティションに置換プロセッサを割り当てるように動作する。このため、割り当てたパーティション優先度を用い、あるプロセッサが置換プロセッサとして必要とされるまで、システム上の全てのプロセッサは有用な機能を実行することができ、いったんそれが必要とされると、エンド・ユーザの動作に対する影響を減じる予測可能な方法で処理リソースの割り当てを解除する。更に具体的には、開示する方法、装置、およびコンピュータ・プログラムは、複数のロジカル・パーティションをサポートするコンピュータにおいて、ロジカル・パーティションにプロセッサを割り当てるものであり、パーティションに優先度を割り当てること、パーティションの故障プロセッサのチェックストップを検出すること、故障プロセッサの状態を検索して取得すること、ハイパーバイザによって、故障プロセッサのパーティションの優先度よりも低い優先度を有するパーティションからの置換プロセッサによって故障プロセッサを置換すること、および、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てること、を含む。
本発明の前述およびその他の目的、特徴、および利点は、添付図面に示された本発明の例示的な実施形態の以下の更に具体的な説明から明らかとなろう。図面において、同様の参照番号は概ね本発明の例示的な実施形態の同様の部分を表す。
本発明の実施形態による、ロジカル・パーティションにプロセッサを割り当てるための例示的な方法、装置、および製品について、図1から始まる添付図面を参照して説明する。本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てることは、概して、コンピュータによって、すなわち自動化コンピューティング機械によって実施される。従って、更に詳細な説明のため、図1は、自動化コンピューティング機械のブロック図を示し、これは、本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てる際に有用な例示的なコンピュータ(152)を含む。図1のコンピュータ(152)は、複数の物理プロセッサ(156)およびランダム・アクセス・メモリ(168)(「RAM」)を含み、このRAMは、システム・バス(160)を介して、プロセッサ(156)およびコンピュータの他の構成要素に接続されている。RAM(168)内には、ハイパーバイザ(184)、すなわちロジカル・パーティション(「LPAR」)を管理するためのコンピュータ・プログラム命令がストアされている。ハイパーバイザ(184)は、メモリ等の物理リソースおよび処理リソースのLPARに対する割り当てを管理し、LPAR内からアクセスすることができる物理メモリ位置を制御し、I/Oメモリ空間に対するアクセスを制御する。更に、ハイパーバイザ(184)は、物理プロセッサに対する仮想プロセッサをスケジューリングし、LPARに対する仮想プロセッサの割り当てを管理する。
この例におけるハイパーバイザ(184)は、本発明の実施形態に従って複数のロジカル・パーティションをサポートするコンピュータにおいてロジカル・パーティションにプロセッサを割り当てるために改良されており、パーティションに優先度を割り当て、パーティションの故障プロセッサのチェックストップを検出し、故障プロセッサの状態を検索して取得し、ハイパーバイザによって、故障プロセッサのパーティションの優先度よりも低い優先度を有するパーティションからの置換プロセッサによって故障プロセッサを置換し、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てる。
また、RAM(168)内には、仮想プロセッサ(122)、すなわち、LPARに対する物理プロセッサ・リソースの割り当てを表すコンピュータ・プログラム命令もストアされている。また、RAM(168)内には、LPAR(104)もストアされている。これは、単一のコンピュータ内でのハイパーバイザによるコンピュータ・リソースの分配をサポートして、コンピュータを2つ以上の独立したコンピュータであるかのように機能させる1組のデータ構造およびサービスである。LPARには、独立したコンピュータであるかのように動作するために必要なリソースが全て割り当てられており、これには、プロセッサ時間、メモリ、オペレーティング・システム等が含まれる。また、RAMには、アプリケーション・プログラム(158)、すなわちユーザ・レベルのデータ処理のためのコンピュータ・プログラム命令もストアされている。
また、RAM(168)には、オペレーティング・システム(154)もストアされている。本発明の実施形態に従ったコンピュータにおいて有用なオペレーティング・システムは、UNIXTM、LinuxTM、Microsoft NTTM、AIXTM、IBMのi5/OSTM、および、当業者に想起される他のものが含まれる。図1の例において、ハイパーバイザ(184)、仮想プロセッサ(122)、オペレーティング・システム(154)、LPAR(104)、およびアプリケーション・プログラム(158)は、RAM(168)の中に示すが、かかるソフトウェアの多くの構成要素は通常、不揮発性メモリ(166)にもストアされている。
図1のコンピュータ(152)は、システム・バス(160)を介して物理プロセッサ(156)およびコンピュータ(152)の他の構成要素に結合されている不揮発性コンピュータ・メモリ(166)を含む。不揮発性コンピュータ・メモリ(166)は、ハード・ディスク・ドライブ(170)、光ディスク・ドライブ(172)、電気的消去可能書き込み可能読み出し専用メモリ空間(いわゆる「EEPROM」または「Flash」メモリ)(174)、RAMドライブ(図示せず)、または、当業者に想起されるような他のいずれかの種類のコンピュータ・メモリとして実施することができる。
図1の例示的なコンピュータは、1つ以上の入出力インタフェース・アダプタ(178)を含む。コンピュータにおける入出力インタフェース・アダプタは、ユーザ指向の入出力を実施し、これは例えば、コンピュータ・ディスプレイ・スクリーン等のディスプレイ・デバイス(180)に対する出力ならびにキーボードおよびマウス等のユーザ入力デバイス(181)からのユーザ入力を制御するためのソフトウェア・ドライバおよびコンピュータ・ハードウェアを利用する。
図1の例示的なコンピュータ(152)は、他のコンピュータ(182)とのデータ通信(184)を実施するための通信アダプタ(167)を含む。かかるデータ通信は、RS−232接続、USB等の外部バス、IPネットワーク等のデータ通信ネットワーク、および当業者に想起されるような他の方法によってシリアルに実行することができる。通信アダプタは、ハードウェア・レベルのデータ通信を実施し、これによって、あるコンピュータは直接またはネットワークを介して別のコンピュータにデータ通信を送信する。本発明の実施形態に従って宛先の可用性を判定するために有用な通信アダプタの例は、有線ダイアルアップ通信のためのモデム、有線ネットワーク通信のためのイーサネット(IEEE802.3)アダプタ、および無線ネットワーク通信のための802.11bアダプタを含む。
図2は、本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための例示的なシステムの機能ブロック図を示す。図2のシステムは、ハイパーバイザ(184)、すなわちLPARを管理するシステム・ソフトウェア層を含む。この例におけるハイパーバイザ(184)は、本発明の実施形態に従って複数のロジカル・パーティションをサポートするコンピュータにおいてロジカル・パーティションにプロセッサを割り当てるために改良されており、パーティションに優先度を割り当て、パーティションの故障プロセッサのチェックストップを検出し、故障プロセッサの状態を検索して取得し、ハイパーバイザによって、故障プロセッサのパーティションの優先度よりも低い優先度を有するパーティションからの置換プロセッサによって故障プロセッサを置換し、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てる。
また、図2は、LPAR(103、104、105)も含む。各LPAR(103、104、105)ではオペレーティング・システム(154、155、157)が動作しており、各オペレーティング・システムは異なるものである場合がある。例えば、3つのLPARを有するシステムでは、あるLPARにおいてLinuxTMが動作し、別のLPARにおいてIBMのAIXTMが動作し、別のLPARにおいてIBMのi5/OSが同時に動作しているという場合がある。
また、図2は、複数の物理プロセッサ(156、158、160、162、164、166、168)を含む。物理プロセッサ(156、158)は、仮想プロセッサ(121、123)を介して排他的にLPAR(103)に専用となっている。物理プロセッサがこのように排他的に専用とされたLPARのことを、本明細書では「専用LPAR」と称する。この例において、物理プロセッサ(160、162、164、166、168)は、仮想プロセッサ(124、126、128、130、132、134)を介して、LPAR(104、105)によって共有されている。
仮想プロセッサ(124、126、128、130、132、134)は、LPAR(104、105)に対する割り当てのために利用可能な仮想プロセッサ・プール(153)に集められている。各仮想プロセッサは、プール(153)をサポートする物理プロセッサ(160、162、164、166、168)によって与えられる処理容量の一部をLPARに対して割り当てることを表す。プールをサポートする物理プロセッサのうち、1つの仮想プロセッサによって表される部分は、ある物理プロセッサの一部またはある物理プロセッサ全体とすることができる。従って、LPAR(104、105)は、かかる各LPARにハイパーバイザ(184)が割り当てたプールされた仮想プロセッサを介して、間接的に物理プロセッサを共有する。プールされた仮想プロセッサを介して間接的に物理プロセッサを共有しているこのようなLPARのことを、本明細書では「共有プロセッサ・パーティション」または「共有プロセッサLPAR」と称する。
図2の例において、7つの物理プロセッサ(156、158、160、162、164、166、168)の処理容量は、ハイパーバイザによって、次のように3つのLPAR(103、104、105)に割り当てられる。
・物理プロセッサ(156、158)の処理容量は全て、仮想プロセッサ(121、123)を介してLPAR(103)に割り当てられる。
・2.5プロセッサと同等の物理プロセッサ(160、162、164、166、168)が表す処理容量の部分は、仮想プロセッサ(124、126、128)を介してLPAR(104)に割り当てられる。
・2.5プロセッサと同等の物理プロセッサ(160、162、164、166、168)が表す処理容量の部分は、仮想プロセッサ(130、132、134)を介してLPAR(105)に割り当てられる。
図2のシステムにおいて、物理プロセッサ、仮想プロセッサ、およびLPARの数、配置、および割り当ては、例示のために示すだけであって、それらは本発明の限定ではない。複数のロジカル・パーティションをサポートするコンピュータにおいてロジカル・パーティションにプロセッサを割り当てるためのシステムは、いかなる数、配置、または割り当ての物理プロセッサ、仮想プロセッサ、およびLPARでも含むことができる。
更に詳細な説明のため、図3は、本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための例示的な方法を示すフロー・チャートを示す。これは、パーティション(320、322)に優先度(310)を割り当てること(304)を含む。パーティションに対する優先度の割り当ては、ユーザ(302)からパーティションの優先度を取得することによって、およびユーザ(302)が割り当てた優先度をストアすることによって実行可能である。あるいは、パーティションに対する優先度の割り当ては、パーティションに対する負荷を監視し、負荷と共に優先度が上がっていくように負荷に応じて優先度を割り当てることによって実行しても良い。あるいは、パーティションに対する優先度の割り当ては、ユーザから優先度を取得し、パーティションに対する負荷を監視し、この負荷およびユーザからの入力に基づいて優先度を割り当てることによって実行することも可能である。
また、図3の方法は、パーティション(320)の故障プロセッサ(308)のチェックストップを検出すること(312)も含む。「チェックストップ」という言葉は、本明細書において用いる場合、単独でまたは他のエラーと共に生じる極めて重大なプロセッサの動作エラーであり、プロセッサ置換の根拠となる。物理プロセッサは通常、特定方向に向けたハードウェア割込みによってプロセッサの動作エラーを信号で知らせる。チェックストップの検出は、物理プロセッサのプロセッサ動作エラーからの割込みをハイパーバイザの割込み処理ルーチンに向けることによって実行することができる。プロセッサから発するいかなるエラー条件または複数の条件も、チェックストップを構成するまたは発生させる場合があり、これは例えば、メモリ境界エラー、操作符号エラー、コプロセッサ・セグメント・エラー、メモリ・アドレス・エラー、算術または浮動小数点エラー、メモリ整合エラー、機械チェック例外等、当業者に想起されるものを含む。チェックストップの検出は、特定のエラーを、プロセッサ置換の根拠となるに充分であると個別に規定することを含む場合がある。あるいは、チェックストップの検出は、プロセッサ動作エラーの数を数え、この数が既定の閾値と等しくなったらチェックストップを識別することを含む場合もある。
また、図3の方法は、故障プロセッサの状態(316)を検索して取得すること(314)を含む。故障プロセッサの状態(316)を検索し取得すること(314)は、ハイパーバイザがプロセッサから直接プロセッサのレジスタの現在値を読み、プロセッサのレジスタの値を物理プロセッサの外部のランダム・アクセス・メモリに一時的にストアすることによって実行可能である。
また、図3の方法は、ハイパーバイザ(184)によって、故障プロセッサ(308)のパーティション(320)の優先度よりも低い優先度を有するパーティション(322)からの置換プロセッサ(326)によって故障プロセッサを置換すること(318)を含む。図3の例において、プロセッサ(308)は、専用LPAR(320)に全体的かつ排他的に割り当てられた故障プロセッサである。LPAR(320)は優先度1を有し、これはLPAR(322)よりも高い優先度である。LPAR(322)は、プロセッサ(326)の全容量が割り当てられた専用LPARである。この例において、プロセッサ(326)は優先度の低いLPARに割り当てられているので、プロセッサ(326)が置換プロセッサとして識別される。ハイパーバイザは、表1に示すものと同様のデータ構造を用いることによって、故障プロセッサ(308)を置換プロセッサ(326)によって置換する(318)ことができる。
Figure 0004841632
表1は5つの列を有する。「記録番号」列は、表内の各レコードに参照番号を割り当てるが、これは単に説明の便宜のためのみである。「LPAR」列の値はパーティションを示す。「VP」列の値は仮想プロセッサを示す。「PP」列の値は物理プロセッサを示す。また、「部分」列の値は処理容量を示し、仮想プロセッサに割り当てられた、すなわち間接的に仮想プロセッサを介してパーティションに割り当てられた物理プロセッサの割合で表される。
表1における各レコードは、仮想プロセッサを介してLPARに割り当てられた物理プロセッサの一部を表す。レコード番号1は、仮想プロセッサ(121)を介してLPAR(320)に全体的に(部分=1.0)割り当てられた故障プロセッサ(308)を表す。レコード番号2は、仮想プロセッサ(123)を介してLPAR(322)に全体的に(部分=1.0)割り当てられた置換プロセッサ(326)を表す。
ハイパーバイザ(184)は、表2に示すように表1のデータを更新することによって、故障プロセッサ(308)を置換プロセッサ(326)によって置換する(318)。
Figure 0004841632
表2は、この時点でいずれのLPARにも割り当てられていない故障プロセッサ(308)、および、仮想プロセッサ(121)を介してLPAR(320)に全体的に(部分=1.0)割り当てられている置換プロセッサ(326)を示す。LPARにプロセッサを割り当てるデータ値のハイパーバイザによる更新は、割込み処理中に行われ、いずれのオペレーティング・システムまたはアプリケーション・プログラムの動作に対して完全にトランスペアレントである。ハイパーバイザがその割込み処理ルーチンから制御を戻すと、オペレーティング・システムまたはアプリケーション・プログラムは置換プロセッサ上で動作を継続し、置換が生じたことに全く気付かない。この例において、LPAR(322)はその唯一の割り当てられたプロセッサすなわち置換プロセッサ(326)を失い、これは仮想プロセッサ(121)を介してLPAR(320)に再割り当てされた。従って、この例において、LPAR(322)は終了するはずである。
また、図3の方法は、故障プロセッサ(308)の取得した状態(316)を置換プロセッサ(326)の状態として割り当てること(319)も含む。故障プロセッサの取得した状態は、ハイパーバイザがチェックストップを検出した時の故障プロセッサのレジスタの値である。故障プロセッサ(308)の取得した状態(316)を置換プロセッサ(326)の状態として割り当てること(319)は、置換プロセッサのレジスタに取得した状態(316)をストアすることによって実行可能である。
更に別の説明のため、図4は、本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。図4の方法は図3の方法にと同様であり、図4の方法は、パーティションに優先度を割り当て(304)、パーティションの故障プロセッサのチェックストップを検出し(312)、故障プロセッサの状態を検索して取得し(314)、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てる(319)ことを含む。これらは全て、上述した図3の方法と同様に動作する。
また、図4の方法は、ハイパーバイザ(184)によって、故障プロセッサ(412)のパーティション(404)の優先度よりも低い優先度を有するパーティション(408)からの置換プロセッサ(419)によって故障プロセッサを置換すること(318)を含む。しかしながら、図4の方法においては、故障物理プロセッサ(412)は専用パーティション(404)に割り当てられ、最低の優先度のパーティション(408)は専用パーティションであり、故障プロセッサ(412)の置換は最低優先度のパーティション(408)を終了させること(402)を含む。図4の例において、プロセッサ(412)は、仮想プロセッサ(123)を介して専用LPAR(404)に全体的かつ排他的に割り当てられた故障プロセッサである。専用LPARであるLPAR(408)は優先度4を有し、これは優先度2を有するLPAR(404)または優先度3を有するLPAR(406)よりも低い優先度である。LPAR(408)には、仮想プロセッサ(129)を介してプロセッサ(418)の全容量が割り当てられている。この例において、プロセッサ(418)は最低優先度のLPARに割り当てられているので、プロセッサ(418)が、故障プロセッサ(412)を置換するための置換プロセッサとして識別される。
図4の方法において、故障プロセッサの置換(318)は、最低優先度のパーティション(408)を終了させること(402)を含む。最低優先度のパーティション(408)を終了させること(402)は、最低優先度のパーティション(408)で動作しているプログラムを停止させ、最低優先度のパーティション(408)で動作しているオペレーティング・システムを停止させ、先に述べた表1および2と同様の、LPARに対する物理プロセッサの割り当てを表す表から、LPAR(408)を除去することによって、実行可能である。表3に、これらの変更を行った後の、LPARに対する物理プロセッサの割り当てを表す更新済みの表を示す。
Figure 0004841632
表3は、この時点でいずれのLPARにも割り当てられていない故障プロセッサ(412)、および、仮想プロセッサ(123)を介して全体的に(部分=1.0)専用LPAR(404)に割り当てられている置換プロセッサ(418)を示す。プロセッサ(414)は、仮想プロセッサ(125)を介してLPAR(406)に全体的に割り当てられ続ける。LPAR(408)は終了している。プロセッサ(416)、すなわち仮想プロセッサ(127)を介して終了したLPAR(408)に割り当てられた他のプロセッサは、この時点ではいずれのLPARにも割り当てられていない。
更に別の説明のため、図5は、本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。図5の方法は図3の方法と同様であり、図5の方法は、パーティションに優先度を割り当て(304)、パーティションの故障プロセッサのチェックストップを検出し(312)、故障プロセッサの状態を検索して取得し(314)、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てる(319)ことを含む。これらは全て、上述したような図3の方法と同様に動作する。
また、図5の方法は、ハイパーバイザ(184)によって、故障プロセッサ(410)のパーティション(404)の優先度よりも低い優先度を有するパーティション(504、506)からの置換プロセッサ(520)によって故障プロセッサを置換すること(318)を含む。しかしながら、図5の方法においては、故障プロセッサ(410)は専用パーティション(404)に割り当てられ、故障プロセッサ(410)のパーティション(404)よりも低い優先度を有するパーティションは1つ以上の共有プロセッサ・パーティション(504、506)を含み、故障プロセッサ(410)を置換すること(318)は、故障プロセッサ(410)のパーティション(404)よりも低い優先度を有する充分な数の共有プロセッサ・パーティション(504、506)を終了させて置換プロセッサ(520)を解放すること(502)を含む。図5の例においては、プロセッサ(410)は、仮想プロセッサ(121)を介して専用LPAR(404)に全体的かつ排他的に割り当てられた故障プロセッサである。LPAR(504、506)は、共有プロセッサ(LPAR)であり、プールされた仮想プロセッサ(510、512、514)を介して物理プロセッサ(530、531、520)からの処理容量を間接的に共有している。プールされた仮想プロセッサ(510、512、514)を介して、LPAR(504、506)には、1.25プロセッサの容量が割り当てられている。すなわち、仮想プロセッサ(510)を介してLPAR(504)に0.5プロセッサ、仮想プロセッサ(512)を介してLPAR(506)に0.5プロセッサ、仮想プロセッサ(514)を介してLPAR(506)に0.25プロセッサが割り当てられている。従って、LPAR(504、506)を終了させると、故障プロセッサ(410)のパーティション(404)よりも低い優先度を有する充分な数の共有プロセッサ・パーティションが終了してプロセッサを解放する。
プール(532)をサポートする3つのプロセッサ(530、531、520)のいずれも、プールがサポートする残りの共有プロセッサLPARの動作に影響を与えることなく、置換プロセッサとして利用することができる。残りの共有プロセッサLPAR(508)には、仮想プロセッサ(516、518)を介して1.0プロセッサの処理容量が割り当てられている。故障プロセッサを置換するためにプールに割り当てられた物理プロセッサの1つを利用すると、2つの物理プロセッサはプールをサポートするために割り当てられたままとなる。プールはこの時点で、プールの仮想プロセッサの処理容量の割り当てを満足させるために、1つのみの物理プロセッサしか必要としない。
故障プロセッサ(410)のパーティション(404)よりも低い優先度を有する充分な数の共有プロセッサ・パーティション(504、506)を終了させてプロセッサ(520)を解放することは、終了させた共有プロセッサ・パーティション(504、506)上で動作しているプログラムを停止させ、終了させた共有プロセッサ・パーティション(504、506)上で動作しているオペレーティング・システムを停止させ、上述した表1および表2と同様の、LPARに対する物理プロセッサの割り当てを表す表から、LPAR(504、506)を除去することによって、実行可能である。表4に、これらの変更を行う前の、LPARに対する物理プロセッサの割り当てを表す表を示す。
Figure 0004841632
表4は、仮想プロセッサ(121、123)を介して全体的に(部分=1.0)専用LPAR(404)に割り当てられているプロセッサ(410、412)を示す。共有プロセッサ・パーティション(504、506、508)には、プールに割り当てられた物理プロセッサ(520、530、531)から、プールされた仮想プロセッサ(510〜518)を介して、処理リソースが割り当てられている。LPAR(504)には、仮想プロセッサ(510)を介して0.5物理プロセッサの処理容量が割り当てられている。LPAR(506)には、仮想プロセッサ(512、514)を介して0.75物理プロセッサの処理容量が割り当てられている。LPAR(508)には、仮想プロセッサ(516、518)を介して1.0物理プロセッサの処理容量が割り当てられている。
表5は、故障プロセッサ(410)を置換プロセッサ(520)によって置換した後の、LPARに対する物理プロセッサの再割り当てを表す。
Figure 0004841632
表5は、この時点でLPARに割り当てられていない故障プロセッサ(410)、および、仮想プロセッサ(121)を介して専用LPAR(404)に全体的に(部分=1.0)割り当てられている置換プロセッサ(520)を示す。プロセッサ(412)は、仮想プロセッサ123を介してLPAR(404)に引き続き割り当てられている。LPAR(504、506)を終了させ、それらのエントリを表から削除する。LPAR(508)はそれ以前と同様に動作を継続し、プールされた仮想プロセッサ(516、518)を介して処理容量の1.0物理プロセッサが割り当てられている。
更に別の説明のため、図6は、本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。図6の方法は図3の方法と同様であり、図6の方法は、パーティションに優先度を割り当て(304)、パーティションの故障プロセッサのチェックストップを検出し(312)、故障プロセッサの状態を検索して取得し(314)、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てる(319)ことを含む。これらは全て、上述したような図3の方法と同様に動作する。また、図6の方法は、ハイパーバイザ(184)によって、故障プロセッサ(410)のパーティション(404)の優先度よりも低い優先度を有するパーティション(604)からの置換プロセッサ(616)によって故障プロセッサ置換すること(318)を含む。しかしながら、図6の方法においては、故障プロセッサ(410)は専用パーティション(404)に割り当てられ、故障プロセッサ(410)のパーティション(404)よりも低い優先度を有するパーティションは1つ以上の共有プロセッサ・パーティション(604)を含み、故障プロセッサ(410)を置換すること(318)は、故障プロセッサ(410)のパーティション(404)よりも低い優先度を有する共有プロセッサ・パーティション(604)の1つ以上をオーバーコミット(overcommitted)させて、パーティションを終了させることなく置換プロセッサを解放すること(602)を含む。図6の例においては、プロセッサ(410)は、仮想プロセッサ(121)を介して、優先度2を有する専用LPAR(404)に全体的かつ排他的に割り当てられた故障プロセッサである。
LPAR(604)は共有プロセッサLPARであり、優先度4を有し、これは故障プロセッサ(410)のパーティション(404)の優先度(=2)よりも低い。LPAR(625)は共有プロセッサLPARであり、優先度1を有し、これは故障プロセッサ(410)のパーティション(404)の優先度(=2)よりも高い。従って、LPAR(604)とLPAR(606)との間では、LPAR(604)がオーバーコミットするように選択される。
LPAR(604)は共有プロセッサLPARであり、プールされた仮想プロセッサ(606、608、610、612)を介して物理プロセッサ(616、618、620)からの処理容量を間接的に共有している。プールされた仮想プロセッサ(606、608、610、612)を介して、LPAR(604)には、3.0プロセッサの処理容量が割り当てられている。すなわち、仮想プロセッサ(606)を介して0.5プロセッサ、仮想プロセッサ(608)を介して0.5プロセッサ、仮想プロセッサ(610)を介して1.0プロセッサ、仮想プロセッサ(612)を介して1.0プロセッサが割り当てられている。プール(631)をサポートする3つのプロセッサ(616、618、620)のいずれでも置換プロセッサとして利用することができ、これによってLPAR(604)については2つのみの物理プロセッサ(618、620)がプールをサポートし続けることになり、このプールは、その仮想プロセッサ(606、608、610、612)に、3.0物理プロセッサの処理容量をコミットする。
図6の方法においては、置換プロセッサを解放するためにパーティションを終了させることはない。代わりに、故障プロセッサ(410)を置換すること(318)は、故障プロセッサ(410)のパーティション(404)よりも低い優先度を有する共有プロセッサ・パーティション(604)の1つ以上をオーバーコミットさせる(602)ことによって実行される。置換プロセッサ(616)は、共有プロセッサ・パーティション(604)に処理容量を与える仮想プロセッサのプール(631)をサポートする1組のプロセッサ(616、618、620)の中から得られる。従って、共有プロセッサ・パーティション(604)がオーバーコミットして置換プロセッサを解放する。共有プロセッサ・パーティションをオーバーコミットさせるとは、このパーティションの仮想プロセッサが表す処理容量が、その容量を与えるために割り当てられた数の物理プロセッサよりも大きいことを意味する。共有プロセッサ・パーティションをオーバーコミットさせる場合、共有プロセッサ・パーティションに割り当てられる仮想プロセッサは、それらをサポートする物理プロセッサよりも多い。
共有プロセッサ・パーティションがオーバーコミットされている場合、データ処理のいずれかの特定の期間中、ハイパーバイザが共有プロセッサ・パーティションの仮想プロセッサをディスパッチする(dispatch)ことができる物理プロセッサ上の時間スライスの数は、あるべき数よりも少なく、ハイパーバイザは、各仮想プロセッサがディスパッチされる時間数をこれに比例して減らす。例えば、図6の例において、プール(631)に割り当てられた物理プロセッサの数が3から2に減った場合、ハイパーバイザは、仮想プロセッサ(606、608、610、612)に、0.3、0.3、0.7、および0.7物理プロセッサの処理容量をそれぞれ与えるので、合計処理容量は、実際にLPAR(604)に割り当てられた3.0プロセッサの容量ではなく、2.0物理プロセッサのみとすることができる。従って、オーバーコミットさせる場合、共有プロセッサ・パーティション(604)は、パーティションに割り当てられた数の仮想プロセッサが示す性能に達しない。共有プロセッサ・パーティションの動作の性能は低下する。
更に別の説明のため、図7は、本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。図7の方法は図3の方法と同様であり、図7の方法は、パーティションに優先度を割り当て(304)、パーティションの故障プロセッサのチェックストップを検出し(312)、故障プロセッサの状態を検索して取得し(314)、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てる(319)ことを含む。これらは全て、上述したような図3の方法と同様に動作する。
また、図7の方法は、ハイパーバイザ(184)によって、故障プロセッサ(722)のパーティション(705、732)の優先度よりも低い優先度を有するパーティション(704)からの置換プロセッサ(708)によって故障プロセッサを置換すること(318)を含む。しかしながら、図7の方法においては、故障プロセッサ(722)は、仮想プロセッサ(722、724、726、728)のプール(731)に割り当てられ、仮想プロセッサのプールは1つ以上の共有プロセッサ・パーティション(705、732)をサポートし、最低優先度のパーティション(704)は専用パーティションであり、故障プロセッサ(722)を置換すること(318)は、最低優先度のパーティション(704)を終了させること(702)を含む。図7の例において、プロセッサ(722)は、仮想プロセッサ(712、714、716、718、720、730)のプール(731)に割り当てられている故障プロセッサである。専用LPARであるLPAR(704)は、優先度(優先度=12)が、LPAR(705)(優先度=4)よりも低く、LPAR(732)(優先度=2)よりも低い。LPAR(704)には、仮想プロセッサ(121)を介してプロセッサ(708)の全容量が割り当てられている。この例では、プロセッサ(708)は最低優先度を有する専用LPARに割り当てられているので、プロセッサ(708)が置換プロセッサとして識別される。
上述のように、LPAR(704)は、図7の例において最低優先度のパーティションである。従って、最低優先度のパーティションを終了させることは、この例において、LPAR(704)を終了させることによって実行可能である。LPAR(704)を終了させること(702)は、LPAR(704)において動作しているプログラムを停止させ、LPAR(704)において動作しているオペレーティング・システムを停止させ、上述の表1および表2と同様の、LPARに対する物理プロセッサの割り当てを表す表から、LPAR(704)を除去することによって、実行可能である。表6に、LPAR(704)を除去する前の、図7の例におけるLPARに対する物理プロセッサの割り当てを表す表を示す。
Figure 0004841632
表6は、仮想プロセッサ(121、123)を介して専用LPAR(704)に全体的に割り当てられたプロセッサ(708、710)を示す。プロセッサ(722、724、726、728)は、プールされた仮想プロセッサ(712、714、716、718、720、730)を介して共有プロセッサLPAR(705、732)に割り当てられている。表7は、最低優先度のパーティションすなわちLPAR(704)を終了させた後の、LPARに対する物理プロセッサの再割り当てを表す。
Figure 0004841632
表7は、プールされた仮想プロセッサ(712、714、716、718、720、730)を介して、共有プロセッサLPAR(705、732)に、他の物理プロセッサ(724、726、728)と共に割り当てられた置換プロセッサ(708)を示す。故障プロセッサ(722)は、表7から全体的に削除され、終了したパーティション(704)に以前に割り当てられたプロセッサ(710)は、この時点では割り当てられていないものとして示す。
更に別の説明のため、図8は、本発明の実施形態に従ってロジカル・パーティションに対してプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。図8の方法は図3の方法と同様であり、図8の方法は、パーティションに優先度を割り当て(304)、パーティションの故障プロセッサのチェックストップを検出し(312)、故障プロセッサの状態を検索して取得し(314)、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てる(319)ことを含む。これらは全て、上述したような図3の方法と同様に動作する。
また、図8の方法は、ハイパーバイザ(184)によって、故障プロセッサ(820)のパーティション(804、806)の優先度よりも低い優先度を有するパーティション(808、825)からの置換プロセッサ(822)によって故障プロセッサを置換すること(318)を含む。しかしながら、図8の方法においては、故障プロセッサ(820)は、仮想プロセッサ(810、812、814)のプール(831)に割り当てられている。仮想プロセッサのプールは、1つ以上の共有プロセッサ・パーティション(804、806)をサポートする。図8の例において、プール(831)がサポートする共有プロセッサ・パーティション(804、806)(優先度=3、4)よりも優先度が低い(優先度=9、10)共有プロセッサ・パーティション(808、825)が利用可能であり、故障プロセッサ(820)を置換すること(318)は、プール(831)がサポートする共有プロセッサ・パーティション(804、806)よりも低い優先度を有する充分な数の共有プロセッサ・パーティション(808、825)を終了させて置換プロセッサを解放すること(802)を含む。
プール(831)を介して故障プロセッサ(820)が割り当てられた共有プロセッサ・パーティションよりも低い優先度を有する共有プロセッサ・パーティション(808、825)をサポートするために割り当てられたプロセッサ(822)が、置換プロセッサとして選択される。この例では、プール(833)を介して低い優先度のパーティション(808、825)をサポートするために割り当てられたプロセッサ(822、824)のいずれかを置換プロセッサとして選択することができる。この例では、LPAR(808、825)は、故障プロセッサ(820)の1つ以上の共有プロセッサ・パーティション(804、806)よりも低い優先度を有するLPARであり、置換プロセッサ(822)はLPAR(808、825)に割り当てられている。低い優先度のパーティション(808、825)の各々には、プール(833)から1.0プロセッサの処理容量が割り当てられている。故障プロセッサ(802)を置換するためには1.0プロセッサが必要である。従って、この例において、プール(831)がサポートする共有プロセッサ・パーティションよりも低い優先度を有する充分な数の共有プロセッサ・パーティションを終了させることは、2つの低い優先度のパーティション(808、825)のいずれかを終了させることによって実行可能である。共有プロセッサ・パーティションを終了させることは、パーティションにおいて動作しているプログラムを停止させ、パーティションにおいて動作しているオペレーティング・システムを停止させ、上述の表1および表2と同様の、プールされた仮想プロセッサに対する物理プロセッサの割り当てを表す表から、パーティションのエントリを除去することによって、実行可能である。表8に、共有プロセッサ・パーティションを除去する前の、プールされた仮想プロセッサを介した共有プロセッサ・パーティションに対する物理プロセッサの割り当てを表す表を示す。
Figure 0004841632
表8は、プールされた仮想プロセッサ(810、812、814)を介して共有プロセッサLPAR(804、806)に全体的に割り当てられた物理プロセッサ(820)を示す。表8によれば、物理プロセッサ(822、824)は、プールされた仮想プロセッサ(816、818、827、829)を介して共有プロセッサ・パーティション(808、825)に割り当てられている。表9は、最低優先度のパーティションすなわちLAR(825)を終了させた後の、共有プロセッサ・パーティションに対する物理プロセッサの割り当てを表す。
Figure 0004841632
表9は、プールした仮想プロセッサ(810、812、814)を介して共有プロセッサLPAR(804、806)に割り当てられた置換プロセッサ(822)を示す。
故障プロセッサ(820)は、表9から全体的に削除されている。終了した共有プロセッサ・パーティション(825)およびこれをサポートする仮想プロセッサ(827、829)は、表9から全体的に削除されている。残りのパーティションは全て、故障プロセッサを置換する前と全く同じように機能し続ける。パーティション(808)には、プールされた仮想プロセッサ(816、818)を介して1.0プロセッサが割り当てられ、1.0プロセッサが物理プロセッサ(824)として与えられる。同様に、プールされた仮想プロセッサ(810、812、814)を介して合計1.0プロセッサが割り当てられたパーティション(804、806)は、置換プロセッサ(822)による1.0物理プロセッサのサポートを有し続ける。図8の方法に従って故障プロセッサを置換することがシステム性能に及ぼす唯一の影響は、低い優先度のパーティション(825)が終了することである。
更に別の説明のため、図9は、本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。図9の方法は図3の方法と同様であり、図9の方法は、パーティションに優先度を割り当て(304)、パーティションの故障プロセッサのチェックストップを検出し(312)、故障プロセッサの状態を検索して取得し(314)、故障プロセッサの取得した状態を置換プロセッサの状態として割り当てる(319)ことを含む。これらは全て、上述したような図3の方法と同様に動作する。
また、図9の方法は、ハイパーバイザ(184)によって、1つ以上の低い優先度のパーティション(604)に以前に割り当てた置換プロセッサ(616)によって故障プロセッサ(410)を置換すること(318)を含む。
また、図9の方法は、ハイパーバイザ(184)によって、故障プロセッサ(410)のパーティション(804、806)の優先度よりも低い優先度を有するパーティション(808、810)からの置換プロセッサ(616)によって故障プロセッサを置換すること(318)を含む。しかしながら、図9の方法においては、故障プロセッサ(410)は、共有プロセッサ(804、806)をサポートする仮想プロセッサ(821、823)のプール(633)に割り当てられている。プール(633)がサポートする共有プロセッサ・パーティション(804、806)(優先度=2)よりも優先度が低い(優先度=4)共有プロセッサ・パーティション(808、810)が利用可能であり、故障プロセッサ(410)の置換(318)は、プール(633)がサポートする故障プロセッサ(410)のパーティション(804、806)よりも低い優先度を有する充分な数の共有プロセッサ・パーティションをオーバーコミットさせて、パーティションを終了させることなく置換プロセッサを解放すること(902)を含む。
LPAR(808、810)は共有プロセッサ・パーティションであり、優先度4を有し、これは故障プロセッサ(410)が割り当てられているプール(633)がサポートするパーティション(804、806)の優先度2よりも低い。LPAR(625)は共有プロセッサ・パーティションであり、優先度1を有し、これは故障プロセッサ(410)が割り当てられているプール(633)がサポートするパーティション(804、806)の優先度よりも高い。従って、LPAR(808、810)およびLPAR(625)との間では、LPAR(808、810)がオーバーコミットするように選択され、LPAR(625)の動作は影響を受けないままである。
LPAR(808、810)は共有プロセッサ・パーティションであり、プールされた仮想プロセッサ(606、608、610、612)を介して物理プロセッサ(616、618、620、622)からの処理容量を間接的に共有している。プールされた仮想プロセッサ(606、608、610、612)を介して、LPAR(808、810)には、3.0プロセッサの処理容量が割り当てられている。すなわち、仮想プロセッサ(606)を介して0.5プロセッサ、仮想プロセッサ(608)を介して0.5プロセッサ、仮想プロセッサ(610)を介して1.0プロセッサ、仮想プロセッサ(612)を介して1.0プロセッサが割り当てられている。プール(631)をサポートする4つのプロセッサ(616、618、620、622)のいずれでも置換プロセッサとして利用することができ、これによってプール(631)については3つのみの物理プロセッサが仮想プロセッサ(606、608、610、612)をサポートし続けることになり、これらの仮想プロセッサに、3.0物理プロセッサの処理容量がコミットされる。
図9の方法においては、置換プロセッサを解放するためにパーティションを終了させることはない。代わりに、故障プロセッサ(410)を置換すること(318)は、故障プロセッサ(410)が割り当てられているプール(633)がサポートするパーティション(804、806)よりも低い優先度を有する共有プロセッサ・パーティション(808、810)の1つ以上をオーバーコミットさせる(902)ことによって実行される。置換プロセッサ(616)は、共有プロセッサ・パーティション(808、810)に処理容量を与える仮想プロセッサのプール(631)をサポートする1組のプロセッサ(616、618、620、622)の中から得られる。従って、共有プロセッサ・パーティション(808、810)がオーバーコミットして置換プロセッサを解放する。共有プロセッサ・パーティションをオーバーコミットさせるとは、パーティションの仮想プロセッサが表す処理容量が、その容量を与えるために割り当てられた物理プロセッサの数よりも大きいことを意味する。共有プロセッサ・パーティションをオーバーコミットさせる場合、共有プロセッサ・パーティションに割り当てられる仮想プロセッサは、それらをサポートする物理プロセッサよりも多い。
共有プロセッサ・パーティションがオーバーコミットされている場合、データ処理のいずれかの特定の期間中、ハイパーバイザが共有プロセッサ・パーティションの仮想プロセッサをディスパッチすることができる物理プロセッサ上の時間スライスの数は、あるべき数よりも少なく、ハイパーバイザは、各仮想プロセッサがディスパッチされる時間数をこれに比例して減らす。従って、オーバーコミットさせる場合、共有プロセッサ・パーティションは、パーティションに割り当てられた数の仮想プロセッサが示す性能に達しない。共有プロセッサ・パーティションの動作の性能は低下する。
例えば、図9の例において、プール(631)に割り当てられた物理プロセッサの数が4から3に減った場合、LPAR(625)はオーバーコミットさせないので、ハイパーバイザ(184)は、LPAR(808、810)の動作をサポートするために2物理プロセッサの処理容量のみを有する。パーティション(808、810)をオーバーコミットさせるようにハイパーバイザ(184)をプログラムするには、多数の方法がある。
・ハイパーバイザ(184)は、仮想プロセッサ(606、608、610、612)を介して、0.3、0.3、0.7、および0.7物理プロセッサの処理容量をそれぞれ与えて、合計処理容量を、実際に仮想プロセッサ(606、608、610、612)を介してパーティション(808、810)にコミットされた3.0プロセッサの容量ではなく、2.0物理プロセッサのみとすることによって、双方のパーティション(808、810)をオーバーコミットさせることができる。
・ハイパーバイザ(184)は、仮想プロセッサ(610、612)を介して、0.5および0.5物理プロセッサの処理容量をそれぞれ与えて、合計処理容量を、実際に仮想プロセッサ(610、612)を介してパーティション(810)にコミットされた2.0プロセッサの容量ではなく、1.0物理プロセッサのみとすることによって、1つのみのパーティション(810)をオーバーコミットさせると共にパーティション(808)の動作は影響を受けないようにすることができる。
・ハイパーバイザ(184)は、仮想プロセッサ(610)の動作を終了させ、仮想プロセッサ(612)を介して1.0物理プロセッサの処理容量を与えて、合計処理容量を、実際に仮想プロセッサ(610、612)を介してパーティション(810)にコミットされた2.0プロセッサの容量ではなく、1.0物理プロセッサのみとすることによって、1つのみのパーティション(810)をオーバーコミットさせると共にパーティション(808)の動作は影響を受けないようにすることができる。
当業者には、かかるパーティションをオーバーコミットさせる他の方法も想起されよう。かかる全ての方法は本発明の範囲内に該当する。
ロジカル・パーティションにプロセッサを割り当てるための充分に機能するコンピュータ・システムの文脈において、本発明の例示的な実施形態について概ね説明した。しかしながら、いずれかの適切なデータ処理システムと共に用いられる信号記録媒体上に配されたコンピュータ・プログラムにおいても本発明を具現化可能であることは、当業者には認められよう。かかる信号記録媒体は、機械読み取り可能情報のための伝送媒体または記録可能媒体とすることができ、磁気媒体、光媒体、または他の適切な媒体を含む。記録可能媒体の例には、ハード・ドライブにおける磁気ディスクまたはディスケット、光ドライブのためのコンパクト・ディスク、磁気テープ、および当業者に想起されるその他のものが含まれる。伝送媒体の例には、音声通信およびデジタル・データ通信ネットワークのための電話ネットワークが含まれ、例えば、EthernetTMならびにインターネット・プロトコルおよびワールド・ワイド・ウェブによって通信するネットワークが含まれる。適切なプログラミング手段を有するいずれのコンピュータ・システムでも、プログラムに具現化された本発明の方法のステップを実行可能であることは、当業者には容易に認められよう。本明細書に記載した例示的な実施形態のいくつかは、コンピュータ・ハードウェア上にインストールして実行するソフトウェア向けであるが、ファームウェアまたはハードウェアとして実施される代替的な実施形態も本発明の範囲内に該当することは、当業者には容易に認められよう。
本発明の真の範囲から逸脱することなく、本発明の様々な実施形態に変形および変更が可能であることは、前述の記載から理解されよう。本明細書における記載は、例示の目的のためのみであり、限定の意味に解釈されるものではない。本発明の範囲は、特許請求の範囲の文言によってのみ限定される。
本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てる際に有用な例示的なコンピュータを含む自動化コンピューティング機械のブロック図を示す。 本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための例示的なシステムの機能ブロック図を示す。 本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための例示的な方法を示すフロー・チャートを示す。 本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。 本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。 本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。 本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。 本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。 本発明の実施形態に従ってロジカル・パーティションにプロセッサを割り当てるための更に別の例示的な方法を示すフロー・チャートである。

Claims (3)

  1. 複数のロジカル・パーティションをサポートするコンピュータにおいてハイパーバイザによって、ロジカル・パーティションにプロセッサを割り当てるための方法であって、
    前記ハイパーバイザによって、パーティションに優先度を割り当てるステップと、
    前記ハイパーバイザによって、パーティションの故障した物理プロセッサのチェックストップを検出するステップと、
    前記ハイパーバイザによって、前記故障した物理プロセッサの状態を検索して取得するステップと、
    前記ハイパーバイザによって、前記故障した物理プロセッサのパーティションの優先度よりも低い優先度を有するパーティションからの置換プロセッサによって前記故障した物理プロセッサを置換するステップと、
    前記ハイパーバイザによって、前記故障した物理プロセッサの前記取得した状態を前記置換プロセッサの状態として割り当てるステップと、を含み、
    前記故障した物理プロセッサが専用パーティションまたは仮想プロセッサのプールに割り当てられ、前記仮想プロセッサのプールが1つ以上の共有プロセッサ・パーティションをサポートし、
    前記プールによってサポートされる前記共有プロセッサ・パーティションよりも低い優先度を有する共有プロセッサ・パーティションが利用可能であり、
    前記故障した物理プロセッサを置換するステップが、前記プールによってサポートされる前記共有プロセッサ・パーティションよりも低い優先度を有する充分な数の共有プロセッサ・パーティションをオーバーコミットさせてパーティションを終了させることなく置換プロセッサを解放することを含む、方法。
  2. 複数のロジカル・パーティションをサポートするコンピュータにおいてロジカル・パーティションにプロセッサを割り当てるための装置であって、コンピュータ・プロセッサと、前記コンピュータ・プロセッサに動作的に結合されたコンピュータ・メモリと、を含み、前記コンピュータ・メモリの内部に、ハイパーバイザとして機能するコンピュータ・プログラムが配されており、このコンピュータ・プログラムが、
    パーティションに優先度を割り当てることと、
    パーティションの故障した物理プロセッサのチェックストップを検出することと、
    前記故障した物理プロセッサの状態を検索して取得することと、
    前記故障した物理プロセッサのパーティションの優先度よりも低い優先度を有するパーティションからの置換プロセッサによって前記故障した物理プロセッサを置換することと、
    前記故障した物理プロセッサの前記取得した状態を前記置換プロセッサの状態として割り当てることと、
    を実行可能であり、
    前記故障した物理プロセッサが専用パーティションまたは仮想プロセッサのプールに割り当てられ、
    前記故障した物理プロセッサのパーティションよりも低い優先度を有するパーティションが1つ以上の共有プロセッサ・パーティションを含み、
    前記故障した物理プロセッサを置換することが、前記故障した物理プロセッサのパーティションよりも低い優先度を有する前記共有プロセッサ・パーティションの1つ以上をオーバーコミットさせてパーティションを終了させることなく置換プロセッサを解放することを含む、装置。
  3. 複数のロジカル・パーティションをサポートするコンピュータにおいてロジカル・パーティションにプロセッサを割り当てるためのハイパーバイザとして機能するコンピュータ・プログラムであって、記録可能媒体上に配され、このコンピュータ・プログラムが、
    パーティションに優先度を割り当てることと、
    パーティションの故障した物理プロセッサのチェックストップを検出することと、
    前記故障した物理プロセッサの状態を検索して取得することと、
    ハイパーバイザによって、前記故障した物理プロセッサのパーティションの優先度よりも低い優先度を有するパーティションからの置換プロセッサによって前記故障した物理プロセッサを置換することと、
    前記故障した物理プロセッサの前記取得した状態を前記置換プロセッサの状態として割り当てることと、
    を実行可能であり、
    前記故障した物理プロセッサが専用パーティションまたは仮想プロセッサのプールに割り当てられ、
    前記故障した物理プロセッサのパーティションよりも低い優先度を有するパーティションが1つ以上の共有プロセッサ・パーティションを含み、
    前記故障した物理プロセッサを置換することが、前記故障した物理プロセッサのパーティションよりも低い優先度を有する前記共有プロセッサ・パーティションの1つ以上をオーバーコミットさせてパーティションを終了させることなく置換プロセッサを解放することを含む、コンピュータ・プログラム。
JP2008532706A 2005-09-30 2006-09-07 ロジカル・パーティションにプロセッサを割り当てるための方法、装置、およびプログラム Expired - Fee Related JP4841632B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/241,695 US7493515B2 (en) 2005-09-30 2005-09-30 Assigning a processor to a logical partition
US11/241,695 2005-09-30
PCT/EP2006/066144 WO2007039397A1 (en) 2005-09-30 2006-09-07 Assigning a processor to a logical partition and replacing it by a different processor in case of a failure

Publications (3)

Publication Number Publication Date
JP2009510572A JP2009510572A (ja) 2009-03-12
JP2009510572A5 JP2009510572A5 (ja) 2009-05-14
JP4841632B2 true JP4841632B2 (ja) 2011-12-21

Family

ID=37440696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008532706A Expired - Fee Related JP4841632B2 (ja) 2005-09-30 2006-09-07 ロジカル・パーティションにプロセッサを割り当てるための方法、装置、およびプログラム

Country Status (5)

Country Link
US (2) US7493515B2 (ja)
EP (1) EP1943590B1 (ja)
JP (1) JP4841632B2 (ja)
CN (1) CN101273334B (ja)
WO (1) WO2007039397A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7478272B2 (en) * 2005-09-30 2009-01-13 International Business Machines Corporation Replacing a failing physical processor
EP1892625B1 (en) * 2006-08-09 2018-07-11 Red Bend Software Finer grained operating system scheduling
US7934121B2 (en) 2006-11-21 2011-04-26 Microsoft Corporation Transparent replacement of a system processor
US8473460B2 (en) * 2006-11-21 2013-06-25 Microsoft Corporation Driver model for replacing core system hardware
KR100930576B1 (ko) * 2006-12-04 2009-12-09 한국전자통신연구원 가상화 기반 고가용성 클러스터 시스템 및 고가용성클러스터 시스템에서 장애 관리 방법
US8112524B2 (en) * 2007-01-15 2012-02-07 International Business Machines Corporation Recommending moving resources in a partitioned computer
JP4705051B2 (ja) 2007-01-29 2011-06-22 株式会社日立製作所 計算機システム
US8086906B2 (en) 2007-02-15 2011-12-27 Microsoft Corporation Correlating hardware devices between local operating system and global management entity
JP5032191B2 (ja) * 2007-04-20 2012-09-26 株式会社日立製作所 サーバ仮想化環境におけるクラスタシステム構成方法及びクラスタシステム
JP4458119B2 (ja) * 2007-06-11 2010-04-28 トヨタ自動車株式会社 マルチプロセッサシステム及びその制御方法
US20090055831A1 (en) * 2007-08-24 2009-02-26 Bauman Ellen M Allocating Network Adapter Resources Among Logical Partitions
US20090077550A1 (en) * 2007-09-13 2009-03-19 Scott Rhine Virtual machine schedular with memory access control
JP5151509B2 (ja) * 2008-01-30 2013-02-27 日本電気株式会社 仮想マシンシステム及びそれに用いる仮想マシン分散方法
JP2009252204A (ja) * 2008-04-11 2009-10-29 Hitachi Ltd 計算機の運用管理システム及び運用管理方法
JP5161696B2 (ja) * 2008-08-07 2013-03-13 株式会社日立製作所 仮想計算機システムおよび仮想計算機システムにおけるエラー回復方法ならびに仮想計算機制御プログラム
AU2009326200B2 (en) 2008-12-12 2013-01-31 Bae Systems Plc An apparatus and method for processing data streams
US20100229175A1 (en) * 2009-03-05 2010-09-09 International Business Machines Corporation Moving Resources In a Computing Environment Having Multiple Logically-Partitioned Computer Systems
US8572432B1 (en) * 2009-04-02 2013-10-29 Xilinx, Inc. Method and apparatus for processing an event notification in a concurrent processing system
US8489797B2 (en) * 2009-09-30 2013-07-16 International Business Machines Corporation Hardware resource arbiter for logical partitions
US8505020B2 (en) * 2010-08-29 2013-08-06 Hewlett-Packard Development Company, L.P. Computer workload migration using processor pooling
CN102102975B (zh) * 2011-01-13 2012-09-05 中国人民解放军国防科学技术大学 中低速磁浮列车的悬浮间隙传感器
JP5817308B2 (ja) * 2011-08-04 2015-11-18 富士通株式会社 サーバ、サーバシステムおよびサーバの冗長切り替え方法
US9052932B2 (en) 2012-12-17 2015-06-09 International Business Machines Corporation Hybrid virtual machine configuration management
US9210032B2 (en) 2013-05-06 2015-12-08 International Business Machines Corporation Node failure management
JP6135403B2 (ja) * 2013-08-27 2017-05-31 富士通株式会社 情報処理システム、情報処理システムの障害処理方法
US10114825B2 (en) * 2014-03-14 2018-10-30 Sap Se Dynamic resource-based parallelization in distributed query execution frameworks
US10395195B2 (en) * 2016-01-08 2019-08-27 International Business Machines Corporation Provisioning virtual machines to optimize application licensing costs
US10127068B2 (en) 2016-06-30 2018-11-13 Amazon Technologies, Inc. Performance variability reduction using an opportunistic hypervisor
CN110750354B (zh) * 2018-07-24 2023-01-10 中国移动通信有限公司研究院 一种vCPU资源分配方法、装置和计算机可读存储介质
JP7151631B2 (ja) * 2019-06-11 2022-10-12 株式会社デンソー 車両用制御装置、車両用表示システム、及び車両用表示制御方法
US11900174B2 (en) * 2022-06-22 2024-02-13 Dell Products L.P. Processing unit virtualization with scalable over-provisioning in an information processing system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02123455A (ja) * 1988-11-02 1990-05-10 Hitachi Ltd マルチプロセッサシステムの再構成方法
JPH08263454A (ja) * 1995-03-23 1996-10-11 Hitachi Ltd 障害回復処理方法
JP2000181890A (ja) * 1998-12-15 2000-06-30 Fujitsu Ltd マルチプロセッサ交換機及びその主プロセッサ切替方法
JP2002202959A (ja) * 2000-12-28 2002-07-19 Hitachi Ltd 動的な資源分配をする仮想計算機システム
JP2003330740A (ja) * 2002-05-15 2003-11-21 Hitachi Ltd 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム
US20030233492A1 (en) * 2002-06-13 2003-12-18 Schelling Todd A. Weighted processor selection apparatus and method for use in multiprocessor systems
JP2004062911A (ja) * 2002-07-26 2004-02-26 Hewlett-Packard Development Co Lp コンピュータ資源の割り当てを管理するシステム
JP2004288183A (ja) * 2003-03-21 2004-10-14 Hewlett-Packard Development Co Lp コンピューティングリソースを自動的に割り振る方法
JP2004318885A (ja) * 2003-04-17 2004-11-11 Internatl Business Mach Corp <Ibm> 故障プロセッサを置き換える方法、媒体およびシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225356B2 (en) * 2003-11-06 2007-05-29 Siemens Medical Solutions Health Services Corporation System for managing operational failure occurrences in processing devices
US7426657B2 (en) * 2004-07-09 2008-09-16 International Business Machines Corporation System and method for predictive processor failure recovery

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02123455A (ja) * 1988-11-02 1990-05-10 Hitachi Ltd マルチプロセッサシステムの再構成方法
JPH08263454A (ja) * 1995-03-23 1996-10-11 Hitachi Ltd 障害回復処理方法
JP2000181890A (ja) * 1998-12-15 2000-06-30 Fujitsu Ltd マルチプロセッサ交換機及びその主プロセッサ切替方法
JP2002202959A (ja) * 2000-12-28 2002-07-19 Hitachi Ltd 動的な資源分配をする仮想計算機システム
JP2003330740A (ja) * 2002-05-15 2003-11-21 Hitachi Ltd 多重化計算機システム、論理計算機の割当方法および論理計算機の割当プログラム
US20030233492A1 (en) * 2002-06-13 2003-12-18 Schelling Todd A. Weighted processor selection apparatus and method for use in multiprocessor systems
JP2004062911A (ja) * 2002-07-26 2004-02-26 Hewlett-Packard Development Co Lp コンピュータ資源の割り当てを管理するシステム
JP2004288183A (ja) * 2003-03-21 2004-10-14 Hewlett-Packard Development Co Lp コンピューティングリソースを自動的に割り振る方法
JP2004318885A (ja) * 2003-04-17 2004-11-11 Internatl Business Mach Corp <Ibm> 故障プロセッサを置き換える方法、媒体およびシステム

Also Published As

Publication number Publication date
US7493515B2 (en) 2009-02-17
WO2007039397A1 (en) 2007-04-12
CN101273334B (zh) 2012-05-23
EP1943590A1 (en) 2008-07-16
CN101273334A (zh) 2008-09-24
US7958392B2 (en) 2011-06-07
JP2009510572A (ja) 2009-03-12
US20090106586A1 (en) 2009-04-23
US20070079102A1 (en) 2007-04-05
EP1943590B1 (en) 2013-03-06

Similar Documents

Publication Publication Date Title
JP4841632B2 (ja) ロジカル・パーティションにプロセッサを割り当てるための方法、装置、およびプログラム
JP4603077B2 (ja) 故障した物理プロセッサを置換するための方法、装置、およびプログラム
US8230425B2 (en) Assigning tasks to processors in heterogeneous multiprocessors
JP5698432B2 (ja) 論理パーティションのマイグレーション方法、よびプログラム
US7941803B2 (en) Controlling an operational mode for a logical partition on a computing system
JP5117120B2 (ja) ストレージ装置のボリュームを管理する計算機システム、方法及びプログラム
US20090150640A1 (en) Balancing Computer Memory Among a Plurality of Logical Partitions On a Computing System
US9183061B2 (en) Preserving, from resource management adjustment, portions of an overcommitted resource managed by a hypervisor
US8056084B2 (en) Method and system for dynamically reallocating a resource among operating systems without rebooting of the computer system
US8255639B2 (en) Partition transparent correctable error handling in a logically partitioned computer system
US7194594B2 (en) Storage area management method and system for assigning physical storage areas to multiple application programs
US10102041B2 (en) Controlling workload placement to manage wear of a component nearing end of life
US10545788B2 (en) Physical to virtual scheduling system and method
US10210035B2 (en) Computer system and memory dump method
JP5565187B2 (ja) 情報処理装置および割込み制御プログラム
JP5821392B2 (ja) ストレージ装置、およびストレージ管理方法
JP5540890B2 (ja) 障害処理プログラム、制御方法、及び情報処理装置
CN115408161A (zh) 固态硬盘的数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090421

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20110713

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111004

R150 Certificate of patent or registration of utility model

Ref document number: 4841632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees