JP6809797B2 - Storage device control device, storage device control method, and storage device control program - Google Patents
Storage device control device, storage device control method, and storage device control program Download PDFInfo
- Publication number
- JP6809797B2 JP6809797B2 JP2016035434A JP2016035434A JP6809797B2 JP 6809797 B2 JP6809797 B2 JP 6809797B2 JP 2016035434 A JP2016035434 A JP 2016035434A JP 2016035434 A JP2016035434 A JP 2016035434A JP 6809797 B2 JP6809797 B2 JP 6809797B2
- Authority
- JP
- Japan
- Prior art keywords
- controller
- path
- storage device
- master
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、ストレージ装置の制御装置、ストレージ装置の制御方法、およびストレージ装置の制御プログラムに関し、特にディスクアレイ装置の接続経路の制御や管理に関する。 The present invention relates to a control device of a storage device, a control method of the storage device, and a control program of the storage device, and more particularly to control and management of a connection path of a disk array device.
HDD(Hard Disk Drive)やSSD(Solid State Drive)のような記憶装置を複数備え、アレイを構成しているディスクアレイ装置がある。このようなディスクアレイ装置においては、アレイの物理領域をエクステント(物理エクステント)という一定サイズに区切って管理し、論理ボリュームへのライトアクセスの際に、その物理エクステントを仮想的に割り当てる。物理エクステントの割り当ては、ホスト装置からの書き込み(データライト)を契機に行われる。 There is a disk array device that includes a plurality of storage devices such as HDD (Hard Disk Drive) and SSD (Solid State Drive) to form an array. In such a disk array device, the physical area of the array is divided into fixed sizes called extents (physical extents) and managed, and the physical extents are virtually allocated at the time of write access to the logical volume. Physical extent allocation is triggered by writing (data writing) from the host device.
図11は、物理エクステントの割り当てのイメージを示す図である。また、不要となった物理エクステントの解放は、ホスト装置からの解放コマンド(例えば、SCSI(Small Computer System Interface)コマンドのUNMAPコマンド(アンマップコマンド))により行われる。 FIG. 11 is a diagram showing an image of physical extent allocation. Further, the unnecessary physical extents are released by a release command from the host device (for example, a SCSI (Small Computer System Interface) command UNMAP command (unmap command)).
特許文献1はクラスタ型のストレージ装置の消費電力削減に関するものであり、ディスク装置に対するアクセス数が所定の閾値の範囲外の場合、論理ボリュームのデータへのアクセスを制御するストレージコントローラを変更することが提案されている。例えば、ディスク装置に対するアクセス数が少ないときは、一つのストレージコントローラを停止させ、ストレージコントローラを変更し、論理ボリュームのアクティブパスを変更することが提案されている。
しかしながら、上述した特許文献1のストレージ装置では、一つの論理ディスクに複数の仮想マシンが存在する場合には、対応できない。
However, the storage device of
本発明の目的は、一つの論理ディスクに複数の仮想マシンが存在するといった場合でも、ストレージ装置の最適パスの管理が行える、ストレージ装置の制御装置、ストレージ装置の制御方法、およびストレージ装置の制御プログラムを提供することにある。 An object of the present invention is a storage device control device, a storage device control method, and a storage device control program that can manage the optimum path of a storage device even when a plurality of virtual machines exist on one logical disk. Is to provide.
前記目的を達成するため、本発明に係るストレージ装置の制御装置は、エクステントごとにホスト識別子およびマスタとなるコントローラを管理するエクステント管理テーブルと、仮想マシンからのアクセスに応じて、上記エクステントごとに上記マスタとなるコントローラの切り替えを行うマスタ切り替え制御手段と、を含む。 In order to achieve the above object, the control device of the storage device according to the present invention has an extent management table that manages a host identifier and a master controller for each extent, and the above-mentioned for each extent according to the access from the virtual machine. It includes a master switching control means for switching a controller to be a master.
本発明に係るストレージ装置の制御方法は、エクステントごとにホスト識別子およびマスタとなるコントローラの関連付けを保持し、仮想マシンからのアクセスに応じて、上記関連付けに基づいて上記エクステントごとに上記マスタとなるコントローラの切り替えを行う。 The storage device control method according to the present invention holds a host identifier and a master controller association for each extent, and a controller that becomes the master for each extent based on the association according to access from a virtual machine. To switch.
本発明に係るストレージ装置の制御プログラムは、コンピュータに、エクステントごとにホスト識別子およびマスタとなるコントローラを管理するエクステント管理テーブルを参照する参照処理と、仮想マシンからのアクセスに応じて、上記エクステントごとに上記マスタとなるコントローラの切り替えを行うマスタ切り替え処理と、を実行させる。 The control program of the storage device according to the present invention refers to the reference process for referring to the host identifier and the extent management table that manages the master controller for each extent, and for each of the above extents according to the access from the virtual machine. The master switching process for switching the controller to be the master is executed.
本発明によれば、一つの論理ディスクに複数の仮想マシンが存在するといった場合でも、ストレージ装置の最適パスの管理を行うことができる。 According to the present invention, it is possible to manage the optimum path of the storage device even when a plurality of virtual machines exist on one logical disk.
本発明の好ましい実施形態について説明する前に、背景技術について図面を参照しながら、説明する。 Before explaining the preferred embodiment of the present invention, the background technology will be described with reference to the drawings.
HDD(Hard Disk Drive)やSSD(Solid State Drive)のような記憶装置を複数備え、アレイを構成しているディスクアレイ装置において、アレイの物理領域をエクステント(物理エクステント)という一定サイズに区切って管理する。そしてライトアクセスの際に、その物理エクステントを仮想的に割り当てて、論理ボリューム(LD:Logical Drive)を構成している(図11)。 In a disk array device that has multiple storage devices such as HDD (Hard Disk Drive) and SSD (Solid State Drive) and constitutes an array, the physical area of the array is managed by dividing it into fixed sizes called extents (physical extents). To do. Then, at the time of write access, the physical extent is virtually allocated to form a logical volume (LD: Logical Drive) (FIG. 11).
こうしたLDごとに、ディスクアレイ装置は、負荷分散などの目的で、データの書き込み・読み込みなどを主体的に行うコントローラを決定している。以下、このようなデータの書き込み・読み込みなどを主体的に行うコントローラを、マスタコントローラあるいはマスタと呼ぶ。ディスクアレイ装置を構成する各物理ディスクと一つのマスタコントローラとが、接続された関係にある。マスタコントローラでデータ書き込み・読み込み処理を実施する場合の方が、性能的に優れている。そのため、ホストとディスクアレイ装置間の接続において、アクセスするLDのマスタコントローラと接続されているパスが、最適なパスとなる(図12)。図12では、第1論理ディスクのマスタがコントローラAであり、第2論理ディスクのマスタがコントローラBである状態を示している。 For each of these LDs, the disk array device determines a controller that proactively writes and reads data for the purpose of load distribution and the like. Hereinafter, a controller that proactively writes / reads such data is referred to as a master controller or a master. Each physical disk constituting the disk array device and one master controller are connected to each other. The performance is superior when data writing / reading processing is performed by the master controller. Therefore, in the connection between the host and the disk array device, the path connected to the master controller of the LD to be accessed is the optimum path (FIG. 12). FIG. 12 shows a state in which the master of the first logical disk is the controller A and the master of the second logical disk is the controller B.
最適パスの情報取得・切り替えは、SCSI−3の標準機能として仕様化されているAULA(Asymmetric Logical Unit Access)と呼ばれる機能を用いることで可能となっている。ホスト装置は、ディスクアレイ装置に対して、ALUA機能で定義されている最適パス情報取得コマンド(REPORT TARGET PORT GROUPS)を発行することで、最適パスの情報を取得することができる。また最適パスの変更があった場合、ディスクアレイ装置からホスト装置に通知する(Unit Attention)ことで、ホスト装置が最適パスの情報をディスクアレイ装置から再取得(REPORT TARGET PORT GROUPSコマンドの発行)するのを促すことが出来る。 Information acquisition / switching of the optimum path is possible by using a function called AULA (Asymmetric Logical Unit Access), which is specified as a standard function of SCSI-3. The host device can acquire the optimum path information by issuing the optimum path information acquisition command (REPORT TARGET PORT GROUPS) defined by the ALUA function to the disk array device. When the optimum path is changed, the disk array device notifies the host device (Unit Attention), so that the host device reacquires the optimum path information from the disk array device (issues the REPORT TARGET PORT GROUPS command). Can be encouraged.
LDに格納されるデータとしては、仮想マシン環境のような、物理的なサーバ上で、複数の仮想マシン(VM:Virtual Machine)を動作させる仮想マシンのデータも、存在し得る。以下、仮想マシンをVMと記載する。LDに格納されるデータとしては、複数のVMを動作させるVMのデータも存在し、ディスクアレイ装置上ある1つのLDには、複数のVMのデータが格納される場合もある。 As the data stored in the LD, there may be data of a virtual machine that operates a plurality of virtual machines (VMs: Virtual Machines) on a physical server such as a virtual machine environment. Hereinafter, the virtual machine will be referred to as VM. As the data stored in the LD, there is also the data of the VM that operates the plurality of VMs, and the data of the plurality of VMs may be stored in one LD on the disk array device.
また、仮想マシン環境では、保守・物理障害発生時のフェイルオーバーや、負荷分散などの目的で、一つの物理的なサーバから、別の物理的なサーバへ仮想マシン環境間でVMを移動するものが存在する。 In a virtual machine environment, VMs are moved between virtual machine environments from one physical server to another for the purpose of failover in the event of maintenance or physical failure, load distribution, etc. Exists.
ここで、1つのLDに複数のVMデータが格納されていて、ある1つのVMを別の仮想マシン環境に移動する場合を考える(図13)。ディスクアレイ装置は、LD単位でマスタを決定しており、あるLD(第1論理ディスク)のマスタはコントローラAであり、VM1およびVM2はホスト装置a上で動作している。そしてLD(第2論理ディスク)のマスタはコントローラBであり、VM3はホスト装置b上で動作している。 Here, consider a case where a plurality of VM data are stored in one LD and one VM is moved to another virtual machine environment (FIG. 13). In the disk array device, the master is determined for each LD, the master of a certain LD (first logical disk) is the controller A, and the VM1 and VM2 are operating on the host device a. The master of the LD (second logical disk) is the controller B, and the VM3 is operating on the host device b.
あるVM1をホスト装置bに移動した場合、ホスト装置bはコントローラBに接続されており、マスタはコントローラAのため、VM1は非最適パスからのアクセスとなってしまう(図14)。ここで、VM1のマスタをコントローラBに変更した場合、VM1はホスト装置bで動作しているため最適パスからのアクセスとなる。しかしながら、マスタはLD単位で決定され、同LDにデータが格納されているVM2のマスタはコントローラAであるため、VM2は非最適パスからのアクセスとなってしまう(図15)。つまり、どちらかのVMは必ず非最適パスからのアクセスとなってしまうため、1つのLDに複数のVMデータが格納されている場合、マスタをVMごとに決定できないという課題がある。 When a certain VM1 is moved to the host device b, the host device b is connected to the controller B and the master is the controller A, so that the VM1 is accessed from a non-optimal path (FIG. 14). Here, when the master of the VM1 is changed to the controller B, the VM1 is operated by the host device b, so that the access is from the optimum path. However, since the master is determined in LD units and the master of VM2 in which data is stored in the LD is controller A, VM2 is accessed from a non-optimal path (FIG. 15). That is, since either VM is always accessed from the non-optimal path, there is a problem that the master cannot be determined for each VM when a plurality of VM data are stored in one LD.
次に、本発明の最上位概念の実施形態によるストレージ装置の制御装置および制御方法について、説明する。図1(a)は本発明の最上位概念の実施形態によるストレージ装置の制御装置を説明するためのブロック図であり、図1(b)は図1(a)の制御装置を用いたディスクアレイ装置を説明するためのブロック図である。 Next, the control device and the control method of the storage device according to the embodiment of the highest level concept of the present invention will be described. FIG. 1A is a block diagram for explaining a control device of a storage device according to an embodiment of the highest-level concept of the present invention, and FIG. 1B is a disk array using the control device of FIG. 1A. It is a block diagram for demonstrating an apparatus.
本実施形態のストレージ装置の制御装置の一例は、図1(a)のコントローラ150である。図1(a)のコントローラ150は、マスタ切り替え制御手段の一例としてのマスタ切替制御部151と、エクステント管理テーブル152と、を含む。マスタ切替制御部151は、仮想マシン(VM)からのアクセスに応じて、エクステントごとにマスタとなるコントローラの切り替えを行う。エクステント管理テーブル152は、エクステントごとにホスト識別子およびマスタとなるコントローラを管理する。図1(b)のディスクアレイ装置170は、図1(a)のコントローラ150と、ディスクアレイ160と、を含む。
An example of the control device of the storage device of this embodiment is the
本実施形態のストレージ装置の制御装置および制御方法によれば、エクステント管理テーブル152が、エクステントごとにホスト識別子およびマスタとなるコントローラを管理している。そして、マスタ切替制御部151は、VMからのアクセスに応じて、エクステントごとにマスタの切り替えを行う。例えば、VMが別のホスト装置に移動した場合には、マスタの切り替えが行われる。VMが別のホスト装置に移動した場合でも、VMごとに最適パスからのストレージ装置へのアクセスが可能になる。VMごとに最適パスからのアクセスが可能となることで、性能低下を軽減することが出来る。以下、より具体的な実施形態について、図面を参照しながら詳細に説明する。
According to the control device and the control method of the storage device of the present embodiment, the extent management table 152 manages the host identifier and the master controller for each extent. Then, the master switching
〔一実施形態〕
本発明の一実施形態によるストレージ装置の制御装置、およびストレージ装置の制御方法について、説明する。図2は、本発明の一実施形態によるストレージ装置の一例としての、ディスクアレイ装置を用いたシステムの構成を説明するためのブロック図である。図3は、本発明の一実施形態のエクステント管理テーブルの一例を示す図である。図4は、本発明の一実施形態によるディスクアレイ装置で、VMのデータをLDに格納する場合の処理を説明するためのフローチャートである。図5は、本発明の一実施形態のエクステント管理テーブルの一例を示す図である。図6は、本発明の一実施形態によるディスクアレイ装置の仮想マシンの移動を説明するためのブロック図である。図7は、本発明の一実施形態によるディスクアレイ装置で、VMがホスト装置間で移動した場合の処理を説明するためのフローチャートである。図8は、本発明の一実施形態のエクステント管理テーブルの一例を示す図である。図9は、本発明の一実施形態のエクステント管理テーブルの一例を示す図である。
[One Embodiment]
The control device of the storage device and the control method of the storage device according to the embodiment of the present invention will be described. FIG. 2 is a block diagram for explaining a system configuration using a disk array device as an example of a storage device according to an embodiment of the present invention. FIG. 3 is a diagram showing an example of an extent management table according to an embodiment of the present invention. FIG. 4 is a flowchart for explaining a process when the VM data is stored in the LD in the disk array device according to the embodiment of the present invention. FIG. 5 is a diagram showing an example of an extent management table according to an embodiment of the present invention. FIG. 6 is a block diagram for explaining the movement of the virtual machine of the disk array device according to the embodiment of the present invention. FIG. 7 is a flowchart for explaining the processing when the VM moves between the host devices in the disk array device according to the embodiment of the present invention. FIG. 8 is a diagram showing an example of an extent management table according to an embodiment of the present invention. FIG. 9 is a diagram showing an example of an extent management table according to an embodiment of the present invention.
図2を参照すると、本発明の一実施形態としてのディスクアレイ装置1が示されている。図2において、ディスクアレイ装置1は、コントローラ2と、複数台の記憶装置の一例としての、複数台のHDD(Hard Disk Drive)10からなるディスク部3を有する。なお、複数台の記憶装置はSSD(Solid State Drive)でも良いが、以降は複数台のHDD10の場合で説明する。
With reference to FIG. 2, a
コントローラ2は、1台もしくは複数台のホスト装置21と接続される。コントローラ2は、ホスト装置21とのデータの送受信を行うホスト制御部5と、ディスク部3と接続され、HDD10へのデータの読み書きを行うディスク制御部6と、エクステント管理テーブル30と、マスタ切り替え制御手段40と、を有している。
The
ホスト制御部5は、最適パス情報返却手段50および最適パス変更通知手段51を、有している。
The
ホスト装置21は、仮想マシン環境20を有しており、仮想マシン環境20上に複数の仮想マシン(VM)22が構築されている。
The
ディスク部3の1つのRAID(Redundant Arrays of Inexpensive DisksまたはRedundant Arrays of Independent Disks)構成のディスクアレイ80は、複数台のHDD10で構成されており、論理ボリューム(LD)を構築している。LDには、VM22のデータが格納されている。ホスト装置21およびVM22は、最適パス情報の取得時に、最適パス情報取得通知25をディスクアレイ装置1に対して発行する。ディスクアレイ装置1は、最適パス情報取得通知25を受信した場合、該当する最適パス情報を、最適パス情報返却手段50によりホスト装置21およびVM22に返却する。最適パス情報を取得したホスト装置21およびVM22は、以降のアクセスは取得した最適パスを介して行う。
The
コントローラ2のマスタ切り替え制御手段40は、VM22からのアクセスに応じて、論理エクステントごとにマスタとなるコントローラ2の切り替えを行う。マスタ切り替えを実施した場合、最適パスの状態変更を、最適パス変更通知手段51によって該当するホスト装置21およびVM22に対して通知する。最適パスの状態変更を通知されたホスト装置21およびVM22は、再度最適パス情報取得通知25をディスクアレイ装置1に対して発行することで、最適パス情報を取得する。
The master switching control means 40 of the
次に、図3を参照すると、図2のエクステント管理テーブル30の詳細な構成が示されている。図3において、エクステント管理テーブル30は、LDごとにテーブル31を有している。図3では、LD#0〜LD#Nのテーブル31を有しているものとする。各テーブル31はそれぞれ、エクステント番号32、ホスト識別子33、マスタコントローラ番号34、パスごとのアクセス回数35を管理する。図3では、パスごとのアクセス回数35は、パス#0アクセス回数〜パス#Mアクセス回数である。言い換えると、エクステント管理テーブル30は、LDのエクステント番号32ごとに、ホスト識別子33およびマスタとなるコントローラのマスタコントローラ番号34の関連付けを保持している。さらに、エクステント管理テーブル30は、LDのエクステント番号32ごとに、ホスト識別子33、マスタとなるコントローラのマスタコントローラ番号34、およびパスアクセス回数35の関連付けを保持している、と言える。
Next, with reference to FIG. 3, the detailed configuration of the extent management table 30 of FIG. 2 is shown. In FIG. 3, the extent management table 30 has a table 31 for each LD. In FIG. 3, it is assumed that the table 31 of
ホスト識別子33は、VM22をそれぞれ判別する情報(例:WWN(World Wide Name))が管理され、VM22からLDに対する書き込みでエクステントを割り当てた時に登録する。
The
マスタコントローラ番号34は、現在のマスタコントローラの番号が格納され、初期値はエクステントが属するLDのマスタコントローラとなる。
The
パスアクセス回数35は、コントローラ2とホスト装置21間で接続されているパスごとに、VM22からのアクセス毎にカウントアップされる。
The
ホスト装置21のALUA機能である最適パス情報取得通知25や、ディスクアレイ装置1のコントローラ2のホスト制御部5の最適パス情報返却手段50および最適パス変更通知手段51は、当業者にとってよく知られた構成である。またこれらの要素は本発明の特徴とは直接関係しないので、その詳細な構成は省略する。
The optimum path
(動作の説明)
次に図2のディスクアレイ装置1の動作を図4、図7に示すフローチャートと、図6に示す具体的なディスクアレイ装置1および図5、図8、図9に示す具体的なエクステント管理テーブル30を使用して説明する。
(Explanation of operation)
Next, the operation of the
説明のための具体例として、ホスト装置#0はコントローラ#0に接続され(パス#0)、ホスト装置#1はコントローラ#1に接続(パス#1)されているものとする。さらに、ホスト装置#0上でVM#1、VM#2が動作し、ホスト装置#1上でVM#3が動作しているものとする。VM#1、VM#2のデータはLD#0に格納され、VM#3のデータはLD#1に格納されるものとし、LD#0のマスタコントローラはコントローラ#0、LD#1のマスタコントローラはコントローラ#1であるものとする。上記LD番号やコントローラ番号、エクステントの単位および、ホスト装置の構成などはその一例を示すものであって、本発明は上述した値および方法のみに限定されるものではない。
As a specific example for explanation, it is assumed that the
(VM22のデータをLDに格納する場合の処理)
まず、VM22のデータをLDに格納する場合の処理に関して、図4に示すフローチャートと、図5に示す具体的なエクステント管理テーブル30の情報を使用して説明する。
(Processing when storing VM22 data in LD)
First, the process when the data of the
ホスト装置21上のVM22からLDに対してアクセスがあった場合(図4、S101)、ディスクアレイ装置1はVM22のホスト識別子33を取得する(図4、S102)。次に、VM22からのアクセス先エクステントの番号を抽出し(図4、S103)、該当するエクステント番号の情報が図5のエクステント管理テーブル30に登録済かどうかをチェックする(図4、S110)。
When the LD is accessed from the
エクステントの情報が登録済であった場合(図4、S110のYES)、エクステント管理テーブル30の該当するパスアクセス回数35をカウントアップし(図4、S113)、データの書き込み・読み込みを実施する(図4、S114)。 When the extent information has been registered (YES in FIG. 4, S110), the corresponding path access count 35 in the extent management table 30 is counted up (FIG. 4, S113), and data is written / read (FIG. 4, S113). FIG. 4, S114).
エクステントの情報が登録されていない場合(図4、S110のNO)、ホスト識別子33の登録(図4、S111)と、マスタコントローラ番号34の登録(図4、S112)とを実施する。そののち、該当するパスアクセス回数35をカウントアップ(図4、S113)し、データの書き込み・読み込みを実施する(図4、S114)。
When the extent information is not registered (NO in FIG. 4, S110), the registration of the host identifier 33 (FIG. 4, S111) and the registration of the master controller number 34 (FIG. 4, S112) are performed. After that, the corresponding
(VM22がホスト装置21間で移動した場合の処理)
次に、VM22がホスト装置21間で移動した場合(図6)の処理に関して、図7に示すフローチャートと、図8、図9に示す具体的なエクステント管理テーブル30の情報を使用して説明する。
(Processing when the
Next, the processing when the
コントローラ2のマスタ切り替え制御手段40は、定期的にエクステント管理テーブル30をLDごとにチェックを行い(図7、S201)、さらに論理エクステントごとにチェックを行う(図7、S202)。エクステント管理テーブル30のパスアクセス回数35のうちどれかが、第1閾値(例:110)を超えているかどうかチェックを行う(図7、S203)。具体的には、図8のパス#0アクセス回数〜パス#1アクセス回数のうちどれかが第1閾値を超えているかどうかチェックを行う。
The master switching control means 40 of the
第1閾値を超えていなかった場合(図7、S203のNO)、次の対象エクステント、LDのチェックを行う。図8のVM#1の場合、パス#0アクセス回数〜パス#1アクセス回数のいずれも第1閾値を超えていないので、次の対象エクステント、LDのチェックを行う。
If the first threshold value is not exceeded (NO in FIG. 7, S203), the next target extent and LD are checked. In the case of
第1閾値を超えていた場合(図7、S203のYES)、第1閾値を超えていたパスアクセス回数35が該当するパスが接続されているコントローラ2と、該当するマスタコントローラ番号34が異なっているかをチェックする(図7、S204)。図8では、VM#2、VM#3、VM#4のパス#1アクセス回数が、第1閾値を超えている。
When the first threshold value is exceeded (YES in FIG. 7, S203), the
第1閾値を超えていたパスアクセス回数35が該当するパスが接続されているコントローラ2と、該当するマスタコントローラ番号34が異なっていない場合、パスアクセス回数35をクリアし(図7、S208)、次の対象エクステント、LDのチェックを行う。ここで、第1閾値を超えていたパスアクセス回数35が該当するパスが接続されているコントローラ2と、該当するマスタコントローラ番号34が一致しているのは、図8のVM#3である。
If the
第1閾値を超えていたパスアクセス回数35が該当するパスが接続されているコントローラ2と、該当するマスタコントローラ番号34が異なっていた場合(図7、S204のYES)、パスアクセス回数35のチェックを行う(図7、S205)。すなわち、現在のマスタコントローラ番号34に該当するコントローラ2に接続されているパスのパスアクセス回数35が、第2閾値(例:40)以下かどうかのチェックである。ここで、パスアクセス回数35が第1閾値を超えており、かつパスが接続されているコントローラ2と、該当するマスタコントローラ番号34が異なっているのは、図8のVM#2、VM#4である。
When the
第2閾値を超えている場合(図7、S205のNO)、パスアクセス回数35をクリアし(図7、S208)、次の対象エクステント、LDのチェックを行う。ここで、第2閾値を超えているのは、図8のVM#4である。図8ではVM#4のパス#0アクセス回数が第2閾値を超えているので、図9のようにVM#4のパスアクセス回数35をクリアし、次の対象エクステント、LDのチェックを行う。
When the second threshold value is exceeded (NO in FIG. 7, S205), the
第2閾値以下の場合(図7、S205のYES)、エクステント管理テーブル30のマスタコントローラ番号34を、第1閾値を超えていたパスアクセス回数35が該当するパスが接続されているコントローラ2に切り替える(図7、S206)。さらに、該当パスを最適パスとしてホスト装置21に通知したのち(図7、S207)、パスアクセス回数35をクリアし(図7、S208)、次の対象エクステント、LDのチェックを行う。図8では、VM#2のパス#0アクセス回数は第2閾値を超えていないので、エクステント管理テーブル30のマスタコントローラ番号34を、第1閾値を超えていたパスアクセス回数35が該当するパスが接続されているコントローラ2に変更する。さらに、該当パスを最適パスとしてホスト装置21に通知したのち、図9に示すようにVM#2のパスアクセス回数35をクリアし、次の対象エクステント、LDのチェックを行う。
When it is equal to or less than the second threshold value (YES in FIG. 7, S205), the
以上の動作により、ホスト装置21間でVM22が移動された場合にも、VM22のデータが格納されているエクステントのマスタを、移動先のホスト装置21が接続されているコントローラ2に変更することができ、VM22から最適パスでアクセス可能になる。
By the above operation, even when the VM22 is moved between the
(効果の説明)
以上説明したように、本実施形態のストレージ装置の制御装置、ストレージ装置の制御方法によれば、VM22ごとに最適パスからのアクセスが可能となることで、性能低下を軽減することが出来る。さらに、エクステント管理テーブル30のパスアクセス回数35の情報やマスタコントローラ番号34の情報を参照して、マスタとなるコントローラ2を変更しているので、ストレージ装置全体の性能低下を軽減することが出来る。
(Explanation of effect)
As described above, according to the control device of the storage device and the control method of the storage device of the present embodiment, the performance deterioration can be reduced by enabling access from the optimum path for each VM22. Further, since the
〔他の実施形態〕
上述したストレージ装置の制御装置、ストレージ装置の制御方法は、上述した構成や動作を実現するプログラムを実行できる情報処理装置によっても実現され得る。このプログラムは、コンピュータ読み取り可能な記録媒体の形態で、流通され得る。このような記録媒体に記録されたプログラムを読み込んで、情報処理装置で実行することにより、本実施形態の機能をソフトウェア的に実現してもよい。
[Other Embodiments]
The control device of the storage device and the control method of the storage device described above can also be realized by an information processing device capable of executing a program that realizes the above-described configuration and operation. This program may be distributed in the form of computer-readable recording media. By reading the program recorded on such a recording medium and executing it in the information processing apparatus, the function of the present embodiment may be realized by software.
図10(a)は、本発明の実施形態の制御方法に適用可能なコンピュータの構成を例示する図である。なお、図面中の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。 FIG. 10A is a diagram illustrating a computer configuration applicable to the control method according to the embodiment of the present invention. The direction of the arrow in the drawing shows an example, and does not limit the direction of the signal between the blocks.
図10(a)に示すように、情報処理装置は、CPU(Central Processing Unit)155や、RAM(Random Access Memory)などで構成されるメモリ156を含む。このようなハードウェア構成の情報処理装置で、上述した実施形態のコントローラ2は、実現され得る。すなわち、図2のコントローラ2の一部または全部は、図10(b)のような各処理を実行させるプログラムを読み込んで情報処理装置に実行させることによっても、実現できる。具体的には図10(b)のような、パスアクセス回数確認処理と、マスタコントローラ番号確認処理である。さらに図10(b)のような、マスタ切り替え処理などである。
As shown in FIG. 10A, the information processing apparatus includes a
また、このプログラムは、プログラムを記録した記録媒体の形態で、流通され得る。このプログラムは、CF(Compact Flash(登録商標))およびSD(Secure Digital)等の汎用的な半導体記録デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、またはCD−ROM(Compact Disc Read Only Memory)などの光学記録媒体などの形態で、流通され得る。 The program may also be distributed in the form of a recording medium on which the program is recorded. This program is a general-purpose semiconductor recording device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic recording medium such as a flexible disk, or a CD-ROM (Compact Disc Read Only Memory). ) And other forms such as optical recording media.
以上、本発明の好ましい実施形態を説明したが、本発明はこれに限定されるものではない。特許請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲に含まれることはいうまでもない。 Although the preferred embodiment of the present invention has been described above, the present invention is not limited thereto. It goes without saying that various modifications are possible within the scope of the invention described in the claims, and these are also included in the scope of the present invention.
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)エクステントごとにホスト識別子およびマスタとなるコントローラを管理するエクステント管理テーブルと、仮想マシンからのアクセスに応じて、前記エクステントごとに前記マスタとなるコントローラの切り替えを行うマスタ切り替え制御手段と、を含むストレージ装置の制御装置。
(付記2)前記エクステント管理テーブルは、前記エクステントごとに前記ホスト識別子、前記マスタとなるコントローラのコントローラ番号、およびパスアクセス回数を管理する、付記1に記載のストレージ装置の制御装置。
(付記3)前記パスアクセス回数が第1閾値を超えており、かつ前記第1閾値を超えていた前記パスアクセス回数が該当するパスが接続されているコントローラと、前記マスタとなるコントローラとが異なっているときに、前記マスタとなるコントローラの切り替えを行う、付記2に記載のストレージ装置の制御装置。
(付記4)前記パスアクセス回数が前記第1閾値を超えており、かつ前記第1閾値を超えていた前記パスアクセス回数が該当するパスが接続されているコントローラと、前記マスタとなるコントローラとが異なっており、前記パスアクセス回数が第2閾値を超えていないときに、前記マスタとなるコントローラの切り替えを行う、付記3に記載のストレージ装置の制御装置。
(付記5)前記マスタとなるコントローラを複数含み、
前記マスタとなるコントローラは仮想マシン環境が構築される複数のホスト装置にそれぞれ接続されている、付記1乃至付記4のいずれか一つに記載のストレージ装置の制御装置。
(付記6)付記1乃至付記5のいずれか一つに記載のストレージ装置の制御装置を含む、ストレージ装置。
(付記7)エクステントごとにホスト識別子およびマスタとなるコントローラの関連付けを保持し、
仮想マシンからのアクセスに応じて、前記関連付けに基づいて前記エクステントごとに前記マスタとなるコントローラの切り替えを行う、ストレージ装置の制御方法。
(付記8)前記エクステントごとに前記ホスト識別子、前記マスタとなるコントローラのコントローラ番号、およびパスアクセス回数の関連付けを保持する、付記7に記載のストレージ装置の制御方法。
(付記9)前記パスアクセス回数が第1閾値を超えており、かつ前記第1閾値を超えていた前記パスアクセス回数が該当するパスが接続されているコントローラと、前記マスタとなるコントローラとが異なっているときに、前記マスタとなるコントローラの切り替えを行う、付記8に記載のストレージ装置の制御方法。
(付記10)前記パスアクセス回数が前記第1閾値を超えており、かつ前記第1閾値を超えていた前記パスアクセス回数が該当するパスが接続されているコントローラと、前記マスタとなるコントローラとが異なっており、前記パスアクセス回数が第2閾値を超えていないときに、前記マスタとなるコントローラの切り替えを行う、付記9に記載のストレージ装置の制御方法。
(付記11)コンピュータに、
エクステントごとにホスト識別子およびマスタとなるコントローラを管理するエクステント管理テーブルを参照する参照処理と、
仮想マシンからのアクセスに応じて、前記エクステントごとに前記マスタとなるコントローラの切り替えを行うマスタ切り替え処理とを実行させる、ストレージ装置の制御プログラム。
(付記12)前記エクステント管理テーブルは、前記エクステントごとに前記ホスト識別子、前記マスタとなるコントローラのコントローラ番号、およびパスアクセス回数を管理する、付記11に記載のストレージ装置の制御プログラム。
(付記13)前記参照処理は、
前記パスアクセス回数が第1閾値を超えているか確認するパスアクセス回数確認処理と、
前記第1閾値を超えていたパスアクセス回数が該当するパスが接続されているコントローラと、前記マスタとなるコントローラとが異なるかどうか確認するマスタコントローラ確認処理とを含む、付記12に記載のストレージ装置の制御プログラム。
(付記14)前記パスアクセス回数確認処理は、前記パスアクセス回数が前記第1閾値を超えているか確認し、第2閾値を超えていないか確認する処理を含む、付記13に記載のストレージ装置の制御プログラム。
Some or all of the above embodiments may also be described, but not limited to:
(Appendix 1) An extension management table that manages a host identifier and a master controller for each extent, and a master switching control means that switches the master controller for each extent according to access from a virtual machine. Storage device controller, including.
(Supplementary note 2) The control device for a storage device according to
(Appendix 3) The controller to which the path to which the path access count exceeds the first threshold value and the path access count exceeding the first threshold value is connected is different from the controller serving as the master. The control device for the storage device according to
(Appendix 4) The controller to which the path to which the pass access count exceeds the first threshold value and the pass access count exceeding the first threshold value is connected and the controller to be the master The control device for a storage device according to
(Appendix 5) Including a plurality of controllers to be the master.
The control device for a storage device according to any one of
(Appendix 6) A storage device including a control device for the storage device according to any one of
(Appendix 7) Holds the host identifier and the association of the master controller for each extent.
A method for controlling a storage device, which switches a controller to be a master for each extent based on the association according to an access from a virtual machine.
(Supplementary Note 8) The storage device control method according to Supplementary note 7, wherein the host identifier, the controller number of the master controller, and the path access count are associated with each extent.
(Appendix 9) The controller to which the path to which the path access count exceeds the first threshold value and the path access count exceeding the first threshold value is connected is different from the controller serving as the master. The method for controlling a storage device according to Appendix 8, wherein the controller to be the master is switched at the same time.
(Appendix 10) The controller to which the path corresponding to the path access count exceeds the first threshold value and the path access count exceeds the first threshold value is connected, and the controller serving as the master. The control method for a storage device according to Appendix 9, wherein the master controller is switched when the number of pass accesses does not exceed the second threshold value.
(Appendix 11) To the computer
Reference processing that refers to the extent management table that manages the host identifier and master controller for each extent,
A control program for a storage device that executes a master switching process for switching the master controller for each extent in response to access from a virtual machine.
(Supplementary note 12) The control program for a storage device according to Supplementary note 11, wherein the extent management table manages the host identifier, the controller number of the controller to be the master, and the number of path accesses for each extent.
(Appendix 13) The reference process is
The path access count confirmation process for confirming whether the pass access count exceeds the first threshold value and
The storage device according to Appendix 12, which includes a master controller confirmation process for confirming whether or not the controller to which the path corresponding to the path access count exceeding the first threshold value is connected is different from the master controller. Control program.
(Supplementary Note 14) The storage device according to Appendix 13, wherein the path access count confirmation process includes a process of confirming whether the pass access count exceeds the first threshold value and confirming whether or not the pass access count exceeds the second threshold value. Control program.
1 ディスクアレイ装置
2 コントローラ
3 ディスク部
5 ホスト制御部
6 ディスク制御部
10 HDD
20 仮想マシン環境
21 ホスト装置
22 仮想マシン(VM)
25 最適パス情報取得通知
30 エクステント管理テーブル
40 マスタ切り替え制御手段
31 テーブル
50 最適パス情報返却手段
51 最適パス変更通知手段
80 ディスクアレイ
150 コントローラ
151 マスタ切替制御部
152 エクステント管理テーブル
155 CPU
156 メモリ
160 ディスクアレイ
170 ディスクアレイ装置
1
20
25 Optimal path
156
Claims (8)
前記記憶装置の論理ディスクは複数のエクステントから構成され、
前記エクステントごとに、前記複数の仮想マシンが含まれる前記ホスト装置を判別する情報であるホスト識別子、複数の前記制御装置のうちでマスタとなる制御装置であるマスタコントローラの番号であるマスタコントローラ番号、及び前記制御装置と前記ホスト装置の間で接続されているパスを介して前記ホスト装置が前記論理ディスクへアクセスしたパス毎のアクセス回数であるパスアクセス回数を関連付けて保持するエクステント管理テーブルと、
前記パスアクセス回数を参照し、前記パスアクセス回数に応じて前記エクステントごとに前記マスタコントローラの切り替えを行うマスタ切り替え制御手段と、を含む制御装置。 A control device connected to a host device including a plurality of virtual machines , included in a storage device having a storage device , and controlling access from the host device to the logical disk of the storage device .
The logical disk of the storage device is composed of a plurality of extents .
Before each Symbol extent, the plurality of host identifier is information for discriminating the host device included virtual machine, the master controller number is the number of the master controller is a control device as a master among the plurality of the control device An extension management table that correlates and holds the number of path accesses, which is the number of accesses for each path that the host device has accessed the logical disk via the path connected between the control device and the host device.
The reference to the path access times, the master controller including control devices and the master switching control means for switching, of each said extent depending on the path access times.
かつ前記パスアクセス回数が前記第1閾値を超えていたパスに接続された制御装置と、前記マスタコントローラとが異なっているときに、前記マスタコントローラの切り替えを行う、請求項1に記載の制御装置。 The number of pass accesses exceeds the first threshold value,
And when said path access number and the first threshold value beyond have controller connected to path was the mass octopus controller and are different, to switch the mass octopus controller, according to claim 1 of the control apparatus.
かつ前記マスタコントローラに接続されたパスのパスアクセス回数が第2閾値を超えていないときに、前記マスタコントローラの切り替えを行う、請求項2に記載の制御装置。 Path access times of the mass octopus controller with different control unit connected to the path is above said first threshold value,
And when the path access times of the mass octopus controller connected to the path does not exceed the second threshold value, for switching the mass octopus controller, control apparatus according to claim 2.
前記マスタコントローラは仮想マシン環境が構築されるホスト装置にそれぞれ接続されている、請求項1乃至請求項3のいずれか一項に記載の制御装置。 Includes a plurality of said mass octopus controller,
The mass octopus controller are connected to the host device that the virtual machine environment is built, the control device according to any one of claims 1 to 3.
前記記憶装置の論理ディスクは複数のエクステントから構成され、
エクステント管理テーブルに、前記エクステントごとに、前記複数の仮想マシンが含まれる前記ホスト装置を判別する情報であるホスト識別子、複数の制御装置のうちでマスタとなる制御装置であるマスタコントローラの番号であるマスタコントローラ番号、及び前記制御装置と前記ホスト装置の間で接続されているパスを介して前記ホスト装置が前記論理ディスクへアクセスしたパス毎のアクセス回数であるパスアクセス回数を関連付けて保持し、
前記パスアクセス回数を参照し、前記パスアクセス回数に応じて前記エクステントごとに前記マスタコントローラの切り替えを行う、制御方法。 A control method that is connected to a host device including a plurality of virtual machines, is included in a storage device having a storage device , and controls access from the host device to the logical disk of the storage device .
The logical disk of the storage device is composed of a plurality of extents .
The extent management table, for each of the extent, the plurality of host identifier is information for discriminating the host device included virtual machine, the number of the master controller is a control device as a master among the plurality of control devices A master controller number and a path access count, which is the number of accesses for each path by which the host device accesses the logical disk via a path connected between the control device and the host device , are associated and held.
The reference path access times, to switch the mass octopus controller for each of the extents in response to the pass number of accesses, the control method.
かつ前記パスアクセス回数が前記第1閾値を超えていたパスに接続された制御装置と、前記マスタコントローラとが異なっているときに、前記マスタコントローラの切り替えを行う、請求項6に記載の制御方法。 The number of pass accesses exceeds the first threshold value,
And said path access times said first control threshold is connected to a path that exceeds device, when the mass octopus controller and are different, to switch the mass octopus controller, according to claim 6 control method.
前記記憶装置の前記論理ディスクは複数のエクステントから構成され、
コンピュータに、
前記エクステントごとに、前記仮想マシンが含まれる前記ホスト装置を判別する情報であるホスト識別子、複数の制御装置のうちでマスタとなる制御装置であるマスタコントローラの番号であるマスタコントローラ番号、及び前記制御装置と前記ホスト装置の間で接続されているパスを介して前記ホスト装置が前記論理ディスクへアクセスしたパス毎のアクセス回数であるパスアクセス回数を関連付けて保持するエクステント管理テーブルを参照する処理と、
前記パスアクセス回数を参照し、前記パスアクセス回数に応じて前記エクステントごとに前記マスタコントローラの切り替えを行うマスタ切り替え処理とを実行させる、制御プログラム。 A control program connected to a host device including a plurality of virtual machines , included in a storage device having a storage device , and controlling access from the host device to the logical disk of the storage device .
The logical disk of the storage device is composed of a plurality of extents .
On your computer,
For each of the extensions, a host identifier that is information for identifying the host device that includes the virtual machine , a master controller number that is a master controller number that is a master control device among a plurality of control devices , and the control. The process of referring to the extension management table that holds the path access count , which is the number of accesses for each path that the host device accessed the logical disk via the path connected between the device and the host device.
The reference path access times, to execute a master switching processing for switching between the mass octopus controller for each of the extents in response to the pass number of accesses, the control program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035434A JP6809797B2 (en) | 2016-02-26 | 2016-02-26 | Storage device control device, storage device control method, and storage device control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035434A JP6809797B2 (en) | 2016-02-26 | 2016-02-26 | Storage device control device, storage device control method, and storage device control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017151858A JP2017151858A (en) | 2017-08-31 |
JP6809797B2 true JP6809797B2 (en) | 2021-01-06 |
Family
ID=59739919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016035434A Active JP6809797B2 (en) | 2016-02-26 | 2016-02-26 | Storage device control device, storage device control method, and storage device control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6809797B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3726484B2 (en) * | 1998-04-10 | 2005-12-14 | 株式会社日立製作所 | Storage subsystem |
JP2004264948A (en) * | 2003-02-28 | 2004-09-24 | Fujitsu Ltd | Storage control device and its control method |
US8930620B2 (en) * | 2010-11-12 | 2015-01-06 | Symantec Corporation | Host discovery and handling of ALUA preferences and state transitions |
JP6307962B2 (en) * | 2014-03-19 | 2018-04-11 | 日本電気株式会社 | Information processing system, information processing method, and information processing program |
JP2015184895A (en) * | 2014-03-24 | 2015-10-22 | 富士通株式会社 | Storage control device, storage device, and storage control program |
-
2016
- 2016-02-26 JP JP2016035434A patent/JP6809797B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017151858A (en) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6459644B2 (en) | Storage control device, control system, and control program | |
US11137940B2 (en) | Storage system and control method thereof | |
US8135905B2 (en) | Storage system and power consumption reduction method for switching on/off the power of disk devices associated with logical units in groups configured from the logical units | |
US20190310925A1 (en) | Information processing system and path management method | |
US11209982B2 (en) | Controlling operation of a data storage system | |
US8560801B1 (en) | Tiering aware data defragmentation | |
JP6067819B1 (en) | Hierarchical storage system, storage controller, and method for deduplication and storage tiering | |
US20190129971A1 (en) | Storage system and method of controlling storage system | |
KR20140114515A (en) | Nonvolatile memory device and deduplication method thereof | |
WO2016075779A1 (en) | Computer system and storage device | |
US20150363134A1 (en) | Storage apparatus and data management | |
JP6350162B2 (en) | Control device | |
WO2014043448A1 (en) | Block level management with service level agreement | |
JP6680069B2 (en) | Storage control device, storage system, and storage device control program | |
JP6311365B2 (en) | Storage area management device, storage area management method, and storage area management program | |
US9547443B2 (en) | Method and apparatus to pin page based on server state | |
JP6835474B2 (en) | Storage device control device, storage device control method, and storage device control program | |
JP6809797B2 (en) | Storage device control device, storage device control method, and storage device control program | |
JP5594647B2 (en) | Storage apparatus and control method thereof | |
JP2007249728A (en) | Disk array device | |
JP2015052853A (en) | Storage controller, storage control method, and program | |
US9569329B2 (en) | Cache control device, control method therefor, storage apparatus, and storage medium | |
WO2010119478A1 (en) | Storage system and control method therefor | |
EP2584453A2 (en) | Method and apparatus to change storage tiers | |
WO2019043815A1 (en) | Storage system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190702 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191002 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20191002 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20191015 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20191023 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20191227 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200107 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200602 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200721 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20201006 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201117 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6809797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |