JP5695126B2 - 計算機システム、サーバモジュール及びストレージモジュール - Google Patents

計算機システム、サーバモジュール及びストレージモジュール Download PDF

Info

Publication number
JP5695126B2
JP5695126B2 JP2013101842A JP2013101842A JP5695126B2 JP 5695126 B2 JP5695126 B2 JP 5695126B2 JP 2013101842 A JP2013101842 A JP 2013101842A JP 2013101842 A JP2013101842 A JP 2013101842A JP 5695126 B2 JP5695126 B2 JP 5695126B2
Authority
JP
Japan
Prior art keywords
data
memory
module
transfer
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013101842A
Other languages
English (en)
Other versions
JP2014222426A (ja
Inventor
雄樹 近藤
雄樹 近藤
功 大原
功 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2013101842A priority Critical patent/JP5695126B2/ja
Priority to US14/045,631 priority patent/US8868865B1/en
Priority to EP14163093.9A priority patent/EP2804109B1/en
Priority to US14/453,729 priority patent/US8959302B2/en
Publication of JP2014222426A publication Critical patent/JP2014222426A/ja
Priority to US14/596,577 priority patent/US9189418B2/en
Application granted granted Critical
Publication of JP5695126B2 publication Critical patent/JP5695126B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1081—Address translation for peripheral access to main memory, e.g. direct memory access [DMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0661—Format or protocol conversion arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Description

本発明は、サーバモジュールとストレージモジュールとの間の高速なデータ転送を実現するシステム、サーバモジュール及びストレージモジュールに関する。
サーバ及び当該サーバがアクセスするストレージ装置を接続する計算機システムとしては、以下のようなシステムが知られている。
一つの計算機システムとしては、ＳＡＮ等のネットワークを介してサーバ及びストレージが接続された計算機システムが知られている（例えば、特許文献１参照）。
特許文献１には、「アプリケーションをローカルに実行するための少なくとも一つのアプリケーション・サーバ、およびＩ／Ｏ伝送のため該少なくとも一つのアプリケーション・サーバと通信している、一つ以上のストレージ・サーバを包含可能なストレージ・アプライアンス・システム」が記載されている。
前述した計算機システムは、大規模な計算機システムに用いられる利用形態である。当該計算機システムは、システム構成の柔軟性が高いという利点があるが、ＳＡＮ等のネットワークを構成する装置のコスト、及び運用コストが高いという問題がある。
また、他の計算機システムとしては、複数のサーバのそれぞれがディスクインタフェースを用いて接続される計算機システムが知られている（例えば、特許文献２参照）。
特許文献２には、「複数のサーバモジュールと１以上のストレージモジュール及び装置全体を管理する管理モジュールをスロットに搭載し、それら相互の信号伝達を可能とするバックプレーンによってブレードサーバ装置を構成し、サーバモジュールとストレージモジュールを互いにバックプレーンを介してディスクインターフェースで接続する。それぞれのサーバモジュール及びストレージモジュールはモジュール内の電源を制御するモジュール管理部を備え、モジュール管理部は管理モジュールから送信される電源制御信号に従ってサーバモジュール及びストレージモジュールの電源を制御する」システムが記載されている。
前述した計算機システムは、小規模な計算機システムに用いられる利用形態である。当該計算機システムは、サーバの高密度化が可能であるが、システムの柔軟性が低いという問題がある。
近年、一つの筐体内にサーバ及びストレージ装置を有する計算機システムの利用が増加している。当該計算機システムは、コストを抑えつつ、柔軟性なシステム及び高性能のシステムを実現する。同一筐体内のサーバ及びストレージ装置は、バックプレーンを介して互いに接続される。
特開２０１２−１１８９７３号公報 特開２００６−３０９４７７号公報
サーバ及びストレージ装置はバックプレーンを介して接続されるため、高速な通信が可能となる。しかし、サーバ及びストレージ装置が扱うコマンドの形式は異なり、また、データの形式も異なる。そのため、サーバ及びストレージ装置は、それぞれ、コマンドの形式及びデータの形式の変換処理等を行う必要がある。
したがって、サーバ及びストレージ装置において、前述した処理によってオーバヘッドが発生するため、高速なデータ転送を実現すること、すなわち、性能限界値までスループットを向上させることが難しい。
また、従来技術では、サーバのメモリとストレージ装置のメモリとの間の高速なデータ転送を実現するモジュールは提供されていない。
本発明は、前述した課題に鑑みてなされた発明である。すなわち、サーバ及びストレージ装置における高速なデータ転送の実現を目的とする。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、サーバモジュール、ストレージモジュール及び転送モジュールを備える計算機システムであって、前記サーバモジュールは、第１のプロセッサ、第１のメモリ、他の装置と接続するための第１のインタフェース、並びに、前記第１のプロセッサ、前記第１のメモリ及び前記第１のインタフェースを接続する第１の接続線を有し、前記ストレージモジュールは、第２のプロセッサ及び第２のメモリを含むコントローラ、記憶装置、他の装置と接続するための第２のインタフェース、並びに、前記コントローラ、前記記憶装置及び前記第２のインタフェースを接続する第２の接続線を有し、前記転送モジュールは、前記第１の接続線及び前記第２の接続線と接続され、前記サーバモジュールは、前記第１のメモリに転送対象のデータを格納し、又は前記第１のメモリから前記転送対象のデータを読み出す場合に用いられるアドレス及びアドレス長を含む第１の転送リストを生成し、前記第１のメモリと前記第２のメモリとの間のＩ／Ｏ要求を前記転送モジュールに送信し、前記ストレージモジュールは、前記転送モジュールから前記Ｉ／Ｏ要求を受信し、前記第２のメモリに前記転送対象のデータを格納し、又は前記第２のメモリから前記転送対象のデータを読み出す場合に用いられるアドレス及びアドレス長を含む第２の転送リストを生成し、前記転送モジュールにデータ転送要求を送信し、前記転送モジュールは、前記ストレージモジュールから前記データ転送要求を受信した場合、前記第１の転送リスト及び前記第２の転送リストを参照して、前記第１のメモリ又は前記第２のメモリから前記転送対象のデータを取得し、前記第１の転送リスト及び前記第２の転送リストを参照して、取得された前記転送対象のデータを前記第１のメモリ又は前記第２のメモリに転送することを特徴とする。
本発明によれば、サーバモジュールのプロセッサ及びストレージモジュールのプロセッサを介することなく高速なデータ転送を実行する転送モジュールを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
本発明の実施例１の計算機システムの構成例を示すブロック図である。 本発明の実施例１のサーバモジュールのソフトウェア構成を説明するブロック図である。 本発明の実施例１のストレージモジュールのソフトウェア構成を説明するブロック図である。 本発明の実施例１の転送モジュールの構成例を説明するブロック図である。 本発明の実施例１におけるデータ転送処理の一例を説明するシーケンス図である。 本発明の実施例１におけるデータ転送処理の一例を説明するシーケンス図である。 本発明の実施例２の計算機システムの構成例を示すブロック図である。 本発明の実施例３の計算機システムの構成例を示すブロック図である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本発明の実施例１の計算機システムの構成例を示すブロック図である。
実施例１の計算機システムは、サーバ装置１００、サーバモジュール２００、及びストレージモジュール３００から構成される。
サーバ装置１００は、複数のサーバモジュール２００、一つのストレージモジュール３００、バックプレーン４００を備える。図１に示す例では、サーバ装置１００は、サーバモジュール２００−１、サーバモジュール２００−２、及びストレージモジュール３００−１を備える。
サーバモジュール２００は、所定の業務を実行する計算機である。ストレージモジュール３００は、サーバモジュール２００が利用するデータを格納する計算機である。本実施例では、ストレージモジュール３００は、各サーバモジュール２００にＬＵ（Ｌｏｇｉｃａｌ Ｕｎｉｔ）を提供する。
サーバモジュール２００は、プロセッサ２１０、メモリ２２０、転送モジュール２３０、ＨＢＡ２４０、ＮＩＣ２５０、及びＩ／Ｆ２６０を有する。サーバモジュール２００が有する各構成は、Ｉ／Ｏバスを介して互いに接続される。Ｉ／Ｏバスには、ＰＣＩバス、ＰＣＩｅバス、及びシステムバス等が含まれる。なお、本発明は、各構成を接続するＩ／Ｏバスの種別に限定されない。
プロセッサ２１０は、メモリ２２０に格納されるプログラムを実行する。プロセッサ２１０がメモリ２２０に格納されるプログラムを実行することによって、サーバモジュール２００が有する機能を実現できる。
メモリ２２０は、プロセッサ２１０によって実行されるプログラム及び当該プログラムの実行に必要な情報を格納する。メモリ２２０に格納されるプログラム及び情報については、図２を用いて後述する。
なお、メモリ２２０に格納されるプログラム及び情報は、ストレージモジュール３００によって提供されるＬＵ等に格納されてもよい。この場合、プロセッサ２１０が、ＬＵ等のプログラムが格納される記憶領域からプログラム及び情報を取得し、取得されたプログラム及び情報をメモリ２２０にロードする。
転送モジュール２３０は、サーバモジュール２００とストレージモジュール３００との間のデータ転送を制御する。転送モジュール２３０の詳細な構成については、図４を用いて後述する。
ＨＢＡ２４０は、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して外部の装置と接続するためのインタフェースである。ＮＩＣ２５０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して外部の装置と接続するためのインタフェースである。Ｉ／Ｆ２６０は、バックプレーン４００と接続するためのコネクタである。
なお、転送モジュール２３０の搭載方法としては、サーバモジュール２００の基板上のチップ（ＬＳＩ）として搭載する方法、又は、ＨＢＡ、ＮＩＣ等のアダプタに搭載する方法が考えられる。ただし、本発明は、転送モジュール２３０の搭載方法に限定されない。
ストレージモジュール３００は、ディスクコントローラ３１０、ＴＢＡ（Ｔａｒｇｅｔ Ｂｕｓ Ａｄａｐｔｅｒ）３５０、Ｉ／Ｆ３６０、及び記憶装置３７０を有する。ストレージモジュール３００が有する各構成は、Ｉ／Ｏバスを介して互いに接続される。Ｉ／Ｏバスには、ＰＣＩバス、ＰＣＩｅバス、ＳＡＳ（Ｓｅｒｉａｌ Ａｔｔａｃｈｅｄ ＳＣＳＩ）インターフェース、及びシステムバス等が含まれる。なお、本発明は、各構成を接続するＩ／Ｏバスの種別に限定されない。
ディスクコントローラ３１０は、記憶領域の管理、及びサーバモジュール２００と記憶領域との対応関係等を制御する。ディスクコントローラ３１０は、プロセッサ３２０及びメモリ３３０を有する。
本実施例では、ストレージモジュール３００は、ディスクコントローラ３１０−１、及びディスクコントローラ３１０−２の二つのディスクコントローラを有する。これは、ディスクコントローラを冗長化することによって、耐障害性を向上させるためである。
ディスクコントローラ３１０−１はＩ／Ｆ３６０−１と接続され、ディスクコントローラ３１０−２はＩ／Ｆ３６０−２と接続される。また、ディスクコントローラ３１０−１、３１０−２は、それぞれ、ＴＢＡ３５０及び記憶装置３７０に接続される。
プロセッサ３２０は、メモリ３３０に格納されるプログラムを実行する。プロセッサ３２０がメモリ３３０に格納されるプログラムを実行することによって、ストレージモジュール３００が有する機能を実現できる。
メモリ３３０は、プロセッサ３２０によって実行されるプログラム及び当該プログラムの実行に必要な情報を格納する。メモリ３３０に格納されるプログラム及び情報については、図３を用いて後述する。
なお、メモリ３３０に格納されるプログラム及び情報は、記憶装置３７０等に格納されてもよい。この場合、プロセッサ３２０が、記憶装置３７０等からプログラム及び情報を取得し、取得されたプログラム及び情報をメモリ３３０にロードする。
ＴＢＡ３５０は、ＳＡＮ等のネットワークを介して外部の装置と接続するためのインタフェースである。Ｉ／Ｆ３６０は、バックプレーン４００と接続するためのコネクタである。
記憶装置３７０は、データを格納するための装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が考えられる。
本実施例では、ストレージモジュール３００は、複数の記憶装置を用いてＲＡＩＤを構成し、ＲＡＩＤボリュームからＬＵを生成し、さらに、サーバモジュール２００にＬＵを提供する。なお、ＬＵには、ＯＳ２２１（図２参照）及びアプリケーション２２３（図２参照）等のプログラム及びプログラムの実行に必要な情報が格納される。
バックプレーン４００は、サーバモジュール２００及びストレージモジュール３００を接続する。バックプレーン４００は、サーバモジュール２００及びストレージモジュール３００を接続するためのＩ／Ｆ４１０を複数有する。また、バックプレーン４００は、各Ｉ／Ｆ４１０を接続するＩ／Ｏバスを有する。
ここで、計算機システムにおける接続関係について説明する。
サーバ装置１００のサーバモジュール２００-１とバックプレーン４００との間は二つの接続線を介して接続される。サーバモジュール２００-１は、当該二つの接続線を介して、ストレージモジュール３００のＩ／Ｆ３６０−１及びＩ／Ｆ３６０−２にそれぞれ接続される。
ストレージモジュール３００の各Ｉ／Ｆ３６０は、異なるディスクコントローラ３１０と接続されるように構成されており、Ｉ／Ｆ３６０−１はディスクコントローラ３１０−１と接続され、Ｉ／Ｆ３６０−２はディスクコントローラ３１０−２と接続される。したがって、サーバモジュール２００-１は、二つのディスクコントローラ３１０−１、３１０−２と一対一に接続される。
本実施例では、二つのディスクコントローラ３１０−１、３１０−２は、いずれもアクティブな状態となっている。そのため、二つのディスクコントローラ３１０−１、３１０−２のそれぞれがＩ／Ｏ処理を実行することによって処理性能を向上させている。また、ディスクコントローラ３１０−１に障害が発生した場合であっても、ディスクコントローラ３１０−２がＩ／Ｏ処理を継続することができる。これによって、業務を継続できる。
サーバ装置１００内のサーバモジュール２００−１、２００−２は、ＬＡＮ６００を介して、外部のサーバモジュール２００-３と接続され、また、ＳＡＮ５００を介して外部のストレージモジュール３００−２と接続される。
サーバ装置１００内のストレージモジュール３００は、ＳＡＮ５００を介して外部のサーバモジュールと接続される。
図２は、本発明の実施例１のサーバモジュール２００のソフトウェア構成を説明するブロック図である。
メモリ２２０は、ＯＳ２２１及びアプリケーション２２３を実現するためのプログラムを格納する。また、メモリ２２０は転送リスト２２４を格納する。
ＯＳ２２１は、サーバモジュール２００を管理する。ＯＳ２２１は、サーバモジュール２００とストレージモジュール３００との間のアクセスを制御するストレージアクセス部２２２を有する。ストレージアクセス部２２２は、例えば、転送モジュール２３０を操作するデバイスドライバを用いて実現する方法が考えられる。
なお、ＯＳ２２１は、図示しないファイルシステム等の機能を有しているが、公知のものであるため省略している。
アプリケーション２２３は、所定の業務を実行する。本発明はアプリケーションの種別に限定されない。
転送リスト２２４は、プロセッサ２１０を介することなく、サーバモジュール２００のメモリ２２０と、ストレージモジュールのメモリ３３０との間のデータ転送に用いられる情報である。本実施例では、転送リスト２２４として、ＤＭＡ転送に用いられるＳＧＬ（Ｓｃａｔｔｅｒ Ｇａｔｈｅｒ Ｌｉｓｔ）を用いるものとする。
ＳＧＬは、アドレス及びアドレス長を含む。アドレスは、対象となるデータが格納されるメモリ２２０上の記憶領域の先頭アドレスである。アドレス長は、メモリ２２０条の記憶領域に対応するアドレスの範囲を示す値である。
なお、転送リスト２２４は、データ転送時に一時的に保持される情報である。
図３は、本発明の実施例１のストレージモジュール３００のソフトウェア構成を説明するブロック図である。
図３では、ディスクコントローラ３１０−１が有するメモリ３３０を例に説明する。なお、ディスクコントローラ３１０−２が有するメモリ３３０も同一のソフトウェア構成である。
メモリ３３０は、ストレージ制御部３３１を実現するプログラムを格納する。また、メモリ３３０は転送リスト３３４を格納する。
ストレージ制御部３３１は、サーバモジュール２００とストレージモジュール３００との間のＩ／Ｏ処理を制御する。ストレージ制御部３３１は、Ｉ／Ｏ処理部３３２、及び記憶装置制御部３３３を有する。
Ｉ／Ｏ処理部３３２は、サーバモジュール２００からＩ／Ｏ要求を受信し、当該Ｉ／Ｏ要求に基づいて、書込処理及び読出処理を制御する。記憶装置制御部３３３は、記憶装置３７０に対する書込処理及び読出処理を制御する。
なお、Ｉ／Ｏ処理部３３２は、例えば、転送モジュール２３０を操作するデバイスドライバを用いて実現することが考えられる。また、記憶装置制御部３３３は、記憶装置３７０を操作するデバイスドライバを用いて実現することが考えられる。
転送リスト３３４は、プロセッサ３２０を介することなく、サーバモジュール２００のメモリ２２０と、ストレージモジュールのメモリ３３０との間のデータ転送に用いられる情報である。本実施例では、転送リスト３３４として、ＤＭＡ転送に用いられるＳＧＬを用いるものとする。
なお、転送リスト２２４は、データ転送時に一時的に保持される情報である。
図４は、本発明の実施例１の転送モジュール２３０の構成例を説明するブロック図である。
転送モジュール２３０は、データ転送部２３１、プロトコルエンジン２３４、ブリッジ２３５、及び複数の接続ポート２３６を備える。
データ転送部２３１は、サーバモジュール２００のメモリ２２０とストレージモジュール３００のメモリ３３０との間のデータ転送を制御する。本実施例のデータ転送部２３１は、ＤＭＡコントローラ２３２、及びデータ検査部２３３を含む。
ＤＭＡコントローラ２３２は、サーバモジュール２００のメモリ２２０とストレージモジュール３００のメモリ３３０との間のＤＭＡ転送を制御する。データ検査部２３３は、データ保証コードの付加及び削除を行う。また、データ検査部２３３は、保証コードに基づいて、データの整合性を確認する。なお、データ保証コードは、ＤＩＦ（Ｄａｔａ Ｉｎｔｅｇｒｉｔｙ Ｆｉｅｌｄ）を用いることが考えられる。
一般的な計算機システムでは、サーバモモジュールは５１２バイト単位のデータを扱い、また、ストレージモジュールは、当該データにデータ保証コードを付与した５２０バイト単位のデータを扱う。本実施例のサーバモジュール２００及びストレージモジュール３００が扱うデータは、一般的な計算機システムと同様のものとする。
プロトコルエンジン２３４は、サーバモジュール２００が使用するコマンド及びストレージモジュール３００が使用するコマンドを変換する。
ブリッジ２３５は、接続ポートを介して接続されるデバイス間の通信を制御する。例えば、ブリッジ２３５は、レーン数が異なる信号間を変換する。ブリッジ２３５は、前述したＤＭＡ転送が不要な場合に用いられる。
接続ポート２３６は、他のデバイスに接続するためのポートである。本実施例では、接続ポート２３６−１は、プロセッサ２１０と接続され、接続ポート２３６−２、２３６−３は、Ｉ／Ｆ２６０と接続される。例えば、デバイス間を接続するＩ／ＯバスがＰＣＩｅバスである場合、接続ポート２３６としてＰＣＩｅポートが用いられる。
図５及び図６は、本発明の実施例１におけるデータ転送処理の一例を説明するシーケンス図である。
図５は、サーバモジュール２００がストレージモジュール３００からデータを読み出す場合に実行される読出処理の流れを示す。図６は、サーバモジュール２００がストレージモジュール３００に対してデータを書き込む場合に実行される書込処理の流れを示す。以下の説明では、ストレージモジュール３００のディスクコントローラ３１０−１に対するＩ／Ｏ要求が発行された場合を例に説明する。
まず、データ読出処理について説明する。
ＯＳ２２１は、アプリケーション２２３からストレージモジュール３００に格納されるデータの読出要求を受け付けた場合、ストレージアクセス部２２２を呼び出す。
ストレージアクセス部２２２は、読出対象のデータを一時的に格納するためのバッファをメモリ２２０に設定する（ステップＳ１０１）。また、ストレージアクセス部２２２は、転送リスト２２４を生成し、生成された転送リスト２２４をメモリ２２０に書き込む（ステップＳ１０２）。転送リスト２２４には、ストレージモジュール３００から読み出されたデータをバッファに格納するためのアドレス、及びアドレス長等が含まれる。
さらに、ストレージアクセス部２２２は、ディスクコントローラ３１０−１のストレージ制御部３３１に対して読出要求を送信する（ステップＳ１０３）。当該読出要求は、サーバモジュール２００において使用されるコマンドである。したがって、ストレージモジュール３００において使用されるコマンドとは異なる形式のコマンドである。すなわち、サーバモジュール２００及びストレージモジュール３００が扱うプロトコルが異なる。
以下の説明では、サーバモジュール２００が使用するコマンドをサーバコマンドと記載し、ストレージモジュール３００が使用するコマンドをストレージコマンドと記載する。
転送モジュール２３０は、ストレージアクセス部２２２から読出要求（サーバコマンド）を受信すると、当該読出要求をストレージコマンドに変換し、変換された読出要求（ストレージコマンド）をストレージ制御部３３１に送信する（ステップＳ１０４）。具体的には、以下のような処理が実行される。
データ転送部２３１は、受信した読出要求（サーバコマンド）を解析する。データ転送部２３１は、受信した読出要求（サーバコマンド）がストレージモジュール３００に送信されるサーバコマンドであるため、プロトコルエンジン２３４にコマンドの変換を指示する。
プロトコルエンジン２３４は、受信した読出要求（サーバコマンド）をサーバコマンドからストレージコマンドに変換し、変換された読出要求（ストレージコマンド）をデータ転送部２３１に出力する。
データ転送部２３１は、入力された読出要求（ストレージコマンド）をストレージモジュール３００のストレージ制御部３３１に送信する。
以上がステップＳ１０４の処理の説明である。
ストレージ制御部３３１は、読出要求（ストレージコマンド）を受信すると、読出対象のデータを記憶装置３７０から読み出し、読み出されたデータをメモリ３３０にコピーする（ステップＳ１０５）。具体的には、以下のような処理が実行される。
Ｉ／Ｏ処理部３３２は、読出要求（ストレージコマンド）に基づいて、記憶装置３７０に対する読出要求を発行し、記憶装置制御部３３３を呼び出す。
呼び出された記憶装置制御部３３３は、発行された読出要求に基づいて、記憶装置３７０から所定のデータを読み出し、当該データをＩ／Ｏ処理部３３２に出力する。
Ｉ／Ｏ処理部３３２は、入力されたデータをメモリ３３０にコピーする。
本実施例では、読出要求（ストレージコマンド）は転送モジュールによって予めストレージコマンドに変換されているため、Ｉ／Ｏ処理部３３２は、コマンドの変換処理を実行する必要がない。
以上が、ステップＳ１０５の処理の説明である。
ストレージ制御部３３１は、転送リスト３３４を生成し、生成された転送リスト３３４をメモリ３３０に書き込む（ステップＳ１０６）。転送リスト３３４には、メモリ３３０にコピーされたデータを読み出すためのアドレス、及びアドレス帳等が含まれる。
次に、ストレージ制御部３３１は、転送モジュール２３０に、ＤＭＡ転送要求を送信する（ステップＳ１０７）。
転送モジュール２３０は、ＤＭＡ転送要求を受信すると、サーバモジュール２００のメモリ２２０から転送リスト２２４を読み出し（ステップＳ１０８）、また、ストレージモジュール３００のメモリ３３０から転送リスト３３４を読み出す（ステップＳ１０９）。
具体的には、データ転送部２３１のＤＭＡコントローラ２３２が、サーバモジュール２００のメモリ２２０に格納される転送リスト２２４にアクセスするためのアドレスを取得し、また、ストレージモジュール３００のメモリ３３０に格納される転送リスト３３４にアクセスするためのアドレスを取得する。なお、ＤＭＡコントローラ２３２は、転送リスト２２４、３３４そのものを取得してもよい。ＤＭＡコントローラ２３２は、取得されたアドレス又は転送リスト２２４、３３４を一時的に保持する。
以下の説明では、サーバモジュール２００のメモリ２２０に格納される転送リスト２２４にアクセスするためのアドレスを第１アドレスと記載し、ストレージモジュール３００のメモリ３３０に格納される転送リスト３３４にアクセスするためのアドレスを第２アドレスとも記載する。
転送モジュール２３０は、ストレージモジュール３００のメモリ３３０に格納される転送リスト３３４を参照し、当該メモリ３３０にコピーされたデータを読み出す（ステップＳ１１０）。
具体的には、データ転送部２３１のＤＭＡコントローラ２３２が、第２アドレスに基づいて、ストレージモジュールのメモリ３３０に格納される転送リスト３３４を参照し、当該メモリ３３０にコピーされたデータを読み出す。なお、ＤＭＡコントローラ２３２は、所定のデータ単位毎にデータを読み出すものとする。例えば、５２０バイト単位のデータが読み出される。
次に、転送モジュール２３０は、読み出されたデータをサーバモジュール２００のメモリ２２０に書き込む（ステップＳ１１１）。具体的には、以下のような処理が実行される。
データ転送部２３１のデータ検査部２３３は、読み出されたデータをサーバモジュール２００側のデータの形式に変換する。例えば、データ検査部２３３は、読み出されたデータに付与されるデータ保証コードを削除する。これによって、サーバモジュール２００が扱う５１２バイトのデータに変換される。
データ転送部２３１は、第１アドレスに基づいてサーバモジュール２００のメモリ２２０に格納される転送リスト２２４を参照し、また、第２アドレスに基づいてストレージモジュール３００のメモリ３３０に格納される転送リスト３３４を参照する。
データ転送部２３１は、転送リスト２２４、３３４に基づいて、変換されたデータを書き込むメモリ２２０の記憶領域を特定する。さらに、データ転送部２３１のＤＭＡコントローラ２３２は、特定されたメモリ２２０の記憶領域に、変換されたデータを書き込む。
例えば、データ転送部２３１は、アライメントを調整して、メモリ２２０の記憶領域を特定する。これは、サーバモジュール２００が扱うデータとストレージモジュール３００が扱うデータのアドレス長が異なるため、各メモリ２２０、３３０に格納する記憶領域のアドレスを調整する必要があるためである。
データ転送部２３１は、読出対象のデータが全て読み出されるまで前述した処理を繰り返し実行する。
なお、データ転送部２３１は、データ保証コードに基づいて、読み出されたデータの整合性を確認してもよい。読み出されたデータに誤りが検出された場合、データ転送部２３１は、再度ストレージモジュール３００のメモリ３３０からデータを読み出してもよいし、ストレージ制御部３３１にデータの誤りが検出されたことを通知してもよい。
以上が、ステップＳ１１１の処理の説明である。
次に、転送モジュール２３０は、読出対象のデータを全てメモリ２２０に書き込んだ後、ストレージ制御部３３１にＤＭＡ転送の完了通知を送信する（ステップＳ１１２）。
ストレージ制御部３３１は、ＤＭＡ転送の完了通知を受信した後、ＯＳ２２１に対して完了通知（ストレージコマンド）を送信する（ステップＳ１１３）。
転送モジュール２３０は、完了通知（ストレージコマンド）を受信した後、当該完了通知（ストレージコマンド）をストレージコマンドからサーバコマンドに変換し、変換された完了通知（サーバコマンド）をＯＳ２２１に送信する（ステップＳ１１４）。なお、コマンドの変換処理は、ステップＳ１０４と同一の処理であるため説明を省略する。
なお、ステップＳ１０８及びステップＳ１０９において、転送リスト２２４、３３４そのものが読み出された場合、転送モジュール２３０は、転送リスト２２４、３３４を参照し、アライメントを調整してデータを格納するための変換リストを生成する。この場合、データ転送部２３１は、ステップＳ１１１において、当該変換リストに基づいて、変換されたデータを書き込むメモリ２２０上の記憶領域を特定する。さらに、ＤＭＡコントローラ２３２は、特定されたメモリ２２０上の記憶領域に変換されたデータを書き込む。
変換リストは、例えば、転送リスト２２４のアドレスと、転送リスト３３４のアドレスとを対応づけたリストが考えられる。
次に、データ書込処理について説明する。
ＯＳ２２１は、アプリケーション２２３からストレージモジュール３００へのデータの書込要求を受け付けた場合、ストレージアクセス部２２２を呼び出す。
ストレージアクセス部２２２は、書込対象のデータをメモリ２２０にコピーする（ステップＳ２０１）。また、ストレージアクセス部２２２は、転送リスト２２４を生成し、生成された転送リスト２２４をメモリ２２０に書き込む（ステップＳ２０２）。転送リスト２２４には、メモリ２２０にコピーされたデータを読み出すためのアドレス、及びアドレス長等が含まれる。
ストレージアクセス部２２２は、ストレージ制御部３３１に対して書込要求（サーバコマンド）を送信する（ステップＳ２０３）。
転送モジュール２３０は、書込要求（サーバコマンド）を受信すると、当該書込要求（サーバコマンド）をサーバコマンドからストレージコマンドに変換し、変換された書込要求（ストレージコマンド）をストレージ制御部３３１に送信する（ステップＳ２０４）。具体的には、以下のような処理が実行される。
データ転送部２３１は、受信した書込要求（サーバコマンド）を解析する。データ転送部２３１は、受信した書込要求（サーバコマンド）がストレージモジュール３００に送信されるサーバコマンドであるため、プロトコルエンジン２３４にコマンドの変換を指示する。
プロトコルエンジン２３４は、受信した書込要求（サーバコマンド）をサーバコマンドからストレージコマンドに変換し、変換された書込要求（ストレージコマンド）をデータ転送部２３１に出力する。
データ転送部２３１は、入力された書込要求（ストレージコマンド）をストレージモジュール３００のストレージ制御部３３１に送信する。
以上がステップＳ２０４の処理の説明である。
ストレージ制御部３３１は、書込要求（ストレージコマンド）を受信すると、書込対象のデータを一時的に格納するためのバッファを設定する（ステップＳ２０５）。また、ストレージ制御部３３１は、転送リスト３３４を生成し、生成された転送リスト３３４をメモリ３３０に書き込む（ステップＳ２０６）。転送リスト３３４には、書込対象のデータをバッファに格納するためのアドレス、及びアドレス長等が含まれる。
次に、ストレージ制御部３３１は、転送モジュール２３０に、ＤＭＡ転送要求を送信する（ステップＳ２０７）。
転送モジュール２３０は、ＤＭＡ転送要求を受信すると、サーバモジュール２００のメモリ２２０から転送リスト２２４を読み出し（ステップＳ２０８）、また、ストレージモジュール３００のメモリ３３０から転送リスト３３４を読み出す（ステップＳ２０９）。
具体的には、データ転送部２３１のＤＭＡコントローラ２３２が、サーバモジュール２００から第１アドレスを取得し、また、ストレージモジュール３００から第２アドレスを取得する。なお、ＤＭＡコントローラ２３２は、転送リスト２２４、３３４そのものを取得してもよい。ＤＭＡコントローラ２３２は、取得されたアドレス又は転送リスト２２４、３３４を一時的に保持する。
転送モジュール２３０は、サーバモジュール２００のメモリ２２０に格納される転送リスト２２４を参照し、当該メモリ２２０にコピーされたデータを読み出す（ステップＳ２１０）。
具体的には、データ転送部２３１のＤＭＡコントローラ２３２が、第１アドレスに基づいて、サーバモジュール２００のメモリ２２０に格納される転送リスト２２４を参照し、当該メモリ２２０にコピーされたデータを読み出す。なお、ＤＭＡコントローラ２３２は、所定のデータ単位毎にデータを読み出すものとする。例えば、５１２バイト単位のデータが読み出される。
次に、転送モジュール２３０は、読み出されたデータをストレージモジュール３００のメモリ３３０に書き込む（ステップＳ２１１）。具体的には、以下のような処理が実行される。
データ転送部２３１のデータ検査部２３３は、読み出されたデータをストレージモジュール側のデータの形式に変換する。例えば、データ検査部２３３は、読み出されたデータにデータ保証コードを付与する。これによって、ストレージモジュール３００が扱う５２０バイトのデータに変換される。
データ転送部２３１は、第１アドレスに基づいてサーバモジュール２００のメモリ２２０に格納される転送リスト２２４を参照し、また、第２アドレスに基づいてストレージモジュール３００のメモリ３３０に格納される転送リスト３３４を参照する。
データ転送部２３１は、転送リスト２２４、３３４に基づいて、変換されたデータを書き込むメモリ２２０の記憶領域を特定する。さらに、データ転送部２３１のＤＭＡコントローラ２３２は、特定されたメモリ２２０の記憶領域に、変換されたデータを書き込む。
例えば、データ転送部２３１は、アライメントを調整して、メモリ３３０の記憶領域を特定する。
データ転送部２３１は、書込対象のデータが全て書き込まれるまで前述した処理を繰り返し実行する。
以上が、ステップＳ２１１の処理の説明である。
次に、転送モジュール２３０は、書込対象のデータを全てメモリ３３０に書き込んだ後、ストレージ制御部３３１にＤＭＡ転送の完了通知を送信する（ステップＳ２１２）。
ストレージ制御部３３１は、ＤＭＡ転送の完了通知を受信した後、ＯＳ２２１に対して完了通知（ストレージコマンド）を送信する（ステップＳ２１３）。
転送モジュール２３０は、完了通知（ストレージコマンド）を受信した後、当該完了通知（ストレージコマンド）をストレージコマンドからサーバコマンドに変換し、変換された完了通知（サーバコマンド）をＯＳ２２１に送信する（ステップＳ２１４）。なお、コマンドの変換処理は、ステップＳ２０４と同一の処理であるため説明を省略する。
なお、ステップＳ２０８及びステップＳ２０９において、転送リスト２２４、３３４そのものが読み出された場合、転送モジュール２３０は、転送リスト２２４、３３４を参照し、アライメントを調整してデータを格納するための変換リストを生成する。この場合、転送モジュール２３０は、ステップＳ２１１において、当該変換リストに基づいて、変換されたデータを書き込むメモリ３３０上の記憶領域を特定する。さらに、ＤＭＡコントローラ２３２は、特定されたメモリ３３０上の記憶領域に変換されたデータを書き込む。
変換リストは、例えば、転送リスト２２４のアドレスと、転送リスト３３４のアドレスとを対応づけたリストが考えられる。
なお、実施例１では、サーバモジュール２００が転送モジュール２３０を搭載していたが本発明はこれに限定されない。例えば、バックプレーン４００が転送モジュール２３０を搭載してもよい。すなわち、転送モジュール２３０の搭載位置に限定されず、サーバモジュール２００のＩ／Ｏバスとストレージモジュール３００のＩ／Ｏバスとを接続できればよい。
実施例１では、二つのディスクコントローラ３１０を用いて、ストレージ制御部３３１を冗長化していたが、本発明はこれに限定されない。例えば一つのディスクコントローラ３１０を論理的に分割することによって二つのストレージ制御部３３１を実現してもよい。この場合、二つのＩ／Ｆ３６０は、一つのディスクコントローラに接続される。
以上説明したように、実施例１では、転送モジュール２３０が、サーバモジュール２００のメモリ２２０とストレージモジュール３００のメモリ３３０との間のデータ転送を行う。
従来の計算機システムにおけるデータ転送では、サーバモジュール２００のエンドポイント及びストレージモジュールのエンドポイントのそれぞれでプロトコル変換が行われる。例えば、従来の読出処理では、サーバモジュール２００のＨＢＡ２４０等がプロトコルを変換して、ストレージモジュール３００に読出要求を送信し、ストレージモジュール３００のＴＢＡ３５０等がプロトコルを変換して、データを読み出していた。
一方、本願発明では、サーバモジュール２００及びストレージモジュール３００がプロトコル変換されていないコマンドを転送モジュール２３０に送信し、転送モジュール２３０がプロトコルを変換する。
具体的には、サーバモジュール２００はサーバコマンドをそのまま転送モジュール２３０に送信し、転送モジュール２３０が、受信したサーバコマンドをストレージコマンドに変換し、変換されたコマンドをストレージモジュール３００に送信する。また、ストレージモジュール３００は、ストレージコマンドをそのまま転送モジュール２３０に送信し、転送モジュール２３０は、受信したストレージコマンドをサーバコマンドに変換し、変換されたコマンドをサーバモジュール２００に送信する。
したがって、プロトコル変換によるデータ転送のオーバヘッドを低減するという効果がある。
また、転送モジュール２３０は、サーバモジュール２００のメモリ２２０、及びストレージモジュール３００のメモリ３３０に直接アクセスするため、サーバモジュール２００のプロセッサ２１０及びストレージモジュール３００のプロセッサ３２０を介することなく、各メモリ間の高速なデータ転送を実現できる。
実施例１では、サーバモジュール２００に転送モジュール２３０を搭載することによって高性能のデータ転送が実現できる。すなわち、サーバモジュール２００のソフトウェア構成を変更する必要がなく、ストレージモジュール３００のハードウェア構成及びソフトウェア構成を変更する必要がない。したがって、低コストで実施例１に示す計算機システムを実現することができる。
また、実施例１では、サーバモジュール２００が転送モジュール２３０を有する理由は、ストレージモジュール３００に転送モジュール２３０を搭載する場合、一つのサーバモジュール２００に対して一つの転送モジュール２３０が必要であるためである。すなわち、接続可能なサーバモジュール２００の最大数分だけ転送モジュール２３０をストレージモジュール３００に搭載するのは、物理的に困難である場合があるためである。
実施例１では、同一の筐体内にサーバモジュール２００及びストレージモジュール３００を含むサーバ装置１００であったが、実施例２では、サーバモジュール２００及びストレージモジュール３００がそれぞれ独立した筐体である点が異なる。以下、実施例１との差異を中心に実施例２について説明する。
図７は、本発明の実施例２の計算機システムの構成例を示すブロック図である。
実施例２の計算機システムは、複数のサーバモジュール２００及び複数のストレージモジュール３００から構成される。
サーバモジュール２００及びストレージモジュール３００のハードウェア構成及びソフトウェア構成は、実施例１と同一であるため説明を省略する。
実施例２のサーバモジュール２００−１及びストレージモジュール３００−１は、メタルケーブル等の接続線を介して直接接続される点が実施例１と異なる。サーバモジュール２００のＩ／Ｆ２６０には２本の接続線が接続され、各接続線は、ストレージモジュール３００の異なるＩ／Ｆ３６０に接続される。その他の接続関係は実施例１と同一であるため説明を省略する。
実施例２の転送モジュール２３０が実行する処理は、実施例１の図５及び図６に示すものと同一であるため説明を省略する。
実施例２によれば、サーバモジュール２００及びストレージモジュール３００が異なる筐体であっても、高速なデータ転送を実現することができる。
実施例３では、サーバモジュール２００及びストレージモジュール３００がそれぞれ独立した筐体であり、それぞれが転送モジュールを有する点が実施例１と異なる。なお、実施例３では、ストレージモジュール３００が必要な数だけ転送モジュールを搭載可能な場合を想定する。
サーバモジュール２００のみが転送モジュール２３０を有する場合、ストレージモジュール３００は、ディスクコントローラ３１０から転送モジュール２３０までのＩ／Ｏバスを自身のＩ／Ｏ接続領域として管理する。
そのため、サーバモジュール２００とストレージモジュール３００との間の接続線に障害が発生した場合、ストレージモジュール３００は、Ｉ／Ｏ接続領域の障害発生と認識するため、ストレージモジュール３００全体が停止する可能性がある。そのため、ストレージモジュール３００における冗長化の構成が適切に反映されない。
したがって、実施例３では、ストレージモジュール３００が転送モジュール３８０を有する。この場合、ストレージモジュール３００は、ディスクコントローラ３１０から自身の転送モジュール３８０までのＩ／Ｏバスを自身のＩ／Ｏ接続領域として管理する。
以下、実施例１との差異を中心に実施例３について説明する。
図８は、本発明の実施例３の計算機システムの構成例を示すブロック図である。
実施例３の計算機システムは、複数のサーバモジュール２００及び複数のストレージモジュール３００から構成される。
実施例３のサーバモジュール２００のハードウェア構成及びソフトウェア構成は実施例１と同一であるため説明を省略する。
実施例３のストレージモジュール３００は、新たに転送モジュール３８０−１、３８０−２を有する。転送モジュール３８０−１はディスクコントローラ３１０−１に接続され、転送モジュール３８０−２はディスクコントローラ３１０−２に接続される。実施例３のストレージモジュール３００のソフトウェア構成は実施例１と同一であるため説明を省略する。
また、転送モジュール３８０−１、３８０−２の構成は、転送モジュール２３０と同一であるため説明を省略する。
実施例３では、サーバモジュール２００の転送モジュール２３０は、ブリッジとして機能する。すなわち、転送モジュール２３０内では、データ転送部２３１を介さず、ブリッジ２３５を介して接続ポート２３６間でデータが転送される。したがって、サーバモジュール２００は、転送モジュール２３０の代わりに一般的なブリッジを有していてもよい。
実施例３では、ストレージモジュール３００の転送モジュール３８０−１、３８０−２が図５及び図６に示すデータ転送処理を実行する。転送モジュール３８０−１、３８０−２は、それぞれ独立したデータ転送処理を実行する。
また、転送モジュール３８０は、サーバモジュール２００とストレージモジュール３００とを接続する接続線に障害が発生した場合に、転送モジュール３８０が接続されるディスクコントローラ３１０の状態をスタンバイ状態に移行させる。これによって、接続線の障害の影響範囲を最小限に抑えることができる。
例えば、サーバモジュール２００−１とディスクコントローラ３１０−１とを接続する接続線に障害が発生した場合、転送モジュール３８０−１は、ディスクコントローラ３１０−１をスタンバイ状態に移行させる。このとき、転送モジュール３８０−２が、データ転送処理を継続する。したがって、一つのサーバモジュール２００とストレージモジュール３００とを接続する接続線に障害が発生した場合であっても、他のサーバモジュール２００に当該障害の影響が及ぶのを抑止することができる。
なお、サーバモジュール２００内のＩ／Ｏバスに障害が発生した場合には、以下のような処理が実行される。サーバモジュール２００が有するチップセット（図示省略）のルートコンプレックスが、障害発生したＩ／Ｏバスの切離し等の縮退処理を実行する。ストレージモジュール３００内のＩ／Ｏバスに障害が発生した場合も同様の処理が実行される。
サーバモジュール２００の転送モジュール２３０をブリッジとして設定する方法としては、以下のようなものが考えられる。
サーバモジュール２００及びストレージモジュール３００を接続線で接続したときに、サーバモジュール２００のＯＳ２２１は、ストレージモジュール３００が転送モジュール３８０を有するか否かを問い合わせる。ＯＳ２２１は、ストレージモジュール３００が転送モジュール３８０を有する旨の応答を受信した場合、自身の転送モジュール２３０をブリッジとして設定する。
他の設定方法としては、システム管理者又はユーザが予め、サーバモジュール２００の転送モジュール２３０をブリッジとして設定する。
図８に示す例では、Ｉ／Ｆ３６０毎に異なる転送モジュール３８０が接続されているが本発明はこれに限定されない。例えば、転送モジュール３８０は一つであってもよい。この場合、一つの転送モジュール３８０がそれぞれ異なるＩ／Ｏバスを介してＩ／Ｆ３６０−１、３６０−２に接続される。また、転送モジュール３８０は、各機能部を論理的に分割することによって、Ｉ／Ｏ処理を並列実行する。
実施例３によれば、耐障害性を高め、かつ、高速なデータ転送を実現することができる。なお、実施例１においても、実施例３と同様の構成をとることが可能である。すなわち、ストレージモジュール３００−１が、転送モジュール３８０を備えていてもよい。
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
１００ サーバ装置
２００ サーバモジュール
２１０ プロセッサ
２２０ メモリ
２２１ ＯＳ
２２２ ストレージアクセス部
２２３ アプリケーション
２２４ 転送リスト
２３０ 転送モジュール
２３１ データ転送部
２３２ ＤＭＡコントローラ
２３３ データ検査部
２３４ プロトコルエンジン
２３５ ブリッジ
２３６ 接続ポート
２４０ ＨＢＡ
２５０ ＮＩＣ
２６０ Ｉ／Ｆ
３００ ストレージモジュール
３１０ ディスクコントローラ
３２０ プロセッサ
３３０ メモリ
３３１ ストレージ制御部
３３２ Ｉ／Ｏ処理部
３３３ 記憶装置制御部
３３４ 転送リスト
３５０ ＴＢＡ
３６０ Ｉ／Ｆ
３７０ 記憶装置
３８０ 転送モジュール
４００ バックプレーン
４１０ Ｉ／Ｆ
５００ ＳＡＮ
６００ ＬＡＮ

Claims (18)

  1. 第１のメモリと当該第１のメモリへのデータの書込みおよび読出しを制御する第１のプロセッサと第１のインターフェースとを備え、第１のデータ形式でデータを扱うサーバモジュールと、
    第２のメモリと複数の記憶デバイスと前記第２のメモリへのデータの書込みおよび読出しを制御し前記複数の記憶デバイスを用いて前記サーバモジュールにＲＡＩＤ構成に基づくＬＵを提供する第２のプロセッサと第２のインターフェースとを備え、第２のデータ形式でデータを扱うストレージモジュールと、を有する計算機システムであって、
    前記サーバモジュールと前記ストレージモジュールは、前記第１のインターフェースと前記第２のインターフェースを介して通信可能に接続され、
    前記サーバモジュールは、更に、前記第１のメモリと前記第２のメモリ間のＤＭＡ転送を制御する転送モジュールを有し、
    前記転送モジュールは、
    前記サーバモジュールの前記第１のプロセッサが読み出し要求を送信すると、
    当該読み出し要求に対応する前記ストレージモジュールの第２のメモリのアドレスを前記第２のプロセッサから取得し、当該アドレスに基づき前記第２のメモリから前記読み出し要求に対応するデータを読み出し、当該データから当該データの整合性を確認するための保証コードを削除することで当該データの形式を前記第２のデータ形式から前記第１のデータ形式に変換し、当該変換後のデータを前記サーバモジュールの第１のメモリへ書き込むことにより、前記第２のメモリから前記第１のメモリへのＤＭＡ転送を行う
    ことを特徴とする計算機システム。
  2. 請求項１に記載の計算機システムであって、
    前記サーバモジュールの前記第１のプロセッサが読み出し要求を送信すると、
    前記転送モジュールは、
    前記第１のプロセッサにより前記読み出し要求のために設定される前記第１のメモリ上の第１のアドレスを示す第１の転送リストを取得し、
    前記第２のプロセッサにより前記記憶デバイスから読みだされた前記読み出し要求に対応するデータを格納される前記第２のメモリ上の第２のアドレスを示す第２の転送リストを取得し、
    前記第１の転送リストと前記第２の転送リストとに基づいて、前記第１のアドレスと前記第２のアドレスを対応付ける変換リストを作成し、
    前記変換リストに従って、前記第２のメモリから前記第１のメモリへのＤＭＡ転送を実行し、
    前記第１のプロセッサは、前記ＤＭＡ転送の完了に応じて、前記読み要求に対応する完了通知を受領する
    ことを特徴とする計算機システム。
  3. 第１のメモリと当該第１のメモリへのデータの書込みおよび読出しを制御する第１のプロセッサと第１のインターフェースとを備え、第１のデータ形式でデータを扱うサーバモジュールと、
    第２のメモリと複数の記憶デバイスと前記第２のメモリへのデータの書込みおよび読出しを制御し前記複数の記憶デバイスを用いて前記サーバモジュールにＲＡＩＤ構成に基づくＬＵを提供する第２のプロセッサと第２のインターフェースとを備え、第２のデータ形式でデータを扱うストレージモジュールと、を有する計算機システムであって、
    前記サーバモジュールと前記ストレージモジュールは、前記第１のインターフェースと前記第２のインターフェースを介して通信可能に接続され、
    前記サーバモジュールは、更に、前記第１のメモリと前記第２のメモリ間のＤＭＡ転送を制御する転送モジュールを有し、
    前記転送モジュールは、
    前記サーバモジュールの前記第１のプロセッサが書き込み要求を送信すると、
    当該書込み要求に対応する前記ストレージモジュールの第２のメモリのアドレスを前記第２のプロセッサから取得し、前記サーバモジュールの第１のメモリから前記書込み要求に対応するデータを読み出し、当該データに当該データの整合性を確認するための保証コードを付与することで当該データを前記第１のデータ形式から前記第２のデータ形式に変換し、当該変換後のデータを前記アドレスに基づき前記第２のメモリに書き込むことにより、前記第１のメモリから前記第２のメモリへのＤＭＡ転送を行う
    ことを特徴とする計算機システム。
  4. 請求項３に記載の計算機システムであって、
    前記サーバモジュールの前記第１のプロセッサが書き込み要求を送信すると、
    前記転送モジュールは、
    前記第１のプロセッサにより前記書込み要求に対応するデータが格納される前記第１のメモリ上の第１のアドレスを示す第１の転送リストを取得し、
    前記第２のプロセッサにより前記書込み要求のために設定される前記第２のメモリ上の第２のアドレスを示す第２の転送リストを取得し、
    前記第１の転送リストと前記第２の転送リストとに基づいて、前記第１のアドレスと前記第２のアドレスを対応付ける変換リストを作成し、
    前記変換リストに従って、前記第１のメモリから前記第２のメモリへのＤＭＡ転送を実行し、
    前記第１のプロセッサは、前記ＤＭＡ転送の完了に応じて、前記読み要求に対応する完了通知を受領する
    ことを特徴とする計算機システム。
  5. 請求項１乃至請求項４のいずれかに記載の計算機システムであって、
    前記サーバモジュールと前記ストレージモジュールは、ＰＣＩeプロトコルに基づいて通信を行うことを特徴とする計算機システム。
  6. 請求項１乃至請求項５のいずれかに記載の計算機システムであって、
    前記第２のプロセッサは、前記読み出し要求もしくは前記書込み要求に応じて、対応するデータを前記第２のメモリに一時的に格納することを特徴とする計算機システム。
  7. 請求項１乃至請求項６のいずれかに記載の計算機システムであって、
    前記ストレージモジュールは、
    前記記憶デバイスと接続され、前記第２のプロセッサと前記第２のメモリを備える第１のコントローラと、
    前記記憶デバイスと接続され、第３のプロセッサと第３のメモリを備える第２のコントローラと、を有し
    前記転送モジュールは、前記第１のコントローラおよび前記第２のコントローラと接続されることを特徴とする計算機システム。
  8. 請求項７に記載の計算機システムであって、
    前記計算機システムは、第４のプロセッサと第４のメモリと他の転送モジュールを備える他のサーバモジュールを更に有し、
    前記他の転送モジュールは、前記第１のコントローラおよび前記第２のコントローラと接続されることを特徴とする計算機システム。
  9. 第１のメモリと当該第１のメモリへのデータの書込みおよび読出しを制御する第１のプロセッサと第１のインターフェースとを備え、第１のデータ形式でデータを扱うサーバモジュールと、
    第２のメモリと複数の記憶デバイスと前記第２のメモリへのデータの書込みおよび読出しを制御し前記複数の記憶デバイスを用いて前記サーバモジュールにＲＡＩＤ構成に基づくＬＵを提供する第２のプロセッサと第２のインターフェースとを備え、第２のデータ形式でデータを扱うストレージモジュールと、を有する計算機システムにおける、データ転送方法であって、
    前記サーバモジュールと前記ストレージモジュールは、前記第１のインターフェースと前記第２のインターフェースを介して通信可能に接続され、
    前記サーバモジュールは、更に、前記第１のメモリと前記第２のメモリ間のＤＭＡ転送を制御する転送モジュールを有し、
    前記転送モジュールは、
    前記サーバモジュールの前記第１のプロセッサが読み出し要求を送信すると、
    当該読み出し要求に対応する前記ストレージモジュールの第２のメモリのアドレスを前記第２のプロセッサから取得し、当該アドレスに基づき前記第２のメモリから前記読み出し要求に対応するデータを読み出し、当該データから当該データの整合性を確認するための保証コードを削除することで当該データの形式を前記第２のデータ形式から前記第１のデータ形式に変換し、当該変換後のデータを前記サーバモジュールの第１のメモリへ書き込むことにより、前記第２のメモリから前記第１のメモリへのＤＭＡ転送を行う
    ことを特徴とするデータ転送方法。
  10. 第１のメモリと当該第１のメモリへのデータ書込みおよび読出しを制御する第１のプロセッサと第１のインターフェースとを備え、第１のデータ形式でデータを扱うサーバモジュールと、
    第２のメモリと複数の記憶デバイスと前記第２のメモリへのデータの書込みおよび読出しを制御し前記複数の記憶デバイスを用いて前記サーバモジュールにＲＡＩＤ構成に基づくＬＵを提供する第２のプロセッサと第２のインターフェースとを備え、第２のデータ形式でデータを扱うストレージモジュールと、を有する計算機システムにおける、データ転送方法であって、
    前記サーバモジュールと前記ストレージモジュールは、前記第１のインターフェースと前記第２のインターフェースを介して通信可能に接続され、
    前記サーバモジュールは、更に、前記第１のメモリと前記第２のメモリ間のＤＭＡ転送を制御する転送モジュールを有し、
    前記転送モジュールは、
    前記サーバモジュールの前記第１のプロセッサが書き込み要求を送信すると、
    当該書き込み要求に対応する前記ストレージモジュールの第２のメモリのアドレスを前記第２のプロセッサから取得し、当該アドレスに基づき前記第１のメモリから前記書込み要求に対応するデータを読み出し、当該データに当該データの整合性を確認するための保証コードを付与することで当該データの形式を前記第１のデータ形式から前記第２のデータ形式のデータに変換し、当該変換後のデータを前記アドレスに基づき前記第２のメモリに書き込むことにより、前記第１のメモリから前記第２のメモリへのＤＭＡ転送を行う
    ことを特徴とするデータ転送方法。
  11. 請求項９乃至請求項１０のいずれかに記載のデータ転送方法であって、
    前記サーバモジュールと前記ストレージモジュールは、ＰＣＩｅプロトコルに基づいて通信を行うことを特徴とするデータ転送方法。
  12. 請求項９乃至請求項１１のいずれかに記載のデータ転送方法であって、
    前記ストレージモジュールは、
    前記記憶デバイスと接続され、前記第２のプロセッサと前記第２のメモリを備える第１のコントローラと、
    前記記憶デバイスと接続され、前記第３のプロセッサと前記第３のメモリを備える第２のコントローラと、を有し、
    前記転送モジュールは、前記第１のコントローラおよび前記第２のコントローラと接続されることを特徴とするデータ転送方法。
  13. 請求項１２に記載のデータ転送方法であって、
    前記計算機システムは、第４のプロセッサと第４のメモリと他の転送モジュールを備える他のサーバモジュールを更に有し、
    前記他の転送モジュールは、前記第１のコントローラおよび前記第２のコントローラと接続されることを特徴とするデータ転送方法。
  14. 第１のメモリと当該第１のメモリへのデータの書込みおよび読出しを制御する第１のプロセッサと第１のインターフェースとを備え、第１のデータ形式でデータを扱うサーバモジュールに搭載され、
    第２のメモリと複数の記憶デバイスと前記第２のメモリへのデータの書込みおよび読出しを制御し前記複数の記憶デバイスを用いて前記サーバモジュールにＲＡＩＤ構成に基づくＬＵを提供する第２のプロセッサと第２のインターフェースとを備え、第２のデータ形式でデータを扱うストレージモジュールと接続する転送モジュールであって、
    前記サーバモジュールと前記ストレージモジュールは、前記第１のインターフェースと前記第２のインターフェースを介して通信可能に接続され、
    前記サーバモジュールの前記第１のプロセッサが読み出し要求を送信すると、
    当該読み出し要求に対応する前記ストレージモジュールの第２のメモリのアドレスを前記第２のプロセッサから取得し、当該アドレスに基づき前記第２のメモリから前記読み出し要求に対応するデータを読み出し、当該データから当該データの整合性を確認するための保証コードを削除することで当該データの形式を前記第２のデータ形式から前記第１のデータ形式に変換し、当該変換後のデータを前記サーバモジュールの第１のメモリへ書き込むことにより、前記第２のメモリから前記第１のメモリへのＤＭＡ転送を行うことを特徴とする転送モジュール。
  15. 第１のメモリと当該第１のメモリへのデータの書込みおよび読出しを制御する第１のプロセッサと第１のインターフェースをと備え、第１のデータ形式でデータを扱うサーバモジュールに搭載され、
    第２のメモリと複数の記憶デバイスと前記第２のメモリへのデータの書込みおよび読出しを制御し前記複数の記憶デバイスを用いて前記サーバモジュールにＲＡＩＤ構成に基づくＬＵを提供する第２のプロセッサと第２のインターフェースとを備え、第２のデータ形式でデータを扱うストレージモジュールと接続する転送モジュールであって、
    前記サーバモジュールと前記ストレージモジュールは、前記第１のインターフェースと前記第２のインターフェースを介して通信可能に接続され、
    前記サーバモジュールの前記第１のプロセッサが書き込み要求を送信すると、
    当該書込み要求に対応する前記ストレージモジュールの第２のメモリのアドレスを前記第２のプロセッサから取得し、前記サーバモジュールの前記第１のメモリから前記書込み要求に対応するデータを読み出し、当該データに当該データの整合性を確認するための保証コードを付与することで当該データの形式を前記第１のデータ形式から前記第２のデータ形式に変換し、当該変換後のデータを前記アドレスに基づき前記第２のメモリに書き込むことにより、前記第１のメモリから前記第２のメモリへのＤＭＡ転送を行う
    ことを特徴とする転送モジュール。
  16. 請求項１４乃至請求項１５のいずれかに記載の転送モジュールであって、
    前記サーバモジュールと前記ストレージモジュールは、ＰＣＩｅプロトコルに基づいて通信を行うことを特徴とする転送モジュール。
  17. 請求項１４乃至請求項１６のいずれかに記載の転送モジュールであって、
    前記ストレージモジュールは、
    前記記憶デバイスと接続され、前記第２のプロセッサと前記第２のメモリを備える第１のコントローラと、
    前記記憶デバイスと接続され、前記第３のプロセッサと前記第３のメモリを備える第２のコントローラと、を有し、
    前記転送モジュールは前記第１のコントローラおよび前記第２のコントローラと接続されることを特徴とする転送モジュール。
  18. 請求項１７に記載の転送モジュールであって、
    前記第１のコントローラおよび前記第２のコントローラは、第４のプロセッサと第４のメモリと他の転送モジュールとを備える他のサーバモジュールと接続されることを特徴とする転送モジュール。
JP2013101842A 2013-05-14 2013-05-14 計算機システム、サーバモジュール及びストレージモジュール Expired - Fee Related JP5695126B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013101842A JP5695126B2 (ja) 2013-05-14 2013-05-14 計算機システム、サーバモジュール及びストレージモジュール
US14/045,631 US8868865B1 (en) 2013-05-14 2013-10-03 Computer system, server module, and storage module
EP14163093.9A EP2804109B1 (en) 2013-05-14 2014-04-01 Computer system, server module, and storage module
US14/453,729 US8959302B2 (en) 2013-05-14 2014-08-07 Computer system, server module, and storage module
US14/596,577 US9189418B2 (en) 2013-05-14 2015-01-14 Computer system, server module, and storage module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013101842A JP5695126B2 (ja) 2013-05-14 2013-05-14 計算機システム、サーバモジュール及びストレージモジュール

Publications (2)

Publication Number Publication Date
JP2014222426A JP2014222426A (ja) 2014-11-27
JP5695126B2 true JP5695126B2 (ja) 2015-04-01

Family

ID=50473054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013101842A Expired - Fee Related JP5695126B2 (ja) 2013-05-14 2013-05-14 計算機システム、サーバモジュール及びストレージモジュール

Country Status (3)

Country Link
US (3) US8868865B1 (ja)
EP (1) EP2804109B1 (ja)
JP (1) JP5695126B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336134B2 (en) * 2013-11-12 2016-05-10 Skyera, Llc Apparatus and method for accessing a non-volatile memory blade using multiple controllers in a non-volatile memory based storage device
US9229855B2 (en) * 2013-11-12 2016-01-05 Skyera, Llc Apparatus and method for routing information in a non-volatile memory-based storage device
TWI533215B (zh) * 2014-10-30 2016-05-11 緯創資通股份有限公司 開機方法及相關伺服器裝置
US10437747B2 (en) * 2015-04-10 2019-10-08 Rambus Inc. Memory appliance couplings and operations
JP6453457B2 (ja) * 2015-06-04 2019-01-16 株式会社日立製作所 ストレージ装置
US10360119B2 (en) * 2015-10-06 2019-07-23 Netapp, Inc. Data recovery in a distributed storage system
JP2017130002A (ja) * 2016-01-20 2017-07-27 富士通株式会社 ストレージ制御装置および制御プログラム
JP6703600B2 (ja) * 2016-04-27 2020-06-03 株式会社日立製作所 計算機システム及びサーバ
CN106776430A (zh) * 2016-12-12 2017-05-31 英业达科技有限公司 服务器系统
CN109491954A (zh) * 2018-11-05 2019-03-19 郑州云海信息技术有限公司 一种刀片服务器装配方法与刀片服务器
CN111200640B (zh) * 2019-12-23 2023-03-24 合肥美的智能科技有限公司 基于客户端的上传方法以及客户端

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737638A (en) * 1995-07-14 1998-04-07 International Business Machines Corporation System for determining plurality of data transformations to be performed upon single set of data during single transfer by examining communication data structure
JP4254178B2 (ja) * 2002-09-11 2009-04-15 富士ゼロックス株式会社 分散格納制御装置及び方法
US7216196B2 (en) * 2003-12-29 2007-05-08 Micron Technology, Inc. Memory hub and method for memory system performance monitoring
JP2006127300A (ja) 2004-10-29 2006-05-18 Hitachi Global Storage Technologies Netherlands Bv ホストと記憶デバイスとの間における通信方法、記憶デバイス、ホスト、記憶デバイスとホストを備えるシステム
US8190796B2 (en) * 2004-11-02 2012-05-29 Standard Microsystems Corporation Hardware supported peripheral component memory alignment method
JP4591185B2 (ja) * 2005-04-28 2010-12-01 株式会社日立製作所 サーバ装置
JP4977583B2 (ja) * 2007-11-22 2012-07-18 株式会社日立製作所 記憶制御装置及び記憶制御装置の制御方法
US20090248910A1 (en) * 2008-04-01 2009-10-01 Apple Inc. Central dma with arbitrary processing functions
CN101685381B (zh) * 2008-09-26 2013-07-24 美光科技公司 固态大容量存储装置的数据串流
JP2010092493A (ja) * 2009-11-24 2010-04-22 Toshiba Storage Device Corp インターフェース装置及びパケット転送方法
JP5482230B2 (ja) * 2010-01-25 2014-05-07 富士通株式会社 通信装置、情報処理装置、通信装置の制御方法及び制御プログラム
JP5351340B2 (ja) * 2010-06-24 2013-11-27 株式会社日立製作所 データ転送システム及びデータ転送方法
US9571576B2 (en) 2010-11-30 2017-02-14 International Business Machines Corporation Storage appliance, application server and method thereof
JP5760556B2 (ja) * 2011-03-18 2015-08-12 富士通株式会社 ストレージ装置、制御装置およびストレージ装置制御方法
US8554963B1 (en) 2012-03-23 2013-10-08 DSSD, Inc. Storage system with multicast DMA and unified address space
US8825910B2 (en) * 2012-04-06 2014-09-02 International Business Machines Corporation Pass-through converged network adaptor (CNA) using existing ethernet switching device

Also Published As

Publication number Publication date
EP2804109A3 (en) 2015-04-29
US9189418B2 (en) 2015-11-17
EP2804109A2 (en) 2014-11-19
US8868865B1 (en) 2014-10-21
US20150127872A1 (en) 2015-05-07
JP2014222426A (ja) 2014-11-27
US20140351360A1 (en) 2014-11-27
EP2804109B1 (en) 2016-09-21
US8959302B2 (en) 2015-02-17

Similar Documents

Publication Publication Date Title
JP5695126B2 (ja) 計算機システム、サーバモジュール及びストレージモジュール
US9298648B2 (en) Method and system for I/O flow management using RAID controller with DMA capabilitiy to directly send data to PCI-E devices connected to PCI-E switch
US9052829B2 (en) Methods and structure for improved I/O shipping in a clustered storage system
KR102457091B1 (ko) Nvme-of 이더넷 ssd에서 데이터 복제를 제공하기 위한 시스템 및 방법
US8074105B2 (en) High data availability SAS-based RAID system
US8412869B2 (en) Redundant storage virtualization computer system
US8402189B2 (en) Information processing apparatus and data transfer method
WO2015080690A1 (en) Method and apparatus for storing data
US8260980B2 (en) Simultaneous intermediate proxy direct memory access
US20130275668A1 (en) Data processing method and device
US20110282963A1 (en) Storage device and method of controlling storage device
JP2006092535A (ja) ストレージネットワークにおける内部ミラーオペレーション
WO2021012169A1 (zh) 一种提高存储系统可靠性的方法和相关装置
JP5511546B2 (ja) フォールトトレラントの計算機システム、複数の物理サーバとストレージ装置とに接続されるスイッチ装置、及び、サーバ同期制御方法
US9304842B2 (en) Computer system, control method for computer system and coupling module
WO2019008654A1 (ja) ストレージシステム、コピー制御方法、及び計算機システム
JP6825263B2 (ja) ストレージ制御装置、およびストレージシステム
US10380044B2 (en) Control apparatus, storage apparatus and computer-readable recording medium having stored therein control program
WO2018198336A1 (ja) ストレージシステム及びストレージ制御装置
TWI766594B (zh) 伺服器與應用於伺服器的控制方法
US20200133764A1 (en) Software-assisted fine-grained data protection for non-volatile memory storage devices
JP5910745B2 (ja) データバックアップ方法、及びインタフェースカード
US20130132621A1 (en) Method and apparatus to share hardware resources across storage controllers within a system using resource sharing module
JP2005301350A (ja) フォールトトレラントサーバ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150205

R150 Certificate of patent or registration of utility model

Ref document number: 5695126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees