JP6145337B2 - ネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラム - Google Patents

ネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラム Download PDF

Info

Publication number
JP6145337B2
JP6145337B2 JP2013138878A JP2013138878A JP6145337B2 JP 6145337 B2 JP6145337 B2 JP 6145337B2 JP 2013138878 A JP2013138878 A JP 2013138878A JP 2013138878 A JP2013138878 A JP 2013138878A JP 6145337 B2 JP6145337 B2 JP 6145337B2
Authority
JP
Japan
Prior art keywords
physical machine
network boot
hypervisor
setting information
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013138878A
Other languages
English (en)
Other versions
JP2015011658A (ja
Inventor
田中 俊介
俊介 田中
桑田 喜隆
喜隆 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2013138878A priority Critical patent/JP6145337B2/ja
Publication of JP2015011658A publication Critical patent/JP2015011658A/ja
Application granted granted Critical
Publication of JP6145337B2 publication Critical patent/JP6145337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラムに関する。
プロセッサやメモリ、ディスクなど物理マシンのコンピュータリソースを、ネットワークを介して利用させるコンピュータリソース提供システムが提供されている。クラウドなどともよばれるこのようなシステムは、例えば、物理マシンのコンピュータリソースを仮想的に分割したり統合したりする仮想化技術を用いて、コンピュータリソースを無駄のないように効率的に活用し、ネットワークを介して利用させるコンピュータリソース利用サービスを提供する。
一方、コンピュータ装置が起動する際に、ネットワークを介してOS(Operating System)等の情報を読み込んで起動するネットワークブート技術が研究されている(例えば、特許文献1)。
特開2012−18447号公報
しかしながら、上述のような仮想化技術に基づいてコンピュータリソース提供システムを構築する場合、コンピュータリソース提供システムが備える個々の物理マシンには、その物理マシンのコンピュータリソースを仮想化するための制御プログラムであるハイパーバイザが予めインストールされている必要がある。このため、コンピュータリソース提供システムの管理者は、例えばコンピュータリソース提供システムに新たな物理マシンを追加する場合、その物理マシンにハイパーバイザをインストールしたり、仮想マシンを起動させるための各種設定を行ったりする作業が必要になる。このような作業の手間を低減し、効率良くコンピュータリソース利用サービスを提供することが望ましい。
本発明は、このような状況に鑑みてなされたもので、コンピュータリソース提供システムが備えるコンピュータリソースの管理を支援するネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラムを提供する。
上述した課題を解決するために、本発明の一態様は、ネットワークを介して接続されたストレージ装置に記憶された仮想マシンイメージに基づいて動作する複数の物理マシンに接続されたネットワークブートサーバであって、物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムが記憶されるハイパーバイザプログラム記憶部と、物理マシンを識別する物理マシン識別情報ごとに、物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストが記憶される設定情報リスト記憶部と、物理マシンから、物理マシンを識別する物理マシン識別情報が含まれるネットワークブート要求を受信する通信部と、通信部がネットワークブート要求を受信すると、受信したネットワークブート要求に含まれる物理マシン識別情報に対応する物理マシン設定情報を読み出す抽出部と、ハイパーバイザプログラムと、抽出部が読み出した物理マシン設定情報とを、ネットワークブート要求の送信元である物理マシンに送信して物理マシンにハイパーバイザを起動させ、起動させたハイパーバイザに、ストレージ装置に接続させて仮想マシンイメージに基づいて仮想マシンを起動させる起動制御部と、を備えることを特徴とする。
また、本発明の一態様は、ハイパーバイザプログラム記憶部には、種類の異なる複数のハイパーバイザプログラムが記憶され、物理マシン設定情報には、対応する物理マシンに送信するハイパーバイザプログラムの種類を示す情報が含まれ、起動制御部は、物理マシン設定情報に含まれる種類が示すハイパーバイザプログラムを、ネットワークブート要求の送信元である物理マシンに送信することを特徴とする。
また、本発明の一態様は、物理マシンのコンピュータを、ネットワークブートサーバとして機能させるネットワークブートサービスプログラムが記憶されるネットワークブートサービスプログラム記憶部を備え、起動制御部は、ハイパーバイザプログラムと、設定情報リストと、ネットワークブートサービスプログラムとを、ネットワークブート要求の送信元である物理マシンに送信し、物理マシンのコンピュータを、ネットワークブートサーバとして機能させることを特徴とする。
また、本発明の一態様は、ストレージを備えるストレージ装置と、ストレージ装置に接続された複数の物理マシンと、複数の物理マシンに接続されたネットワークブートサーバとを備えるネットワークブートシステムであって、物理マシンは、ネットワークブートサーバに、物理マシンを識別する物理マシン識別情報が含まれるネットワークブート要求を送信するネットワークブート起動要求部を備え、ストレージ装置は、物理マシンにおいて起動される仮想マシンの仮想マシンイメージが記憶される仮想マシンイメージ記憶部を備え、ネットワークブートサーバは、物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムが記憶されるハイパーバイザプログラム記憶部と、物理マシンを識別する物理マシン識別情報ごとに、物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストが記憶される設定情報リスト記憶部と、物理マシンから送信されるネットワークブート要求を受信する通信部と、通信部がネットワークブート要求を受信すると、受信したネットワークブート要求に含まれる物理マシン識別情報に対応する物理マシン設定情報を読み出す抽出部と、ハイパーバイザプログラムと、抽出部が読み出した物理マシン設定情報とを、ネットワークブート要求の送信元である物理マシンに送信して物理マシンにハイパーバイザを起動させ、起動させたハイパーバイザに、ストレージ装置に接続させて仮想マシンイメージに基づいて仮想マシンを起動させる起動制御部と、を備えることを特徴とする。
また、本発明の一態様は、ネットワークを介して接続されたストレージ装置に記憶された仮想マシンイメージに基づいて動作する複数の物理マシンに接続され、物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムが記憶されるハイパーバイザプログラム記憶部と、物理マシンを識別する物理マシン識別情報ごとに、物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストが記憶される設定情報リスト記憶部と、を備えたネットワークブートサーバのネットワークブート制御方法であって、物理マシンから、物理マシンを識別する物理マシン識別情報が含まれるネットワークブート要求を受信するステップと、ネットワークブート要求を受信すると、受信したネットワークブート要求に含まれる物理マシン識別情報に対応する物理マシン設定情報を読み出すステップと、読み出した物理マシン設定情報と、ハイパーバイザプログラムとを、ネットワークブート要求の送信元である物理マシンに送信して物理マシンにハイパーバイザを起動させ、起動させたハイパーバイザに、ストレージ装置に接続させて仮想マシンイメージに基づいて仮想マシンを起動させるステップと、を備えることを特徴とする。
また、本発明の一態様は、ネットワークを介して接続されたストレージ装置に記憶された仮想マシンイメージに基づいて動作する複数の物理マシンに接続され、物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムが記憶されるハイパーバイザプログラム記憶部と、物理マシンを識別する物理マシン識別情報ごとに、物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストが記憶される設定情報リスト記憶部と、を備えたネットワークブートサーバのコンピュータに、物理マシンから、物理マシンを識別する物理マシン識別情報が含まれるネットワークブート要求を受信するステップと、ネットワークブート要求を受信すると、受信したネットワークブート要求に含まれる物理マシン識別情報に対応する物理マシン設定情報を読み出すステップと、読み出した物理マシン設定情報と、ハイパーバイザプログラムとを、ネットワークブート要求の送信元である物理マシンに送信して物理マシンにハイパーバイザを起動させ、起動させたハイパーバイザに、ストレージ装置に接続させて仮想マシンイメージに基づいて仮想マシンを起動させるステップと、を実行させるネットワークブート制御プログラムである。
以上説明したように、本発明によれば、ネットワークを介して接続されたストレージ装置に記憶された仮想マシンイメージに基づいて動作する複数の物理マシンに接続されたネットワークブートサーバが、物理マシンIDごとに、物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストを記憶し、物理マシンから、物理マシンIDが含まれるネットワークブート要求を受信し、受信したネットワークブート要求に含まれる物理マシンIDに対応する物理マシン設定情報を読み出し、物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムと、物理マシン設定情報とを、ネットワークブート要求の送信元である物理マシンに送信して物理マシンにハイパーバイザを起動させるようにしたので、コンピュータリソース提供システムが備えるリソースの管理を支援することができる。
本発明の第1の実施形態によるコンピュータリソース提供システムの構成を示すブロック図である。 本発明の第1の実施形態による設定情報リストのデータ例を示す図である。 本発明の第1の実施形態によるコンピュータリソース提供システムの動作例を示す図である。 本発明の第2の実施形態によるコンピュータリソース提供システムの構成を示すブロック図である。 本発明の第2の実施形態によるコンピュータリソース提供システムの動作例を示す図である。
以下、本発明の一実施形態について、図面を参照して説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態によるコンピュータリソース提供システム1の構成を示すブロック図である。
コンピュータリソース提供システム1は、物理マシン群100と、ストレージ装置群200と、ユーザ端末300と、ネットワークブートサーバ400とを備えている。物理マシン群100は、複数の物理マシン110−N(Nは正の整数。物理マシン110−1、物理マシン110−2、・・・)を備えている。複数の物理マシン110−Nは同様の構成であるので、特に区別しない場合には「−1」、「−2」等の記載を省略して物理マシン110として説明する。ストレージ装置群200は、複数のストレージ装置210−N(Nは正の整数。ストレージ装置210−1、ストレージ装置210−2、・・・)を備えている。複数のストレージ装置210−Nは同様の構成であるので、特に区別しない場合には「−1」、「−2」等の記載を省略してストレージ装置210として説明する。
ネットワークブートサーバ400および物理マシン110と、物理マシン110およびストレージ装置群200と、物理マシン110およびユーザ端末300とはネットワークを介して接続されている。本実施形態では、ネットワークとは、例えばLAN(Local Area Network)のような比較的近距離で容量の大きな情報を送受信可能なネットワークを想定するが、インターネット、WAN(Wide Area Network)、専用回線、電話通信網、移動通信システム、またはこれらの組み合わせ等によって構成される情報通信ネットワークであってもよい。
まず、本実施形態の概要を説明する。本実施形態のコンピュータリソース提供システム1は、物理マシン110が備えるコンピュータリソースを、ネットワークを介して接続されたユーザ端末300に利用させるものである。ユーザ端末300は、物理マシン110と通信を行うだけの性能があれば、物理マシン110のコンピュータリソースによりコンピュータ処理を実行させることができる。このようなシンクライアントシステムによれば、ユーザ端末300にはHDD(Hard disk drive)などのストレージが不要となり、またユーザ端末300に情報が残らないため、情報漏洩の防止にも効果的である。
さらに、本実施形態では、複数の物理マシン110のコンピュータリソースを効率良く活用するために、仮想化技術を用いて物理マシン110のコンピュータリソースを仮想化し、仮想マシンを起動する。ユーザ端末300は、このように物理マシン110に起動された仮想マシンにネットワークを介して接続する。物理マシン110に起動された仮想マシンは、ユーザ端末300に入力される操作に応じて動作する。
このように、物理マシン110に仮想マシンを起動させる場合、物理マシン110において、コンピュータリソースを仮想化するための制御プログラムであるハイパーバイザが動作する必要がある。このため、コンピュータリソース提供システム1の管理者は、例えばコンピュータリソース提供システム1に新たな物理マシン110を追加する場合、その物理マシン110にハイパーバイザをインストールしたり、仮想マシンを起動させるための各種設定を行ったりする作業が必要になる。そこで、本実施形態では、物理マシン110において動作するハイパーバイザ自体を、ネットワークブートにより起動するように構成する。さらに、物理マシン110を動作させるための仮想マシンイメージを、ネットワークを介して接続されたストレージ装置210に記憶させる。そして、物理マシン110のコンピュータリソース上で動作する仮想マシンを、ストレージ装置210に記憶されている仮想マシンイメージに基づいて動作させる。
これにより、物理マシン110についても、HDDなどのストレージが不要となる。また、コンピュータリソース提供システム1の管理者は、例えばコンピュータリソース提供システム1に新たな物理マシン110を追加する場合、その物理マシン110に対する設定作業等を行う必要がなくなり、自動的に仮想マシンを起動させ、動作させることができるようになる。すなわち、コンピュータリソース提供システム1において、仮想マシンを起動する物理マシン110の追加・取り外しが容易になり、コンピュータリソース提供システム1が備えるコンピュータリソースを効率良く管理することが可能になる。以下、このようなコンピュータリソース提供システム1の構成について、詳細に説明する。
物理マシン110は、プロセッサやメモリを備えるが、HDDを備えていないコンピュータ装置である。すなわち、物理マシン110は、電力が供給されないと情報が失われる揮発性の記憶装置(メモリ)を備えるが、電力が供給されなくても情報が失われない不揮発性の記憶装置(HDD)を備えない。したがって、物理マシン110は、自装置を動作させるOS等の各種プログラムを、自装置の内部に記憶しない。物理マシン110は、ネットワークを介して接続されたストレージ装置210に記憶された仮想マシンイメージに基づいて動作する。
物理マシン110−Nが備えるネットワーク起動要求部111−N(ネットワーク起動要求部111−1、ネットワーク起動要求部111−2、・・・)は同様の構成であるので、特に区別しない場合には「−1」、「−2」等の記載を省略してネットワーク起動要求部111として説明する。物理マシン110は、ネットワーク起動要求部111を備えている。
ネットワーク起動要求部111は、物理マシン110の電源がONになると、ネットワークブートサーバ400に、自身の物理マシン110を識別する物理マシンID(Identifier)が含まれるネットワークブート要求を送信する。物理マシンIDは、例えば物理マシン110のMAC(Media Access Control)アドレスであるが、本実施形態では、物理マシン110−1の物理マシンIDは「001」であり、物理マシン110−2の物理マシンIDは「002」であるとして例を説明する。例えば、ネットワーク起動要求部111は、PXE(Preboot eXecution Environment)によるネットワークブート要求を送信する。
ここで、物理マシン110は、ネットワークブートサーバ400に送信したネットワークブート要求に応じてネットワークブートサーバ400から送信されるハイパーバイザプログラムと物理マシン設定情報とを受信し、受信したハイパーバイザプログラムを起動する。また、受信した物理マシン設定情報に基づいて、ストレージ装置210に接続してストレージをマウントし、ストレージ装置210に記憶されている仮想マシンイメージに基づいて仮想マシン(例えば、仮想マシン112a−1、仮想マシン112a−2)を起動し、動作させる。
ストレージ装置210は、HDD等の不揮発性のストレージを備えたコンピュータ装置であり、物理マシン110を動作させる各種プログラムが記憶される。ストレージ装置210は、仮想マシンイメージ記憶部211を備えている。仮想マシンイメージ記憶部211には、物理マシン110において起動され、動作される仮想マシンの仮想マシンイメージが記憶される。例えば、仮想マシンイメージ記憶部211には、ユーザ端末300を利用するユーザごとに、そのユーザに利用させる仮想マシンのイメージファイルである仮想マシンイメージが記憶される。
ユーザ端末300は、ユーザに利用されるコンピュータ端末であり、物理マシン110に起動されている、自身のユーザに対応する仮想マシンに接続し、その仮想マシンをユーザに利用させる。図では、1台のユーザ端末300を明示しているが、複数のユーザの複数のユーザ端末300が物理マシン群100に接続されていてよい。
ネットワークブートサーバ400は、物理マシン群100に接続されたコンピュータ装置である。ネットワークブートサーバ400は、通信部410と、記憶部420と、制御部430とを備えている。
通信部410は、物理マシン110と情報を送受信する。例えば、通信部410は、理マシン110から、その物理マシンの物理マシンIDが含まれるネットワークブート要求を受信する。
記憶部420には、ネットワークブートサーバ400が動作する際に参照する各種情報が記憶される。記憶部420は、ハイパーバイザプログラム記憶部421と、設定情報リスト記憶部422とを備えている。
ハイパーバイザプログラム記憶部421には、物理マシン110においてハイパーバイザを動作させるためのハイパーバイザプログラム(実行バイナリ)が記憶される。ここで、ハイパーバイザプログラム記憶部421には、種類の異なる複数のハイパーバイザプログラムが記憶されるようにすることができる。例えばXen(登録商標)やVMWare(登録商標)等の複数の種類のハイパーバイザプログラムを記憶させておくことができる。
設定情報リスト記憶部422には、物理マシンを識別する物理マシンIDごとに、その物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた複数の設定情報が含まれる設定情報リストが記憶される。図2は、設定情報リスト記憶部422に記憶される設定情報リストのデータ例を示す図である。設定情報リストには、物理マシン群100が備える複数の物理マシン110の全ての物理マシンの物理マシンIDのそれぞれに、それぞれの物理マシン設定情報が対応付けられる。物理マシン設定情報には、例えば、対応する物理マシンに設定するIP(Internet Protocol)アドレス、その物理マシンに起動させるためのハイパーバイザプログラムの種類、その物理マシンに起動させる仮想マシンの数、その仮想マシンに設定するIPアドレス、仮想マシンの仮想マシンイメージを識別する仮想マシンイメージID、その仮想マシンを利用させるユーザを識別するユーザID等の情報が含まれる。ここでは、例えば物理マシン110−1の物理マシンIDである「001」に、このような物理マシン設定情報が対応付けられている。
ここでは、物理マシンIDと物理マシン設定情報とが直接対応付けられる例を示すが、例えばそれぞれの物理マシン設定情報をファイル化して記憶部420に別途記憶させておくこともできる。この場合、物理マシンIDと物理マシン設定ファイルのファイル名とを対応付けておくことにより、物理マシンIDに対応する物理マシン設定ファイルを特定することができる。
制御部430は、ネットワークブートサーバ400が備える各部を制御する。制御部430は、抽出部431と、起動制御部432とを備えている。
抽出部431は、通信部410が物理マシン110から送信されるネットワークブート要求を受信すると、受信したネットワークブート要求に含まれる物理マシンIDに対応する物理マシン設定情報を、設定情報リスト記憶部422から読み出す。
起動制御部432は、ハイパーバイザプログラム記憶部421に記憶されているハイパーバイザプログラムと、抽出部431が読み出した物理マシン設定情報とを、ネットワークブート要求の送信元である物理マシン110に送信してその物理マシン110にハイパーバイザを起動させる。これにより、物理マシン110に起動されたハイパーバイザは、対応するストレージ装置210に接続してマウントし、マウントしたストレージ装置210に記憶されている仮想マシンイメージに基づいて仮想マシンを起動させる。この際、起動制御部432は、物理マシン設定情報に含まれる種類が示すハイパーバイザプログラムをハイパーバイザプログラム記憶部421から読み出し、読み出したハイパーバイザプログラムを、ネットワークブート要求の送信元である物理マシン110に送信する。
ここで、起動制御部432は、例えば、物理マシン110に対してIPアドレス割り当てるDHCP(Dynamic Host Configuration Protocol)サーバ、物理マシン110に対してブートローダ(例えば、pxelinux)を送信するTFTP(Trivial File Transfer Protocol)サーバ等の機能を備えるようにしてもよい。
このように、本実施形態のコンピュータリソース提供システム1は、物理マシン110にハイパーバイザをネットワークブートさせるネットワークブートシステムとして構築される。
次に、図面を参照して、本実施形態によるコンピュータリソース提供システム1の動作例を説明する。図3は、本実施形態によるコンピュータリソース提供システム1の動作例を示す図である。
コンピュータリソース提供システム1の管理者等の操作に応じて、物理マシン110の電源がONになると(ステップS1)、物理マシン110のネットワーク起動要求部111は、自身の物理マシンIDが含まれるネットワークブート起動要求を、ネットワークブートサーバ400に送信する(ステップS2)。ネットワークブートサーバ400の通信部410が、物理マシン110から送信されたネットワークブート要求を受信すると、抽出部431は、ネットワークブート要求に含まれる物理マシンIDに対応付けられて設定情報リスト記憶部422に記憶されている物理マシン設定情報を読み出す(ステップS3)。
起動制御部432は、物理マシン設定情報に定められる種類のハイパーバイザソフトプログラムを、ハイパーバイザプログラム記憶部421から読み出す。起動制御部432は、読み出したハイパーバイザプログラムと、抽出部431が読み出した物理マシン設定情報とを、物理マシン110に送信する(ステップS4)。物理マシン110は、ネットワークブートサーバ400から送信されたハイパーバイザプログラムと、物理マシン設定情報とを受信する。物理マシン110は、受信した物理マシン設定情報に従って、受信したハイパーバイザプログラムに基づくハイパーバイザを起動する(ステップS5)。物理マシン110は、物理マシン設定情報に定められるストレージ装置210に接続し、ストレージをマウントする(ステップS6)。そして、ハイパーバイザは、物理マシン設定情報に従って、仮想マシンを起動する(ステップS7)。
以上説明したように、本実施形態によれば、ユーザ端末300にコンピュータリソースを提供する物理マシン110に仮想マシンを起動させるためのハイパーバイザを、ネットワークブートにより起動させることができる。これにより、コンピュータリソース提供システム1の管理者は、物理マシン110に予めハイパーバイザをインストールしたり、設定を行ったりする必要がなく、物理マシン110の電源を入れるだけで、ユーザ端末300にコンピュータリソースを提供するための環境を自動的に構築することができる。
これにより、例えば、コンピュータリソース提供システム1に新たな物理マシン110を追加したり、取り外したりする作業が簡単になる。例えば、物理マシン群100に新たな物理マシン110を追加する場合、設定情報リスト記憶部422に記憶されている設定情報リストに、新たに追加する物理マシン110に関する設定情報を追加して記憶させておき、物理マシン群100のネットワークに新たな物理マシン110に接続させて起動させるだけで、自動的に環境を構築させることができる。これにより、例えば、デスクトップ用途で使っていたPC(Personal computer)を物理マシン群100のネットワークに接続することにより、コンピュータリソース提供システム1のコンピュータリソースとして簡単に再利用させることもできる。この際、新たに接続するPCからはHDDを外してから接続してもよいし、外さなくてもよい。すなわち、本実施形態では、物理マシン110はHDDを備えないコンピュータ装置であるとして例を説明したが、物理マシン110は、HDDを備えていてもよい。
また、設定情報リスト記憶部422に記憶されている物理マシン設定情報に含まれるハイパーバイザの種類を書き換えて記憶させれば、物理マシン110に起動されるハイパーバイザの種類を容易に変更させることができる。すなわち、コンピュータリソース提供システム1を、マルチハイパーバイザクラウドとして構築することができる。
さらに、物理マシン110には、仮想マシンを起動させるだけでなく、マシンイメージを実行させることもできる。これにより、仮想マシンによるクラウドと、中断再開型ベアメタルクラウドとを併用して利用させることができる。
さらに、ネットワークブート型のシンクライアントデスクトップ環境を、仮想マシン方式で構築することが可能になる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。上述したように、第1の実施形態において説明したコンピュータリソース提供システム1によれば、HDDを内蔵していない物理マシン110においてハイパーバイザを実行でき、物理マシン110にハイパーバイザをインストールさせる作業が不要になる。ただし、多数(例えば、数十台、数百台)の物理マシン110の電源を一斉にONした場合、多数の物理マシン110からのネットワークブート要求が一斉にネットワークブートサーバ400に送信されることが考えられる。この場合、物理マシン群100とネットワークブートサーバ400との間のトラフィックが輻輳することや、ネットワークブートサーバ400による応答処理が過負荷になることがあると考えられる。
そこで、第1の実施形態におけるネットワークブートサーバ400に相当するサーバを複数用意して、ネットワークブート要求を分散させることができる。本実施形態では、ネットワークブートサーバ400に相当する機能を有するサーバを、物理マシン群が備える物理マシンにネットワークブートにより起動させることで、コンピュータリソースを有効利用する。以下、このような本実施形態のコンピュータリソース提供システム1000について詳細に説明する。
図4は、本発明の第2の実施形態によるコンピュータリソース提供システム1000の構成を示すブロック図である。
コンピュータリソース提供システム1000は、物理マシン群1100と、ストレージ装置群1200と、ユーザ端末1300と、ネットワークブートサーバ1400とを備えている。物理マシン群1100と、ストレージ装置群1200と、ユーザ端末1300と、ネットワークブートサーバ1400とは、それぞれ物理マシン群100と、ストレージ装置群200と、ユーザ端末300と、ネットワークブートサーバ400と同様の構成である。
ネットワークブートサーバ1400は、通信部1410と、記憶部1420と、制御部1430とを備えている。記憶部1420は、ハイパーバイザプログラム記憶部1421と、設定情報リスト記憶部1422と、ネットワークブートサービスプログラム記憶部1423を備えている。
ハイパーバイザプログラム記憶部1421は、ハイパーバイザプログラム記憶部421と同様の構成である。
設定情報リスト記憶部1422は、設定情報リスト記憶部422と同様の構成である。ただし、第1の実施形態におけるネットワークブートサーバ400として動作させる物理マシン1110の物理マシン設定情報には、対応する物理マシン1110をネットワークブートサーバとして機能させるための各種設定情報が含まれる。
ネットワークブートサービスプログラム記憶部1423には、物理マシン1110のコンピュータを、第1の実施形態におけるネットワークブートサーバ400として機能させるネットワークブートサービスプログラムが記憶される。
制御部1430は、抽出部1431と、起動制御部1432とを備えている。
抽出部1431は、抽出部431と同様の構成である。
起動制御部1432は、ハイパーバイザプログラム記憶部1421に記憶されているハイパーバイザプログラムと、設定情報リスト記憶部1422に記憶されている設定情報リストと、ネットワークブートサービスプログラム記憶部1423に記憶されているネットワークブートサービスプログラムとを、ネットワークブート要求の送信元である物理マシン1110に送信し、その物理マシン1110のコンピュータを、第1の実施形態におけるネットワークブートサーバ400として機能させる。
本実施形態では、物理マシン群1100が備える物理マシン1110−1が、ネットワークブートにより仮想マシンを起動するのではなく、ネットワークブートにより、第1の実施形態におけるネットワークブートサーバ400と同様の構成を備えるコンピュータ装置として起動する。
物理マシン1110−1は、ネットワーク起動要求部1111−1と、通信部1112と、記憶部1113と、ハイパーバイザプログラム記憶部1114と、設定情報リスト記憶部1115と、制御部1116と、抽出部1117と、起動制御部1118とを備えている。ネットワーク起動要求部1111−1は、ネットワーク起動要求部111と同様の構成である。ただし、ネットワーク起動要求部1111−1が、ネットワークブートサーバ1400に対して送信したネットワークブート要求に応じて、ネットワークブートサーバ1400により、ハイパーバイザプログラムと、設定情報リストと、ネットワークブートサービスプログラムとが送信される。
通信部1112と、記憶部1113と、ハイパーバイザプログラム記憶部1114と、設定情報リスト記憶部1115と、制御部1116と、抽出部1117と、起動制御部1118との機能部は、それぞれ通信部410と、記憶部420と、ハイパーバイザプログラム記憶部421と、設定情報リスト記憶部422と、制御部430と、抽出部431と、起動制御部432と同様の構成であり、ネットワークブートサーバ1400から送信されるネットワークブートサービスプログラムに基づいて構成される。ハイパーバイザプログラム記憶部1114には、ネットワークブートサーバ1400から送信されたハイパーバイザプログラムが記憶される。設定情報リスト記憶部1115には、ネットワークブートサーバ1400から送信された設定情報リストが記憶される。記憶部1113は、物理マシン1110が備える揮発性のメモリに記憶されるものとして構成することができる。ただし、記憶部1113に記憶する情報の容量が大きい場合には、ストレージ装置1210のストレージをマウントして利用してもよい。
本実施形態において、ネットワークブートサーバとして機能しない物理マシン1110(例えば、物理マシン1110−2)は、ネットワークブートサーバとして機能する物理マシン1110(例えば、物理マシン1110−1)に対してネットワークブート要求を送信する。具体的には、例えば、物理マシン1110−2は、ネットワークブート要求を、自身が接続されたネットワークにブロードキャストで送信する。ネットワークブートサーバ1400は、物理マシン1110−2から送信されたネットワークブート要求を無視する。ネットワークブートサーバとして機能する物理マシン1110−1は、物理マシン1110−2から送信されたネットワークブート要求に応答する。
次に、図面を参照して、本実施形態によるコンピュータリソース提供システム1000の動作例を説明する。図5は、本実施形態によるコンピュータリソース提供システム1000の動作例を示す図である。
コンピュータリソース提供システム1000の管理者等の操作に応じて、物理マシン1110−1の電源がONになると(ステップS11)、物理マシン1110−1のネットワーク起動要求部1111−1は、自身の物理マシンIDが含まれるネットワークブート起動要求を、ネットワークブートサーバ1400に送信する(ステップS12)。ネットワークブートサーバ1400の通信部1410が、物理マシン1110−1から送信されたネットワークブート要求を受信すると、抽出部1431は、ハイパーバイザプログラム記憶部1421に記憶されている全てのハイパーバイザプログラムと、設定情報リスト記憶部1422に記憶されている全ての設定情報が含まれる設定情報リストと、ネットワークブートサービスプログラム記憶部1423に記憶されているネットワークブートサービスプログラムとを読み出す(ステップS13)。
起動制御部432は、抽出部1431が読み出したハイパーバイザプログラムと、設定情報リストと、ネットワークブートサービスプログラムとを、物理マシン1110−1に送信する(ステップS14)。物理マシン1110−1は、ネットワークブートサーバ1400から送信されたハイパーバイザプログラムと、設定情報リストと、ネットワークブートサービスプログラムとを受信する。物理マシン1110−1は、受信したネットワークブートサービスプログラムに基づいて、ネットワークブートサービスを起動し、自身のコンピュータを、通信部1112と、記憶部1113と、制御部1116として機能させる(ステップS15)。ここで、物理マシン1110−1は、ネットワークブートサーバ1400から送信されたハイパーバイザプログラムをハイパーバイザプログラム記憶部1114に記憶させ、ネットワークブートサーバ1400から送信された設定情報リストを、設定情報リスト記憶部1115に記憶させる。
以降、ステップS16からステップS22までの処理は、第1の実施形態におけるステップS1からステップS7までの処理と同様である。すなわち、コンピュータリソース提供システム1000の管理者等の操作に応じて、物理マシン1100−2の電源がONになると(ステップS16)、物理マシン1100−2のネットワーク起動要求部1111−2は、自身の物理マシンIDが含まれるネットワークブート起動要求を、物理マシン1110−1に送信する(ステップS17)。物理マシン1110−1の通信部1112が、物理マシン1110−2から送信されたネットワークブート要求を受信すると、抽出部1117は、ネットワークブート要求に含まれる物理マシンIDに対応付けられて設定情報リスト記憶部1115に記憶されている物理マシン設定情報を読み出す(ステップS18)。
起動制御部1118は、物理マシン設定情報に定められる種類のハイパーバイザソフトプログラムを、ハイパーバイザプログラム記憶部1114から読み出す。起動制御部1118は、読み出したハイパーバイザプログラムと、抽出部1117が読み出した物理マシン設定情報とを、物理マシン1110−2に送信する(ステップS19)。物理マシン1110−2は、物理マシン1110−1から送信されたハイパーバイザプログラムと、物理マシン設定情報とを受信する。物理マシン1110−2は、受信した物理マシン設定情報に従って、受信したハイパーバイザプログラムに基づくハイパーバイザを起動する(ステップS20)。物理マシン1110−2は、物理マシン設定情報に定められるストレージ装置1210に接続し、ストレージをマウントする(ステップS21)。そして、ハイパーバイザは、物理マシン設定情報に従って、仮想マシンを起動する(ステップS22)。
このようにすれば、物理マシン群100からネットワークブートサーバ1400に対してネットワークブート要求が送信されるのは、ネットワークサーバとして機能する物理マシン1110−1からのみであるため、物理マシン群1100とネットワークブートサーバ1400との間のトラフィックが輻輳することを防ぐことができる。
また、複数台の物理マシン1110を、ネットワークサーバとして機能させることもできる。このようにすれば、ネットワークサーバとして機能しない物理マシン1110から送信されるネットワークブート要求を、ネットワークサーバとして機能する複数の物理マシン1110に分散させることができる。これにより、ネットワークブート要求に対する応答処理が1台のネットワークサーバに集中することを防ぐことが可能となる。
なお、複数台の物理マシン1110をネットワークサーバとして機能させる場合、ネットワークサーバとして機能する複数の物理マシン1110ごとに、その物理マシン1110がネットワークブート要求に応答する他の物理マシン1110の範囲を定めておくことができる。
また、上述の実施形態では、ネットワークブートサーバ1400は、ネットワークサーバとして機能する複数の物理マシン1110からのネットワークブート要求にのみ応答する例を示したが、ネットワークサーバとして機能しない物理マシン1110から送信されるネットワークブート要求であっても、例えば予め定められた範囲の物理マシン1110からのネットワークブート要求には応答するようにしてもよい。
また、第2の実施形態によれば、物理マシン群1100が備える1台以上の物理マシン1110をネットワークブートサーバとして利用することになるため、その分、ユーザ端末1300に対して提供することができる物理マシン1110の数は減ることになる。このため、物理マシン群1100が備える物理マシン1110の数や、特定の時間帯に一斉にネットワークブート要求を送信することが予想される物理マシン1110の数等に応じて、第1の実施形態によるコンピュータリソース提供システム1と、第2の実施形態によるコンピュータリソース提供システム1000とのうち、好適なシステムを構築するようにしてよい。あるいは、状況に応じて、コンピュータリソース提供システム1とコンピュータリソース提供システム1000とを切り替えて動作させるようにしてもよい。
なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりネットワークブートを行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した機能の一部または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1 コンピュータリソース提供システム
100 物理マシン群
110 物理マシン
111 ネットワーク起動要求部
112 仮想マシン
200 ストレージ装置群
210 ストレージ装置
211 仮想マシンイメージ記憶部
300 ユーザ端末
400 ネットワークブートサーバ
410 通信部
420 記憶部
421 ハイパーバイザプログラム記憶部
422 設定情報リスト記憶部
430 制御部
431 抽出部
432 起動制御部
1000 コンピュータリソース提供システム
1100 物理マシン群
1110 物理マシン
1111 ネットワーク起動要求部
1112 通信部
1113 記憶部
1114 ハイパーバイザプログラム記憶部
1115 設定情報リスト記憶部
1116 制御部
1117 抽出部
1118 起動制御部
1200 ストレージ装置群
1210 ストレージ装置
1211 仮想マシンイメージ記憶部
1300 ユーザ端末
1400 ネットワークブートサーバ
1410 通信部
1420 記憶部
1421 ハイパーバイザプログラム記憶部
1422 設定情報リスト記憶部
1430 制御部
1431 抽出部
1432 起動制御部
1423 ネットワークブートサービスプログラム記憶部

Claims (6)

  1. ネットワークを介して接続されたストレージ装置に記憶された仮想マシンイメージに基づいて動作する複数の物理マシンに接続されたネットワークブートサーバであって、
    前記物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムが記憶されるハイパーバイザプログラム記憶部と、
    前記物理マシンを識別する物理マシン識別情報ごとに、当該物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストが記憶される設定情報リスト記憶部と、
    前記物理マシンから、当該物理マシンを識別する物理マシン識別情報が含まれるネットワークブート要求を受信する通信部と、
    前記通信部が前記ネットワークブート要求を受信すると、受信した当該ネットワークブート要求に含まれる前記物理マシン識別情報に対応する前記物理マシン設定情報を読み出す抽出部と、
    前記ハイパーバイザプログラムと、前記抽出部が読み出した前記物理マシン設定情報とを、前記ネットワークブート要求の送信元である前記物理マシンに送信して当該物理マシンに前記ハイパーバイザを起動させ、起動させた当該ハイパーバイザに、前記ストレージ装置に接続させて仮想マシンイメージに基づいて仮想マシンを起動させる起動制御部と、
    を備えることを特徴とするネットワークブートサーバ。
  2. 前記ハイパーバイザプログラム記憶部には、種類の異なる複数の前記ハイパーバイザプログラムが記憶され、
    前記物理マシン設定情報には、対応する前記物理マシンに送信する前記ハイパーバイザプログラムの種類を示す情報が含まれ、
    前記起動制御部は、前記物理マシン設定情報に含まれる前記種類が示す前記ハイパーバイザプログラムを、前記ネットワークブート要求の送信元である前記物理マシンに送信する
    ことを特徴とする請求項1に記載のネットワークブートサーバ。
  3. 前記物理マシンのコンピュータを、前記ネットワークブートサーバとして機能させるネットワークブートサービスプログラムが記憶されるネットワークブートサービスプログラム記憶部を備え、
    前記起動制御部は、前記ハイパーバイザプログラムと、前記設定情報リストと、前記ネットワークブートサービスプログラムとを、前記ネットワークブート要求の送信元である前記物理マシンに送信し、前記物理マシンのコンピュータを、前記ネットワークブートサーバとして機能させる
    ことを特徴とする請求項1または請求項2に記載のネットワークブートサーバ。
  4. ストレージを備えるストレージ装置と、当該ストレージ装置に接続された複数の物理マシンと、当該複数の物理マシンに接続されたネットワークブートサーバとを備えるネットワークブートシステムであって、
    前記物理マシンは、
    前記ネットワークブートサーバに、当該物理マシンを識別する物理マシン識別情報が含まれるネットワークブート要求を送信するネットワークブート起動要求部を備え、
    前記ストレージ装置は、
    前記物理マシンにおいて起動される仮想マシンの仮想マシンイメージが記憶される仮想マシンイメージ記憶部を備え、
    前記ネットワークブートサーバは、
    前記物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムが記憶されるハイパーバイザプログラム記憶部と、
    前記物理マシンを識別する物理マシン識別情報ごとに、当該物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストが記憶される設定情報リスト記憶部と、
    前記物理マシンから送信される前記ネットワークブート要求を受信する通信部と、
    前記通信部が前記ネットワークブート要求を受信すると、受信した当該ネットワークブート要求に含まれる前記物理マシン識別情報に対応する前記物理マシン設定情報を読み出す抽出部と、
    前記ハイパーバイザプログラムと、前記抽出部が読み出した前記物理マシン設定情報とを、前記ネットワークブート要求の送信元である前記物理マシンに送信して当該物理マシンに前記ハイパーバイザを起動させ、起動させた当該ハイパーバイザに、前記ストレージ装置に接続させて仮想マシンイメージに基づいて仮想マシンを起動させる起動制御部と、を備える
    ことを特徴とするネットワークブートシステム。
  5. ネットワークを介して接続されたストレージ装置に記憶された仮想マシンイメージに基づいて動作する複数の物理マシンに接続され、前記物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムが記憶されるハイパーバイザプログラム記憶部と、前記物理マシンを識別する物理マシン識別情報ごとに、当該物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストが記憶される設定情報リスト記憶部と、を備えたネットワークブートサーバのネットワークブート制御方法であって、
    前記物理マシンから、当該物理マシンを識別する物理マシン識別情報が含まれるネットワークブート要求を受信するステップと、
    前記ネットワークブート要求を受信すると、受信した当該ネットワークブート要求に含まれる前記物理マシン識別情報に対応する前記物理マシン設定情報を読み出すステップと、
    読み出した前記物理マシン設定情報と、前記ハイパーバイザプログラムとを、前記ネットワークブート要求の送信元である前記物理マシンに送信して当該物理マシンに前記ハイパーバイザを起動させ、起動させた当該ハイパーバイザに、前記ストレージ装置に接続させて仮想マシンイメージに基づいて仮想マシンを起動させるステップと、
    を備えることを特徴とするネットワークブート制御方法。
  6. ネットワークを介して接続されたストレージ装置に記憶された仮想マシンイメージに基づいて動作する複数の物理マシンに接続され、前記物理マシンにおいてハイパーバイザを動作させるためのハイパーバイザプログラムが記憶されるハイパーバイザプログラム記憶部と、前記物理マシンを識別する物理マシン識別情報ごとに、当該物理マシンに起動させる仮想マシンに関する物理マシン設定情報が対応付けられた設定情報リストが記憶される設定情報リスト記憶部と、を備えたネットワークブートサーバのコンピュータに、
    前記物理マシンから、当該物理マシンを識別する物理マシン識別情報が含まれるネットワークブート要求を受信するステップと、
    前記ネットワークブート要求を受信すると、受信した当該ネットワークブート要求に含まれる前記物理マシン識別情報に対応する前記物理マシン設定情報を読み出すステップと、
    読み出した前記物理マシン設定情報と、前記ハイパーバイザプログラムとを、前記ネットワークブート要求の送信元である前記物理マシンに送信して当該物理マシンに前記ハイパーバイザを起動させ、起動させた当該ハイパーバイザに、前記ストレージ装置に接続させて仮想マシンイメージに基づいて仮想マシンを起動させるステップと、
    を実行させるネットワークブート制御プログラム。
JP2013138878A 2013-07-02 2013-07-02 ネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラム Active JP6145337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013138878A JP6145337B2 (ja) 2013-07-02 2013-07-02 ネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013138878A JP6145337B2 (ja) 2013-07-02 2013-07-02 ネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラム

Publications (2)

Publication Number Publication Date
JP2015011658A JP2015011658A (ja) 2015-01-19
JP6145337B2 true JP6145337B2 (ja) 2017-06-07

Family

ID=52304724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013138878A Active JP6145337B2 (ja) 2013-07-02 2013-07-02 ネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラム

Country Status (1)

Country Link
JP (1) JP6145337B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857956B (zh) * 2020-07-21 2024-03-12 上海云轴信息科技有限公司 虚拟机启动方法及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211640A (ja) * 2008-03-06 2009-09-17 Nec Corp 無線lanを使用したネットワークブート方法およびネットワークブート用端末
US8631404B2 (en) * 2010-02-18 2014-01-14 Red Hat Israel, Ltd. Mechanism for downloading hypervisor updates via a virtual hardware device using existing virtual machine-host channels

Also Published As

Publication number Publication date
JP2015011658A (ja) 2015-01-19

Similar Documents

Publication Publication Date Title
US20210143999A1 (en) Methods and apparatus to manage credentials in hyper-converged infrastructures
US10908999B2 (en) Network block device based continuous replication for Kubernetes container management systems
US10402183B2 (en) Method and system for network-less guest OS and software provisioning
US20200344326A1 (en) Cloud controller providing architecture-based installations
US9032200B2 (en) Method of installing virtual service processor (VSP) to computing device and application of the same
US10044795B2 (en) Methods and apparatus for rack deployments for virtual computing environments
US9471331B2 (en) Maintaining resource availability during maintenance operations
US11093259B2 (en) Remote provisioning of hosts in public clouds
US8621460B2 (en) Endpoint-hosted hypervisor management
US20120239729A1 (en) Methods and apparatus for connecting a thin client to a virtual desktop
US8463882B2 (en) Server cloning in a computing-on-demand system
CN101820387B (zh) 一种易扩展的快速机群部署方法
US20190007369A1 (en) Assigning ip addresses and configuration parameters in hyper-converged infrastructure
GB2516842A (en) Deployment of software images with distinct configuration logic
TWI648637B (zh) 於平台部署與操作行動作業系統的系統及其方法
US20190281012A1 (en) Information processing apparatus and information processing apparatus management system
JP2009211640A (ja) 無線lanを使用したネットワークブート方法およびネットワークブート用端末
JP6145337B2 (ja) ネットワークブートサーバ、ネットワークブートシステム、ネットワークブート制御方法、ネットワークブート制御プログラム
US20170034120A1 (en) Network device setting method and information processing device
US11080079B2 (en) Autonomously reproducing and destructing virtual machines
JP2013254337A (ja) 仮想化装置、仮想化制御方法、仮想化装置制御プログラム
JP5695689B2 (ja) ネットワークブートシステム及びネットワークブート方法
JP5073171B2 (ja) ネットワークブートシステム、クライアント端末の起動方法、および管理サーバ
CN113076171B (zh) 虚拟机装机方法及装置
WO2023031994A1 (ja) サーバ装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170515

R150 Certificate of patent or registration of utility model

Ref document number: 6145337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250