JP7331374B2 - リソース管理装置およびリソース管理方法 - Google Patents
リソース管理装置およびリソース管理方法 Download PDFInfo
- Publication number
- JP7331374B2 JP7331374B2 JP2019025136A JP2019025136A JP7331374B2 JP 7331374 B2 JP7331374 B2 JP 7331374B2 JP 2019025136 A JP2019025136 A JP 2019025136A JP 2019025136 A JP2019025136 A JP 2019025136A JP 7331374 B2 JP7331374 B2 JP 7331374B2
- Authority
- JP
- Japan
- Prior art keywords
- guest
- processing
- priority
- resource management
- host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
本発明は、仮想化システムのリソース管理装置およびリソース管理方法に関する。
従来、システム内のリソース利用状態を適切に管理することによって、システムの処理効率を向上させる技術が提案されている。
例えば、下記特許文献１には、仮想環境下において帯域保証を実現するために、パケットの優先度に応じてホスト－ゲスト区間の帯域保証を行う技術が開示されている。
また、下記特許文献２には、リアルタイムＯＳ（Operating System）のタスクスケジューリングにおいて、優先度の高いタスクと優先度の低いタスクがあった場合に、優先度の低いタスクにもＣＰＵリソースが割り当たるように、レディ状態にあるタスクからディスパッチする技術が開示されている。
また、下記特許文献３には、パケットの優先度に応じて、タスクスケジューリングの処理タスク割当ての優先度を設定し、優先度に応じてタスクの横取りを行う技術が開示されている。
例えば、下記特許文献１には、仮想環境下において帯域保証を実現するために、パケットの優先度に応じてホスト－ゲスト区間の帯域保証を行う技術が開示されている。
また、下記特許文献２には、リアルタイムＯＳ（Operating System）のタスクスケジューリングにおいて、優先度の高いタスクと優先度の低いタスクがあった場合に、優先度の低いタスクにもＣＰＵリソースが割り当たるように、レディ状態にあるタスクからディスパッチする技術が開示されている。
また、下記特許文献３には、パケットの優先度に応じて、タスクスケジューリングの処理タスク割当ての優先度を設定し、優先度に応じてタスクの横取りを行う技術が開示されている。
サーバ仮想化環境下において、複数の仮想マシンがＣＰＵリソースを共有して動作するために、ＣＦＳ（Completely Fare Scheduler）等のタスクスケジューラにより、複数のゲスト（例えば第１のゲストと第２のゲスト）がＣＰＵを使用できる時間を交互に切り替えて、ＣＰＵタイムを割り当てる技術が提案されている（例えば、Ｌｉｎｕｘ（登録商標） ｋｅｒｎｅｌ ２．６．２３以降にはＣＦＳが搭載されている）。
このような構成では、一方のゲストがＣＰＵを使用している時間は、他方のゲストがＣＰＵを使用した処理を行えないため、ＣＰＵタイム待ちによるネットワーク遅延が発生する可能性がある。例えば、ホストが処理したパケットを第１のゲストが更に処理する場合、パケットの転送レートが高速（例えば１Ｇｂｐｓ以上等）であると、ホストが処理したパケットを第１のゲストに割り当てられたＣＰＵタイム内に処理しきれず、第１のゲストが保有するキューに処理待ちパケットが蓄積し、数百ｍｓ程度の大きな遅延が発生する場合がある。
図４は、ＣＰＵタイムとパケット処理の関係を模式的に示す説明図である。
図４では、縦軸方向に時間を取り、ホストが処理したパケットを第１のゲスト（Ｇｕｅｓｔ１）が更に処理する場合について、左側にホストにおけるパケット処理状況を、右側に第１のゲストにおけるパケット処理状況を、それぞれ模式的に示している。
図４では、縦軸方向に時間を取り、ホストが処理したパケットを第１のゲスト（Ｇｕｅｓｔ１）が更に処理する場合について、左側にホストにおけるパケット処理状況を、右側に第１のゲストにおけるパケット処理状況を、それぞれ模式的に示している。
ホストはＣＰＵを占有しているためパケット処理を継続的に行えるのに対して、ゲスト側では第１のゲストと第２のゲスト（Ｇｕｅｓｔ２）とによりＣＰＵを共有しているためパケット処理が断続的となる。
よって、第１のゲストは、ホストから到着するパケットの処理をＣＰＵタイム内に完了することができず、キューに貯め込んでいく。処理が進んでいくと、ホストから第１のゲストにパケットが到着してから処理を実行するまで複数ＣＰＵサイクル待つ必要があり、遅延が生じる。例えば、時刻Ｔ２の時点において第１のゲストで完了している処理は、ホストが時刻Ｔ１までに引き渡した処理までであり、時刻Ｔ２－Ｔ１間の処理は、第１のゲストのキューに蓄積されている。更に、パケットが第１のゲストの最大キューサイズまで貯まると、以降パケットロスが発生することになる。
よって、第１のゲストは、ホストから到着するパケットの処理をＣＰＵタイム内に完了することができず、キューに貯め込んでいく。処理が進んでいくと、ホストから第１のゲストにパケットが到着してから処理を実行するまで複数ＣＰＵサイクル待つ必要があり、遅延が生じる。例えば、時刻Ｔ２の時点において第１のゲストで完了している処理は、ホストが時刻Ｔ１までに引き渡した処理までであり、時刻Ｔ２－Ｔ１間の処理は、第１のゲストのキューに蓄積されている。更に、パケットが第１のゲストの最大キューサイズまで貯まると、以降パケットロスが発生することになる。
このような課題に対応するため、例えば、パケット処理を行う第１のゲストのＣＰＵ使用優先度を高く設定し、第１のゲストに割り当てるＣＰＵタイムを拡大することで、パケット処理のネットワーク遅延を小さくする方法が考えられる。しかし、この方法では、第２のゲストのＣＰＵタイムが定常的に減少し、ＣＰＵの利用効率が低下するという課題がある。例えば、第１のゲストのｑｅｍｕ－ｋｖｍプロセスのｎｉｃｅ値＝－１０と設定すると、第２のゲストのＣＰＵタイムが減少することにより、第２のゲストへのＳＳＨ（Secure Shell）ログインすらできなくなる。
本発明は、このような事情に鑑みなされたものであり、複数のゲストが共有するＣＰＵリソースを効率的に利用し、システム全体の処理性能を向上させることを目的とする。
上述の目的を達成するため、請求項１に記載の発明は、ハードウェア上で動作するホストＯＳと、前記ホストＯＳ上に仮想的に構築された複数の仮想マシン上でそれぞれ動作する複数のゲストＯＳとを有する仮想化システムのリソースを管理するリソース管理装置であって、複数の前記仮想マシンが、前記ハードウェアにより実現されるＣＰＵリソースを共有しており、前記ホストＯＳから前記ゲストＯＳへのフローを監視することにより得られたパケット転送レートに基づいて、少なくとも１つの前記ゲストＯＳの処理優先度について、前記パケット転送レートが高いほど、前記処理優先度を高く算出するゲスト優先度算出部と、前記ゲスト優先度算出部により算出された前記処理優先度に基づいて、複数の前記ゲストＯＳによる前記ＣＰＵリソースの利用時間配分を制御するリソース利用制御部と、を備えることを特徴とするリソース管理装置とした。
また、請求項３に記載の発明は、ハードウェア上で動作するホストＯＳと、前記ホストＯＳ上に仮想的に構築された複数の仮想マシン上でそれぞれ動作する複数のゲストＯＳとを有する仮想化システムのリソースを管理するリソース管理装置のリソース管理方法であって、複数の前記仮想マシンが、前記ハードウェアにより実現されるＣＰＵリソースを共有しており、前記リソース管理装置が、前記ホストＯＳから前記ゲストＯＳへのフローを監視することにより得られたパケット転送レートに基づいて、少なくとも１つの前記ゲストＯＳの処理優先度について、前記パケット転送レートが高いほど、前記処理優先度を高く算出するゲスト優先度算出工程と、算出された前記処理優先度に基づいて、複数の前記ゲストＯＳによる前記ＣＰＵリソースの利用時間配分を制御するリソース利用制御工程と、を実行することを特徴とするリソース管理方法とした。
このようにすることで、リソース管理装置（リソース管理部）は、複数のゲストＯＳによるＣＰＵリソースの利用時間を動的に変更することができ、ＣＰＵの利用効率を向上させるとともに、ゲストＯＳにおける処理遅延に起因するサーバ内ネットワークの遅延を低減することができる。
また、このようにすることで、ゲストＯＳにおけるパケット処理負荷を精度よく反映することができる。
また、このようにすることで、ゲストＯＳにおけるパケット処理負荷を精度よく反映することができる。
また、請求項２に記載の発明は、前記ゲスト優先度算出部が、複数の前記ゲストＯＳのうち、リアルタイム性が求められるネットワーク処理を要するアプリケーションを実行するゲストＯＳを前記処理優先度の算出対象とする、ことを特徴とする請求項１に記載のリソース管理装置とした。
また、請求項４に記載の発明は、前記ゲスト優先度算出工程では、複数の前記ゲストＯＳのうち、リアルタイム性が求められるネットワーク処理を要するアプリケーションを実行するゲストＯＳを前記処理優先度の算出対象とする、ことを特徴とする請求項３に記載のリソース管理方法とした。
このようにすることで、処理負荷が変動しやすいゲストＯＳの状態に合わせてＣＰＵリソースを配分することができ、ＣＰＵの利用効率を向上させることができる。
本発明によれば、複数のゲストが共有するＣＰＵリソースを効率的に利用し、システム全体の処理性能を向上させることができる。
以下に添付図面を参照して、本発明にかかるリソース管理装置およびリソース管理方法の好適な実施の形態を詳細に説明する。本実施の形態では、複数の仮想マシン（ゲスト）が構成されたサーバに本発明にかかるリソース管理装置およびリソース管理方法を適用した場合について説明する。
図１は、実施の形態にかかるサーバ１０の構成を示す図である。
サーバ１０は、ハードウェア（ＨＷ）１０２、ホスト（Ｈｏｓｔ）ＯＳ１０４、ハイパーバイザ（Ｈｙｐｅｒｖｉｓｏｒ）１０６、第１の仮想マシン（ＶＭ１）１０８Ａ、第１のゲストＯＳ（Ｇｕｅｓｔ１）１１０Ａ、第２の仮想マシン（ＶＭ２）１０８Ｂ、第２のゲストＯＳ（Ｇｕｅｓｔ２）１１０Ｂ、アプリケーション１１２Ａ，１１２Ｂを備える。
サーバ１０は、ハードウェア（ＨＷ）１０２、ホスト（Ｈｏｓｔ）ＯＳ１０４、ハイパーバイザ（Ｈｙｐｅｒｖｉｓｏｒ）１０６、第１の仮想マシン（ＶＭ１）１０８Ａ、第１のゲストＯＳ（Ｇｕｅｓｔ１）１１０Ａ、第２の仮想マシン（ＶＭ２）１０８Ｂ、第２のゲストＯＳ（Ｇｕｅｓｔ２）１１０Ｂ、アプリケーション１１２Ａ，１１２Ｂを備える。
ハードウェア１０２は、例えばＩＡ（Intel Architecture）サーバ（「Intel」は登録商標）であり、ＣＰＵ１０２２やネットワークインターフェースカード（ＮＩＣ）１０２４等を備え、サーバ１０を物理的に構成する。
ホストＯＳ１０４は、ハードウェア１０２の機能を上位レイヤに提供する。
ハイパーバイザ１０６は、ホストＯＳ１０４の上で仮想化環境を提供し、本実施の形態では、例として、第１の仮想マシン１０８Ａおよび第２の仮想マシン１０８Ｂを構築する。
ホストＯＳ１０４は、ハードウェア１０２の機能を上位レイヤに提供する。
ハイパーバイザ１０６は、ホストＯＳ１０４の上で仮想化環境を提供し、本実施の形態では、例として、第１の仮想マシン１０８Ａおよび第２の仮想マシン１０８Ｂを構築する。
第１の仮想マシン１０８Ａ、第２の仮想マシン１０８Ｂは、それぞれ仮想ＣＰＵ（ｖＣＰＵ）１０８２Ａ，１０８２Ｂや仮想ネットワークインターフェースカード（ｖＮＩＣ）１０８４Ａ，１０８４Ｂを有するが、実際には物理的なハードウェア１０２であるＣＰＵ１０２２やネットワークインターフェースカード１０２４がその機能を実現する。
第１のゲストＯＳ１１０Ａ、第２のゲストＯＳ１１０Ｂは、それぞれ第１の仮想マシン１０８Ａ、第２の仮想マシン１０８Ｂ上で動作する。以下、第１のゲストＯＳ１１０Ａと第２のゲストＯＳ１１０Ｂとの両方を指す場合には、ゲストＯＳ１１０と称する。
アプリケーション１１２Ａ、１１２Ｂは、それぞれ第１のゲストＯＳ１１０Ａ、第２のゲストＯＳ１１０Ｂ上で動作する。
すなわち、サーバ１０は、ハードウェア１０２上で動作するホストＯＳ１０４と、ホストＯＳ１０４上に仮想的に構築された複数の仮想マシン１０８Ａ，１０８Ｂ上でそれぞれ動作する複数のゲストＯＳ１１０Ａ，１１０Ｂとを有する仮想化システムである。
アプリケーション１１２Ａ、１１２Ｂは、それぞれ第１のゲストＯＳ１１０Ａ、第２のゲストＯＳ１１０Ｂ上で動作する。
すなわち、サーバ１０は、ハードウェア１０２上で動作するホストＯＳ１０４と、ホストＯＳ１０４上に仮想的に構築された複数の仮想マシン１０８Ａ，１０８Ｂ上でそれぞれ動作する複数のゲストＯＳ１１０Ａ，１１０Ｂとを有する仮想化システムである。
本実施の形態では、第１のゲストＯＳ１１０Ａはリアルタイム性の高い（リアルタイム性が求められる）ネットワーク処理を要するアプリケーション１１２Ａを実行し、第２のゲストＯＳ１１０ＢはＣＰＵ処理を要する非リアルタイム処理を行うアプリケーション１１２Ｂを実行するものとする。
より詳細には、第１のゲストＯＳ１１０Ａは、サーバ１０の外部にあるパケット送信装置３０から送信されたパケットをゲストパケット処理部１１０２Ａで処理する。パケット送信装置３０から送信されたパケットは、まずネットワークインターフェースカード１０２４で受信され、ホストＯＳ１０４のホストパケット処理部１０４２を介してゲストパケット処理部１１０２Ａへと引き渡される。
より詳細には、第１のゲストＯＳ１１０Ａは、サーバ１０の外部にあるパケット送信装置３０から送信されたパケットをゲストパケット処理部１１０２Ａで処理する。パケット送信装置３０から送信されたパケットは、まずネットワークインターフェースカード１０２４で受信され、ホストＯＳ１０４のホストパケット処理部１０４２を介してゲストパケット処理部１１０２Ａへと引き渡される。
ゲストパケット処理部１１０２Ａは、仮想的には仮想ＣＰＵ１０８２Ａによりパケット処理を行うが、実体的にはＣＰＵ１０２２により処理が行われる。同様に、仮想ＣＰＵ１０８２Ｂについても、実体的にはＣＰＵ１０２２が処理を行う。すなわち、複数の仮想マシン１０８Ａ，１０８Ｂは、ハードウェア１０２により実現されるＣＰＵ１０２２のリソースを共有している。
例えば、第１のゲストＯＳ１１０Ａ（仮想ＣＰＵ１０８２Ａ）がＣＰＵ１０２２を使用する時間と、第２のゲストＯＳ１１０Ｂ（仮想ＣＰＵ１０８２Ｂ）がＣＰＵ１０２２を使用する時間とが固定されていると、例えば一方のゲストＯＳ１１０の処理負荷が増大した場合（一時的にパケット送信装置３０から送信されるパケットが増大した場合など）に処理に遅延が生じる。
そこで、ホストＯＳ１０４にＣＰＵ１０２２のリソースを管理するリソース管理部２０（リソース管理装置）を設け、ＣＰＵ１０２２の利用効率を向上させ、各ゲストＯＳ１１０における処理の遅延を抑制している。
そこで、ホストＯＳ１０４にＣＰＵ１０２２のリソースを管理するリソース管理部２０（リソース管理装置）を設け、ＣＰＵ１０２２の利用効率を向上させ、各ゲストＯＳ１１０における処理の遅延を抑制している。
リソース管理部２０は、ゲスト優先度算出部２０２とリソース利用制御部２０４とを備える。
ゲスト優先度算出部２０２は、ホストＯＳ１０４からゲストＯＳ１１０へのパケット転送レートと、ホストＯＳ１０４のカーネルバッファの空き状況の少なくともいずれかに基づいて、複数のゲストＯＳ１１０Ａ，１１０Ｂのうち少なくとも１つのゲストＯＳ１１０（以下「監視対象ゲストＯＳ」という）の処理優先度を算出する。
本実施の形態では、リソース管理部２０は、パケット転送レート計測部２０６およびバッファ空き状況監視部２０８を備えており、パケット転送レートおよびカーネルバッファの空き状況の両方を測定し、これに基づいてゲスト優先度算出部２０２は監視対象ゲストＯＳの処理優先度を算出する。なお、パケット転送レートと、カーネルバッファの空き状況のいずれか一方のみを用いて処理優先度を算出してもよい。
ゲスト優先度算出部２０２は、ホストＯＳ１０４からゲストＯＳ１１０へのパケット転送レートと、ホストＯＳ１０４のカーネルバッファの空き状況の少なくともいずれかに基づいて、複数のゲストＯＳ１１０Ａ，１１０Ｂのうち少なくとも１つのゲストＯＳ１１０（以下「監視対象ゲストＯＳ」という）の処理優先度を算出する。
本実施の形態では、リソース管理部２０は、パケット転送レート計測部２０６およびバッファ空き状況監視部２０８を備えており、パケット転送レートおよびカーネルバッファの空き状況の両方を測定し、これに基づいてゲスト優先度算出部２０２は監視対象ゲストＯＳの処理優先度を算出する。なお、パケット転送レートと、カーネルバッファの空き状況のいずれか一方のみを用いて処理優先度を算出してもよい。
パケット転送レート計測部２０６は、例えば各ゲストＯＳ１１０Ａ，１１０Ｂへのフローごとにパケット転送レートを識別できる場合には、各ゲストＯＳ１１０Ａ，１１０Ｂ単位でパケット転送レートを監視する。例えば、仮想デバイスであるｖｈｏｓｔ－ｎｅｔは、仮想マシン１０８（１０８Ａ，１０８Ｂ）単位で生成されるので、このｖｈｏｓｔ－ｎｅｔにおけるパケット転送レートを監視すれば、各ゲストＯＳ１１０Ａ，１１０Ｂ単位でパケット転送レートを監視することができる。
一方で、環境に依っては、各ゲストＯＳ１１０Ａ，１１０Ｂ単位でパケット転送レートを取得できない可能性がある。この場合は、例えば／ｐｒｏｃ／ｎｅｔ／ｄｅｖといった、ホストＯＳ１０４が持つネットワークデバイスのパケット転送レートを取得する等の対応が考えられる。なお、このように各ゲストＯＳ１１０Ａ，１１０Ｂへのフロー単位にパケット転送量を分計できない場合には、後述するように２つのゲストＯＳ１１０Ａ，１１０Ｂの両方を監視対象ゲストＯＳにしても効果が低い場合もあると考えられる。
一方で、環境に依っては、各ゲストＯＳ１１０Ａ，１１０Ｂ単位でパケット転送レートを取得できない可能性がある。この場合は、例えば／ｐｒｏｃ／ｎｅｔ／ｄｅｖといった、ホストＯＳ１０４が持つネットワークデバイスのパケット転送レートを取得する等の対応が考えられる。なお、このように各ゲストＯＳ１１０Ａ，１１０Ｂへのフロー単位にパケット転送量を分計できない場合には、後述するように２つのゲストＯＳ１１０Ａ，１１０Ｂの両方を監視対象ゲストＯＳにしても効果が低い場合もあると考えられる。
バッファ空き状況監視部２０８としては、例えばホストＯＳ１０４のカーネルに備えられたカーネルバッファの空き状況を監視する機能を利用することができる。このような機能を利用すれば、リアルタイムにバッファ空き状況を検知することができ、例えばバッファの空きサイズが枯渇してきた際に迅速に対応することができる。
バッファ空き状況監視部２０８の監視対象として、例えば前述したｖｈｏｓｔ－ｎｅｔのカーネルバッファを監視する場合は、各ゲストＯＳ１１０Ａ，１１０Ｂ単位のフローでバッファ空き状況を識別可能となる。一方、ホストＯＳ１０４配下のネットワークドライバが管理するリングバッファを監視する場合は、各ゲストＯＳ１１０Ａ，１１０Ｂ単位でのフローのバッファ空き状況を分計することはできない。
バッファ空き状況監視部２０８の監視対象として、例えば前述したｖｈｏｓｔ－ｎｅｔのカーネルバッファを監視する場合は、各ゲストＯＳ１１０Ａ，１１０Ｂ単位のフローでバッファ空き状況を識別可能となる。一方、ホストＯＳ１０４配下のネットワークドライバが管理するリングバッファを監視する場合は、各ゲストＯＳ１１０Ａ，１１０Ｂ単位でのフローのバッファ空き状況を分計することはできない。
ゲスト優先度算出部２０２は、ゲストＯＳ１１０（特に監視対象ゲストＯＳ）へのパケット転送レートが高いほど、またはカーネルバッファの空きが少ないほど、監視対象ゲストＯＳの処理優先度を高くする。
すなわち、監視対象ゲストＯＳへのパケット転送レートが高い場合には、ホストＯＳ１０４から監視対象ゲストＯＳに引き渡されるパケット量が増大しており、監視対象ゲストＯＳでの処理負荷が増加していると考えられる。また、カーネルバッファの空きが少ない場合にも、ホストＯＳ１０４から監視対象ゲストＯＳに引き渡されるパケット量が増大し、監視対象ゲストＯＳでの処理負荷が増加すると予想される。
このため、ゲスト優先度算出部２０２は、パケット転送レートの上昇やカーネルバッファの空きの減少があった場合には、監視対象ゲストＯＳの処理優先度を相対的に高くする。また、反対にパケット転送レートの低下やカーネルバッファの空きの増加があった場合には、監視対象ゲストＯＳの処理優先度を相対的に低くする。
なお、パケット転送レートやカーネルバッファの空き容量の値と、処理優先度との関係を、機械学習を用いて動的に算出してもよい。
すなわち、監視対象ゲストＯＳへのパケット転送レートが高い場合には、ホストＯＳ１０４から監視対象ゲストＯＳに引き渡されるパケット量が増大しており、監視対象ゲストＯＳでの処理負荷が増加していると考えられる。また、カーネルバッファの空きが少ない場合にも、ホストＯＳ１０４から監視対象ゲストＯＳに引き渡されるパケット量が増大し、監視対象ゲストＯＳでの処理負荷が増加すると予想される。
このため、ゲスト優先度算出部２０２は、パケット転送レートの上昇やカーネルバッファの空きの減少があった場合には、監視対象ゲストＯＳの処理優先度を相対的に高くする。また、反対にパケット転送レートの低下やカーネルバッファの空きの増加があった場合には、監視対象ゲストＯＳの処理優先度を相対的に低くする。
なお、パケット転送レートやカーネルバッファの空き容量の値と、処理優先度との関係を、機械学習を用いて動的に算出してもよい。
リソース利用制御部２０４は、ゲスト優先度算出部２０２により算出された処理優先度に基づいて、複数のゲストＯＳ１１０Ａ，１１０ＢによるＣＰＵリソースの利用時間配分を制御する。
図２は、リソース利用制御部２０４によるＣＰＵリソースの利用時間配分を模式的に示す説明図である。
図２の中央は、所定の基準状態（例えば第１のゲストＯＳ１１０Ａの処理優先度が所定の閾値１を超え、かつ所定の閾値２（＞閾値１）未満である場合）における利用時間配分を示す。基準状態では、例えば第１のゲストＯＳ１１０Ａ（Ｇｕｅｓｔ１）と第２のゲストＯＳ１１０Ｂ（Ｇｕｅｓｔ２）が同時間（ｔ１）ずつ交互にＣＰＵ１０２２を利用する。
図２の中央は、所定の基準状態（例えば第１のゲストＯＳ１１０Ａの処理優先度が所定の閾値１を超え、かつ所定の閾値２（＞閾値１）未満である場合）における利用時間配分を示す。基準状態では、例えば第１のゲストＯＳ１１０Ａ（Ｇｕｅｓｔ１）と第２のゲストＯＳ１１０Ｂ（Ｇｕｅｓｔ２）が同時間（ｔ１）ずつ交互にＣＰＵ１０２２を利用する。
図２の右側は、第１のゲストＯＳ１１０Ａの処理優先度が高くなった場合（例えば上記閾値２以上である場合）における利用時間配分を示す。この場合には、第１のゲストＯＳ１１０ＡのＣＰＵ１０２２の利用時間を、第２のゲストＯＳ１１０Ｂと比較して長くする。具体的には、例えば基準状態よりも第１のゲストＯＳ１１０ＡのＣＰＵ１０２２の利用時間を長く（図示の例ではｔ２（＞ｔ１））、第２のゲストＯＳ１１０ＢのＣＰＵ１０２２の利用時間を短くする（図示の例ではｔ３（＜ｔ１））。時間ｔ２は、第１のゲストＯＳ１１０Ａの処理優先度の大きさに比例して長く（または時間ｔ３を短く）してもよい。
図２の左側は、第１のゲストＯＳ１１０Ａの処理優先度が低くなった場合（例えば上記閾値１以下である場合）における利用時間配分を示す。この場合には、第１のゲストＯＳ１１０ＡのＣＰＵ１０２２の利用時間を、第２のゲストＯＳ１１０Ｂと比較して短くする。具体的には、例えば基準状態よりも第１のゲストＯＳ１１０ＡのＣＰＵ１０２２の利用時間を短く（図示の例ではｔ４（＜ｔ１））、第２のゲストＯＳ１１０ＢのＣＰＵ１０２２の利用時間を長くする（図示の例ではｔ５（＞ｔ１））。時間ｔ4は、第１のゲストＯＳ１１０Ａの処理優先度の大きさに比例して短く（または時間ｔ５を長く）してもよい。
このように、第１のゲストＯＳ１１０Ａの処理優先度、すなわちパケットの緩急に応じて、各ゲストＯＳ１１０のＣＰＵ１０２２の利用時間を動的に設定することにより、一方のゲストＯＳ１１０の優先度を固定する場合と比較してＣＰＵ１０２２の利用効率を向上させることができる。
なお、本実施の形態では、ゲスト優先度算出部２０２は、複数のゲストＯＳ１１０のうち、リアルタイム性の高いネットワーク処理を要するアプリケーションを実行するゲストＯＳ、すなわち第１のゲストＯＳ１１０Ａを処理優先度の算出対象（監視対象ゲストＯＳ）とし、リソース利用制御部２０４は、第１のゲストＯＳ１１０Ａを処理優先度に基づいて、ＣＰＵリソースの利用時間配分を制御する。
これにより、処理遅延の影響が大きいリアルタイム性の高い処理を行うのに最適化した形でＣＰＵ１０２２の利用時間を配分することができる。
なお、第１のゲストＯＳ１１０Ａと第２のゲストＯＳ１１０Ｂの両方を監視対象ゲストＯＳとすることも可能である。しかしながら、上述のようにパケット転送レートや、カーネルバッファの空き状況について、ゲストＯＳ１１０Ａ，１１０Ｂ別に測定できない場合には、本実施の形態で例示すケースと異なり、例えば、第１のゲストＯＳ１１０Ａと第２のゲストＯＳ１１０Ｂがともにリアル性の高いネットワーク処理を要するアプリケーション１１２Ａ，１１２Ｂを実行しているとすると、ＣＰＵリソースの利用効率を向上させる効果が低くなると考えられる。
また、第２のゲストＯＳ１１０Ｂのみを監視対象ゲストＯＳとしてもよい。
これにより、処理遅延の影響が大きいリアルタイム性の高い処理を行うのに最適化した形でＣＰＵ１０２２の利用時間を配分することができる。
なお、第１のゲストＯＳ１１０Ａと第２のゲストＯＳ１１０Ｂの両方を監視対象ゲストＯＳとすることも可能である。しかしながら、上述のようにパケット転送レートや、カーネルバッファの空き状況について、ゲストＯＳ１１０Ａ，１１０Ｂ別に測定できない場合には、本実施の形態で例示すケースと異なり、例えば、第１のゲストＯＳ１１０Ａと第２のゲストＯＳ１１０Ｂがともにリアル性の高いネットワーク処理を要するアプリケーション１１２Ａ，１１２Ｂを実行しているとすると、ＣＰＵリソースの利用効率を向上させる効果が低くなると考えられる。
また、第２のゲストＯＳ１１０Ｂのみを監視対象ゲストＯＳとしてもよい。
図３は、リソース管理部２０による処理の手順を示すフローチャートである。
パケット転送レート計測部２０６は、ホストＯＳ１０４からゲストＯＳ１１０へのパケットの転送レートを計測（例：ｘｘＭｂｐｓ等）し、その値をメモリ等に一時記録する（ステップＳ３００）。
バッファ空き状況監視部２０８は、ホストＯＳ１０４のカーネルバッファの空き状況を取得し、その値をメモリ等に一時記録する（ステップＳ３０２）。
パケット転送レート計測部２０６は、ホストＯＳ１０４からゲストＯＳ１１０へのパケットの転送レートを計測（例：ｘｘＭｂｐｓ等）し、その値をメモリ等に一時記録する（ステップＳ３００）。
バッファ空き状況監視部２０８は、ホストＯＳ１０４のカーネルバッファの空き状況を取得し、その値をメモリ等に一時記録する（ステップＳ３０２）。
ゲスト優先度算出部２０２は、ステップＳ３００で測定したパケットの転送レートに基づく第１のゲストＯＳ１１０Ａの処理優先度と（ステップＳ３０４）、ステップＳ３０２で取得したカーネルバッファの空き状況に基づく第１のゲストＯＳ１１０Ａの処理優先度とを算出する（ステップＳ３０６）。
ゲスト優先度算出部２０２は、ステップＳ３０４およびステップＳ３０６で算出した処理優先度から、採用する処理優先度を決定する（ステップＳ３０８）。具体的には、例えば２つの処理優先度のうち高い方を採用する。
そして、リソース利用制御部２０４は、採用した処理優先度に基づいて、各仮想マシン１０８Ａ，１０８Ｂの仮想ＣＰＵ（ｖＣＰＵ）１０８２Ａ，１０８２Ｂに対して、ＣＰＵ１０２２の利用時間を設定する（ステップＳ３１０）。
リソース管理部２０は、上記の処理の手順を、所定の時間間隔で繰り返すことにより、複数のゲストＯＳ１１０によるＣＰＵリソースの利用時間を動的に変更することができる。
ゲスト優先度算出部２０２は、ステップＳ３０４およびステップＳ３０６で算出した処理優先度から、採用する処理優先度を決定する（ステップＳ３０８）。具体的には、例えば２つの処理優先度のうち高い方を採用する。
そして、リソース利用制御部２０４は、採用した処理優先度に基づいて、各仮想マシン１０８Ａ，１０８Ｂの仮想ＣＰＵ（ｖＣＰＵ）１０８２Ａ，１０８２Ｂに対して、ＣＰＵ１０２２の利用時間を設定する（ステップＳ３１０）。
リソース管理部２０は、上記の処理の手順を、所定の時間間隔で繰り返すことにより、複数のゲストＯＳ１１０によるＣＰＵリソースの利用時間を動的に変更することができる。
以上説明したように、実施の形態にかかるサーバ１０によれば、複数のゲストＯＳによるＣＰＵリソースの利用時間を動的に変更することができ、ＣＰＵの利用効率を向上させるとともに、ゲストＯＳにおける処理遅延に起因するサーバ内ネットワークの遅延を低減することができる。
１０ サーバ
１０２ ハードウェア
１０２２ ＣＰＵ
１０４ ホストＯＳ
１０４２ ホストパケット処理部
１０６ ハイパーバイザ
１０８（１０８Ａ，１０８Ｂ） 仮想マシン
１０８２（１０８２Ａ，１０８２Ｂ） 仮想ＣＰＵ
１１０（１１０Ａ，１１０Ｂ） ゲストＯＳ
１１０２Ａ ゲストパケット処理部
１１２（１１２Ａ，１１２Ｂ） アプリケーション
２０ リソース管理部（リソース管理装置）
２０２ ゲスト優先度算出部
２０４ リソース利用制御部
２０６ パケット転送レート計測部
２０８ バッファ空き状況監視部
３０ パケット送信装置
１０２ ハードウェア
１０２２ ＣＰＵ
１０４ ホストＯＳ
１０４２ ホストパケット処理部
１０６ ハイパーバイザ
１０８（１０８Ａ，１０８Ｂ） 仮想マシン
１０８２（１０８２Ａ，１０８２Ｂ） 仮想ＣＰＵ
１１０（１１０Ａ，１１０Ｂ） ゲストＯＳ
１１０２Ａ ゲストパケット処理部
１１２（１１２Ａ，１１２Ｂ） アプリケーション
２０ リソース管理部（リソース管理装置）
２０２ ゲスト優先度算出部
２０４ リソース利用制御部
２０６ パケット転送レート計測部
２０８ バッファ空き状況監視部
３０ パケット送信装置
Claims (4)
- ハードウェア上で動作するホストＯＳと、前記ホストＯＳ上に仮想的に構築された複数の仮想マシン上でそれぞれ動作する複数のゲストＯＳとを有する仮想化システムのリソースを管理するリソース管理装置であって、
複数の前記仮想マシンは、前記ハードウェアにより実現されるＣＰＵリソースを共有しており、
前記ホストＯＳから前記ゲストＯＳへのフローを監視することにより得られたパケット転送レートに基づいて、少なくとも１つの前記ゲストＯＳの処理優先度について、前記パケット転送レートが高いほど、前記処理優先度を高く算出するゲスト優先度算出部と、
前記ゲスト優先度算出部により算出された前記処理優先度に基づいて、複数の前記ゲストＯＳによる前記ＣＰＵリソースの利用時間配分を制御するリソース利用制御部と、
を備えることを特徴とするリソース管理装置。 - 前記ゲスト優先度算出部は、複数の前記ゲストＯＳのうち、リアルタイム性が求められるネットワーク処理を要するアプリケーションを実行するゲストＯＳを前記処理優先度の算出対象とする、
ことを特徴とする請求項１に記載のリソース管理装置。 - ハードウェア上で動作するホストＯＳと、前記ホストＯＳ上に仮想的に構築された複数の仮想マシン上でそれぞれ動作する複数のゲストＯＳとを有する仮想化システムのリソースを管理するリソース管理装置のリソース管理方法であって、
複数の前記仮想マシンは、前記ハードウェアにより実現されるＣＰＵリソースを共有しており、
前記リソース管理装置は、
前記ホストＯＳから前記ゲストＯＳへのフローを監視することにより得られたパケット転送レートに基づいて、少なくとも１つの前記ゲストＯＳの処理優先度について、前記パケット転送レートが高いほど、前記処理優先度を高く算出するゲスト優先度算出工程と、
算出された前記処理優先度に基づいて、複数の前記ゲストＯＳによる前記ＣＰＵリソースの利用時間配分を制御するリソース利用制御工程と、
を実行することを特徴とするリソース管理方法。 - 前記ゲスト優先度算出工程では、複数の前記ゲストＯＳのうち、リアルタイム性が求められるネットワーク処理を要するアプリケーションを実行するゲストＯＳを前記処理優先度の算出対象とする、
ことを特徴とする請求項３に記載のリソース管理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019025136A JP7331374B2 (ja) | 2019-02-15 | 2019-02-15 | リソース管理装置およびリソース管理方法 |
| PCT/JP2020/004034 WO2020166423A1 (ja) | 2019-02-15 | 2020-02-04 | リソース管理装置およびリソース管理方法 |
| US17/428,242 US20220138017A1 (en) | 2019-02-15 | 2020-02-04 | Resource management device and resource management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019025136A JP7331374B2 (ja) | 2019-02-15 | 2019-02-15 | リソース管理装置およびリソース管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020135167A JP2020135167A (ja) | 2020-08-31 |
| JP7331374B2 true JP7331374B2 (ja) | 2023-08-23 |
Family
ID=72045509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019025136A Active JP7331374B2 (ja) | 2019-02-15 | 2019-02-15 | リソース管理装置およびリソース管理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220138017A1 (ja) |
| JP (1) | JP7331374B2 (ja) |
| WO (1) | WO2020166423A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115145730B (zh) * | 2022-07-05 | 2023-03-24 | 小米汽车科技有限公司 | 运行监测方法、装置、电子设备和存储介质 |
| KR20240015952A (ko) * | 2022-07-28 | 2024-02-06 | 삼성전자주식회사 | 컴퓨팅 장치 및 그 동작 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000112858A (ja) | 1998-10-06 | 2000-04-21 | Nec Corp | データダウンロード方法および装置 |
| JP2004021555A (ja) | 2002-06-14 | 2004-01-22 | Nippon Telegr & Teleph Corp <Ntt> | ネットワーク型オークションシステムの運用方法、オークション管理サーバ、クライアントコンピュータ及び代替サーバ用プログラム |
| WO2009133669A1 (ja) | 2008-04-28 | 2009-11-05 | パナソニック株式会社 | 仮想計算機制御装置、仮想計算機制御方法及び仮想計算機制御プログラム |
| JP2012147206A (ja) | 2011-01-11 | 2012-08-02 | National Institute Of Information & Communication Technology | 管理装置、無線装置、周波数および送信電力の決定方法 |
| WO2016006228A1 (ja) | 2014-07-11 | 2016-01-14 | 日本電気株式会社 | 仮想化システムおよび仮想化方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080028399A1 (en) * | 2006-07-26 | 2008-01-31 | Diwaker Gupta | System and method for attributing to a corresponding virtual machine CPU utilization of a network driver domain based on observed communication through a virtualized interface |
| JP4358224B2 (ja) * | 2006-12-27 | 2009-11-04 | 株式会社東芝 | ゲストｏｓスケジューリング方法及び仮想計算機モニタ |
| JP2009110404A (ja) * | 2007-10-31 | 2009-05-21 | Toshiba Corp | 仮想計算機システム及び同システムにおけるゲストｏｓスケジューリング方法 |
| US9740517B2 (en) * | 2008-12-29 | 2017-08-22 | Microsoft Technology Licensing, Llc | Dynamic virtual machine memory management |
| CN103502944B (zh) * | 2011-11-28 | 2018-07-03 | 华为技术有限公司 | 虚拟机内存调整方法和设备 |
| US9207976B2 (en) * | 2013-08-13 | 2015-12-08 | International Business Machines Corporation | Management of prioritizing virtual machines in an operating environment |
| US9535738B2 (en) * | 2015-04-03 | 2017-01-03 | International Business Machines Corporation | Migrating virtual machines based on relative priority of virtual machine in the context of a target hypervisor environment |
| JP2019087033A (ja) * | 2017-11-07 | 2019-06-06 | 富士通株式会社 | 情報処理装置、情報処理システム及びプログラム |
-
2019
- 2019-02-15 JP JP2019025136A patent/JP7331374B2/ja active Active
-
2020
- 2020-02-04 WO PCT/JP2020/004034 patent/WO2020166423A1/ja active Application Filing
- 2020-02-04 US US17/428,242 patent/US20220138017A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000112858A (ja) | 1998-10-06 | 2000-04-21 | Nec Corp | データダウンロード方法および装置 |
| JP2004021555A (ja) | 2002-06-14 | 2004-01-22 | Nippon Telegr & Teleph Corp <Ntt> | ネットワーク型オークションシステムの運用方法、オークション管理サーバ、クライアントコンピュータ及び代替サーバ用プログラム |
| WO2009133669A1 (ja) | 2008-04-28 | 2009-11-05 | パナソニック株式会社 | 仮想計算機制御装置、仮想計算機制御方法及び仮想計算機制御プログラム |
| JP2012147206A (ja) | 2011-01-11 | 2012-08-02 | National Institute Of Information & Communication Technology | 管理装置、無線装置、周波数および送信電力の決定方法 |
| WO2016006228A1 (ja) | 2014-07-11 | 2016-01-14 | 日本電気株式会社 | 仮想化システムおよび仮想化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020135167A (ja) | 2020-08-31 |
| WO2020166423A1 (ja) | 2020-08-20 |
| US20220138017A1 (en) | 2022-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | {vTurbo}: Accelerating Virtual Machine {I/O} Processing Using Designated {Turbo-Sliced} Core | |
| US10445850B2 (en) | Technologies for offloading network packet processing to a GPU | |
| US9378032B2 (en) | Information processing method, information processing apparatus, recording medium, and system | |
| US11221880B2 (en) | Adaptive computing resource allocation approach for virtual network functions | |
| Samal et al. | Analysis of variants in round robin algorithms for load balancing in cloud computing | |
| CN109697122B (zh) | 任务处理方法、设备及计算机存储介质 | |
| KR102450528B1 (ko) | 애플리케이션을 인식하는 효율적인 io 스케줄러 시스템 및 방법 | |
| US10768960B2 (en) | Method for affinity binding of interrupt of virtual network interface card, and computer device | |
| EP2701074B1 (en) | Method, device, and system for performing scheduling in multi-processor core system | |
| Khalid et al. | Iron: Isolating network-based {CPU} in container environments | |
| US10725823B2 (en) | Coordinated scheduling between real-time processes | |
| AU2013206117A1 (en) | Hierarchical allocation of network bandwidth for quality of service | |
| JP7331374B2 (ja) | リソース管理装置およびリソース管理方法 | |
| US10733022B2 (en) | Method of managing dedicated processing resources, server system and computer program product | |
| Shojafar et al. | Minimizing computing-plus-communication energy consumptions in virtualized networked data centers | |
| Li et al. | Prioritizing soft real-time network traffic in virtualized hosts based on xen | |
| Lin et al. | {RingLeader}: Efficiently Offloading {Intra-Server} Orchestration to {NICs} | |
| CN112671832A (zh) | 虚拟交换机中保障层次化时延的转发任务调度方法及系统 | |
| Asyabi et al. | Kani: a QoS-aware hypervisor-level scheduler for cloud computing environments | |
| Dehsangi et al. | cCluster: a core clustering mechanism for workload-aware virtual machine scheduling | |
| US11068294B2 (en) | Balancing processing loads of virtual machines | |
| Aragiorgis et al. | Coexisting scheduling policies boosting I/O virtual machines | |
| Bourguiba et al. | A container-based fast bridge for virtual routers on commodity hardware | |
| CN115378885B (zh) | 超融合架构下的虚拟机业务网络带宽管理方法及装置 | |
| JP5646560B2 (ja) | 仮想ｏｓ制御装置、システム、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7331374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |