JP7280476B2 - クラスタリングシステムおよびクラスタリング方法 - Google Patents

クラスタリングシステムおよびクラスタリング方法 Download PDF

Info

Publication number
JP7280476B2
JP7280476B2 JP2019014082A JP2019014082A JP7280476B2 JP 7280476 B2 JP7280476 B2 JP 7280476B2 JP 2019014082 A JP2019014082 A JP 2019014082A JP 2019014082 A JP2019014082 A JP 2019014082A JP 7280476 B2 JP7280476 B2 JP 7280476B2
Authority
JP
Japan
Prior art keywords
cluster
clustering
service
mec server
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019014082A
Other languages
English (en)
Other versions
JP2020123101A (ja
Inventor
孝太郎 小野
直樹 肥後
拓磨 鍔木
悠介 浦田
亮太 石橋
健太 川上
健 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019014082A priority Critical patent/JP7280476B2/ja
Priority to PCT/JP2020/001136 priority patent/WO2020158395A1/ja
Priority to US17/424,242 priority patent/US11875192B2/en
Publication of JP2020123101A publication Critical patent/JP2020123101A/ja
Application granted granted Critical
Publication of JP7280476B2 publication Critical patent/JP7280476B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5055Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering software capabilities, i.e. software resources associated or available to the machine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/501Performance criteria
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/505Clust
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/508Monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、MECサーバが配備されたネットワークにおいて、複数のMECサーバによる端末への機能/サービスの提供のためのクラスタを構成するクラスタリングシステム及び方法に関する。
MEC(Multi-access Edge Computing)とは、従来は、端末を収容する移動通信網などのネットワーク(NW:Network)において端末に近い基地局などの「エッジ」にサーバを配置する仕組みを意味していた。しかし、端末の近くにサーバを配置するという技術的思想は移動通信網に限定されず固定通信網などのNWにおいても適用可能であり、また端末を収容するアクセス手段を複数種備えているNWにおいても適用可能である。また、「エッジ」という考え方も、クラウドサーバが配備されるインターネットを基準とすれば、NW内に配備されたサーバであれば端末に近いサーバと言える。そこで近年は、MECは、移動通信網や固定通信網などアクセス手段の種類や数などを問わず、クラウドサーバと端末間のNW、換言すればインターネットと端末間のNWにおいて配備されたサーバにより、各種サービスや機能を端末に提供する仕組みを意味する。非特許文献1には、5G(5th Generation)におけるMECについて記載されている。
このように、クラウドサーバと端末間のNWの端末近傍に情報を処理するサーバを配備するMECでは、物理的・地理的に分散配置されたMECサーバにより、従来クラウドサーバ側や端末側で実現していた種々の機能や処理の分散が可能である。これにより、低遅延性を要求するサービスや大容量の情報の集約と高速処理を要求するサービスなどの新たな領域のサービスへの対応が検討されている。
MECサーバを含めたNW構成は様々考えられるが、本願では、図1に示すように、インターネット20上のクラウドサーバ21と端末1との間に配備されたMECサーバが地域区分に応じた階層構造をとる環境を想定する。ここで、MECサーバは、移動通信網や固定通信網など端末1を収容する事業者のNW10において、例えばデータセンタや基地局などの拠点に配備された物理サーバを意味する。各拠点には1つ又は複数のMECサーバが配備されている。なお、1つの拠点に複数のMECサーバが配備されることが多いので、図1では、各拠点に配備された複数のMECサーバをMECサーバ群11と称するものとする。MECサーバ群11は地理的に異なる拠点に配備されており、各拠点間のネットワークトポロジーが地理的に階層構造を内包している。図1では、階層構造の例としてMECサーバ群11が配備された拠点がツリー構造となっている例を示す。
一方、突発的な異常発生時にも機能/サービスの提供を中断させないための対応策としてはシステムの冗長化が挙げられる。サーバ等の障害対策である冗長化の方法の1つに、複数のサーバでのクラスタ構成が挙げられる(非特許文献2参照)。クラスタリングされたサーバにより機能/サービスを提供していれば、クラスタ内の現用系サーバに異常が発生した場合でも、予備系に切り替えて処理を引き継ぐことで機能/サービスの提供を継続できる。
そこで、端末1に提供する機能/サービスを提供するクラスタをMECサーバで構成(クラスタリング)することが検討されている。
"MEC in 5G networks", First edition, ETSI White Paper No. 28, ISBN No. 979-10-92620-22-1, European Telecommunications Standards Institute, June 2018, [online], [平成30年12月28日検索], インターネット<URL:https://www.etsi.org/images/files/ETSIWhitePapers/etsi_wp28_mec_in_5G_FINAL.pdf> "HAクラスターの教科書", 日本ヒューレット・パッカード, [online], [平成30年12月28日検索], インターネット<URL:httpth50146.www5.hpe.com/products/software/oe/hpux/developer/column/sg_text.pdf >
しかし、MECサーバは物理的・地理的に分散配置されているため、全ての配置位置に豊富なリソースがあるわけではなく、MECサーバ群やそれらに接続するNWの運用者側は、機能/サービスの要件を満足させつつ制限のあるリソースを効率的に利用する必要がある。機能/サービスは要件を満足するMECサーバにより提供できれば良い一方で、MECサーバ群やNWのリソース配置/利用状況、保守運用も含めたコストを考慮すると、運用者側から見た機能/サービスのクラスタを組むべきMECサーバは状況により変動する。
一方、例えば、AWS(Amazon Web Service)などの既存のエッジ/クラウドサービスでは、機能/サービス利用時にクラスタリングされるサーバの地域区分、リージョンを指定する方法を取っているが、同様の方法をMECに適用することは困難である。すなわち、MECサーバにより提供されるそれぞれの機能/サービスが独立にリージョンを指定する方法では、物理的・地理的に分散配置されたMECサーバ群11それぞれに潤沢なリソースがない限り、需要と供給の関係性によってはリソース不足により機能/サービスの利用ができなくなる可能性が高まる。つまり、階層構造をとるMECサーバ群11のようなMECサーバ群11毎に性質が異なり、かつ物理的に制限のあるリソースを効率的に利用、また運用することができない。
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、リソースを効率的に利用・運用可能であり、端末に提供する機能/サービスの要件を満たしたクラスタをMECサーバで構成可能なシステム及び方法を提供することにある。
上記目的を達成するために、本願発明は、地理的に異なる複数の拠点のそれぞれにMECサーバが配備されるとともに拠点間のネットワークトポロジーが階層構造を内包し且つ端末が収容されたネットワークにおいて、複数のMECサーバによる端末への機能/サービスの提供のためのクラスタを構成するクラスタリングシステムであって、MECサーバ及びネットワークの利用状況を監視するとともに当該監視により取得した状況情報を少なくとも含むテレメトリ情報を記憶部に格納する監視部と、機能/サービスの提供地域情報及び要件情報とMECサーバの配置情報とを少なくとも含む非テレメトリ情報を取得して前記記憶部に格納するとともに、前記非テレメトリ情報に基づきクラスタ計画要請を生成するクラスタ計画要請部と、前記クラスタ計画要請に応じて、前記記憶部のテレメトリ情報及び非テレメトリ情報に基づき機能/サービスを提供地域及び要件を満たす1つ以上の拠点からなる仮想リージョンを設定し、設定した仮想リージョンに属する拠点に配備された複数のMECサーバの中から機能/サービスを提供するためのクラスタ計画を算出するクラスタ計画部と、前記クラスタ計画に基づきクラスタリング処理を行うクラスタ構築部とを備えたことを特徴とする.
本発明によれば、端末に提供する機能/サービスの要件を満たしつつ、階層構造をとるMECサーバ群のようなMECサーバ群毎に性質が異なり、かつ物理的に制限のあるリソースを効率的に利用、また運用することができる。また、運用者側を考慮した仮想リージョンの設定により、機能/サービスは利用時にクラスタリングされるMECサーバの地域区分、リージョン等を具体的に指定することなく、提供地域と要件を提示するのみで、要件を満足した状態で利用・提供できる環境が実現可能となる。さらに、地域特性に関する情報やMECサーバ群・NWの利用状況、クラスタ計画結果の蓄積は、その時点でのリソース活用(クラスタ構成)だけではなく、将来的なリソース計画(MECサーバ群のスケールアップ/スケールアウト、新たな場所に配置)にも反映できる。
本発明の前提となる環境例の概略構成図 本発明に係るクラスタリングシステムの機能ブロック図 本発明に係るクラスタリングのシーケンスチャート、 本発明に係るクラスタ計画部のフローチャート 実施例1に係るクラスタリングシステムの機能ブロック図 実施例1に係るクラスタリングのシーケンスチャート 実施例1に係るクラスタ計画部のフローチャート 実施例2に係るクラスタ計画部のフローチャート
まず、本願発明の概念について説明する。なお、本願発明では、前述したように図1に示すようなNW10内のMECサーバ群11が地域区分に応じたツリー構造をとる環境を想定する。なお、図1のインターネットやクラウドサーバは本願発明の構成要素に含まれない点に留意されたい。
また、本願発明では、NW10の運用及びMECサーバ群11によるクラスタ環境を提供する者と、当該クラスタ環境を利用して機能/サービスを提供する者と、前記機能/サービスの提供を受ける者(端末1のユーザ)とが登場する、いわゆるBtoBtoXというビジネスモデルを想定している。本願では、説明の便宜上、NW10の運用及びMECサーバ群11によるクラスタ環境を提供する者を「運用者」、当該クラスタ環境を利用して機能/サービスを提供する者を「機能/サービス提供者」と呼ぶものとする。なお、運用者と機能/サービス提供者とは必ずしも異なる者である必要はない点に留意されたい。
本願発明に係るシステムは、端末1に対して提供する機能/サービスの要件に加えて、MECサーバ群11やNW10のリソース配置/利用状況、保守運用も含めたコストを考慮し、端末1に対して提供する機能/サービスのクラスタをMECサーバで構成(クラスタリング)、必要に応じて更新するシステムである。
ここで、MECサーバ群11やNW10のリソース配置/利用状況、保守運用も含めたコストに応じて、特定の機能/サービスのクラスタ構成に組み込むべきMECサーバ群11、リージョンは変動するため、本願発明では、満足させられる機能/サービス要件とMECサーバ群11やNWのリソース配置/利用状況、保守運用も含めたコストから設定される「仮想リージョン(vR:virtual Region)」を定義する。
MECサーバを利用する機能/サービスは提供範囲(提供地域)と満足すべき要件を提示し、その提示を受けた運用者側が仮想リージョンvRに属するMECサーバ群11から機能/サービスを提供するクラスタを構成(クラスタリング)する。要件には確保すべきリソース(GPU(Graphics Processing Unit)の要否や確保すべきCPU(Central Processing Unit)、NW帯域など)や担保すべき条件(冗長化の程度や遅延時間)が想定される。
また、仮想リージョンvRを定義、運用するためにはMECサーバ群11間を接続するNW10のトポロジーをUプレーン/Cプレーン/Mプレーンそれぞれで考慮する必要があるが、ここでは前述した図1に示すような階層構造(ツリー構造)の環境を想定する。なお、当然、MEC特有の機能/サービス特性やコストを含む運用者側の要件にしたがって、階層構造を内包するのであれば、メッシュ構造などの異なるNWトポロジーを想定してもよいし、ネットワークの機能も仮想化した上で必要に応じてNWトポロジーを変化させる環境を想定しても構わない。
次に、本発明に係るクラスタリングシステムについて図2~図4を参照して説明する。図2は本発明に係るクラスタリングシステムの機能ブロック図、図3はクラスタリングのシーケンスチャート、図4はクラスタ計画部(後述する)のフローチャートである。
図2に示すように、クラスタリングシステム100は、監視部110と、記憶部120と、クラスタ計画要請部130と、クラスタ計画部140と、クラスタ構築部150とを備えている。クラスタリングシステム100の実装形態は不問である。例えば、クラスタリングシステム100の各部を専用装置として実装してもよいし、汎用装置や仮想化環境にプログラムをインストールして実装してもよいし、NW10を構成する各種装置にプログラムをインストールして実装してもよい。また、クラスタリングシステム100を1つの装置・仮想化環境に集中して実装してもよいし、複数の装置・仮想化環境に分散して実装してもよい。
以下、本発明に係るクラスタリングシステム100の各部の機能・動作の詳細について図2~図4を参照して説明する。
記憶部120は、後述するように監視部110及びクラスタ計画要請部130からの各種情報を記憶する。記憶部120に記憶される情報としては、監視部110によって取得されたテレメトリ情報と、クラスタ計画要請部130で取得した非テレメトリ情報に大別される。テレメトリ情報及び非テレメトリ情報の詳細について後述する。
監視部110は、各拠点に配置されたMECサーバ群11を構成するMECサーバおよびNW10の利用状況を監視し、取得した利用状況情報をテレメトリ情報として記憶部120に格納する(図3のステップS11~S13)。各MECサーバからの情報取得方法や、NW10からの情報取得方法については、従来周知の種々の方法を用いることができる。
クラスタリング済みの機能/サービスや今後クラスタリングする必要のある機能/サービスの提供地域及び要件、MECサーバの配置位置/量に関する非テレメトリ情報は、GUI(Graphical User Interface)やCUI(Character User Interface)等の情報取得用インタフェースである非テレメトリ情報取得IF200を介してクラスタ計画要請部130に送信される(図3のステップS14)。送信される非テレメトリ情報としては、地域特性に関する情報、例えば時期/時間ごとの機能/サービス提供状況、地域別人口変動統計や在圏or接続端末数変動統計などを含んでも構わない。また、送信される非テレメトリ情報は、非テレメトリ情報取得IF200を介して、運用者により入力されてもよいし、機能/サービス提供者により入力されてもよいし、両者により入力されてもよい。
クラスタ計画要請部130は、取得した情報を記憶部120に格納する(図3のステップS15)と同時に、クラスタリングする必要のある機能/サービスの新規発生やクラスタリング済みの機能/サービスの要件変更、MECサーバの配置位置/量の変化を契機に、クラスタ計画部140にクラスタ計画要請を送信する(図3のステップS16)。
次に、図4のフローチャートに従って、クラスタ計画要請に対してクラスタ計画部140がクラスタ計画の立案処理を行う。当該立案処理の主要な流れは、(a)仮想リージョンvRを設定し、(b)仮想リージョンvRに含まれる拠点のMECサーバ群11を用いた1つ以上のクラスタ計画案を立案し、(c)各クラスタ計画案に対して後述するクラスタ構成適切度Fを算出し、(d)算出したクラスタ構成適切度Fに基づき適切なクラスタ計画を選択する、というものである。以下、クラスと計画部140の処理について詳述する。
クラスタ計画部140は、クラスタ計画要請部130からクラスタ計画要請を受信すると(図4のステップS101)、記憶部120に格納されている情報を参照し(図4のステップS102,図3のステップS17)、機能/サービスに追加or変更があったかを確認する(図4のステップS103)。追加or変更があった場合は、記憶部120の情報を参照して仮想リージョンvRを設定し、仮想リージョンvRに属するMECサーバを用いて追加or変更のあった機能/サービスのみのクラスタ構成を新たに計画し、その計画をMECサーバ群に適用した時のクラスタ構成適切度Fを算出する(図4のステップS104)。
クラスタ構成適切度Fが所定の既定値Fth1以上の場合は、クラスタ計画結果をクラスタ構築部150とクラスタ計画要請部130に送信し(図4のステップS105~S106,図3のステップS18,S19)、クラスタ構築部150がクラスタ計画結果に基づいてクラスタリングする(図3のステップS20)。クラスタ計画要請部130は、受信したクラスタ計画を記憶部120に格納する(図3のステップS21)。
ここで、クラスタ構成適切度Fは保守運用コストも考慮したMECサーバ群11とNW10の利用状況から算出される運用者側にとってのクラスタ構成の適切度合いであり、クラスタ構成適切度Fが高い程、運用者側にとってリソースを効率的に利用できている状態を表す。算出には単なるMECサーバ群11とNW10の利用状況だけではなく、MECサーバの配置位置や耐用年数、定期保守までの時間間隔などにより算出される保守運用に関するコストも考慮することができる。クラスタ構成適切度Fの算出式や計算に含める要素、係数などについては、運用者側の要件に応じて任意に設定可能である。既定値Fth1は運用者側が理想とするリソースの効率的な利用を実現できるクラスタ構成適切度Fの下限値であり、これも各種外部要件に応じて任意に設定することができる。
一方、クラスタ構成適切度Fが既定値Fth1より小さい場合は、運用者側が許容できるリソースの効率的な利用の所定の下限値Fth2とクラスタ構成適切度Fとを比較する(図4のステップS105,S107)。クラスタ構成適切度Fが下限値Fth2以上の場合は、クラスタ計画結果をクラスタ構築部150とクラスタ計画要請部130に送信する(図4のステップS107~S108,図3のステップS18,S19)。次に、再度、記憶部120の情報を参照して、追加or変更がなかった機能/サービスも含めて、すなわち今回のクラスタ計画要請以外の既存のクラスタに係る機能/サービスも含めて、仮想リージョンvRをそれぞれ設定し、クラスタ構成適切度Fが最大となるクラスタ構成を計画する(図4のステップS109)。一方、クラスタ構成適切度Fが下限値Fth2より小さい場合はクラスタリング不可のため、前述の図4のステップS109に処理を移す(図4のステップS107)。
クラスタ構成適切度Fが下限値Fth2以上の場合は、クラスタ計画結果をクラスタ構築部150とクラスタ計画要請部130に送信し(図4のステップS110,S106,図3のステップS18,S19)、クラスタ構築部150が計画に基づいて(改めて)クラスタリングする(図3のステップS20)。クラスタ計画要請部130は、受信したクラスタ計画を記憶部120に格納する(図3のステップS21)。一方、クラスタ構成適切度Fが下限値Fth2より小さい場合はクラスタリング不可のため、クラスタ計画結果をクラスタ計画要請部130に送信し、クラスタリングは実行しない(図4のステップS110,S111)。
クラスタリング不可の場合は機能/サービス提供が不可のため、運用者側がリソースの増強などの保守運用により対処する。対処後のリソース状況は非テレメトリ情報取得IF200を通じて記憶部120に格納されるため、再度クラスタ計画要請部130がクラスタ計画部140にクラスタ計画要請を送信することになり、結果的に提供したい機能/サービスのクラスタリングが可能となる。
前述した図4のステップS103において、機能/サービスに追加or変更がなかった場合は、再度、記憶部120の情報を参照して、追加or変更がなかった機能/サービスも含めて、すなわち今回のクラスタ計画要請以外の既存のクラスタに係る機能/サービスも含めて、仮想リージョンvRを設定し、クラスタ構成適切度Fが最大となるクラスタ構成を計画する(図4のステップS109)。クラスタ構成適切度Fが下限値Fth2以上の場合は、クラスタ計画結果をクラスタ構築部150とクラスタ計画要請部130に送信し(図4のステップS110,S106,図3のステップS18,S19)、クラスタ構築部150が計画に基づいて(改めて)クラスタリングする(図3のステップS20)。クラスタ計画要請部130は、受信したクラスタ計画を記憶部120に格納する(図3のステップS21)。一方、クラスタ構成適切度Fが下限値Fth2より小さい場合はクラスタリング不可のため、クラスタ計画結果をクラスタ計画要請部130に送信し、クラスタリングは実行しない(図4のステップS110,S111)。
なお、クラスタ構築処理は、クラスタ計画に基づき、クラスタ構築部150が従来周知の各種方法に基づき自動的に実施してもよいし、その処理の一部を運用者の人手によって実施してもよい。
クラスタ計画要請の発出条件や頻度、クラスタ構成適切度Fの算出式や形式、既定値Fth1や下限値Fth2として設定する閾値の種類や程度、クラスタ構成適切度Fの最大値を計算するために考慮するクラスタ構成計画の数的規模や範囲などは、必要に応じて別途規定することができる。
このようなクラスタリングシステム100によれば、端末1に提供する機能/サービスの要件を満たしつつ、階層構造をとるMECサーバ群11のようなMECサーバ群11毎に性質が異なり、かつ物理的に制限のあるリソースを効率的に利用、また運用することができる。
また、運用者側を考慮した仮想リージョンvRの設定により、機能/サービス提供者はクラスタリングされるMECサーバの地域区分、リージョンを具体的に指定することなく、提供範囲と要件を提示するのみで、要件を満足した状態で利用・提供できる環境が実現可能となる。
さらに、地域特性に関する情報やMECサーバ群11・NW10の利用状況、クラスタ計画結果の蓄積は、その時点でのリソース活用(クラスタ構成)だけではなく、将来的なリソース計画(MECサーバ群11のスケールアップ/スケールアウト、新たな場所に配置)にも反映できる。
次に、本発明の実施例1について図5~図7を参照して説明する。本実施例1では図1に示す環境において、サービスA(提供範囲:地域A-1-α、確保すべきCPU使用率:200%、冗長度:2重、遅延時間:15ms)のクラスタを構成する例を示す。
ここで、地域A-1-0に配置されているCPUは合計で1600%、地域A-1-αに配置されているCPUは合計で800%とする。地域A-1-αでサービスAを提供する際に利用するNW帯域は10Gbps、地域A-1-0でサービスAを提供する際に利用するNW帯域は、地域A-1-0と地域A-1-α間のNW帯域を含めて20Gbpsとし、保守運用コストは各地域のMECサーバ群で一律とする。また既定値Fth1は180に設定する。
本実施例1のクラスタ構成適切度Fは、下記数1に示す計算式により算出されるとする。なお、下記計算式は一例であり、前述したように、クラスタ構成適切度Fの算出式や計算に含める要素、係数などについては任意に設定できる点に留意されたい。
Figure 0007280476000001
F:クラスタ構成の適切度(arb.unit)
:クラスタ構成時の地域iにおけるCPU使用率の百分率(%)(100%を最大値として正規化)
y:クラスタ構成時のNW帯域利用量の期待値(Gbps)
h,i:地域iでサービスh提供に必要なNW帯域量(Gbps)
:サービスh提供に必要なCPU使用率(%)
h,i:地域iにおけるサービスhでのCPU使用率(%)
本実施例1に係るクラスタリングシステムの機能ブロック図を図5、クラスタリングのシーケンスチャートを図6に示す。また、クラスタ計画部のフローチャートを図7に示す。図5~図7において前述の図2~図4と同様の要素については同一の符号を付して説明を省略する。
サービスAを提供する必要性の発生を契機として、クラスタ計画要請部130はクラスタ計画部140にクラスタ計画要請を送信する(図6のステップS17)。クラスタ計画部140は、クラスタ計画要請部130からクラスタ計画要請を受信すると(図7のステップS201)、記憶部120に格納されているサービスAの提供範囲、確保すべきCPU使用率、冗長度、遅延時間、MECサーバ配置位置/量を参照し、仮想リージョンvR(本実施例では地域A-1-0及びA-1-αからなるリージョン)を設定、サービスAのクラスタ構成を計画し、計画適用時のクラスタ構成適切度Fの最大値Fを算出する(図7のステップS202)。ここでは例として、クラスタ構成案として考えられる以下の3案についてクラスタ構成適切度Fを計算する。
・案1:地域A-1-0にてCPUを400%確保する。F=185。
・案2:地域A-1-0にてCPUを200%、地域A-1-αにてCPUを200 %確保する。F=189。
・案3:地域A-1-αにてCPUを400 %確保する。F=210。
クラスタ構成適切度Fの最大値F=210>既定値Fth1となるため、クラスタ計画部140は案3をクラスタ構築部150とクラスタ計画要請部130に送信し(図7のステップS203~S204)、クラスタ構築部150が案3に基づいてクラスタリングする(図6のステップS20)。クラスタ計画要請部130は案3を記憶部に格納する(図6のステップS21)。
以上により、サービスAの要件を満たしつつ、階層構造をとるMECサーバ群11のようなMECサーバ群11毎に性質が異なり、かつ物理的に制限のあるリソースを効率的に利用、運用することができる。
また、運用者側を考慮した仮想リージョンvRの設定により、サービスA利用時にクラスタリングされるサーバの地域区分、リージョンを具体的に指定することなく、要件を満足した状態でのサービスA提供が可能となる。
さらに、案3に従ったサービスAの提供は、地域A-1-αのリソース需要が今後も存在することを意味するため、地域A-1-αのリソース増強計画に反映できる。
次に、本発明の実施例2について図8を参照して説明する。本実施例2は、前記実施例1において、サービスAが提供されている環境にサービスB(提供範囲:地域A-1-α、確保すべきCPU使用率:200%、冗長度:2重、遅延時間:8ms)のクラスタを構成、必要に応じてMECサーバ群に適用されているクラスタ構成を更新する例を示す。
ここで、地域A-1-αでサービスBを提供する際に利用するNW帯域は30Gbpsとする。また、既定値Fth1は180、下限値Fth2は80に設定する。
本実施例2に係るクラスタ計画部のフローチャートを図8に示す。
サービスBを提供する必要性の発生を契機として、クラスタ計画要請部130はクラスタ計画部140にクラスタ計画要請を送信する。クラスタ計画部140は、クラスタ計画部140は、クラスタ計画要請部130からクラスタ計画要請を受信すると(図8のステップS301)、記憶部120に格納されているサービスBの提供範囲、確保すべきCPU使用率、冗長度、遅延時間、MECサーバ配置位置/量を参照し、仮想リージョンvR(本実施例では地域A-1-α)を設定、サービスBのクラスタ構成を計画し、計画適用時のクラスタ構成適切度Fの最大値Fを算出する(図8のステップS302~S304)。
ここで、算出したクラスタ構成適切度Fの最大値F<下限値Fth2である、すなわち「解なし」であったとする(図8のステップS305,S307)。これは、地域A-1-αのCPU使用率が上限を超えるためであり、サービスBのみの考慮ではクラスタリング不可であることを意味する。そこで、クラスタ計画部140は記憶部120に格納されている情報を参照し、サービスAについてもクラスタ構成を再考する。すなわち、サービスAとサービスBについてそれぞれ仮想リージョンvRを設定し(本実施例では地域A-1-0及びA-1-αからなるリージョン)、仮想リージョンvRに属するMECサーバ群11のクラスタ構成を計画、計画適用時のクラスタ構成適切度Fの最大値Fを算出する(図8のステップS309)。ここでは例として、クラスタ構成案として考えられる以下の3案についてクラスタ構成適切度Fを計算する。
Figure 0007280476000002
クラスタ構成適切度Fの最大値F=105>下限値Fth2となるため、クラスタ計画部140は案3をクラスタ構築部150とクラスタ計画要請部130に送信し(図8のステップS310,S03~S306)、クラスタ構築部150が案3に基づいてクラスタリングする。クラスタ計画要請部130は案3を記憶部に格納する。
以上により、サービスAとBの両方との要件を満たしつつ、階層構造をとるMECサーバ群11のようなMECサーバ群11毎に性質が異なり、かつ物理的に制限のあるリソースを効率的に利用、運用することができる。
さらに、運用者側を考慮した仮想リージョンvRの設定により、サービスAとBの利用時にクラスタリングされるサーバの地域区分、リージョンを具体的に指定することなく、要件を満足した状態でのサービスAとBの提供が可能となる。
さらに、案3に従ったサービスAとBの提供は、地域A-1-0と地域A-1-α、特に地域A-1-αのリソース需要が今後も存在することを意味するため、地域A-1-0と地域A-1-α、特に地域A-1-αのリソース増強計画に反映できる。
次に、本発明の実施例3について説明する。本実施例3は、前記実施例1のようにクラスタ構成適切度Fの算出時にクラスタ構成時のMECサーバのCPU使用率やNW利用帯域を考慮するだけではなく、さらに、MECサーバ群11の保守運用コストも考慮する例を示す。
本実施例3におけるクラスタ構成適切度Fの算出式を下記数2に示す。
Figure 0007280476000003
F:クラスタ構成の適切度(arb.unit)
:クラスタ構成時の地域iにおけるCPU使用率の百分率(%)(100%を最大値として正規化)
y:クラスタ構成時のNW帯域利用量の期待値(Gbps)
h,i:地域iでサービスh提供に必要なNW帯域量(Gbps)
:サービスh提供に必要なCPU使用率(%)
h,i:地域iにおけるサービスhでのCPU使用率(%)
z:保守運用コスト(arb.unit)
a:利用しているMECサーバ群の中で保守拠点から最も遠いMECサーバ群と保守拠点間の物理的な距離(km)
b:利用しているMECサーバ群の中で次回の定期保守が最も先の日程となるMECサーバ群の次回の定期保守までの日数(日)
本実施例3では、保守運用コストとして、利用しているMECサーバ群11の中で保守拠点から最も遠いMECサーバ群11と保守拠点間の物理的な距離a(km)、利用しているMECサーバ群11の中で次回の定期保守が最も先の日程となるMECサーバ群11の次回の定期保守までの日数b(日)を考慮している。これらの他に、MECサーバの耐用年数やリソース逼迫度、保守拠点ごとの従業員数、道路の整備状況や気象条件など、リソースの増強を含めた保守運用に関わるコストを算出式に反映することもできる。保守運用に関わるコストとして含める要素や係数なども任意に設定できる。
前記距離aは定期的な保守やリソース増強作業以外に、臨時的に発生する緊急的な保守あるいはリソース増強作業発生時のコスト増大分、前記日数bは次回定期保守までの間に臨時的な保守が発生する可能性を保守運用コストに反映するために考慮している。
ここで、図1のNW構成において、保守拠点からMECサーバ群地域A-1-0および地域A-1-αまでの物理的な距離をそれぞれ5kmと50km、次回の定期保守までの日数をMECサーバ群地域A-1-0および地域A-1-αそれぞれ10日と20日と仮定し、実施例1の案1、2、3について、上記数2に示す算出式でクラスタ構成適切度Fを計算すると、クラスタ構成適切度Fはそれぞれ252、203、224となり、サービスAは案1に従ってクラスタリングされることになる。
以上により、サービスAの要件を満たしつつ、階層構造をとるMECサーバ群11のようなMECサーバ群11毎に性質が異なり、かつ物理的に制限のあるリソースについて、保守運用コストを考慮した上で効率的に利用することができる。
次に、本発明の実施例4について説明する。前記第1~3の実施例では、新たな機能/サービスの提供を契機として当該機能/サービスの提供範囲と遅延時間等の要件とに合わせて仮想リージョンvRを作成していた。一方、本実施例4では、充足できる要件としての遅延時間要件とMECサーバ群11やNW10といったリソースの状況から、予め複数の仮想リージョンvRを設定しておく例を示す。
クラスタリングシステム100の記憶部120にはリソースの情報として、MECサーバの配置位置と配置量、NW10のトポロジーと帯域、MECサーバとそのMECサーバによって機能/サービスが提供される範囲に存在する端末1との間の遅延時間が格納されている。一方、端末1に提供する機能/サービスの情報として、提供する範囲と要件、クラスタ計画部140によって作成、クラスタ構築部150によって構築されたクラスタ構築状況が格納されている。これらの情報は非テレメトリ情報取得IFを介して格納時と変化が生じた際に更新する形でも、定期的に更新する形でもよい。また、現在のMECサーバとNW10の利用状況および提供する機能/サービスの提供状況についても随時格納される。
クラスタ計画部140は記憶部120に格納されている情報を参照し、提供範囲と遅延時間要件毎にその時々の状況で随時変化する仮想リージョンvRを作成、定期的に更新する。前記実施例1では、サービスAの提供を契機としてサービスAの提供範囲と遅延時間の要件に合わせて仮想リージョンvRを作成する例を示しているが、本実施例4のようにあらかじめ機能/サービスの提供範囲と遅延時間要件毎に仮想リージョンvRを作成しておき、機能/サービス利用時に既定の仮想リージョンvRからなるリージョンのオプションを選択する形で、クラスタ計画要請部130にクラスタ計画要請を発出させても構わない。
さらに、非テレメトリ情報取得IFを介して他のエッジ/クラウド事業者のリソース情報を記憶部120に格納し、当該システムを利用する事業者が把握できる範囲の情報を利用して、他のエッジ/クラウドサーバを含めた仮想リージョンvRを作成、定期的に更新する形でも構わない。
仮想リージョンvRを設定するために必要な情報は、一般的なネットワークの管理機能や機能/サービスの管理機能を介して収集し、機能/サービスを提供するための一般的なオーケストレーション機能に対して仮想リージョンvRの設定機構を含む本発明のシステムを組み込むことで実装する。また、機能/サービスを利用するための一般的なウェブなどのインタフェースに対して、機能/サービスの提供範囲と要件を入力、あるいは既定の仮想リージョンvRからなるリージョンのオプションを選択できるインタフェースを追加し、仮想リージョンvRの設定機構を含む本発明のシステムを組み込んだ上記オーケストレーション機能と連携させることで、仮想リージョンvRに基づいたクラスタ計画および構築機能を実装する。
以上本発明の実施の形態について詳述したが本発明はこれに限定されるものではない。例えば、上記実施の形態では示したテレメトリ情報や非テレメトリ情報の具体的な情報は一例であり、他の情報を用いることもできる。
1…端末
10…ネットワーク
11…MECサーバ群
100…クラスタリングシステム
110…監視部
120…記憶部
130…クラスタ計画要請部
140…クラスタ計画部
150…クラスタ構築部

Claims (5)

  1. ネットワークを介して複数の拠点のそれぞれに配置されたMECサーバ群をクラスタリングするクラスタリングシステムであって、前記MECサーバ群は、階層構造で配置され、端末にサービスを提供し、
    前記MECサーバ群及び前記ネットワークのリソースの利用状況を含むテレメトリ情報を取得し、記憶部に格納する監視部と、
    サービス提供地域とサービス遅延時間とを含むサービス要件と、各拠点の地域と各拠点の階層レベルに応じた遅延時間とを含む拠点情報とを取得して、前記サービス要件および前記拠点情報に基づきクラスタ計画要請を生成するクラスタ計画要請部と、
    前記クラスタ計画要請に応じて、前記サービス要件および前記拠点情報を用いて前記サービス要件を満たす少なくとも1つの拠点のMECサーバ群を選択して仮想リージョンを設定し、前記仮想リージョンのMECサーバ群を用いたクラスタ構成候補を複数生成し、各クラスタ構成候補の適切度を前記サービス要件および前記テレメトリ情報を用いて算出し、適切度が最大のクラスタ構成候補をクラスタ構成として決定するクラスタ計画部と、
    前記決定したクラスタ構成に従ってクラスタリング処理を行うクラスタ構築部とを備えた
    ことを特徴とするクラスタリングシステム。
  2. 前記サービス要件は保守運用コスト情報を含む
    ことを特徴とする請求項1記載のクラスタリングシステム。
  3. 前記クラスタ計画部は複数の仮想リージョンを予め設定しておき、前記複数の仮想リージョンの何れかを選択するための情報取得用ユーザインタフェースにより選択された仮想リージョンを用いて前記クラスタ構成を決定する
    ことを特徴とする請求項1または2記載のクラスタリングシステム。
  4. サービスを提供するためのオーケストレーション機能に対して、前記監視部、前記クラスタ計画要請部、前記クラスタ計画部、前記クラスタ構築部を実装した
    ことを特徴とする請求項1乃至3の何れか1項記載のクラスタリングシステム。
  5. ネットワークを介して複数の拠点のそれぞれに配置されたMECサーバ群をクラスタリングするクラスタリングシステムが行うクラスタリング方法であって、前記MECサーバ群は、階層構造で配置され、端末にサービスを提供し、
    前記クラスタリングシステムは、
    前記MECサーバ群及び前記ネットワークのリソースの利用状況を含むテレメトリ情報を取得して記憶部に格納し、
    サービス提供地域とサービス遅延時間とを含むサービス要件と、各拠点の地域と各拠点の階層レベルに応じた遅延時間とを含む拠点情報とを取得して、前記サービス要件および前記拠点情報に基づきクラスタ計画要請を生成し、
    前記クラスタ計画要請に応じて、前記サービス要件および前記拠点情報を用いて前記サービス要件を満たす少なくとも1つの拠点のMECサーバ群を選択して仮想リージョンを設定し、前記仮想リージョンのMECサーバ群を用いたクラスタ構成候補を複数生成し、各クラスタ構成候補の適切度を前記サービス要件および前記テレメトリ情報を用いて算出し、適切度が最大のクラスタ構成候補をクラスタ構成として決定し、
    前記決定したクラスタ構成に従ってクラスタリング処理を行う
    ことを特徴とするクラスタリング方法。
JP2019014082A 2019-01-30 2019-01-30 クラスタリングシステムおよびクラスタリング方法 Active JP7280476B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019014082A JP7280476B2 (ja) 2019-01-30 2019-01-30 クラスタリングシステムおよびクラスタリング方法
PCT/JP2020/001136 WO2020158395A1 (ja) 2019-01-30 2020-01-16 クラスタリングシステムおよびクラスタリング方法
US17/424,242 US11875192B2 (en) 2019-01-30 2020-01-16 Clustering system and clustering method for providing services using multi- access edge computing servers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019014082A JP7280476B2 (ja) 2019-01-30 2019-01-30 クラスタリングシステムおよびクラスタリング方法

Publications (2)

Publication Number Publication Date
JP2020123101A JP2020123101A (ja) 2020-08-13
JP7280476B2 true JP7280476B2 (ja) 2023-05-24

Family

ID=71840418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019014082A Active JP7280476B2 (ja) 2019-01-30 2019-01-30 クラスタリングシステムおよびクラスタリング方法

Country Status (3)

Country Link
US (1) US11875192B2 (ja)
JP (1) JP7280476B2 (ja)
WO (1) WO2020158395A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079062A (ja) 2015-10-21 2017-04-27 インテル コーポレイション モバイルエッジコンピュート動的アクセラレーション割り当て

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152305A1 (en) * 2000-03-03 2002-10-17 Jackson Gregory J. Systems and methods for resource utilization analysis in information management environments
JP5056504B2 (ja) * 2008-03-13 2012-10-24 富士通株式会社 制御装置、情報処理システム、情報処理システムの制御方法および情報処理システムの制御プログラム
US9668141B2 (en) * 2012-07-12 2017-05-30 Huawei Technologies Co., Ltd. Systems and methods for clustering optimization to help resolve boundary problems in communication systems
US9740978B2 (en) * 2014-10-28 2017-08-22 International Business Machines Corporation Producing clustered top-k plans
US9886083B2 (en) * 2014-12-19 2018-02-06 International Business Machines Corporation Event-driven reoptimization of logically-partitioned environment for power management
JP6961969B2 (ja) * 2017-03-22 2021-11-05 日本電気株式会社 サーバ、サービス提供システム、サービス提供方法及びプログラム
US10868742B2 (en) * 2017-03-29 2020-12-15 Juniper Networks, Inc. Multi-cluster dashboard for distributed virtualization infrastructure element monitoring and policy control
US10749740B2 (en) * 2017-10-31 2020-08-18 Hewlett Packard Enterprise Development Lp Deploying network-based cloud platforms on end equipment
US11507430B2 (en) * 2018-09-27 2022-11-22 Intel Corporation Accelerated resource allocation techniques
US11212124B2 (en) * 2018-09-30 2021-12-28 Intel Corporation Multi-access edge computing (MEC) billing and charging tracking enhancements
US11121957B2 (en) * 2018-12-28 2021-09-14 Intel Corporation Dynamic quality of service in edge cloud architectures

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079062A (ja) 2015-10-21 2017-04-27 インテル コーポレイション モバイルエッジコンピュート動的アクセラレーション割り当て

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
小坂 佳弘 他,ユビキタスセンサ環境におけるセンシング周期および位置情報に基づくオーバレイネットワークの構築 An Overlay Network Construction Method based on Cycle of Sensing and Location in Ubiquitous Sensor Environments,第3回データ工学と情報マネジメントに関するフォーラム 論文集,電子情報通信学会データ工学専門委員会,2011年02月28日,第1頁-第8頁
山中 広明 他,"必要十分な資源利用を可能にするエッジコンピューティングIaaSの検討",電子情報通信学会技術研究報告,一般社団法人電子情報通信学会,2016年12月14日,Vol.116, No.382,第19頁-第24頁

Also Published As

Publication number Publication date
JP2020123101A (ja) 2020-08-13
US20220114029A1 (en) 2022-04-14
US11875192B2 (en) 2024-01-16
WO2020158395A1 (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
US10481935B2 (en) Management system, overall management node, and management method for managing virtualization resources in a mobile communication network
US10003500B2 (en) Systems and methods for resource sharing between two resource allocation systems
US10481953B2 (en) Management system, virtual communication-function management node, and management method for managing virtualization resources in a mobile communication network
CN110476402B (zh) 网络切片创建的方法、装置以及通信系统
CN112153700B (zh) 一种网络切片资源管理方法及设备
KR102034532B1 (ko) 스펙트럼 리소스들의 제공 및 분배를 위한 시스템 및 방법
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN113709048A (zh) 一种路由信息的发送、接收方法、网元及节点设备
JP5328929B2 (ja) サービス設定支援方法
CN108322937A (zh) 无线接入网中用于网络切片的资源分配方法和编排器
US10887172B2 (en) Network function virtualization
CN106130749B (zh) 用于基础设施的网络部署的方法、系统以及计算机可读介质
US11133990B2 (en) System and method for providing a dynamic comparative network health analysis of a network environment
CN112789832A (zh) 动态切片优先级处理
Maia et al. A multi-objective service placement and load distribution in edge computing
Hosseinalipour et al. Power-aware allocation of graph jobs in geo-distributed cloud networks
Dustdar et al. Towards distributed edge-based systems
JP7280476B2 (ja) クラスタリングシステムおよびクラスタリング方法
CN108737144B (zh) 资源管理的方法和设备
CN114090201A (zh) 资源调度方法、装置、设备及存储介质
CN111629050A (zh) 节点调度方法及装置、存储介质、电子装置
Nadesh et al. A quantitative study on the performance of cloud data Centre: Dynamic maintenance schedules with effective resource provisioning schema
CN113098705B (zh) 网络业务的生命周期管理的授权方法及装置
WO2023058137A1 (ja) アクション実行システム及びその制御方法
WO2023058133A1 (ja) アクション実行システム及びその制御方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200316

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R150 Certificate of patent or registration of utility model

Ref document number: 7280476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150