WO2017018435A1 - リソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラム - Google Patents

リソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラム Download PDF

Info

Publication number
WO2017018435A1
WO2017018435A1 PCT/JP2016/071963 JP2016071963W WO2017018435A1 WO 2017018435 A1 WO2017018435 A1 WO 2017018435A1 JP 2016071963 W JP2016071963 W JP 2016071963W WO 2017018435 A1 WO2017018435 A1 WO 2017018435A1
Authority
WO
WIPO (PCT)
Prior art keywords
resource
physical resource
unit
abnormality
physical
Prior art date
Application number
PCT/JP2016/071963
Other languages
English (en)
French (fr)
Inventor
一廣 江頭
亮太 壬生
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2017018435A1 publication Critical patent/WO2017018435A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance

Definitions

  • Patent Document 1 discloses a configuration in which a virtual machine is not a virtualized device but a physical device is directly used, and a failure occurring in the physical device is detected and notified to the administrator of the virtualization apparatus. It is disclosed.
  • Non-Patent Document 1 discloses network function virtualization (hereinafter referred to as “NFV”) that realizes functions of various communication devices on a network on a virtualized operating system (OS) of a general-purpose server using the above-described virtualization technology. ”)" Is disclosed.
  • the NFV is realized based on, for example, a MANO (Management & Orchestration) architecture.
  • FIG. 16 is a diagram cited from FIG. 5.1 (The NFV-MANO architectural framework with reference points) on page 23 of Non-Patent Document 1.
  • the virtualization infrastructure management apparatus functioning as the resource monitoring apparatus described above, and a virtual network function necessary for providing the service according to a service request from a user are determined, and the virtualization infrastructure is There is provided a virtual network function management system including an orchestration device that instructs a structure management unit to create a virtual machine corresponding to the virtual network function.
  • the VNFM manages the VNF and provides resources and constraint information necessary for the VNF to the NFV Orchestrator.
  • the NFV Orchestrator instructs the VIM 100 to create a virtual machine corresponding to the VNF based on the information provided from the VNFM and information managed by the NFV Orchestrator.
  • the H / W information collection unit 106 may not actively collect information, A method may be adopted in which the H / W autonomously transmits an alarm message and the H / W information collection unit 106 receives the alarm message, and the H / W information collection unit 106 is single. There is no need, and there may be a plurality of H / W manufacturers or H / W device types to be monitored.
  • the failure analysis unit 108 refers to the dependency relationship storage unit 110 and extracts all H / W resources that are affected by the failure of the physical resource indicated in the failure information as the affected range (step S004).
  • the failure analysis unit 108 After extracting the influence range, the failure analysis unit 108 refers to the mapping information of the dependency relationship storage unit 110 or the resource state storage unit 109, and extracts a logical resource that uses the corresponding H / W resource (step). S005). Here, the extracted logical resource becomes a logical resource that is affected by the failure of the physical resource. Then, the failure analysis unit 108 notifies the resource management unit 107 of the physical resource affected by the failure and the logical resource that uses these physical resources as resource failure information (step S006). At this time, when there are a plurality of resource management units 107 depending on the type of resource, the failure analysis unit 108 selects and notifies an appropriate resource management unit for each resource. This notification need not be performed simultaneously for all the resource management units 107, and may be performed asynchronously.
  • NFV Orchestrator NFV Orchestrator
  • VNFM NFV Orchestrator
  • the host device can give detailed instructions for operations such as healing and scaling to all the affected resources, taking into account the degree of influence of the failure. As a result, the availability of the entire NFV system is also improved.
  • FIG. 15 is a diagram illustrating an example of physical resource information configured by the resource management unit 107.
  • the status is changed to a state in which the redundancy of SV2 and SV3 is reduced.
  • the state is changed to a state such as a total failure.
  • the subsequent operation is the same as that of the first embodiment, and the resource management unit 107 transmits a logical or physical resource state change notification to the notification message creation unit 104 to request creation of a resource state change message. (Step S211).
  • the present invention can be modified to a form that performs notification in consideration of a redundant configuration.
  • notification according to the degree of failure is also possible by the policy of the failure analysis unit 108. This makes it possible to take flexible measures such as taking no action or taking a special action when the H / W redundancy is reduced, in addition to all faults.
  • the influence range specifying unit specifies a physical resource affected by the abnormality of the physical resource in the cluster unit
  • the abnormality notification unit can be configured to notify a predetermined higher-level device that the redundancy of the cluster configured by the specified physical resource has decreased.
  • a notification destination storage unit that stores a notification destination for each physical resource or virtual machine
  • the abnormality notification unit can be configured to notify the destination associated with the specified physical resource of the abnormality with reference to the notification destination storage unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

仮想化環境におけるハードウェアの障害からの復旧を効率化する。リソース監視装置は、仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する依存関係記憶部と、前記依存関係記憶部に登録された物理リソースの状態を監視する状態監視部と、一の物理リソースに異常が検出された場合、前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定する影響範囲特定部と、所定の上位装置に対して、前記特定した物理リソースを通知する異常通知部とを備える。

Description

リソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラム
[関連出願についての記載]
 本発明は、日本国特許出願:特願2015-147360号(2015年 7月27日出願)に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
 本発明は、リソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラムに関し、特に、仮想マシンに割り当てられた物理リソースのリソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラムに関する。
 特許文献1に、仮想マシンが仮想化されたデバイスではなく、直接物理デバイスを使用する構成において、その物理デバイスで発生した障害を検出し、仮想化装置の管理者に通知できるようにした構成が開示されている。
 特許文献2に、ワーキング系計算機システム上の仮想マシンに関して障害が発生した際に仮想マシンと通信していたクライアントに対して一切の設定変更を加えることなく障害を復旧できるというネットワークシステムが開示されている。
 非特許文献1には、上記仮想化技術を用いて、ネットワーク上の各種通信機器の機能を、汎用サーバの仮想化されたオペレーティングシステム(OS)上で実現するネットワークファンクション仮想化(以下、「NFV」)という方式が開示されている。NFVは、例えばMANO(Management & Orchestration)アーキテクチャに基づき実現される。図16は、非特許文献1の第23頁のFigure 5.1(The NFV-MANO architectural framework with reference points)から引用した図である。
 NFVにおいても、VMの障害・輻輳を検知し、迅速に復旧する方法として、(オート)ヒーリング/スケーリングが実現されている。非特許文献1の5.4.2 VNF manager (VNFM)の項には、VNFM(Virtualized Network Function Manager)がVNFのヒーリング機能を備えていることが記載されている。また、非特許文献1のB.4 VNF instance scaling flowsの項には、VNFやVIMが監視機能、閾値との比較、通知機能を有し、VNFM(Virtualized Network Function Manager)においてスケーリングの要否の判断を行うことが記載されている。
国際公開第2014/141593号 特開2015-2482号公報
ETSI GS NFV-MAN 001 V1.1.1 (2014-12) Network Functions Virtualisation (NFV); Management and Orchestration、[online]、[平成27年7月9日検索]、インターネット〈http://www.etsi.org/deliver/etsi_gs/NFV-MAN/001_099/001/01.01.01_60/gs_NFV-MAN001v010101p.pdf〉
 以下の分析は、本発明によって与えられたものである。例えば、上記NFVにおいては、障害や輻輳等の発生時に、(オート)ヒーリング/スケーリングにより迅速に復旧やスケールアウト等の適切な対処を実施することが可能となっている。(オート)ヒーリング/スケーリングの実施の判断は個々のサーバやスイッチ等のハードウェア(以下、「H/W」とも記す)における状態異常の検出等に基づいて行われる。
 しかしながら、ある装置の異常が広範囲に影響する場合や、複合的な障害の場合もあり、(オート)ヒーリング/スケーリングにおいて障害の影響下にあるH/Wが選択され、障害や輻輳が改善しないということが起こり得る。このような不具合を避けるためには、全体を監視しているOSS等の装置やVNFアプリケーションのヘルスチェック機能などで障害の発生状況を把握する必要がある。しかしながら、障害の影響範囲を適切に管理できていない場合、これらの機能で検出される影響範囲も適切なものとはならない。結果として、ヒーリングやスケーリングを実行しても、異常の影響が及んでいるリソースを選択する可能性があり、有効な復旧策の実施まで時間が掛かってしまうということが起こり得る。
 上記の事情は、非特許文献1のようなVNFを提供するシステムに固有のものではなく、仮想マシンと物理リソースが動的に対応付けされ、かつ、一の物理リソースの異常が他の物理リソースに影響しうる他のシステムにも当てはまる。
 本発明は、仮想化環境におけるハードウェアの障害からの復旧の効率化、早期化に貢献できる通信システム、通信装置、制御装置、通信装置の制御方法及びプログラムを提供することを目的とする。
 第1の視点によれば、仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する依存関係記憶部を備えたリソース監視装置が提供される。このリソース監視装置は、さらに、前記依存関係記憶部に登録された物理リソースの状態を監視する状態監視部を備える。このリソース監視装置は、さらに、一の物理リソースに異常が検出された場合、前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定する影響範囲特定部を備える。このリソース監視装置は、さらに、所定の上位装置に対して、前記特定した物理リソースを通知する異常通知部とを備える。
 第2の視点によれば、上記したリソース監視装置として機能する仮想化インフラストラクチャ管理装置と、ユーザからのサービス要求に応じて、当該サービスの提供に必要な仮想ネットワークファンクションを割り出し、前記仮想化インフラストラクチャ管理部に対し前記仮想ネットワークファンクションに対応する仮想マシンの作成を指示するオーケストレーション装置と、を含む仮想ネットワークファンクション管理システムが提供される。
 第3の視点によれば、仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する依存関係記憶部に登録された物理リソースの状態を監視するステップと、一の物理リソースに異常が検出された場合、前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定するステップと、所定の上位装置に対して、前記特定した物理リソースを通知するステップと、を含むリソース監視方法が提供される。本方法は、上記依存関係記憶部を備えて、一の物理リソースの異常により影響を受ける範囲の計算手段を持つコンピュータという、特定の機械に結びつけられている。
 第4の視点によれば、仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する依存関係記憶部に登録された物理リソースの状態を監視する処理と、一の物理リソースに異常が検出された場合、前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定する処理と、所定の上位装置に対して、前記特定した物理リソースを通知する処理と、をリソース監視装置を構成するコンピュータに実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な(非トランジエントな)記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
 なお、前記したパケット転送装置のリソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラムの各要素は、それぞれ上記した課題の解決に貢献する。
 本発明によれば、仮想化環境におけるハードウェアの障害からの復旧の早期化に貢献することが可能となる。即ち、本発明は、背景技術に示した装置を、障害からの復旧性が向上された装置へと変換するものとなっている。
本発明の一実施形態の構成を示す図である。 本発明の第1の実施形態の仮想ネットワークファンクション管理システムの構成を示す図である。 本発明の第1の実施形態のVIM(仮想化インフラストラクチャ管理装置)の構成を示す図である。 本発明の第1の実施形態のVIMの依存関係記憶部に保持される情報の一例を示す図である。 本発明の第1の実施形態のVIMの依存関係記憶部に保持される情報の別の一例を示す図である。 本発明の第1の実施形態のVIMの依存関係記憶部に保持される情報のさらに別の一例を示す図である。 本発明の第1の実施形態のVIMのリソース状態記憶部に保持される物理リソース情報の一例を示す図である。 本発明の第1の実施形態のVIMのリソース状態記憶部に保持される論理リソース情報の一例を示す図である。 本発明の第1の実施形態のVIMの通知先記憶部に保持される情報の一例を示す図である。 本発明の第1の実施形態の動作を表したシーケンス図である。 本発明の第2の実施形態のVIMの構成を示す図である。 本発明の第2の実施形態の機能説明するための図である。 本発明の第3の実施形態の動作を表したシーケンス図である。 本発明の第4の実施形態の動作を表したシーケンス図である。 本発明の第4の実施形態のVIMのリソース状態記憶部に保持される物理リソース情報の一例を示す図である。 NFVアーキテクチャのNFV-MANOを説明する図である(非特許文献1のFig.5.1を引用)。
 はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。
 本発明は、その一実施形態において、図1に示すように、依存関係記憶部11と、状態監視部12と、影響範囲特定部13と、異常通知部14とを備えるリソース監視装置10にて実現できる。
 より具体的には、依存関係記憶部11は、仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する。
 状態監視部12は、依存関係記憶部に登録された物理リソースの状態を監視する。そして、物理リソースに異常が検出された場合、影響範囲特定部13が前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定する。そして、異常通知部14は、所定の上位装置に対して、前記特定した物理リソースを通知する。このようにすることで、上位装置において、あるVM(例:VM1)に割り当てられている物理リソースを別の物理リソースに再割り当てしたり、異常が検出された物理リソースの切り離しや再起動等の適切な処置を採ることが可能となる。
[第1の実施形態]
 続いて、非特許文献1のMANO(Management & Orchestration)アーキテクチャに、本発明を適用した第1の実施形態について図面を参照して詳細に説明する。図2は、本発明の第1の実施形態の仮想ネットワークファンクション管理システムの構成を示す図である。
 図2を参照すると、ネットワークファンクション仮想化インフラストラクチャ(NFVI)を管理するVIM(Virtualized Infrastructure Manager)100と、NFVI上で動作するVNF(仮想化されたネットワーク機能)を管理するNFV Orchestrator/VNFM200とが接続された構成が示されている。
 VIM100は、上記したリソース監視装置に相当し、VNFの制御を行うMANOアーキテクチャにおいて、主にリソースの管理を担当する。
 NFV Orchestrator/VNFM200は、VIM100の上位装置として、VIM100に対し、最適なHWにVNFの配置を要求する。NFV Orchestrator/VNFM200は、VIM100により配置されたVNFを用いて、ユーザに対してVNFを提供する。なお、NFV Orchestrator/VNFM200の例では、NFV OrchestratorとVNFMとが同一の機能ブロックで表されているが、NFV OrchestratorとVNFMとはそれぞれ役割が異なっている(図14参照)。より具体的には、NFV Orchestratorは、ユーザ(図14のOSS/BSS)からのサービス要求に応じて、当該サービスの提供に必要なVNFを割り出し、VNFMに対し当該VNFに必要な資源及び制約情報を要求する。VNFMは、VNFを管理するとともに、NFV Orchestratorに対して、VNFに必要な資源及び制約情報を提供する。NFV Orchestratorは、VNFMから提供された情報及び自身で管理する情報に基づいて、VIM100に対し、当該VNFに対応する仮想マシンの作成の指示を行う。
 また、NFV Orchestrator/VNFM200は、所定のスケールアウト又はヒーリング条件の成立を契機に、VIM100に対しスケールアウト又はヒーリングを指示する。その際に、NFV Orchestrator/VNFM200はVIM100から通知された障害情報を参照して、ヒーリングやスケーリングを実施する際の物理リソースを選択することができる。例えば、ある物理リソースの異常の影響を受ける物理リソースを、ヒーリングやスケーリングの際に利用しないように、VIM100に指示することができる。
 図3は、本発明の第1の実施形態のVIMの構成を示す図である。図3を参照すると、Vi-Vnfm通信部101と、Or-Vi通信部102と、Nf-Vi通信部103と、通知メッセージ作成部104と、通知先記憶部105と、H/W情報収集部106と、リソース管理部107と、障害解析部108と、リソース状態記憶部109と、依存関係記憶部110とを備えた構成が示されている。
 Vi-Vnfm通信部101は、VNFMからのリソース割り当て要求、仮想化リソースの構成と状態情報の交換に用いられる。Vi-Vnfm通信部101は、図16のVNFMとVIM間の参照ポイントVnfm-Viに相当する。
 Or-Vi通信部102は、NFV Orchestratorからのリソース予約、割り当て要求、仮想化リソースの構成と状態情報の交換等に用いられる。Or-Vi通信部102は、図16のNFVOとVIM間の参照ポイントNfvo-Viに相当する。
 Nf-Vi通信部103は、NFVIとの間で、VMの各種制御、VMへの物理リソースの割り当て、仮想化リソースの状態情報の転送、ハードウェア資源の構成と状態の情報の交換等に用いられる。Nf-Vi通信部103は、図16のNFVIとVIM間の参照ポイントNf-Viに相当する。
 H/W情報収集部106は、Nf-Vi通信部103を介して、NFVIを構成するH/Wの情報を収集し、これらのヘルスチェック及び各種閾値判定を行う。前記ヘルスチェック及び各種閾値判定の結果、異常ありと判定した場合、H/W情報収集部106は、障害解析部108に対し、異常があった物理リソースとその内容を示す障害情報(例えば、機器固有のIDと障害種別等)を通知する。なお、H/W情報収集部106におけるヘルスチェック及び各種閾値判定の方法は、監視対象となるH/Wに応じた方法(例えば、予め選定されたKPI(Key Performance Indicator;各種負荷やH/Wセンサーの数値)の監視、ソフトウェアの死活監視などを設定可能であるものとする。また、H/Wの種別によっては、H/W情報収集部106が能動的に情報を収集するのではなく、H/Wが自律的にアラームメッセージを送信し、H/W情報収集部106が当該アラームメッセージを受信する方法を採用してもよい。また、H/W情報収集部106は、単一である必要はなく、監視対象のH/Wのメーカーや、H/Wの機器種別ごとに複数存在してもよい。
 障害解析部108は、H/W情報収集部106から障害情報の通知を受けると、依存関係記憶部110を参照して、障害情報に示された異常が他のどのリソースに影響があるかを判定する。障害解析部108は、リソース障害情報として、リソース管理部107に前記判定した結果を通知する。リソース障害情報は、H/W情報収集部106から受信した障害情報に、障害解析部108が影響を受けると判定した物理リソースの情報を追加した形態であってもよい。
 ここで、依存関係記憶部110に保持される情報について説明する。依存関係記憶部110は、例えば、図4のように有向非循環グラフの形で依存関係を表した依存関係を保持する。また、このような依存関係は、1対多の関係に限られず、多対多で設定可能とする。このような依存関係は、H/Wのデプロイ(配置)時などに保守操作で入力することとすればよい。
 このとき、図4に示されるように、依存関係記憶部110に、論理リソース(仮想リソース)と、物理リソース間のマッピング情報を保持させてもよい。このようなマッピング情報はリソース管理部107が持つマッピング情報(リソース状態記憶部109)からインポートすることで入手することもできる。また、この場合において、H/W情報収集部106から障害情報を受けた際の論理リソース-物理リソースのマッピング解決は、障害解析部108が行ってもよい。
 もちろん、図5に示すように、依存関係記憶部110が、論理リソース-物理リソースのマッピング情報を持たない構成も採用可能である。また、図4、図5のような有向非循環グラフに代えて、図6に示すように、テーブル形式で依存関係を表して依存関係記憶部110に保持させることもできる。
 リソース管理部107は、リソース状態記憶部109を用いて、物理・論理のリソースの状態管理を行う。また、リソース管理部107は、障害解析部108からの通知に基づいて、リソース状態記憶部109を更新した場合、通知メッセージ作成部104にその更新内容を通知する。なお、物理リソースはサーバ、スイッチ、ストレージやそれらを構成するプロセッサ、ポートなどを指し、論理リソースは仮想ネットワーク、VMやVMを構成する仮想CPU、仮想NIC等を指す。
 図7は、リソース状態記憶部109に保持される物理リソースの状態管理のテーブルの一例である。例えば、障害解析部108から、サーバ2(SV2)のCPU使用率が閾値を超えたという障害情報の通知を受けた場合、リソース管理部107は、図7のテーブルのサーバ2(SV2)の状態を「正常」から「異常」に更新する。同様に、障害解析部108から、サーバ2(SV2)と依存関係があるサーバ3(SV3)についても当該異常の影響の受けると通知されている場合、リソース管理部107は、図7のテーブルのサーバ3(SV3)の状態を「正常」から「異常」等と更新する。
 図8は、リソース状態記憶部109に保持される論理リソースの状態管理のテーブルの一例である。例えば、障害解析部108から、サーバ2(SV2)の障害情報の通知を受けた場合、リソース管理部107は、サーバ2(SV2)にマッピングされたVM2の状態を「正常」から「異常」に更新する。
 リソース管理部107は、NFV Orchestrator/VNFM200からの要求に応じて論理リソースを作成した時に、論理リソースと、当該論理リソースに割り当てた物理リソースとを対応付けた論理・物理リソース間のマッピング情報を作成し、リソース状態記憶部109に登録する。論理・物理リソース間のマッピング情報は、図4の下段に示すように、2段以上の階層構造を持つこともできる。なお、論理リソースに割り当てる物理リソースは、NFV Orchestrator/VNFM200からの指示に基づいて選択される。また、NFV Orchestrator/VNFM200がスケールアウト又はヒーリングを実施するために、論理リソースの作成を指示する場合もある。
 なお、図3の例では、VIM100に1つのリソース管理部107が配置されている例を示しているが、リソース管理部107は、リソースの種別、たとえばネットワークや計算資源や記憶装置毎に複数存在していてもよい。また、ユーザや仮想ネットワーク毎にリソース管理部107を設けてもよい。
 通知メッセージ作成部104は、リソース管理部から通知された情報を用いて、NFV Orchestrator/VNFM200等の上位装置に通知するメッセージを作成する。このメッセージの通知先は、通知先記憶部105を参照して決定される。
 図9は、通知先記憶部105に保持される情報の一例を示す図である。図9の例では、リソースごとに、通知先が設定されている。このようなエントリは、ユーザが任意のリソースを選択して所望の通知先を設定することとしてもよいが、論理リソースを作成した際に、リソース管理部107が、所定のポリシーに従って決定した通知先を登録することでもよい。
 なお、図1、3に示したリソース監視装置乃至VIMの各部(処理手段)は、これらの装置を構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。
 続いて、本実施形態の動作について図面を参照して詳細に説明する。図10は、本発明の第1の実施形態の動作を表したシーケンス図である。以下の例では、リソース管理部107が2つあるものとして説明する。図10を参照すると、まず、H/W情報収集部106は、所定のタイミングでH/Wの監視を実施する(ステップS001)。
 ここでは、H/W2から自律的にアラームメッセージが送信されたものとして説明する(ステップS002)。H/W情報収集部106は、アラームメッセージの受信を契機に、障害解析部108に対して、障害情報を通知する(ステップS003)。もちろん、H/W情報収集部106がKPIの監視やソフトウェアの監視の結果、異常を検知した場合も同様の動作が行われる。
 障害解析部108は、依存関係記憶部110を参照し、影響範囲として、障害情報に示された物理リソースの障害により影響を受ける全H/Wリソースを抽出する(ステップS004)。
 前記影響範囲の抽出後、障害解析部108は、依存関係記憶部110又はリソース状態記憶部109のマッピング情報を参照して、該当するH/Wリソースを利用している論理リソースを抽出する(ステップS005)。ここで、抽出された論理リソースが、物理リソースの障害により影響を受ける論理リソースとなる。そして、障害解析部108は、リソース管理部107に対し、リソース障害情報として、障害の影響を受ける物理リソースおよびこれら物理リソースを利用している論理リソースを通知する(ステップS006)。この時、リソースの種別によってリソース管理部107が複数存在する場合、障害解析部108は、リソース毎に適切なリソース管理部を選択して通知を行う。また、この通知は、すべてのリソース管理部107に対して同時に行う必要はなく、非同期に実施してもよい。
 前記リソース障害情報を受信したリソース管理部107は、リソース状態記憶部109の該当リソースの状態を変更した後(ステップS007)、通知メッセージ作成部104に対し、論理又は物理リソースの状態変更通知を送信し、リソースの状態変更メッセージの作成を要求する(ステップS008)。なお、リソース管理部107が複数存在する場合、各リソース管理部が非同期に、それぞれのリソースの状態変更通知を送信することになる。
 論理又は物理リソースの状態変更通知を受信した通知メッセージ作成部104は、通知先記憶部105から、状態変更のあったリソースに対応する通知先を読み出して(ステップS009)、該当する通知先に状態変更通知を送信する(ステップS010)。
 以上説明したように、本実施形態によれば、ある装置の状態異常が影響を及ぼす全リソースを、NFV Orchestrator、VNFMなどの上位装置に把握させることが可能となる。上位装置は影響する全リソースに対し、障害の影響度を加味してヒーリングやスケーリング等の動作を細かく指示することが可能となる。この結果、NFVシステム全体の可用性も向上されることになる。
 また、本実施形態における依存関係として、同一クラスタに属する物理リソースをグループ化した冗長化クラスタ情報を用意して、複数の機器を冗長化クラスタとして管理する構成に適用することもできる。このようにすれば、あるクラスタ内の機器が障害となった場合、当該クラスタに属するサーバ等の全機器の状態を冗長性低下状態に変更し、上位装置に通知することができる。
 また、非特許文献1のMANOのような構成の場合、H/Wは原則全て冗長化されるが、可用性の観点から片系異常についても迅速に復旧することが好ましい。しかしながら、非特許文献1のMANOのような構成では、仮想化レイヤが存在することで、H/W片系異常が隠ぺいされ、適切な処理が難しくなる。本実施形態は、このような片系異常についても、適切に上位装置に通知を上げることが可能となる。
[第2の実施形態]
 続いて、第1の実施形態にネットワークトポロジーを考慮した影響範囲の特定機能を追加した第2の実施形態について図面を参照して詳細に説明する。図11は、本発明の第2の実施形態のVIM100aの構成を示す図である。図3に示した第1の実施形態のVIM100との相違点は、物理リソース間の接続関係を表したトポロジー情報を記憶するトポロジー記憶部111が追加されている点と、障害解析部108aが依存関係に加えてトポロジー情報も参照して障害の影響の及ぶ範囲を特定する点である。基本的な構成は第1の実施形態と同様であるので、以下、その相違点を中心に説明する。
 トポロジー記憶部111は、管理対象物理リソース同士の接続関係を示すトポロジー情報を記憶する。このようなトポロジー情報は、保守操作でユーザが入力するほか、他のネットワーク管理システムのトポロジー情報を参照する形としてもよい。
 本実施形態の障害解析部108aは、H/W情報収集部106から障害情報を通知されると、依存関係記憶部110及びトポロジー記憶部111のトポロジー情報を参照して、どのリソースに影響があるかを判定する。
 図12は、本実施形態の障害解析部108aの判定動作を説明するための図である。例えば、図12に示すように、Switch AのSwitch Bとの接続インターフェースに障害が発生したとする。この場合、障害解析部108aは、Switch A乃至Switch Bと依存関係にある物理リソースのみならず、図12のように把握されるトポロジー情報を参照して、太い破線で示すSwitch B側に配置された各種機器も影響範囲として特定する。
 以上説明したように、本実施形態によれば、第1の実施形態の効果に加えて、物理リソース間のトポロジーも加味して影響範囲を特定し、上位装置に通知することが可能となる。この結果、上位装置に、分断されたネットワークのいずれかを選択して、物理-論理リソースの割り当てをやり直させるといったことが可能となる。
 また、前記分断されたネットワークの選択は、予め定められたポリシーに基づいて行うようにすることもできる。このようなポリシーとしては、例えば、サーバ台数が多いネットワーク優先、外部接続点を含むネットワーク優先、特定機器が含まれるネットワーク優先、稼働VM数が多いネットワーク優先、及び、これらを組み合わせた複合ポリシー等を用いることができる。
[第3の実施形態]
 続いて、第1の実施形態のリソース管理部107の動作に変更を加えた第3の実施形態について図面を参照して詳細に説明する。その他、基本的な構成及び動作は第1の実施形態と同様であるので、以下、その相違点を中心に説明する。
 図13は、本発明の第3の実施形態の動作を表したシーケンス図である。図13のステップS101~S104までの動作は、図10に示したステップS001~S004の動作と同様であるので説明を省略する。
 図13のステップS104において障害発生したH/Wの影響を受ける範囲の特定が完了すると、障害解析部108は、リソース管理部107に対し、リソース障害情報として、障害の影響を受ける物理リソースを通知する(ステップS106)。
 前記リソース障害情報を受信したリソース管理部107は、リソース状態記憶部109の該当物理リソースの状態を変更した後(ステップS107-1)、さらに、リソース状態記憶部109を参照して、障害の影響を受ける物理リソースを利用している論理リソースを特定し、その状態を変更する(ステップS107-2)。
 その後の動作は第1の実施形態と同様であり、リソース管理部107は、通知メッセージ作成部104に対し、論理又は物理リソースの状態変更通知を送信し、リソースの状態変更メッセージの作成を要求する(ステップS108)。
 そして、論理又は物理リソースの状態変更通知を受信した通知メッセージ作成部104は、通知先記憶部105から、状態変更のあったリソースに対応する通知先を読み出して(ステップS109)、該当する通知先に状態変更通知を送信する(ステップS110)。
 以上のように、障害の影響を受ける論理リソースの特定を、障害解析部108ではなく、リソース管理部107に実施させることも可能である。本実施形態は、リソース管理部107がそれぞれ障害の影響を受ける論理リソースを特定することになるため、リソース管理部107が複数配置され、それぞれが物理-論理マッピング情報を管理しているといった形態に好ましく適用することが可能である。
[第4の実施形態]
 続いて、第1の実施形態のリソース管理部107が冗長構成を管理しているケースを想定した第4の実施形態について図面を参照して詳細に説明する。その他、基本的な構成及び動作は第1の実施形態と同様であるので、以下、その相違点を中心に説明する。
 図14は、本発明の第4の実施形態の動作を表したシーケンス図である。図14のステップS201~S203までの動作は、図10に示したステップS001~S003の動作と同様であるので説明を省略する。
 図14のステップS204において、障害解析部108は、障害の影響を受ける範囲を特定する前に、リソース管理部107に障害情報を通知する(ステップS204)。
 本実施形態のリソース管理部107がリソースの冗長構成を管理しており、障害情報を受けると、当該障害情報に示されたH/W障害の冗長構成への影響を判定し、影響を受ける物理リソースの状態を変更する(ステップS205)。図15は、リソース管理部107によって構成された物理リソース情報の一例を示す図である。図15の例では、H/W障害の通知を受けて、SV2、SV3の冗長性が低下しているとの状態に変更されている。もちろん、図15の例では、冗長性低下状態に変更した例が示されているが、異常の内容によっては、全障害などの状態に変更される。
 次に、リソース管理部107は、前記変更した物理リソースの状態を障害情報として、障害解析部108に通知する(ステップS206)。
 前記冗長構成を考慮した障害情報を受けた障害解析部108は、依存関係記憶部110に記憶された依存関係を参照して、当該障害情報によって示された障害によって影響を受ける物理リソースの範囲(影響範囲)を特定する(ステップS207)。このとき、障害解析部108は、予め定められたポリシーにより障害度合いに応じて、影響を受ける物理リソースにするか否かを決定することもできる。例えば、リソース管理部107から通知された障害内容が冗長性低下に過ぎず、他の冗長リソースが存在する場合、依存関係に基づく物理リソースの抽出を省略するようにしてもよい。また例えば、冗長性低下が報告された物理リソースのうち、所定の重要リソースについては、依存関係に基づく物理リソースの抽出を行うようにしてもよい。
 その後の動作は第3の実施形態と同様であり、障害解析部108は、リソース管理部107に対し、リソース障害情報として、障害の影響を受ける物理リソースを通知する(ステップS208)。
 前記リソース障害情報を受信したリソース管理部107は、リソース状態記憶部109の該当物理リソースの状態を変更した後(ステップS209)、さらに、リソース状態記憶部109を参照して、障害の影響を受ける物理リソースを利用している論理リソースを特定し、その状態を変更する(ステップS210)。
 その後の動作は第1の実施形態と同様であり、リソース管理部107は、通知メッセージ作成部104に対し、論理又は物理リソースの状態変更通知を送信し、リソースの状態変更メッセージの作成を要求する(ステップS211)。
 そして、論理又は物理リソースの状態変更通知を受信した通知メッセージ作成部104は、通知先記憶部105から、状態変更のあったリソースに対応する通知先を読み出して(ステップS212)、該当する通知先に状態変更通知を送信する(ステップS213)。
 以上のように、本発明は、冗長構成を考慮した通知を行う形態に変形することも可能である。このとき、障害解析部108が持つポリシーにより障害度合いに応じた通知も可能となる。これにより、全障害時のほか、H/Wの冗長性低下時には、何もアクションを起こさない、特殊なアクションを起こすなどの、柔軟な対応を採ることが可能となる。
 なお、上記した実施形態では、リソース管理部107がリソースの冗長構成を管理しているものとして説明したが、リソースの冗長構成に関する情報を依存関係として依存関係記憶部110に保持させることもできる。この場合、図14のステップS204~S206の処理を障害解析部208に行わせることも可能である。
 以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
 最後に、本発明の好ましい形態を要約する。
[第1の形態]
 (上記第1の視点によるリソース監視装置参照)
[第2の形態]
 上記したリソース監視装置において、
 前記影響範囲特定部にて特定された物理リソースと、当該物理リソースを利用している論理リソースとを含むリソースの状態を管理するリソース管理部を備える構成を取ることができる。
[第3の形態]
 上記したリソース監視装置において、
 さらに、前記物理リソースの接続関係を示すネットワークトポロジーを管理するネットワークトポロジー管理部を備え、
 前記影響範囲特定部は、物理リソースの状態と、前記依存関係とに加え、前記ネットワークトポロジーを参照して、一の物理リソースの異常により影響が及ぶ範囲を特定する構成を取ることができる。
[第4の形態]
 上記したリソース監視装置において、
 さらに、冗長化されたクラスタを構成する物理リソース間の関係を保持し、
 前記影響範囲特定部は、一の物理リソースに異常が検出された場合、前記クラスタ単位で、当該物理リソースの異常により影響を受ける物理リソースを特定し、
 前記異常通知部は、所定の上位装置に対して、前記特定した物理リソースによって構成されるクラスタの冗長性が低下したことを通知する構成を取ることができる。
[第5の形態]
 上記したリソース監視装置において、
 さらに、前記物理リソース又は前記仮想マシン毎に、通知先を記憶する通知先記憶部と、
 前記異常通知部は、前記通知先記憶部を参照して、前記特定した物理リソースに対応づけられた宛先に対して異常を通知する構成を取ることができる。
[第6の形態]
 上記したリソース監視装置において、
 前記通知を行った所定の上位装置からの指示により、スケールアウト又はヒーリングを実施する仮想化インフラストラクチャ管理装置として機能する構成を取ることができる。
[第7の形態]
 (上記第2の視点による仮想ネットワークファンクション管理システム参照)
[第8の形態]
 (上記第3の視点によるリソース監視方法参照)
[第9の形態]
 (上記第4の視点によるプログラム参照)
 なお、上記第7~第9の形態は、第1の形態と同様に、第2~第6の形態に展開することが可能である。
 なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
 10 リソース監視装置
 11 依存関係記憶部
 12 状態監視部
 13 影響範囲特定部
 14 異常通知部
 100、100a VIM
 101 Vi-Vnfm通信部
 102 Or-Vi通信部
 103 Nf-Vi通信部
 104 通知メッセージ作成部
 105 通知先記憶部
 106 H/W情報収集部
 107 リソース管理部
 108、108a 障害解析部
 109 リソース状態記憶部
 110 依存関係記憶部
 111 トポロジー記憶部
 200 NFV Orchestrator/VNFM

Claims (10)

  1.  仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する依存関係記憶部と、
     前記依存関係記憶部に登録された物理リソースの状態を監視する状態監視部と、
     一の物理リソースに異常が検出された場合、前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定する影響範囲特定部と、
     所定の上位装置に対して、前記特定した物理リソースを通知する異常通知部とを備えるリソース監視装置。
  2.  前記影響範囲特定部にて特定された物理リソースと、当該物理リソースを利用している論理リソースとを含むリソースの状態を管理するリソース管理部を備える請求項1のリソース監視装置。
  3.  さらに、前記物理リソースの接続関係を示すネットワークトポロジを管理するネットワークトポロジ管理部を備え、
     前記影響範囲特定部は、物理リソースの状態と、前記依存関係とに加え、前記ネットワークトポロジを参照して、一の物理リソースの異常により影響が及ぶ範囲を特定する請求項1又は2のリソース監視装置。
  4.  さらに、冗長化されたクラスタを構成する物理リソース間の関係を保持し、
     前記影響範囲特定部は、一の物理リソースに異常が検出された場合、前記クラスタ単位で、当該物理リソースの異常により影響を受ける物理リソースを特定し、
     前記異常通知部は、所定の上位装置に対して、前記特定した物理リソースによって構成されるクラスタの冗長性が低下したことを通知する請求項1から3いずれか一のリソース監視装置。
  5.  さらに、前記物理リソース又は前記仮想マシン毎に、通知先を記憶する通知先記憶部と、
     前記異常通知部は、前記通知先記憶部を参照して、前記特定した物理リソースに対応づけられた宛先に対して異常を通知する請求項1から4いずれか一のリソース監視装置。
  6.  前記通知を行った所定の上位装置からの指示により、スケールアウト又はヒーリングを実施する仮想化インフラストラクチャ管理装置として機能する請求項1から5いずれか一のリソース監視装置。
  7.  仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する依存関係記憶部と、
     前記依存関係記憶部に登録された物理リソースの状態を監視する状態監視部と、
     一の物理リソースに異常が検出された場合、前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定する影響範囲特定部と、
     所定の上位装置に対して、前記特定した物理リソースを通知する異常通知部とを備えるリソース監視装置として機能する仮想化インフラストラクチャ管理装置と、
     ユーザからのサービス要求に応じて、当該サービスの提供に必要な仮想ネットワークファンクションを割り出し、前記仮想化インフラストラクチャ管理装置に対し前記仮想ネットワークファンクションに対応する仮想マシンの作成を指示するオーケストレーション装置と、を含む
     仮想ネットワークファンクション管理システム。
  8.  前記仮想化インフラストラクチャ管理装置は、前記オーケストレーション装置に対して、前記影響範囲特定部にて特定した物理リソースを通知し、
     前記オーケストレーション装置は、前記通知に基づいて前記仮想化インフラストラクチャ管理装置に対してスケールアウト又はヒーリングを指示する請求項7の仮想ネットワークファンクション管理システム。
  9.  仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する依存関係記憶部に登録された物理リソースの状態を監視するステップと、
     一の物理リソースに異常が検出された場合、前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定するステップと、
     所定の上位装置に対して、前記特定した物理リソースを通知するステップと、
     を含むリソース監視方法。
  10.  仮想化インフラストラクチャ上で動作している仮想マシンに割り当てられる物理リソース間の依存関係を記憶する依存関係記憶部に登録された物理リソースの状態を監視する処理と、
     一の物理リソースに異常が検出された場合、前記依存関係に基づいて、当該物理リソースの異常により影響を受ける物理リソースを特定する処理と、
     所定の上位装置に対して、前記特定した物理リソースを通知する処理と、
     をリソース監視装置を構成するコンピュータに実行させるプログラム。
PCT/JP2016/071963 2015-07-27 2016-07-27 リソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラム WO2017018435A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-147360 2015-07-27
JP2015147360 2015-07-27

Publications (1)

Publication Number Publication Date
WO2017018435A1 true WO2017018435A1 (ja) 2017-02-02

Family

ID=57885689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/071963 WO2017018435A1 (ja) 2015-07-27 2016-07-27 リソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2017018435A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507852A (ja) * 2017-02-05 2020-03-12 ベリタス テクノロジーズ エルエルシー オーケストレーションのためのワークロードの依存性分析のための方法及びシステム
WO2022264289A1 (ja) * 2021-06-15 2022-12-22 楽天モバイル株式会社 ネットワーク管理装置、ネットワーク管理方法およびプログラム
JP2023504469A (ja) * 2019-12-02 2023-02-03 中興通訊股▲ふん▼有限公司 ノード管理方法、装置、機器、記憶媒体及びシステム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ETSI GS NFV-MAN 001 V1. 1. 1 (2014-12) NETWORK FUNCTIONS VIRTUALISATION (NFV); MANAGEMENT AND ORCHESTRATION, December 2014 (2014-12-01), Retrieved from the Internet <URL:http://www.etsi.org/deliver/etsi_gs/NFV-MAN/ 001_099/001/01.01.01_60/gs_NFV-MAN001v010101p. pdf> *
KATSUSHI YAMASHITA: "Autonomic to Kasoka no Kittemo Kirenu Fukai Kankei", NIKKEI COMMUNICATIONS, 15 June 2006 (2006-06-15), pages 100 - 105, ISSN: 0910-7215 *
KENGO KAWASHIMA ET AL.: "Evaluating Integrated Monitoring Method for Cloud Infrastructure", IPSJ SIG NOTES, INTERNET AND OPERATION TECHNOLOGY(IOT) 2013-IOT-021, 2 May 2013 (2013-05-02), Retrieved from the Internet <URL:http://ipsj. ixsq.nii.ac.jp/ej/?action=repository_action_com mon-download&item-id=91949&item-no=1&attribute- id=1&file no=1> [retrieved on 20161011] *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507852A (ja) * 2017-02-05 2020-03-12 ベリタス テクノロジーズ エルエルシー オーケストレーションのためのワークロードの依存性分析のための方法及びシステム
JP7065864B2 (ja) 2017-02-05 2022-05-12 ベリタス テクノロジーズ エルエルシー オーケストレーションのためのワークロードの依存性分析のための方法及びシステム
JP2023504469A (ja) * 2019-12-02 2023-02-03 中興通訊股▲ふん▼有限公司 ノード管理方法、装置、機器、記憶媒体及びシステム
JP7438355B2 (ja) 2019-12-02 2024-02-26 中興通訊股▲ふん▼有限公司 ノード管理方法、装置、機器、記憶媒体及びシステム
WO2022264289A1 (ja) * 2021-06-15 2022-12-22 楽天モバイル株式会社 ネットワーク管理装置、ネットワーク管理方法およびプログラム

Similar Documents

Publication Publication Date Title
US11895016B2 (en) Methods and apparatus to configure and manage network resources for use in network-based computing
JP5851503B2 (ja) 高可用性仮想機械環境におけるアプリケーションの高可用性の提供
US10609159B2 (en) Providing higher workload resiliency in clustered systems based on health heuristics
US20200104222A1 (en) Systems and methods for managing server cluster environments and providing failure recovery therein
EP3140734B1 (en) Mechanism for providing external access to a secured networked virtualization environment
US11005725B2 (en) Methods and apparatus to proactively self-heal workload domains in hyperconverged infrastructures
WO2018054081A1 (zh) 故障处理方法、虚拟架构管理系统和业务管理系统
US20200034178A1 (en) Virtualization agnostic orchestration in a virtual computing system
JP5305040B2 (ja) サーバ計算機の切替方法、管理計算機及びプログラム
US8479038B1 (en) Method and apparatus for achieving high availability for applications and optimizing power consumption within a datacenter
WO2014158066A1 (en) Method and arrangement for fault management in infrastructure as a service clouds
JP2007207219A (ja) 計算機システムの管理方法、管理サーバ、計算機システム及びプログラム
JP4811830B1 (ja) コンピュータリソース制御システム
JP2008293117A (ja) 仮想計算機の性能監視方法及びその方法を用いた装置
JP6354901B2 (ja) 仮想マシンの故障検知および回復用管理システム
JP6418255B2 (ja) 障害監視装置、仮想ネットワークシステム、障害監視方法およびプログラム
WO2017018435A1 (ja) リソース監視装置、仮想ネットワークファンクション管理システム、リソース監視方法及びプログラム
US9529656B2 (en) Computer recovery method, computer system, and storage medium
US9183092B1 (en) Avoidance of dependency issues in network-based service startup workflows
US9317354B2 (en) Dynamically determining an external systems management application to report system errors
JP5544929B2 (ja) 運用管理装置、運用管理方法、運用管理プログラム
JP2014048933A (ja) プラント監視システム、プラント監視方法およびプラント監視プログラム
JP6828558B2 (ja) 管理装置、管理方法及び管理プログラム
WO2017002812A1 (ja) 仮想化インフラストラクチャ管理装置、仮想ネットワークファンクション管理装置、仮想マシンの管理方法及びプログラム
WO2022009438A1 (ja) サーバメンテナンス制御装置、システム、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16830540

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16830540

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP