JP7427574B2 - 状態診断装置、及び状態診断方法 - Google Patents

状態診断装置、及び状態診断方法 Download PDF

Info

Publication number
JP7427574B2
JP7427574B2 JP2020198061A JP2020198061A JP7427574B2 JP 7427574 B2 JP7427574 B2 JP 7427574B2 JP 2020198061 A JP2020198061 A JP 2020198061A JP 2020198061 A JP2020198061 A JP 2020198061A JP 7427574 B2 JP7427574 B2 JP 7427574B2
Authority
JP
Japan
Prior art keywords
attack
failure
alerts
diagnosis device
alert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020198061A
Other languages
English (en)
Other versions
JP2022086181A (ja
Inventor
賢 甲斐
宏樹 内山
光朗 石場
恒雄 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020198061A priority Critical patent/JP7427574B2/ja
Publication of JP2022086181A publication Critical patent/JP2022086181A/ja
Application granted granted Critical
Publication of JP7427574B2 publication Critical patent/JP7427574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、状態診断装置、及び状態診断方法に関する。
企業や官公庁等の組織を狙ったサイバー攻撃による被害が深刻化している。製造工場や社会インフラ設備等において稼働するいわゆる産業制御システムにおいてもサイバー攻撃によるリスクが増大しており、セキュリティ対策の重要性が高まっている。
産業制御システムに対するサイバー攻撃を監視する方法としては、産業制御システムを構成している機器の故障やプロセスの異常に起因して生じる警告情報(以下、「アラート」と称する。)を収集して分析する方法がある。しかしその場合、アラートが機器やプロセスの本来的な故障や異常に起因するものであるのか、サイバー攻撃に起因するものであるのかを切り分ける必要がある。
特許文献1には、センサやアクチュエータ等のデバイス、制御サーバ、クライアント端末等の機器を含んで構成される制御システムに関し、制御システムに異常が発生したときに、その異常を通知するために発生したアラートのうち、サイバー攻撃が要因で発生したアラートを抽出する抽出装置に関して記載されている。抽出装置は、制御システムに発生した異常を通知するアラートである、既存の制御システムに手を加えることなく標準で入手できるアラートであるシステムアラートと、既存の制御システムに影響を与えることなく後からシステムを追加することで新たに入手できるアラートであるトラフィックアラートとを、異常の発生時間、異常の発生箇所、及び異常の種類の情報に基づき対応付けた情報である対応情報を生成し、生成した対応情報と、サイバー攻撃以外の要因で異常が発生したときのシステムアラートの発生パターンとに基づき、サイバー攻撃以外の要因で異常が発生したときのトラフィックアラートの発生パターンを学習し、学習されたトラフィックアラートの発生パターンに基づき、サイバー攻撃が要因で発生したトラフィックアラートを抽出する。
国際公開第2018/179329号
近年、サイバー攻撃の手口が高度化しており、産業制御システムには、いわゆるサイバーキルチェーン(Cyber Kill Chain)として体系化されるような攻撃、即ち、偵察から侵入、最終目標への攻撃へと時間的な段階を踏んで、もしくは機器やプロセス等の複数の資産に対して空間的な段階を踏んで行われるような巧妙な攻撃を想定しつつ、適切な対策を講じていくことが求められている。
特許文献1では、システムアラートとトラフィックアラートとの対応づけを、異常の発生時間、異常の発生箇所、異常の種類に基づき行っている。しかし同文献に記載の技術では、例えば、異常の発生時間が異なるアラート同士の関係や異常の発生箇所が異なるアラート同士の関係は考慮されておらず、上記のような巧妙な手口による攻撃を見逃してしまう可能性がある。
本発明はこうした背景に鑑みてなされたものであり、時間的もしくは空間的な段階を踏
んで行われるような巧妙なサイバー攻撃を精度よく確実に検出することが可能な、状態診断装置、及び状態診断方法を提供することを目的とする。
上記目的を達成するための本発明の一つは、複数の資産を有して構成される産業制御システムにおけるサイバー攻撃を検出する情報処理装置(状態診断装置)であって、複数の前記資産がサイバー攻撃を受けた場合に発生することが想定される一群のアラートを、前記サイバー攻撃の時間的な段階に沿った系列と、前記サイバー攻撃を受けた資産の空間的な段階に沿った系列とによって分類することにより得られる類型である一つ以上の攻撃パターンを記憶する記憶部と、前記資産について発生した一群のアラートと前記攻撃パターンとの一致性に基づき前記産業制御システムに対するサイバー攻撃の有無を診断する状態診断部と、を備える
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
本発明によれば、時間的もしくは空間的な段階を踏んで行われるような巧妙なサイバー攻撃を精度よく確実に検出することができる。
産業制御システムの概略的な構成を示す図である。 産業制御システムの構成要素の実現に用いる情報処理装置の一例である。 状態診断装置が備える主な機能を説明するブロック図である。 状態診断装置が備える主な機能を説明するシステムフロー図である。 アラートに基づきアラート情報が生成される様子を説明する図である。 攻撃パターン情報のデータ構造を説明する模式図である。 故障パターン情報のデータ構造を説明する模式図である。 状態診断処理を説明するフローチャートである。 攻撃確度算出処理を説明するフローチャートである。 アラート情報の一例を示す模式図である。 アラート情報の他の一例を示す模式図である。 故障確度算出処理を説明するフローチャートである。 産業制御システムに対してサイバー攻撃が行われた場合における攻撃確度の変遷を例示した模式図である。
以下、本発明の実施形態について図面を参照しつつ詳細に説明する。尚、以下の記載および図面は、本発明を説明するための例示に過ぎず、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。とくに限定しない限り、各構成要素は単数でも複数でも構わない。
以下の説明において、同一のまたは類似する構成について同一の符号を付して重複した説明を省略することがある。また、構成が共通する複数の個体について、共通する符号に添え字を付して各個体を区別することがある(例えば、「アラート500」について「アラート500a」,「アラート500b」,「アラート500c」と表記する等)。また、以下の説明において、符号の前に付した「S」の文字は処理ステップの意味である。また、以下の説明における各種情報(データ)は例示するデータ構造以外の方法で表現もしくは管理してもよい。また、以下の説明において、各種の識別情報について説明する際、「識別子」、「ID」等の表現を適宜用いるが、これらについてはお互いに置換可能であ
る。
図1に、一実施形態として説明する産業制御システム1の概略的な構成を示す図である。産業制御システム1は、製造工場や社会インフラ設備等において稼働する情報処理システムである。産業制御システム1は、例えば、製造工場における製造ラインや社会インフラ等を構成する各種設備(製造機械、産業用ロボット、監視装置、制御装置、通信設備等)、及びこれら各種設備によって実現されるプロセスの監視や制御を行う。
産業制御システム1は、上記の各種設備、上記の各種設備によって実現されるプロセス、及びこれらの監視や制御を行う情報処理システムに対するサイバー攻撃や資産に生じている故障(もしくは異常。以下、故障という場合、機器やプロセスに「異常」が生じている場合も含むものとする。)を検出する仕組みを備える。以下、サイバー攻撃の対象(ターゲット)となり得る、上記の各種設備、当該各種設備によって実現されるプロセス、及びこれらの監視や制御を行う情報処理システムのことを「資産」と総称する。
同図に示すように、産業制御システム1は、センサ11、アクチュエータ12、コントローラ13、安全計装システム14、制御サーバ15、エンジニアリングワークステーション16、監視制御サーバ17、データヒストリアン18、伝送サーバ19、及び状態診断装置100を含む。これらはいずれも情報処理装置(コンピュータ)を用いて構成されている。
同図に示すように、センサ11、アクチュエータ12、コントローラ13、及び安全計装システム14は、制御系ネットワーク50を介して互いに通信可能な状態で接続されている。コントローラ13、安全計装システム14、制御サーバ15、及びエンジニアリングワークステーション16は、情報/制御系ネットワーク51を介して互いに通信可能な状態で接続されている。制御サーバ15、エンジニアリングワークステーション16、監視制御サーバ17、データヒストリアン18、及び伝送サーバ19は、情報系ネットワーク52を介して互いに通信可能な状態で接続されている。
上記の各通信ネットワーク(制御系ネットワーク50、情報/制御系ネットワーク51、情報系ネットワーク52)は、例えば、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)、各種無線/有線LAN、USB(Universal Serial Bus)、RS-232C、専用線、公衆通信網等の有線方式又は無線方式の通信基盤を用
いて構成される。資産は、これらの通信ネットワークを介してサイバー攻撃を受ける可能性がある。これらの通信ネットワークも資産に相当する。
センサ11は、例えば、製造工場や社会インフラ設備等において稼働する各種設備やこれら各種設備が存在する現場に設けられる。センサ11は、制御系ネットワーク50を介して、各種設備について計測される情報(以下、「センサ情報」と称する。)をコントローラ13や安全計装システム14に随時送信する。
アクチュエータ12は、例えば、製造工場や社会インフラ設備等において稼働する各種設備に設けられ、例えば、コントローラ13や安全計装システム14から制御系ネットワーク50を介して送られてくる制御信号によって制御される。
コントローラ13は、制御系ネットワーク50を介して送られてくるセンサ情報に基づき各種設備の状態を把握しつつ、アクチュエータ12に制御信号を送信する。コントローラ13は、資産に生じている故障に関する警告情報(以下、「アラート」と称する。)を、情報/制御系ネットワーク51を介して制御サーバ15に随時送信する。アラートの送信主体は必ずしも限定されないが、アラートは、例えば、各種設備や各種設備で実現され
ているプロセス、各種設備を監視する装置等から発せられる。
安全計装システム14は、制御系ネットワーク50を介してセンサ11から送られてくるセンサ情報に基づき、安全な操業環境の維持(作業員の危険回避や健康維持等)や自然環境保全等を目的とする各種設備の監視や制御(強制停止等)を行う。
制御サーバ15は、情報/制御系ネットワーク51を介してコントローラ13と通信し、例えば、複数のコントローラ13が存在する場合にそれらを協調して動作させるための制御を行う。また、制御サーバ15は、コントローラ13から送られてくるアラートを受信し、受信したアラートを、情報系ネットワーク52を介してデータヒストリアン18や状態診断装置100に転送する。
エンジニアリングワークステーション16は、コントローラ13の開発/保守環境を提供する。エンジニアリングワークステーション16は、例えば、情報/制御系ネットワーク51を介したコントローラ13への新機能の提供(ソフトウェアやファームウェアの提供(デプロイ、アップデート、ダウンロード)等)を行う。また、エンジニアリングワークステーション16は、コントローラ13が故障した場合におけるバックアップ環境を提供する。
監視制御サーバ17は、産業制御システム1の管理者やオペレータ等のユーザに、制御サーバ15の監視や制御を行うためのユーザインタフェースを提供する。監視制御サーバ17は、例えば、状態診断装置100から送られてくるアラートに基づく情報をユーザに提供する。
データヒストリアン18は、制御サーバ15から送られてくるアラートを受信し、受信したアラートを管理(蓄積記憶)する。データヒストリアン18は、管理しているアラートを状態診断装置100に随時提供(送信)する。
伝送サーバ19は、情報系ネットワーク52に接続する他の産業制御システムとの間で情報の送受信を行う。伝送サーバ19は、送受信するデータのフォーマット変換やプロトコル変換、送受信するデータのパケット交換等の処理を行う。
状態診断装置100は、制御サーバ15やデータヒストリアン18からアラートを随時受信し、受信したアラートに基づき、資産に対するサイバー攻撃や資産に生じている故障を検出する。尚、アラートの取得元は必ずしも限定されない。状態診断装置100の詳細については後述する。
図2に、図1に示した産業制御システム1の構成要素の実現に用いる情報処理装置のハードウェアの一例を示す。例示する情報処理装置10は、プロセッサ101、主記憶装置102、補助記憶装置103、入力装置104、出力装置105、及び通信装置106を備える。尚、例示する情報処理装置10は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、情報処理装置10によって提供される機能の全部または一部は、例えば、クラウドシステムがAPI(Application Program Interface)等を介して提供するサービスによって実
現してもよい。また、1つの情報処理装置10を産業制御システム1の複数の構成要素で共用してもよい。
同図において、プロセッサ101は、例えば、CPU(Central Processing Unit)、
MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、FPGA(F
ield Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、AI(Artificial Intelligence)チップ等を用いて構成されている。
主記憶装置102は、プログラムやデータを記憶する装置であり、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ(NVRAM(Non Volatile RAM))等である。
補助記憶装置103は、例えば、SSD(Solid State Drive)、ハードディスクドラ
イブ、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、ストレージシステム、ICカード、SDカードや光学式記録媒体等の記録媒体の読取/書込装置、クラウドサーバの記憶領域等である。補助記憶装置103には、記録媒体の読取装置や通信装置106を介してプログラムやデータを読み込むことができる。補助記憶装置103に格納(記憶)されているプログラムやデータは主記憶装置102に随時読み込まれる。
入力装置104は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。
出力装置105は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置105は、例えば、上記の各種情報を可視化する表示装置(液晶モニタ、LCD(Liquid Crystal Display)、グラフィックカード等)、上記の各種情報を音声化する装置(音声出力装置(スピーカ等))、上記の各種情報を文字化する装置(印字装置等)である。尚、例えば、情報処理装置10が通信装置106を介して他の装置との間で情報の入力や出力を行う構成としてもよい。
入力装置104及び出力装置105は、ユーザとの間で情報の受け付けや情報の提示を行うユーザインタフェースを構成する。
通信装置106は、他の装置との間の通信を実現する装置である。通信装置106は、通信ネットワーク(制御系ネットワーク50、情報/制御系ネットワーク51、情報系ネットワーク52)を介して他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)、無線通信モジュール、USBモジュール等である。
情報処理装置10には、例えば、オペレーティングシステム、ファイルシステム、DBMS(DataBase Management System)(リレーショナルデータベース、NoSQL等)、KVS(Key-Value Store)、その他の各種のソフトウェア(入力装置104と出力装置
105によりGUI(Graphical User Interface)等によるユーザインタフェースを実現するソフトウェア、ミドルウェア、各種のアプリケーション等)が導入されていてもよい。
産業制御システム1の構成要素において実現される機能は、夫々を構成する情報処理装置10のプロセッサ101が、主記憶装置102に格納されているプログラムを読み出して実行することにより、もしくは、情報処理装置10のハードウェア(FPGA、ASIC、AIチップ等)によって実現される。
図3は、状態診断装置100が備える主な機能を説明するブロック図である。また、図4は、状態診断装置100が備える主な機能を説明するシステムフロー図である。以下、これらの図とともに状態診断装置100の機能について説明する。
状態診断装置100は、記憶部110、アラート受信部120、状態診断部140、攻撃確度算出部141、故障確度算出部142、診断結果出力部150、及び情報設定部160の各機能を備える。
記憶部110は、アラート情報111、攻撃パターン情報112、及び故障パターン情報113を記憶する。記憶部110は、これらの情報(データ)を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。これらの情報の詳細については後述する。
アラート受信部120は、情報系ネットワーク52を介して、制御サーバ15やデータヒストリアン18から送られてくるアラートを受信し、受信したアラートをアラート情報生成部130に渡す。受信したアラートをアラート情報生成部130に渡すにあたり、アラート受信部120は、必要に応じて、情報の付加や状態診断部140における処理に適したデータ構造/データ型式への変換等を行う。
アラート情報生成部130は、アラート受信部120が制御サーバ15から受信したアラートに基づきアラート情報111を生成する。
図5は、アラート情報生成部130が、異なる制御サーバ15a~15cの夫々から受信したアラート500a~500cに基づきアラート情報111を生成する様子を説明する図である。同図に示すように、アラート500a~500cは、当該アラートが発生した日時511、当該アラートが発生した資産512、及び当該アラートの内容513の各情報を含む。
生成されるアラート情報111は、アラートID1111、日時1112、資産1113、内容1114の各項目を有する複数のレコード(エントリ)で構成される。一つのレコードは一つのアラートに対応している。アラートID111には、個々のアラートを一意に特定する識別子であるアラートIDが設定される。日時1112、資産1113、及び内容1114には、夫々、アラート500a~500cの日時511、資産512、内容513が設定される。
図3又は図4に示す状態診断部140は、アラート情報111を、攻撃パターン情報112に含まれている各攻撃パターン及び故障パターン情報113に含まれている各故障パターンの夫々と対照することにより、資産に対するサイバー攻撃の有無、及び資産における故障の有無を診断する。同図に示すように、状態診断部140は、攻撃確度算出部141及び故障確度算出部142を有する。
攻撃確度算出部141は、アラート情報111に含まれている一群のアラートを攻撃パターン情報112の攻撃パターンと対照することにより、一群のアラートと攻撃パターンの一致性を示す情報(産業制御システム1がサイバー攻撃を受けている可能性(確からしさ)を表わす指標)である攻撃確度を算出する。攻撃確度の値が大きい程、産業制御システム1がサイバー攻撃を受けている可能性は高くなる。攻撃確度の具体的な算出方法については後述する。
故障確度算出部142は、アラート情報111に含まれている一群のアラートを故障パターン情報113の故障パターンと対照することにより、一群のアラートと故障パターンの一致性を示す情報(産業制御システム1の資産に故障が生じている可能性(確からしさ)を表す指標)である故障確度を算出する。故障確度の値が大きい程、資産に故障が生じている可能性は高くなる。故障確度の具体的な算出方法については後述する。
診断結果出力部150は、攻撃確度算出部141が求めた攻撃確度、及び故障確度算出部142が算出した故障確度に基づき、産業制御システム1に対するサイバー攻撃の有無や産業制御システム1の資産の故障の有無等に関する情報を生成し、生成した情報を診断結果として出力装置105に出力(表示等)する。
図6は、攻撃パターン情報112のデータ構造を説明する模式図である。攻撃パターン情報112は、サイバー攻撃を受けることにより発生する一群のアラートを、夫々、攻撃の時間的な段階(進捗度、深度)に沿った観点と、サイバー攻撃を受けた資産の空間的な段階(複数の資産への空間的な広がり)に沿った観点とに基づき分類した場合における、上記一群のアラートの分布(以下、「攻撃パターン」と称する。)と各アラートの繋がり(アラートの接続関係や前後関係)とを定義した情報である。攻撃パターン情報112において、攻撃パターンは、例えば、多次元の連結リストや行列データとして表現される。攻撃パターンは、サイバー攻撃の種類毎に設定される。攻撃パターン情報112は、一つ以上の種類の攻撃パターンを含む。図6はある一つの攻撃パターンのデータ構造を模式的に示したものである。
同図には、サイバーキルチェーン(Cyber Kill Chain)として体系化/構造化される攻撃のように、時間の経過とともに次第に攻撃が深部に到達する類の攻撃を受けた際に発生する一群のアラートを、偵察、侵入、及び最終目標への攻撃等の攻撃の段階(「初期段階」、「中盤段階」、「最終段階」等)に沿った系列(横軸)と、攻撃の空間的な段階(「資産1」、「資産2」、「資産3」)に沿った系列(縦軸)とに従って分類することにより得られる攻撃パターンを例示している。
同図には、攻撃パターンを有向グラフとして、即ち、個々のアラートを楕円で表し、個々のアラートの前後の繋がりを楕円を結ぶ矢線で表している。例示する攻撃パターンでは、「初期段階」に「資産1」で「アラート1」が発生し、「中盤段階」に「資産2」に「アラート2」と「アラート3」が発生し、「最終段階」に「資産1」に「アラート4」が発生している。また、「初期段階」に「資産1」で「アラート1」が発生するとともに「資産2」で「アラート5」が発生し、「中盤段階」に「資産2」で「アラート6」が発生するとともに「資産3」で「アラート7」が発生し、「最終段階」で「アラート8」が発生している。尚、他のアラートに後続する各アラートは、例えば、先行するアラートの事象に誘発されて生じた事象に起因して発生する。
尚、例示する攻撃パターンは一例に過ぎない。例えば、系列を構成する段階の数は例示した数に限定されない。また、系列の種類は2種類に限定されず、より多くの種類の系列によって攻撃パターンを表現してもよい。
図7は、故障パターン情報113のデータ構造を説明する模式図である。故障パターン情報113は、一つ以上の資産に故障が生じることにより発生する一群のアラートを、夫々、故障の度合に沿った観点とアラートを発生させた資産(故障が生じた資産)の空間的な段階に沿った観点とに基づき分類した場合における、上記一群のアラートの分布(以下、「故障パターン」と称する。)と各アラートの繋がり(アラートの接続関係や前後関係)とを定義した情報である。故障パターン情報113において、故障パターンは、例えば、多次元の連結リストや行列データとして表現される。故障パターンは、故障の種類毎に設定される。故障パターン情報113は、一つ以上の種類の故障パターンを含む。図7はある一つの故障パターンのデータ構造を模式的に示したものである
同図には、ランダムに発生する場合が多く、ある資産に生じた故障がトリガーとなって他の資産に故障が伝搬(連鎖)していくという典型的なタイプの故障に起因して発生する
一群のアラートを、故障の深刻さの度合(軽故障、中故障、重故障)に沿った系列(横軸)と、複数の資産への故障の空間的な段階(資産1、資産2、資産3)に沿った系列(縦軸)とに従って分類することにより得られる故障パターンを例示している。
同図には、故障パターンを有向グラフとして、即ち、個々のアラートを楕円で表し、個々のアラートの前後の繋がりを楕円を結ぶ矢線で表している。例示する故障パターンは、「資産1」で「軽故障」が生じて「アラートA」が、また、「資産2」で「軽故障」が生じて「アラートD」が、夫々発生している。また、「資産1」の「軽故障」に起因して「資産1」で「中故障」が生じて「アラートB」が、「資産1」の「軽故障」と「資産2」の「軽故障」に起因して「資産2」で「中故障」が生じて「アラートE」が発生している。また、「資産1」の「中故障」に起因して「資産1」で「重故障」が生じて「アラートC」が、「資産2」の「中故障」に起因して「資産2」で「重故障」が生じて「アラートF」が発生している。また、「資産1」の「重故障」に起因して「資産3」で「重故障」が生じて「アラートG」が発生している。
尚、例示する故障パターンは一例に過ぎない。例えば、系列を構成する段階の数は例示した数に限定されない。また、系列の種類は2種類に限定されず、より多くの種類の系列によって故障パターンを表現してもよい。
図3に戻り、情報設定部160は、ユーザが、資産定義情報114、攻撃パターン情報112、及び故障パターン情報113を設定するためのユーザインタフェースを提供する。情報設定部160は、例えば、図6や図7に示した図を提示しつつ、GUI(Graphical User Interface)を用いて攻撃パターン情報112や故障パターン情報113の設定をユーザから受け付ける。ユーザは、例えば、新たな産業制御システム1の導入時や産業制御システム1への状態診断装置100の導入時、もしくは産業制御システム1の構成要素の更新時等に、上記のユーザインタフェースを用いて、資産定義情報114、攻撃パターン情報112、及び故障パターン情報113の設定を行う。尚、資産定義情報114は、状態診断装置100による診断の対象となる資産に関する情報と、資産の夫々に起因して発生する可能性のあるアラートに関する情報とを含む。
次に、状態診断装置100が行う処理について説明する。
図8は、状態診断装置100がアラートを分析することにより資産に対するサイバー攻撃の有無や資産に生じている故障の有無を診断する処理(以下、「状態診断処理S800」を説明するフローチャートである。以下、同図とともに状態診断処理S800について説明する。
まず状態診断装置100は、分析の対象とするアラートを取得する期間(以下、「時間窓」と称する。)を設定する(S811)。ここで状態診断装置100は、例えば、同図に示すS811~S816のループ処理が繰り返される度に時間窓が時間軸に沿って未来方向に移動していくように設定する。尚、その場合、時間軸上で隣接する時間窓は重複する時間帯があってもよい。時間窓の長さは、検出しようとするサイバー攻撃や故障の態様に応じて様々に設定してよいが、例えば、時間窓は、アラート情報111を攻撃パターン又は故障パターンと効率よく対照することができるとともにサイバー攻撃や故障の有無の診断を精度よく行える程度の長さに設定する。また、例えば、ループ処理S811~S816が繰り返される度に時間窓の長さを変化させてもよい。
続いて、アラート受信部120が、所定期間におけるアラートを制御サーバ15やデータヒストリアン18から取得する(S812)。
続いて、アラート情報生成部130が、アラート受信部120が取得したアラートに基づきアラート情報111を生成する(S813)。
続いて、状態診断部140の攻撃確度算出部141が、S813で生成したアラート情報111と攻撃パターン情報112とを対照することにより攻撃確度を算出する処理(以下、「攻撃確度算出処理S814」)を行う。攻撃確度算出処理S814の詳細については後述する。
続いて、状態診断部140の故障確度算出部142が、S813で生成したアラート情報111と故障パターン情報113とを対照し、故障確度を算出する処理(以下、「故障確度算出処理S815」)を行う。故障確度算出処理S815の詳細については後述する。
続いて、状態診断部140が、攻撃確度算出処理S814で算出された攻撃確度と故障確度算出処理S815で算出された故障確度とに基づき、産業制御システム1に対するサイバー攻撃の有無、及び産業制御システム1に生じている故障の有無を診断する(S816)。尚、攻撃パターンが複数存在する場合や故障パターンが複数存在する場合、当該処理は個々の攻撃パターンもしくは個々の故障パターンについて行われる。
上記の診断の方法は産業制御システム1の種類や性質に応じて適切に設定すればよく、必ずしも特定の方法に限定されないが、例えば、状態診断部140は、攻撃確度が予め設定した閾値(以下、「第1閾値」と称する。)以上である場合に産業制御システム1がサイバー攻撃を受けている可能性があると診断する。また、例えば、状態診断部140は、故障確度が予め設定した閾値(以下、「第2閾値」)以上である場合に産業制御システム1に故障が生じている可能性があると診断する。また、状態診断部140は、例えば、攻撃確度が第1閾値以上であり、かつ、故障確度が第2閾値未満(もしくは第2閾値より十分に小さな第3閾値)である場合に産業制御システム1がサイバー攻撃を受けている可能性があると診断する。また、状態診断部140は、例えば、故障確度が第2閾値以上であり、かつ、攻撃確度が第1閾値未満(もしくは第1閾値より十分に小さな第4閾値未満)である場合に産業制御システム1に故障が生じていると診断する。
状態診断部140が、産業制御システム1がサイバー攻撃を受けている可能性がある、又は産業制御システム1に故障が生じている可能性があると判定した場合(S816:YES)、処理はS817に進み、それ以外であれば(S816:NO)、処理はS811に戻り、所定期間を変化させてループ処理を繰り返す。
S817では、診断結果出力部150が、状態診断部140の診断の結果を出力(表示装置である出力装置105に表示する等)する。このとき、診断結果出力部150が、併せて診断の対象となったアラート情報111の内容を出力してもよい。またこのとき、診断結果出力部150が、S814で算出した攻撃確度やS815で算出した故障確度を出力してもよい。その後、処理はS811に戻り、所定期間を変えてループ処理を繰り返す。
図9は、図8に示した攻撃確度算出処理S814の詳細を説明するフローチャートである。以下、同図とともに攻撃確度算出処理S814について説明する。
まず攻撃確度算出部141が、攻撃パターン情報112から攻撃パターンを一つ選択する(S911)。
続いて、攻撃確度算出部141は、図8のS813で生成したアラート情報111の全
部又は一部と、選択中の攻撃パターンの全部又は一部を対照することにより攻撃確度を算出する(S912)。
ここで攻撃確度算出部141は、例えば、対応するアラート(攻撃の段階と空間(資産)が一致するアラート)が攻撃パターンに存在するか否かの観点や、アラートの前後の繋がりの一致性等の観点毎にスコアリングした値を集計することにより攻撃確度を求める。上記観点のうち、アラートの前後の繋がりの一致性については、例えば、前後のアラート間の距離の一致の度合い(直接繋がるか、間に一つ以上のアラートを挟んで間接的に繋がるか)に応じて加算する値を変化させるようにしてもよい(例えば、N番目のアラートとN+1番目のアラートとが選択中の攻撃パターンにおけるアラート同士の関係で直接繋がっている場合は「10」を、1つ飛ばしで上記関係で繋がっている場合は「7」を、2つ飛ばしで上記関係で繋がっている場合は「3」を、それ以外の場合は「0」を加算する等)。尚、アラート情報111に含まれるアラートの組み合わせのうち、時間差が予め設定した値以上のもの(両者の時間差が非常に大きく、サイバー攻撃との因果関係が殆ど想定できないもの)については、攻撃確度の算出に用いない(もしくは重み値を小さく設定する)ようにしてもよい。
図10Aは、アラート情報111の一例を示す模式図である。この例における「アラート1」と「アラート3」は、図6に例示した攻撃パターン情報122におけるアラートの前後の繋がりと一致しており、かつ、直接繋がっている関係にある。そのため、この例では加算値は「10」となる。
図10Bは、アラート情報111の他の一例を示す模式図である。この例における「アラート1」と「アラート4」は、図6に例示した攻撃パターン情報122におけるアラートの前後の繋がりと一致しており、また両者は1つ飛ばしで(「アラート2」を飛ばして)繋がっている関係にある。そのため、この例では加算値は「7」となる。
尚、例えば、図8のS817で診断結果をユーザに提示する際、図10Aや図10Bに示す図を併せてユーザに提示するようにしてもよい。これによりユーザは、視覚的にアラートの関係を知ることができ、サイバー攻撃や故障の実体把握に役立てることができる。
図9に戻り、続いて、攻撃確度算出部141は、S912で求めた攻撃確度を、選択中の攻撃パターン(例えばサイバー攻撃の種類や名称)と対応づけて記憶する(S913)。
続いて、攻撃確度算出部141は、S911で攻撃パターン情報112の全ての攻撃パターンを選択済か否かを判定する(S914)。攻撃確度算出部141が全ての攻撃パターンを選択済と判定した場合(S914:YES)、攻撃確度算出処理S814は終了し、図8のS815の処理に進む。攻撃確度算出部141が全ての攻撃パターンを選択済でないと判定した場合(S914:NO)、処理はS911に戻り、他の攻撃パターンについてS911~S914のループ処理を繰り返す。
図11は、図8に示した故障確度算出処理S815の詳細を説明するフローチャートである。以下、同図とともに故障確度算出処理S815について説明する。
まず故障確度算出部142が、故障パターン情報113から故障パターンを一つ選択する(S1111)。
続いて、故障確度算出部142は、図8のS813で生成したアラート情報111の全部又は一部と、選択中の攻撃パターンの全部又は一部を対照することにより故障確度を算
出する(S1112)。
ここで故障確度算出部142は、例えば、対応するアラート(故障の度合と空間(資産)が一致するアラート)が故障パターンに存在するか否かの観点や、アラートの前後の繋がりの一致性等の観点毎にスコアリングした値を集計することにより故障確度を求める。
上記観点のうち、アラートの前後の繋がりの一致性については、例えば、前後のアラート間の距離の一致の度合い(直接繋がるか、間に一つ以上のアラートを挟んで間接的に繋がるか)に応じて加算する値を変化させるようにしてもよい。具体的な方法としては、攻撃確度算出処理S814のS912で説明したのと同様の方法を適用することができる。尚、アラート情報111に含まれるアラートの組み合わせのうち、時間差が予め設定した値以上のもの(両者の時間差が非常に大きく、故障との因果関係が殆ど想定できないもの)については、故障確度の算出に用いない(もしくは重み値を小さく設定する)ようにしてもよい。
続いて、攻撃確度算出部141は、S1112で求めた故障確度を、選択中の故障パターン(例えば、故障の種類を示す情報)と対応づけて記憶する(S1113)。
続いて、故障確度算出部142は、S1111で故障パターン情報113の全ての故障パターンを選択済か否かを判定する(S1114)。故障確度算出部142が全ての故障パターンを選択済と判定した場合(S1114:YES)、故障確度算出処理S815は終了し、図8のS816の処理に進む。故障確度算出部142が全ての故障パターンを選択済でないと判定した場合(S1114:NO)、処理はS1111に戻り、他の故障パターンについてS1111~S1114のループ処理を繰り返す。
図12は、産業制御システム1に対してサイバー攻撃が行われた場合における攻撃確度の変遷を例示した模式図である。
この例では、「2020-10-18 10:00:00」の時点では、資産「装置1」についてアラート
「CPU温度上昇」が発生しているが、この時点では故障確度及び攻撃確度のいずれも低く、この場合、状態診断部140は、サイバー攻撃は受けておらず、故障も発生していないと診断する。
その後、「2020-10-18 15:00:00」の時点では、資産「装置2」についてアラート「両
系LAN故障」が発生しているが、この時点では故障確度及び攻撃確度のいずれも低く、この場合、状態診断部140は、サイバー攻撃は受けておらず、故障も発生していないと診断する。
その後、「2020-10-18 20:00:00」の時点では、資産「装置1」についてアラート「電
源故障」が発生しているが、この時点では故障確度は低いが攻撃確度が高くなっており、この場合、状態診断部140は、サイバー攻撃を受けていると診断する。
尚、例えば、図8のS817で診断結果をユーザに提示する際、図12に示した図を併せてユーザに提示するようにしてもよい。これによりユーザは、時系列的に故障確度や攻撃確度の変遷を知ることができ、サイバー攻撃や故障の実体把握等に役立てることができる。
以上のように、本実施形態の状態診断装置100によれば、時間的もしくは空間的に段階を踏んで行われる、サイバーキルチェーンとして体系化されるような巧妙なサイバー攻撃を精度よく確実に検出することができ、サイバー攻撃による被害や被害の拡大を防ぐこ
とができる。
状態診断装置100は、産業制御システム1において機器の故障やプロセスの異常に起因するアラートに基づき、サイバー攻撃によるアラートと故障に起因するアラートとを区別しつつサイバー攻撃を検出するので、特別な侵入検知システムを別途導入する必要がなく、例えば、既存の産業制御システム1の仕組みを利用して、サイバー攻撃を精度よく確実に検出する仕組みを容易かつ低コストで実現することができる。
また、本実施形態の状態診断装置100によれば、例えば、産業制御システム1やセキュリティ技術に精通した者等が、攻撃パターン情報112と故障パターン情報113を予め設定しておくことで、サイバー攻撃や産業制御システム1に精通していない者でも精度よく確実にサイバー攻撃が行われていることを把握することができる。
以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。
また、上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、
ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
また、前述した各種のデータを格納するデータベースの構成(スキーマ(Schema)等)は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。
1 産業制御システム
11 センサ
12 アクチュエータ
13 コントローラ
14 安全計装システム
15 制御サーバ
16 エンジニアリングワークステーション
17 監視制御サーバ
18 データヒストリアン
19 伝送サーバ
50 制御系ネットワーク
51 情報/制御系ネットワーク
52 情報系ネットワーク
100 状態診断装置
110 記憶部
111 アラート情報
112 攻撃パターン情報
113 故障パターン情報
114 資産定義情報
120 アラート受信部
130 アラート情報生成部
140 状態診断部
141 攻撃確度算出部
142 故障確度算出部
150 診断結果出力部
160 情報設定部
S800 状態診断処理
S814 攻撃確度算出処理
S815 故障確度算出処理

Claims (15)

  1. 複数の資産を有して構成される産業制御システムにおけるサイバー攻撃を検出する情報処理装置であって、
    複数の前記資産がサイバー攻撃を受けた場合に発生することが想定される一群のアラートを、前記サイバー攻撃の時間的な段階に沿った系列と、前記サイバー攻撃を受けた資産の空間的な段階に沿った系列とによって分類することにより得られる類型である一つ以上の攻撃パターンを記憶する記憶部と、
    前記資産について発生した一群のアラートと前記攻撃パターンとの一致性に基づき前記産業制御システムに対するサイバー攻撃の有無を診断する状態診断部と、
    を備える、状態診断装置。
  2. 請求項1に記載の状態診断装置であって、
    前記サイバー攻撃の時間的な段階に沿った系列は、サイバー攻撃の偵察、侵入、及び最終目標への攻撃の各段階に沿った系列であり、
    前記サイバー攻撃の空間的な段階に沿った系列は、複数の前記資産への広がりに沿った系列である、
    状態診断装置。
  3. 請求項1に記載の状態診断装置であって、
    前記記憶部は、前記資産に故障が生じた場合に発生することが想定される一群のアラートを、故障の度合いに沿った系列と、前記故障が生じた資産の空間的な段階に沿った系列とによって分類することにより得られる類型である一つ以上の故障パターンを更に記憶し、
    前記状態診断部は、前記資産について発生した一群のアラートと前記攻撃パターンとの一致性と、前記一群のアラートと前記故障パターンとの一致性とに基づき、前記資産に対するサイバー攻撃の有無を診断する、
    状態診断装置。
  4. 請求項3に記載の状態診断装置であって、
    前記故障の度合いに沿った系列は、前記故障の深刻度に応じた系列であり、
    前記故障が生じた資産の空間的な段階に沿った系列は、複数の前記資産への故障の広がりに沿った系列である、
    状態診断装置。
  5. 請求項1に記載の状態診断装置であって、
    前記状態診断部は、
    前記一群のアラートと前記攻撃パターンとの一致性を示す情報である攻撃確度を求める攻撃確度算出部を有し、
    前記攻撃確度に基づき、前記資産に対するサイバー攻撃の有無を診断する、
    状態診断装置。
  6. 請求項5に記載の状態診断装置であって、
    前記攻撃確度算出部は、前記一群のアラートに前記攻撃パターンのアラートに対応するアラートが存在するか否か、又は前記一群のアラートにおけるアラートと前記攻撃パターンのアラートの前後の繋がりの一致性に基づき、前記攻撃確度を算出する、
    状態診断装置。
  7. 請求項5に記載の状態診断装置であって、
    前記状態診断部は、前記攻撃確度が予め設定した第1閾値以上である場合に前記産業制
    御システムに対するサイバー攻撃があると診断する、
    状態診断装置。
  8. 請求項3に記載の状態診断装置であって、
    前記状態診断部は、
    前記一群のアラートと前記攻撃パターンとの一致性を示す情報である攻撃確度を求める攻撃確度算出部と、
    前記一群のアラートと前記故障パターンとの一致性を示す情報である故障確度を求める故障確度算出部と、
    を有し、
    前記攻撃確度及び前記故障確度に基づき、前記産業制御システムに対するサイバー攻撃の有無を診断する、
    状態診断装置。
  9. 請求項8に記載の状態診断装置であって、
    前記故障確度算出部は、前記一群のアラートに前記故障パターンのアラートに対応するアラートが存在するか否か、又は前記一群のアラートにおけるアラートと前記故障パターンのアラートの前後の繋がりの一致性に基づき、前記故障確度を算出する、
    状態診断装置。
  10. 請求項8に記載の状態診断装置であって、
    前記状態診断部は、前記攻撃確度が予め設定した第1閾値以上であり、かつ、前記故障確度が予め設定した第2閾値未満である場合に前記産業制御システムに対するサイバー攻撃があると判定する、
    状態診断装置。
  11. 請求項1に記載の状態診断装置であって、
    前記攻撃パターンは、前記産業制御システムがサイバーキルチェーン(Cyber Kill Chain)として体系化される攻撃を受けた場合に発生することが想定される一群のアラートの類型である、
    状態診断装置。
  12. 請求項3に記載の状態診断装置であって、
    前記資産と前記資産について発生するアラートとの関係、前記攻撃パターン、前記故障パターンの少なくともいずれかの設定を行うユーザインタフェースを提供する情報設定部を更に備える、
    状態診断装置。
  13. 請求項3に記載の状態診断装置であって、
    前記資産に対するサイバー攻撃の有無を示す情報、前記一群のアラートに関する情報、前記一群のアラートと前記攻撃パターンとの一致性に関する情報、及び前記一群のアラートと前記故障パターンとの一致性に関する情報、のうちの少なくともいずれかを出力する診断結果出力部を更に備える、
    状態診断装置。
  14. 複数の資産を有して構成される産業制御システムにおけるサイバー攻撃を検出する情報処理装置が、
    複数の前記資産がサイバー攻撃を受けた場合に発生することが想定される一群のアラートを、前記サイバー攻撃の時間的な段階に沿った系列と、前記サイバー攻撃を受けた資産の空間的な段階に沿った系列とによって分類することにより得られる類型である一つ以上
    の攻撃パターンを記憶するステップと、
    前記資産について発生した一群のアラートと前記攻撃パターンとの一致性に基づき前記産業制御システムに対するサイバー攻撃の有無を診断するステップと、
    を実行する、状態診断方法。
  15. 請求項14に記載の状態診断方法であって、
    前記情報処理装置が、
    前記資産に故障が生じた場合に発生することが想定される一群のアラートを、故障の度合いに沿った系列と、前記故障が生じた資産の空間的な段階に沿った系列とによって分類することにより得られる類型である一つ以上の故障パターンを更に記憶するステップと、
    前記資産について発生した一群のアラートと前記攻撃パターンとの一致性と、前記一群のアラートと前記故障パターンとの一致性とに基づき、前記資産に対するサイバー攻撃の有無を診断するステップと、
    を更に実行する、状態診断方法。
JP2020198061A 2020-11-30 2020-11-30 状態診断装置、及び状態診断方法 Active JP7427574B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020198061A JP7427574B2 (ja) 2020-11-30 2020-11-30 状態診断装置、及び状態診断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020198061A JP7427574B2 (ja) 2020-11-30 2020-11-30 状態診断装置、及び状態診断方法

Publications (2)

Publication Number Publication Date
JP2022086181A JP2022086181A (ja) 2022-06-09
JP7427574B2 true JP7427574B2 (ja) 2024-02-05

Family

ID=81894183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020198061A Active JP7427574B2 (ja) 2020-11-30 2020-11-30 状態診断装置、及び状態診断方法

Country Status (1)

Country Link
JP (1) JP7427574B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190141058A1 (en) 2017-11-09 2019-05-09 Accenture Global Solutions Limited Detection of adversary lateral movement in multi-domain iiot environments
JP2020515962A (ja) 2017-03-27 2020-05-28 新華三技術有限公司New H3C Technologies Co., Ltd. Apt攻撃に対する防御
WO2020183615A1 (ja) 2019-03-12 2020-09-17 三菱電機株式会社 攻撃推定装置、攻撃制御方法、および攻撃推定プログラム
US20200336497A1 (en) 2019-04-18 2020-10-22 International Business Machines Corporation Detecting sensitive data exposure via logging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020515962A (ja) 2017-03-27 2020-05-28 新華三技術有限公司New H3C Technologies Co., Ltd. Apt攻撃に対する防御
US20190141058A1 (en) 2017-11-09 2019-05-09 Accenture Global Solutions Limited Detection of adversary lateral movement in multi-domain iiot environments
WO2020183615A1 (ja) 2019-03-12 2020-09-17 三菱電機株式会社 攻撃推定装置、攻撃制御方法、および攻撃推定プログラム
US20200336497A1 (en) 2019-04-18 2020-10-22 International Business Machines Corporation Detecting sensitive data exposure via logging

Also Published As

Publication number Publication date
JP2022086181A (ja) 2022-06-09

Similar Documents

Publication Publication Date Title
JP7240071B2 (ja) 無人航空機のサイバー攻撃検出、位置特定、および中和
EP3803660B1 (en) Knowledge graph for real time industrial control system security event monitoring and management
CN107491057B (zh) 保护工业资产控制系统的系统及方法及计算机可读介质
US10841322B2 (en) Decision system and method for separating faults from attacks
JP6638644B2 (ja) 情報処理装置及び異常検知方法
EP3465515B1 (en) Classifying transactions at network accessible storage
US11252169B2 (en) Intelligent data augmentation for supervised anomaly detection associated with a cyber-physical system
CN107592309B (zh) 安全事件检测和处理方法、系统、设备及存储介质
JP2017199365A (ja) 産業資産制御システム用のドメインレベル脅威検出
US20200244677A1 (en) Scalable hierarchical abnormality localization in cyber-physical systems
EP3926891B1 (en) Intelligent network operation platform for network fault mitigation
Krishnamurthy et al. Scalable anomaly detection and isolation in cyber-physical systems using bayesian networks
WO2009090939A1 (ja) ネットワーク異常検出装置及び方法
JP6280862B2 (ja) イベント分析システムおよび方法
EP3699708B1 (en) Production facility monitoring device, production facility monitoring method, and production facility monitoring program
EP4075726B1 (en) Unified multi-agent system for abnormality detection and isolation
JP7311350B2 (ja) 監視装置、監視方法、および監視プログラム
US11343266B2 (en) Self-certified security for assured cyber-physical systems
CN111260176A (zh) 用于排除技术设施中的故障状况的方法和系统
CN112840616A (zh) 用于工业控制系统入侵检测的混合无监督机器学习框架
CN106575282A (zh) 用于先进过程控制的云计算系统和方法
CN112219175A (zh) 用于管理技术安装的方法和系统
JP7427574B2 (ja) 状態診断装置、及び状態診断方法
Aliyari Securing industrial infrastructure against cyber-attacks using machine learning and artificial intelligence at the age of industry 4.0
JP6972429B1 (ja) プラント管理方法及びプラント設計装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240124

R150 Certificate of patent or registration of utility model

Ref document number: 7427574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150