JP2023516378A - 複雑な物理的機器からのログの解析のための手法 - Google Patents

複雑な物理的機器からのログの解析のための手法 Download PDF

Info

Publication number
JP2023516378A
JP2023516378A JP2022552777A JP2022552777A JP2023516378A JP 2023516378 A JP2023516378 A JP 2023516378A JP 2022552777 A JP2022552777 A JP 2022552777A JP 2022552777 A JP2022552777 A JP 2022552777A JP 2023516378 A JP2023516378 A JP 2023516378A
Authority
JP
Japan
Prior art keywords
log
cluster
instances
instance
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022552777A
Other languages
English (en)
Inventor
デュミットリィ・フラッドキン
タグバ・クラーチオグル
オラディメジ・ファリ
Original Assignee
シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド filed Critical シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Publication of JP2023516378A publication Critical patent/JP2023516378A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • G06F11/0778Dumping, i.e. gathering error/state information after a fault for later diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3013Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/156Query results presentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

複雑な物理的機器によって生成されたログファイルを解析するためのコンピュータ実施方法が、物理的機器の1つまたはそれ以上の構成要素によって生成された1つまたはそれ以上のログファイルを受信することを含む。ログファイルの各々は、1つまたはそれ以上のログエントリを含む。各ログファイルから、ログエントリの固定部分を表す複数のテンプレートが抽出される。ログエントリは、ログファイルにおいて複数のインスタンスにグループ化される。各インスタンスは、ログエントリにおけるデータを表す1つまたはそれ以上の次元に沿った複数の部分のうちの1つに対応する。インスタンスに含まれるテンプレートのセットを表す各インスタンスの表現が作成される。インスタンスの表現にクラスタリングプロセスを適用することによって複数のクラスタが生成される。次に、グラフィカルユーザインタフェース(GUI)において、クラスタおよびインスタンスの視覚表現を作成することができる。【選択図】図2

Description

関連出願の相互参照
本出願は、2020年3月5日に出願された「AN APPROACH FOR ANALYSIS OF LOGS FROM A COMPLEX PHYSICAL EQUIPMENT」と題する米国仮特許出願第62/985,615号の利益を主張する。この仮特許出願の開示は、参照によってその全体が全ての目的で本明細書に組み入れられる。
本発明は、一般に、複雑な物理的機器によって生成されたログファイルの解析に関するシステム、方法および装置に関する。本明細書に記載の技法は、例えば、免疫測定法および化学分析器によって生成されるログエントリの解析に適用することができる。
製造およびヘルスケアを含む多くの領域における技術開発が急速なペースで続いている。これらの領域で動作するシステムは、複数の構成をサポートし、最小限の人間の介入で多岐にわたるタスクを実行することが可能な高性能のマシンを、ますます用いている。例えば、免疫測定法および臨床化学分析を実行するためのシステムは、通常、各々が自律的にまたはほぼ自律的にタスクを実行する複数の多様なコンピューティングデバイスを有する。
複雑なシステムの動作中、その構成要素は、本明細書において、「ログデータ」または単に「ログ」と呼ばれるテキストファイルまたはバイナリファイルの形態のデータを生成する。これらのログは、機器によって実行されるソフトウェア内のプリントステートメントによって生成される。ログ内のデータは、機器がどのように動作しているかを理解するのに有用な情報を含む。例えば、ログは、いくつかのメッセージが受信もしくは生成されたときのインジケーション、センサ測定値、受信したコマンドおよび実行された動作のシーケンス、所与の時点における変数の値、またはエラーが生じたときのシステムメモリのコンテンツを表すスタックトレースを含むことができる。
複雑なシステムは、入り組んだタスクを迅速に実行することが可能であるが、システムの複雑さにより、任意の課題を解決することが困難になる。従来、顧客はまず、システムに関与する問題を検出し、その問題を、システムの維持の任務を負う会社または組織に報告する。次に、領域専門家(サポートエンジニア等)がデータを手作業でレビューしなくてはならない。様々な要因に依拠して、問題の初期症状とその解決との間の時間が長くなり得る。解決速度は、サポートエンジニアの経験および問題の複雑さに依拠する。このトラブルシューティングプロセスは時間と労力がかかる。
本発明の実施形態は、動作を最適化し、問題を検出および診断するための、複雑な物理的機器からのログデータの自動解析に関する方法、システムおよび装置を提供することによって、上記の短所および欠点のうちの1つまたはそれ以上に対処し、克服する。この解析は、機器を用いて問題を迅速に識別する際に領域専門家をサポートすることができるか、または自律的または半自律的トラブルシューティングおよび修復手順に用いることができる。
いくつかの実施形態によれば、複雑な物理的機器によって生成されたログファイルを解析するためのコンピュータ実施方法が、物理的機器の1つまたはそれ以上の構成要素によって生成された1つまたはそれ以上のログファイルを受信することを含む。ログファイルの各々は、1つまたはそれ以上のログエントリを含む。各ログファイルから、ログエントリの固定部分を表す複数のテンプレートが抽出される。ログエントリは、ログファイルにおいて複数のインスタンスにグループ化される。各インスタンスは、ログエントリにおけるデータを表す1つまたはそれ以上の次元に沿った複数の部分のうちの1つに対応する。インスタンスに含まれるテンプレートのセットを表す各インスタンスの表現が作成される。インスタンスの表現にクラスタリングプロセスを適用することによって複数のクラスタが生成される。次に、グラフィカルユーザインタフェース(GUI)において、クラスタおよびインスタンスの視覚表現を作成することができる。
他の実施形態では、複雑な物理的機器によって生成されたログファイルを解析するための製造物が、上記の方法を実行するためのコンピュータ実行可能命令を保持する非一時的有形コンピュータ可読媒体を含む。
他の実施形態によれば、複雑な物理的機器によって生成されたログファイルを解析するためのシステムが、非一時的有形コンピュータ可読媒体と、1つまたはそれ以上のプロセッサと、ディスプレイとを含む。コンピュータ可読媒体は、物理的機器の1つまたはそれ以上の構成要素によって生成された1つまたはそれ以上のログファイルを保持する。各ログファイルは、1つまたはそれ以上のログエントリを含む。プロセッサは、各ログファイルから、ログエントリの固定部分を表す複数のテンプレートを抽出し、ログファイル内のログエントリを複数のインスタンスにグループ化するように構成される。各インスタンスは、ログエントリにおけるデータを表す複数の次元のうちの1つに対応する。プロセッサは、インスタンスに含まれるテンプレートのセットを表す各インスタンスの表現を作成し、インスタンスの表現にクラスタリングプロセスを適用することによって複数のクラスタを生成するようにさらに構成される。ディスプレイは、GUIにおいて、クラスタおよびインスタンスの視覚表現を提示する。
本発明のさらなる構成および利点は、添付図面を参照して進行する、以下の例示的な実施形態の詳細な説明から明らかとなろう。
本発明の上記態様および他の態様は、添付図面と併せて読むと、以下の詳細な説明から最もよく理解される。本発明を例示するために、現時点で好ましい実施形態が図示されているが、本発明は開示されている特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。
いくつかの実施形態による、ログデータの自動解析のためのシステムを示す。 本発明の異なる実施形態において適用することができるログ解析のための方法を示す。 ジャッカード類似度を用いたワンパスクラスタリングを実行する例示的な方法を示す。 本明細書において論じられる解析のために用いることができる例示的なグラフィカルユーザインタフェース(GUI)を示す。 いくつかの実施形態において表示することができる試料特徴量重要度プロットを示す。 本発明の実施形態を実施することができる例示的なコンピューティング環境を示す。
本発明は、包括的には、動作を最適化し、問題を検出および診断するための、複雑な物理的機器からのログデータの自動解析に関する方法、システムおよび装置に関する。
図1は、いくつかの実施形態による、ログデータの自動解析のためのシステム100を示す。この例において、構成要素105、110、115の群は、協働で、免疫測定法および臨床化学分析器システム120として動作する。当該技術分野において一般的に理解されているように、免疫測定法および臨床化学分析器システム120は、生体試料に対する試験を実行するために連続して動作する複数のコンピューティングデバイスを含む。免疫測定法および臨床化学分析器システム120は、本明細書に記載のログ解析技法を適用することができる複雑な物理的機器の1つの例であることを理解されたい。通常、これらの技法は、ログ解析データが生成される任意のタイプの複雑な物理的機器に適用することができる。
免疫測定法および臨床化学分析器システム120は、ネットワーク135を介してログファイルをログ処理コンピュータ125に転送する。このネットワーク135は、例えば、ローカルエリアネットワークまたはインターネットとすることができる。図1において、様々なデバイスをネットワーク135に連結する線が用いられているが、ネットワーク135は、有線または無線方式で動作し得ることを理解されたい。当該技術分野において一般的に既知の任意の技法を用いて、ネットワーク135を介したデータの転送を促進することができる。データ転送は、例えば、スケジューリングされた間隔で(例えば、毎時、毎晩等)、リアルタイムで(すなわち、ログファイルが生成される際に)、またはユーザからの要求時に行うことができる。
ログ処理コンピュータ125は、構成要素105、110および115によって生成されたログファイルを記憶する。図1には集中型のログ記憶装置が示されているが、他の実施形態では、異なる記憶アーキテクチャを利用することができることに留意されたい。例えば、1つの実施形態では、各構成要素105、110および115は、自身のログファイルを、それぞれのユニット内にローカルで記憶する。他の実施形態では、免疫測定法および臨床化学分析器システム120は、構成要素105、110および115のそれぞれによって生成されたログファイルを記憶するローカル記憶機構を含む。ログ処理コンピュータ125は、図2および図3を参照して以下に説明する技法を用いて各ログファイルを解析する。この解析に基づいて、解析結果を表示するための1つまたはそれ以上のグラフィカルユーザインタフェース(GUI)が生成される。次に、これらのGUIを、(図1におけるような)ログ処理コンピュータ125に直接接続された、またはネットワーク135を介してログ処理コンピュータ125に間接的に接続されたユーザコンピュータ130上に表示することができる。
各ログファイルは、1つまたはそれ以上のログエントリを含む。本明細書に記載の技法は、各ログエントリがコンテンツ(すなわち、メッセージ)およびタイムスタンプを有すると仮定する。メッセージは、通常、構成要素105、110または115によって自動的に生成され、プログラムからのプリントステートメントに見られるように、固定部分(テンプレート)およびパラメータを含む。エントリの1つの例は以下の通りである:”Numberof Tips Available: 17 NumberofTipsComitted: 0”ここで、「17」および「0」はパラメータであり、残りはテンプレートである。
免疫測定法および臨床化学分析器システム120のソースコードに完全なアクセスを有する場合、出力ステートメントおよびその形式を識別し、ログエントリのいずれの部分がテンプレートであり、いずれがパラメータであるかを厳密に知ることができるであろう。上記のメッセージは、print(”Number of Tips Available: {} NumberofTipsComitted: {}”.format(17.0))と同様のコードによって生成される可能性が高い。しかしながら、ソースコードへのアクセスを有することは稀にしか可能でなく、このため、自動的にログを編成し、テンプレートおよびパラメータを抽出する必要がある。
免疫測定法および臨床化学分析器システム120のいくらかの領域知識を与えられると、ログを自動的にパースして、メッセージ、ならびにインスタンスの開始および終了をマーキングするパラメータを識別することができる。例えば、領域知識は、メッセージ「Starting cycle 364」がサイクルの開始をマーキングすること、またはメッセージ「OnEventSampleArrived(). SampleUID: 13514」が、id 13514を有するジョブの開始をマーキングすることを指定する場合がある。これは、(下記の)特定のインスタンスに属するメッセージを選択するのに十分である。さらに、当該技術分野において一般的に既知のテンプレート抽出方法を用いて、各メッセージをテンプレートにマッチングし、そのパラメータを識別することができる。例示的なテンプレート抽出方法は、He、Pinjia、Jieming Zhu、Zibin ZhengおよびMichael R. Lyu.「Drain: An online log parsing approach with fixed depth tree.」In 2017 IEEE International Conference on Web Services (ICWS)、 pp. 33-40. IEEE、 2017ならびにJieming Zhu、Shilin He、Jinyang Liu、Pinjia He、Qi Xie、Zibin Zheng、Michael R. Lyu. Tools and Benchmarks for Automated Log Parsing. International Conference on Software Engineering (ICSE)、2019に記載されている。
ログファイルは、時間次元、空間次元およびジョブまたはタスクベースの次元を含むいくつかの次元に沿って編成することができる。各次元は、解析のために、ログエントリを、本明細書において「インスタンス」と呼ばれる単一のデータ点にグループ化することを可能にする。ログファイルに関連付けられた様々なインスタンスを検討することにより、データエントリ内に提供される最も有用な情報の抽出が可能になる。インスタンスは互いに独立していないことを理解されたい。例えば、いくつかの実施形態では、解析は、異なるサイクル、ロケーションまたはジョブ間の依存性を検討することができる。
ログファイルの時間次元は、データがいつ生成されたか、または他の場合、どの時間が特定のコンテンツアイテムに関連しているかを表す。例えば、ログは、アクティビティのスケジューリングユニットであるサイクルに編成することができる。システムは、まずスケジューリングを行い、次に、特定のサイクルにおける或る数の動作の実行を試みる。サイクル識別子(id)の値は、少なくともいくつかのメッセージに見ることができ、サイクルの開始/終了/ステータスを抽出することができる。このため、解析のために、単一のサイクルに対応するログのシーケンスを単一のインスタンスとして扱うことが可能である。空間次元は、データがどこで生成されるか、またはデータがどの構成要素もしくは機能を参照しているかを表す。システムは、大まかに、システム内の異なるロケーションとして考えることができる複数の別々の動作/機能を実行することができる。したがって、これらの「ロケーション」の各々を、別個のインスタンスとみなすことが可能である。最後に、ジョブまたはタスク次元は、ログエントリがどの機能を参照しているかを表す。システムは、1つまたはそれ以上のタスクを含む特定のジョブを与えられる。マシンが実行することができる個々のタスクの数は制限されているが、ジョブは、タスクと異なる入力との異なる組合せを含むことができる。別個のタスクは、システム内の別々のロケーションにも対応することができることにも留意されたい。
図2は、本発明の異なる実施形態において適用することができるログ解析のための方法200を示す。この方法は、例えば、ログ処理コンピュータ125によって、または図1に示す構成要素105、110および115のうちの1つの中で実行することができる。
ステップ205から開始して、テンプレートは、システム構成要素から受信される1つまたはそれ以上のログメッセージから抽出される。上記で説明したように、各テンプレートは、インスタンスの開始および終了をマーキングするメッセージおよびパラメータを含む。抽出プロセスは、サンプリングおよび領域知識の組合せに基づいて導出することができる。より詳細には、長期間のログファイルは、領域専門家によって考察することができ、次に、専門家は、ログファイルがどのようにフォーマット設定されているかを示すことができる。例えば、1つの実施形態において、ログファイルは、数週間または数カ月の期間にわたって収集される。次に、単純なテキスト処理を適用し、ログファイル内の一意の行を識別することができる。行の一意性は、全ての文字、またはサブセットのみ(例えば、最初のn文字または最後のn文字、ここでnはユーザが定義したパラメータである)に基づくことができる。次に、領域専門家は、いずれの文字が固定またはテンプレート部分であるか、およびいずれがパラメータに対応するかを示すことができる。当該技術分野において一般的に既知のテンプレート抽出方法をステップ205において利用することもできる。
抽出されたテンプレートを用いて、ステップ210において、ログが解析され、インスタンスにグループ化される。上述したように、これらのインスタンスは、空間的であるか、時間的であるか、またはタスクもしくはジョブに基づくものである。このため、パラメータの解析によって、ログエントリを、特定のインスタンスに属するものとして指定することができる。ログエントリとインスタンス指定との対応性を、様々な技法を用いて達成することができる。1つの実施形態において、ログエントリのセットについてベクトルが生成される。ベクトルは、セット内の各ログエントリを計上する。例えば、ログエントリをパースし、テンプレートidにマッピングすることができる。次に、ベクトルは、このテンプレートに対応するカウンタをインクリメントさせる。このようにして、ベクトルを、テンプレートのバッグ(Bag of Templates)として考えることができる。いくつかの実施形態では、ステップ210において、ログエントリのさらなるフィルタリングまたは強化を行うことができる。例えば、各次元のカウントは、ログまたは他の機能を用いて変換することができるか、またはログエントリは、テンプレートマッピング以外の方式でグループ化することができる。
ステップ215において、各インスタンスは、そのメッセージのテンプレートのセットによって表される。この結果、テキスト解析において用いられる「単語のバッグ(bag-of-words)」表現に類似した「テンプレートのバッグ」表現が生じる。当該技術分野において一般的に理解されるように、単語のバッグは、センテンスまたは文書等のテキスト内で単語がどの程度頻繁に生じるかを表すモデルである。通常の実施態様において、テキストは固定長のベクトルに変換され、ここで、ベクトル内の各エントリは、単語の所定の辞書内の単語に対応する。フィールド内に記憶される数は、テキスト内で単語がどの程度頻繁に生じるかを表す。
ステップ220において、1つまたはそれ以上のクラスタリング解析がインスタンスに対し実行される。クラスタリングのために様々な技法を用いることができる。これらの技法は、直接、またはscikit-learn等の標準的なツールキットを通じて実施することができる。図3は、ジャッカード類似度を用いたワンパスクラスタリングを実行する例示的な方法300を示す。当該技術分野において一般的に理解されるように、セットのジャッカード類似度は、セットの和集合のサイズに対する積集合のサイズの比率である。ステップ305において、空のクラスタリストが作成される。次に、ステップ310において、第1のインスタンスが新たなクラスタのプロトタイプとして宣言され、このインスタンスがクラスタリストに加えられる。次に、他のインスタンスにおけるインスタンスlについてステップ315~330が実行される。ステップ315から開始して、コンピューティングシステムは、lと既存のクラスタの各々とのジャッカード類似度を計算する。ステップ320において、最も高い類似度sを有するクラスタlが選択される。ステップ324において、「s」の値が所定の閾値よりも大きい場合、lがクラスタlに加えられる。ステップ330において、sの値が閾値以下である場合、lについて新たなクラスタが作成され、このクラスタがクラスタリストに加えられる。
図2に戻ると、本明細書において「重要度値」と呼ばれるクラスタ確率値が、ステップ225において各テンプレートについて計算される。より詳細には、任意のテンプレートkおよびクラスタjについて、このクラスタ内でテンプレートを見る確率、およびこのテンプレートが任意の他のクラスタ内にある確率が計算される。これらの値の間の差異は、クラスタj内のテンプレートkの重要度である。値が0に近づく場合、テンプレートはクラスタ内において外側と同じだけ一般的である。この値が高い場合、テンプレートは、クラスタ内において外側よりもはるかにより一般的であり、低い場合、外側においてはるかにより一般的である。重要度測定値は、クラスタがテンプレートの観点で表されることを可能にし、エンドユーザがクラスタリング結果を自身の領域知識と連結するのに役立つ。特に、大量のインスタンス、したがって最大クラスタが正常動作に対応する場合、いくつかのより小さなクラスタは異常インスタンスからなり、テンプレートの観点からのそれらの「シグネチャ」は、ユーザに異常の症状または原因を指し示す。
他の実施形態では、図2に示す方法200とは別のログ解析の異なる方法を適用することができる。例えば、いくつかの実施形態では、ステップ210からの表現に外れ値/異常検出方法を適用することができ、その後に、結果を解釈するための説明可能な方法の使用が続く。
いくつかの実施形態では、視覚インタフェースを用いて、人間のユーザがログエントリについて生成されたクラスタリングおよび重要度値を理解するのを支援する。図4は、本明細書において論じられる解析のために用いることができる例示的なGUIを示す。この例において、インスタンスは、プロット上の円形シンボルで示され、ここで、x軸はインスタンスの時間を示し、y軸はインスタンス識別子を示す。この場合、ログエントリは免疫測定法および臨床化学分析器システム(図1を参照)に対応し、インスタンス識別子は試料識別子である。キー405に示すように、各シンボルは、特定の試料がいずれのクラスタに属するかを示す。代替的に、シンボルは、例えば、異常検出アルゴリズムの出力を反映することができる。ユーザは、選択されたインスタンスに焦点を当てるために、いくつかのクラスタを起動する(停止させる)ことができる。例えば、図4において、ユーザは、0x04として指定され、図面におけるクラスタ3に属する、特定のインスタンスを選択した。インスタンスに関するさらなる詳細を与えるグラフィカル要素410が表示される。さらに、下部ディスプレイ415は、日付およびタイムスタンプ、対応するテンプレートの重要度値(すなわち、「重み」)、およびログメッセージ自体を含む、インスタンス内の各ログエントリに関する追加情報を提供する。このため、このGUIは、ユーザが異常なインスタンスを、それらが最初に現れたときに迅速に識別することを可能にする。ユーザは、図5に示すもの等の特徴量重要度プロットをチェックすることによって、異常なインスタンスが、何により他のクラスタと異なっているかをチェックすることもできる。
図6は、本発明の実施形態を実施することができる例示的なコンピューティング環境600を示す。例えば、いくつかの実施形態では、コンピューティング環境600は、図1に示すログ処理コンピュータ125のために用いることができる。コンピューティング環境600は、本発明の実施形態を実施することができるコンピューティングシステムの1つの例であるコンピュータシステム610を含むことができる。コンピュータシステム610およびコンピューティング環境600等のコンピュータおよびコンピューティング環境は、当業者には既知であるため、ここでは簡潔に記載する。
図6に示すように、コンピュータシステム610は、コンピュータシステム610内で情報を通信するために、バス621または他の通信機構等の通信機構を含むことができる。コンピュータシステム610は、情報を処理するために、バス621と連結された1つまたはそれ以上のプロセッサ620をさらに含む。プロセッサ620は、1つもしくはそれ以上の中央処理装置(CPU)、画像処理装置(GPU)、または当該技術分野において既知の任意の他のプロセッサを含むことができる。
コンピュータシステム610は、バス621に連結され、情報およびプロセッサ620によって実行される命令を記憶する、システムメモリ630も含む。システムメモリ630は、リードオンリーメモリ(ROM)631および/またはランダムアクセスメモリ(RAM)632等の、揮発性および/または不揮発性メモリの形態のコンピュータ可読記憶媒体を含むことができる。システムメモリRAM632は、他のダイナミック記憶デバイス(例えば、ダイナミックRAM、スタティックRAM、およびシンクロナスDRAM)を含むことができる。システムメモリROM631は、他のスタティック記憶デバイス(例えば、プログラマブルROM、消去可能PROM、および電気的消去可能PROM)を含むことができる。加えて、システムメモリ630を用いて、プロセッサ620による命令の実行中の一時変数または他の中間情報を記憶することができる。例えば、起動中に、コンピュータシステム610内の要素間で情報を転送するのに役立つ基本的なルーチンを含む基本的な入出力システム(BIOS)633をROM631に記憶することができる。RAM632は、プロセッサ620によって即座にアクセス可能および/または現在動作中のデータおよび/またはプログラムモジュールを含むことができる。システムメモリ630は、例えば、オペレーティングシステム634、アプリケーションプログラム635、他のプログラムモジュール636、およびプログラムデータ637をさらに含むことができる。
コンピュータシステム610は、ハードディスク641および取外し可能媒体ドライブ642(例えば、フロッピーディスクドライブ、コンパクトディスクドライブ、テープドライブ、および/またはソリッドステートドライブ)等の、情報および命令を記憶する1つまたはそれ以上の記憶デバイスを制御するために、バス621に連結されるディスク制御装置640も含む。適切なデバイスインタフェース(例えば、スモール・コンピュータ・システム・インタフェース(SCSI)、集積デバイス・エレクトロニクス(IDE)、ユニバーサルシリアルバス(USB)、またはFireWire)を用いて、記憶デバイスをコンピュータシステム610に追加することができる。
コンピュータシステム610はまた、コンピュータのユーザに対して情報を表示するための、陰極線管(CRT)または液晶ディスプレイ(LCD)等のディスプレイ666を制御するために、バス621に連結されたディスプレイコントローラ665を含むことができる。コンピュータシステムは、入力インタフェース660と、コンピュータのユーザとインタラクトして、プロセッサ620に情報を提供するための、キーボード662およびポインティングデバイス661等の1つまたは複数の入力装置とを含む。ポインティングデバイス661は、例えば、プロセッサ620に対して方向情報およびコマンド選択を伝達して、ディスプレイ666上のカーソルの動きを制御する、マウス、トラックボール、またはポインティングスティックとすることができる。ディスプレイ666は、ポインティングデバイス661による方向情報およびコマンド選択の伝達を補うまたはそれに取って代わる入力を可能にするタッチスクリーンインタフェースを提供することができる。
システムメモリ630等のメモリ内に含まれる1つまたはそれ以上の命令の1つまたはそれ以上のシーケンスをプロセッサ620が実行することに応答して、コンピュータシステム610は、本発明の実施形態の処理ステップの一部または全部を実行することができる。そのような命令は、ハードディスク641または取外し可能媒体ドライブ642等の別のコンピュータ可読媒体からシステムメモリ630内に読み込むことができる。ハードディスク641は、本発明の実施形態によって用いられる1つまたはそれ以上のデータストアおよびデータファイルを含むことができる。データストアコンテンツおよびデータファイルは、安全性向上のために暗号化することができる。プロセッサ620は、システムメモリ630に含まれる命令の1つまたはそれ以上のシーケンスを実行するために、多重処理構成で使用することができる。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて、ハードワイヤ有線回路を用いることができる。したがって、実施形態は、ハードウェア回路およびソフトウェアの任意の特定の組合せに限定されない。
上述のように、コンピュータシステム610は、本発明の実施形態に従ってプログラムされた命令を保持して、データ構造、テーブル、レコード、または本明細書に記載されている他のデータを含む、少なくとも1つのコンピュータ可読媒体またはメモリを含むことができる。本明細書において用いられるとき、「コンピュータ可読媒体」という用語は、プロセッサ620に対して命令を与えて、実行させることに関与する任意の媒体を指す。コンピュータ可読媒体は、限定ではないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態をとることができる。不揮発性媒体の非限定的な例として、ハードディスク641または取外し可能媒体ドライブ642等の、光ディスク、ソリッドステートドライブ、磁気ディスク、および光磁気ディスクが挙げられる。揮発性媒体の非限定的な例として、システムメモリ630等のダイナミックメモリが挙げられる。伝送媒体の非限定的な例として、バス621を構築するワイヤを含む、同軸ケーブル、銅線、および光ファイバーが挙げられる。伝送媒体は、電波データ通信中および赤外線データ通信中に生じるような音波または光波の形態をとることもできる。
コンピューティング環境600は、リモートコンピュータ680等の1つまたはそれ以上のリモートコンピュータとの論理的接続を用いてネットワーク環境で動作するコンピュータシステム610をさらに含むことができる。リモートコンピュータ680は、パーソナルコンピュータ(ラップトップまたはデスクトップ)、モバイルデバイス、サーバ、ルータ、ネットワークPC、ピアデバイスまたは他の一般的なネットワークノードとすることができ、典型的には、コンピュータシステム610に関して上述した要素の多くまたは全てを含む。ネットワーク環境内で用いられる場合、コンピュータシステム610は、インターネット等のネットワーク671を介した通信を確立するためのモデム672を含むことができる。モデム672は、ユーザネットワークインタフェース670を介して、または別の適切な機構を介してバス621に連結することができる。
ネットワーク671は、当技術分野で一般的に知られている任意のネットワークまたはシステムとすることができ、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンネットワーク(MAN)、直接接続または一連の接続、携帯電話ネットワーク、またはコンピュータシステム610と他のコンピュータ(例えば、リモートコンピュータ680)との間の通信を促進することが可能な任意の他のネットワークもしくは媒体を含む。ネットワーク671は、有線、無線、またはそれらの組合せとすることができる。有線接続は、イーサネット、ユニバーサルシリアルバス(USB)、RJ-11または当技術分野で一般的に既知の任意の他の有線接続を用いて実施することができる。無線接続は、Wi-Fi、WiMAX、およびブルートゥース、赤外線、携帯電話ネットワーク、通信衛星、または当技術分野で一般的に既知の任意の他の無線接続方法を用いて実施することができる。さらに、いくつかのネットワークが、単独または互いに通信して、ネットワーク671における通信を促進することができる。
本開示の実施形態は、ハードウェアおよびソフトウェアの任意の組合せによって実施することができる。さらに、本開示の実施形態は、例えば、コンピュータ可読の非一時的媒体を有する製造物(例えば、1つまたはそれ以上のコンピュータプログラム製品)に含めることができる。この媒体は、例えば、本開示の実施形態の機構を提供および促進するためのコンピュータ可読プログラムコードを内蔵している。この製造物は、コンピュータシステムの一部として含めることもできるし、または、別個に販売することもできる。
本明細書には様々な態様および実施形態が開示されているが、当業者には、他の態様および実施形態が明らかとなろう。本明細書に開示された様々な態様および実施形態は、例示を目的としており、限定を意図したものではない。真の範囲および趣旨は、添付の特許請求の範囲に示されている。
本明細書において用いられるとき、実行可能なアプリケーションは、オペレーティングシステム、コンテキストデータ収集システムまたは他の情報処理システムの機能等の、所定の機能を、例えばユーザコマンドまたは入力に応答して実施するように、プロセッサを条件付けるコードまたは機械可読命令を含む。実行可能手順は、コードまたは機械可読命令、サブルーチン、または1つもしくはそれ以上の特定のプロセスを実行するための実行可能なアプリケーションのコードまたは一部の他の別々のセクションのセグメントである。これらのプロセスは、入力データおよび/またはパラメータを受信すること、受信された入力データについて操作を実行すること、および/または受信された入力パラメータに応答して機能を実行すること、および結果として得られる出力データおよび/またはパラメータを提供することを含み得る。
本明細書において用いられるとき、「グラフィカルユーザインタフェース(GUI)」という用語は、ディスプレイプロセッサによって生成されて、プロセッサまたは他のデバイスとのユーザインタラクションならびに関連するデータ収集および処理機能を可能にする、1つまたは複数の表示画像を含む。GUIは、実行可能手順または実行可能アプリケーションも含む。実行可能手順または実行可能アプリケーションは、GUI表示画像を表す信号を生成するために、ディスプレイプロセッサを条件付ける。これらの信号は、ユーザが見る画像を表示するディスプレイデバイスに供給される。プロセッサは、実行可能手順または実行可能アプリケーションの制御下で、入力デバイスから受信した信号に応答してGUI表示画像を操作する。このようにして、ユーザは、入力デバイスを用いて表示画像とインタラクトすることができ、プロセッサまたは他の装置とのユーザインタラクションが可能になる。
本明細書に記載の機能およびプロセスのステップは、自動的に、またはユーザコマンドに応答して全体的もしくは部分的に実施することができる。自動的に実施される行為(ステップを含む)は、ユーザがその行為を直接的に始動させなくても、1つまたはそれ以上の実行可能命令またはデバイス動作に応答して実行される。
図示したシステムおよびプロセスは排他的でない。本発明の原理に従って同一の目的を達成するため、他のシステム、プロセスおよびメニューを導出することができる。本発明は特定の実施形態を参照して説明されたが、本明細書で示し記載した実施形態および変形形態は例示を目的にしているにすぎないことを理解されたい。当業者であれば、現在の設計に対して、本発明の範囲から逸脱することなく、変更を行うことができる。本明細書に記載のように、様々なシステム、サブシステム、エージェント、マネージャーおよびプロセスは、ハードウェア構成要素、ソフトウェア構成要素、および/またはそれらの組合せを使用して実施することができる。請求項の要素はいずれも、「~するための手段」という語句を用いて明示的に記載されていない限り、米国特許法第112条(f)の規定に基づいて解釈されるべきではない。

Claims (20)

  1. 複雑な物理的機器によって生成されたログファイルを解析するためのコンピュータ実施方法であって:
    物理的機器の1つまたはそれ以上の構成要素によって生成された1つまたはそれ以上のログファイルを受信することであって、各ログファイルは1つまたはそれ以上のログエントリを含むことと;
    各ログファイルから、ログエントリの固定部分を表す複数のテンプレートを抽出することと;
    ログファイル内のログエントリを複数のインスタンスにグループ化することであって、各インスタンスは、ログエントリにおけるデータを表す1つまたはそれ以上の次元に沿った複数の部分のうちの1つに対応することと;
    インスタンスに含まれるテンプレートのセットを表す各インスタンスの表現を作成することと;
    インスタンスの表現にクラスタリングプロセスを適用することによって複数のクラスタを生成することと;
    グラフィカルユーザインタフェース(GUI)において、クラスタおよびインスタンスの視覚表現を作成することと、
    を含む、前記方法。
  2. クラスタおよびインスタンスの視覚表現は、クラスタのプロットであり、該プロットはインスタンスを列挙するx軸を有する、請求項1に記載の方法。
  3. プロットは、時間値を列挙するy軸を有する、請求項2に記載の方法。
  4. テンプレートおよびクラスタの組合せごとに、テンプレートがクラスタ内でどの程度一般的であるかを表す重要度値を計算することと;
    クラスタがGUIにおいてユーザによって選択されたとき、クラスタの重要度値を表示することと:
    をさらに含む、請求項1に記載の方法。
  5. テンプレートおよびクラスタの重要度値は、テンプレートがクラスタ内にある第1の確率と、テンプレートが、ログファイルから抽出された複数のテンプレートにおける1つまたはそれ以上の他のテンプレート内にある第2の確率との差である、請求項4に記載の方法。
  6. グラフィカルユーザインタフェース内のクラスタのうちの1つが選択されたとき、クラスタに対応するログエントリのうちの1つまたはそれ以上を表示すること:
    をさらに含む、請求項1に記載の方法。
  7. 複数の部分は、ログエントリの生成に関連付けられた物理的機器の実行サイクルを表す時間次元を含む、請求項1に記載の方法。
  8. 複数の部分は、ログエントリの生成に関連付けられた物理的機器内のロケーションを表す空間次元を含む、請求項1に記載の方法。
  9. 複数の部分は、ログエントリの生成に関連付けられたジョブを表すジョブ次元を含む、請求項1に記載の方法。
  10. 複数の部分は、ログエントリの生成に関連付けられたタスクを表すタスク次元を含む、請求項1に記載の方法。
  11. 各インスタンスの表現は、テンプレートごとの要素を含むベクトルであり、該ベクトルの各要素は、特定のタイプのテンプレートのカウントまたはカウントの関数を記憶する、請求項1に記載の方法。
  12. クラスタリングプロセスは:
    クラスタリストを作成することと;
    複数のインスタンスのうちの第1のインスタンスを第1のクラスタのプロトタイプとして宣言することと;
    第1のクラスタをクラスタリストに追加することと;
    複数のインスタンスにおける各追加のインスタンスについて、
    クラスタリスト内のクラスタに対する追加のインスタンスの類似度測定値を計算することと、
    類似度測定値について最高値を有するクラスタリスト内の特定のクラスタを識別することと、
    最高値が所定の閾値よりも大きい場合、追加のインスタンスを特定のクラスタに追加することと、
    最高値が所定の閾値以下である場合、クラスタリスト内に新たなクラスタを作成し、追加のインスタンスを新たなクラスタに追加することと、
    を含む、請求項1に記載の方法。
  13. 類似度測定値はジャッカード類似度である、請求項12に記載の方法。
  14. 物理的機器の1つまたはそれ以上の構成要素は、免疫測定法および臨床化学分析器システムの一部であり、各インスタンスは試験試料に対応する、請求項1に記載の方法。
  15. 複雑な物理的機器によって生成されたログファイルを解析するための製造物であって、方法を実行するためのコンピュータ実行可能命令を保持する非一時的有形コンピュータ可読媒体を含み、該方法は:
    物理的機器の1つまたはそれ以上の構成要素によって生成された1つまたはそれ以上のログファイルを受信することであって、各ログファイルは1つまたはそれ以上のログエントリを含むことと;
    各ログファイルから、ログエントリの固定部分を表す複数のテンプレートを抽出することと;
    ログファイル内のログエントリを複数のインスタンスにグループ化することであって、各インスタンスは、ログエントリにおけるデータを表す複数の次元のうちの1つに対応することと;
    インスタンスに含まれるテンプレートのセットを表す各インスタンスの表現を作成することと;
    インスタンスの表現にクラスタリングプロセスを適用することによって複数のクラスタを生成することと;
    GUIにおいて、クラスタおよびインスタンスの視覚表現を作成することと、
    を含む、前記製造物。
  16. クラスタおよびインスタンスの視覚表現は、クラスタのプロットであり、該プロットはインスタンスを列挙するx軸を有する、請求項15に記載の製造物。
  17. 方法は:
    テンプレートおよびクラスタの組合せごとに、テンプレートがクラスタ内でどの程度一般的であるかを表す重要度値を計算することと;
    クラスタがGUIにおいてユーザによって選択されたとき、クラスタの重要度値を表示することと、
    をさらに含む、請求項15に記載の製造物。
  18. テンプレートおよびクラスタの重要度値は、テンプレートがクラスタ内にある第1の確率と、テンプレートが、ログファイルから抽出された複数のテンプレートにおける1つまたはそれ以上の他のテンプレート内にある第2の確率との差である、請求項17に記載の製造物。
  19. 方法は:
    グラフィカルユーザインタフェース内のクラスタのうちの1つが選択されたとき、クラスタに対応するログエントリのうちの1つまたはそれ以上を表示することをさらに含む、請求項15に記載の製造物。
  20. 複雑な物理的機器によって生成されたログファイルを解析するためのシステムであって:
    物理的機器の1つまたはそれ以上の構成要素によって生成された1つまたはそれ以上のログファイルを保持する非一時的有形コンピュータ可読媒体であって、各ログファイルは1つまたはそれ以上のログエントリを含む、非一時的有形コンピュータ可読媒体と;
    1つまたはそれ以上のプロセッサであって:
    各ログファイルから、ログエントリの固定部分を表す複数のテンプレートを抽出し;
    ログファイル内のログエントリを複数のインスタンスにグループ化し、各インスタンスは、ログエントリにおけるデータを表す複数の次元のうちの1つに対応し;
    インスタンスに含まれるテンプレートのセットを表す各インスタンスの表現を作成し;
    インスタンスの表現にクラスタリングプロセスを適用することによって複数のクラスタを生成するように構成される、1つまたはそれ以上のプロセッサと;
    GUIにおいて、クラスタおよびインスタンスの視覚表現を提示するディスプレイと、
    を含む、前記システム。
JP2022552777A 2020-03-05 2021-03-03 複雑な物理的機器からのログの解析のための手法 Pending JP2023516378A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062985615P 2020-03-05 2020-03-05
US62/985,615 2020-03-05
PCT/US2021/020750 WO2021178594A1 (en) 2020-03-05 2021-03-03 An approach for analysis of logs from a complex physical equipment

Publications (1)

Publication Number Publication Date
JP2023516378A true JP2023516378A (ja) 2023-04-19

Family

ID=77613744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552777A Pending JP2023516378A (ja) 2020-03-05 2021-03-03 複雑な物理的機器からのログの解析のための手法

Country Status (5)

Country Link
US (1) US20230124408A1 (ja)
EP (1) EP4115293A4 (ja)
JP (1) JP2023516378A (ja)
CN (1) CN115151896A (ja)
WO (1) WO2021178594A1 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822850B1 (en) * 2008-01-11 2010-10-26 Cisco Technology, Inc. Analyzing log files
US8230259B2 (en) * 2009-12-02 2012-07-24 International Business Machines Corporation Automatic analysis of log entries through use of clustering
US8209567B2 (en) * 2010-01-28 2012-06-26 Hewlett-Packard Development Company, L.P. Message clustering of system event logs
US10592516B2 (en) * 2015-03-27 2020-03-17 British Telecommunications Public Limited Company Anomaly detection by multi-level tolerance relations
US20170169078A1 (en) * 2015-12-14 2017-06-15 Siemens Aktiengesellschaft Log Mining with Big Data
US10635682B2 (en) * 2015-12-15 2020-04-28 Microsoft Technology Licensing, Llc Log summarization and diff
US10353756B2 (en) * 2016-10-11 2019-07-16 Oracle International Corporation Cluster-based processing of unstructured log messages
US10664498B2 (en) * 2018-04-20 2020-05-26 Bank Of America Corporation Interconnected graph structured database for identifying and remediating conflicts in resource deployment
US11756657B2 (en) * 2018-10-10 2023-09-12 Drägerwerk AG & Co. KGaA System and method for display of laboratory data
US11824876B2 (en) * 2020-01-31 2023-11-21 Extreme Networks, Inc. Online anomaly detection of vector embeddings

Also Published As

Publication number Publication date
EP4115293A4 (en) 2023-08-09
EP4115293A1 (en) 2023-01-11
CN115151896A (zh) 2022-10-04
US20230124408A1 (en) 2023-04-20
WO2021178594A1 (en) 2021-09-10

Similar Documents

Publication Publication Date Title
US20170192882A1 (en) Method and system for automatically generating a plurality of test cases for an it enabled application
US9740506B2 (en) Automating interactions with software user interfaces
US20170169078A1 (en) Log Mining with Big Data
US8434062B2 (en) Enhancing source code debugging and readability using visual symbols
US20170192880A1 (en) Defect prediction
AU2017327823B2 (en) Test case generator built into data-integration workflow editor
US8752023B2 (en) System, method and program product for executing a debugger
US9563421B2 (en) Refining data understanding through impact analysis
US10990359B2 (en) Use and advancements of assistive technology in automation for the visually-impaired workforce
US10365995B2 (en) Composing future application tests including test action data
WO2012080077A1 (en) Cleansing a database system to improve data quality
US20190129832A1 (en) System and method for test data generation for use in model based testing using source code test annotations and constraint solving
US8782626B2 (en) Search suggestions for static code analysis
US20230124408A1 (en) An approach for analysis of logs from a complex physical equipment
US20230113187A1 (en) Analytics workflow integrated with logic control
CN115469849A (zh) 一种业务处理系统、方法、电子设备和存储介质
CN113326193A (zh) 一种小程序测试方法及装置
EP3671467A1 (en) Gui application testing using bots
CN111522737B (zh) 一种前端界面的自动化测试校验方法、装置及存储介质
US20150169324A1 (en) Method and system for software analytics using business intelligence
CN109726818B (zh) 一种模型编辑方法、装置、设备和介质
CN114490330A (zh) 生成测试用例的方法和装置
KR20220082763A (ko) 인공 지능 모델들을 위한 데이터 준비
WO2019163915A1 (ja) プロジェクト分析装置及びプログラム
JP2006318104A (ja) ソースコード検閲方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240207