JP6801267B2 - 評価プログラム、評価方法、評価装置および情報処理装置 - Google Patents

評価プログラム、評価方法、評価装置および情報処理装置 Download PDF

Info

Publication number
JP6801267B2
JP6801267B2 JP2016132895A JP2016132895A JP6801267B2 JP 6801267 B2 JP6801267 B2 JP 6801267B2 JP 2016132895 A JP2016132895 A JP 2016132895A JP 2016132895 A JP2016132895 A JP 2016132895A JP 6801267 B2 JP6801267 B2 JP 6801267B2
Authority
JP
Japan
Prior art keywords
software
log information
execution
evaluation
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016132895A
Other languages
English (en)
Other versions
JP2018005635A (ja
Inventor
直弘 岸下
直弘 岸下
足立　誠
誠 足立
洋 伊與部
洋 伊與部
洋亮 中
洋亮 中
孝昭 中澤
孝昭 中澤
丈也 武藤
丈也 武藤
俊一 大日方
俊一 大日方
一輝 山田
一輝 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016132895A priority Critical patent/JP6801267B2/ja
Priority to US15/635,662 priority patent/US10445213B2/en
Publication of JP2018005635A publication Critical patent/JP2018005635A/ja
Application granted granted Critical
Publication of JP6801267B2 publication Critical patent/JP6801267B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G06F11/3612—Software analysis for verifying properties of programs by runtime analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0775—Content or structure details of the error report, e.g. specific table structure, specific error fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0712—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a virtual computing platform, e.g. logically partitioned systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、評価プログラム等に関する。
複数のソフトウェアが連携するシステムでは、あるソフトウェアを更新することにより、連携先のソフトウェアの動作に異常が発生する場合がある。ここで、運用者がシステムの全てのソフトウェアを管理していれば、各ソフトウェアのログ情報や性能情報を自由に解析できるため、異常の発生を検出することや、異常の発生原因を検出することが可能であった。
特開２００５−１１５７５１号公報 特開２０１０−０８６５１６号公報 国際公開第２０１３／１７１９４４号 特表２０１６−５０７１１５号公報
しかしながら、上述した従来技術では、特定のソフトウェアの動作の異常を検出することができないという問題がある。
近年のパブリッククラウドでは、ＩａａＳ（Infrastructure as a Service）層、ＰａａＳ（Platform as a Service）層、ＳａａＳ（Software as a Service）層等のようにレイヤが分かれており、レイヤ毎に開発者や運用者が異なる。また、コンプライアンス上、あるレイヤの運用者が、他のレイヤの運用者が管理しているログ情報・性能情報を許可なく収集・分析することができない。このため、あるレイヤの運用者が他のレイヤで発生するソフトウェアの動作の異常の発生を検出することや、異常の発生原因を検出することが難しかった。
１つの側面では、本発明は、特定のソフトウェアの動作の異常を検出することができる評価プログラム、評価方法、評価装置および情報処理装置を提供することを目的とする。
第１の案では、コンピュータは、ソフトウェアの指定を受け付ける。コンピュータは、特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得する。コンピュータは、取得した実行条件を用いて、指定されたソフトウェアの実行依頼を実行する。コンピュータは、実行した実行依頼に応じて、指定されたソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得し、取得したログ情報に基づき、特定のソフトウェアに関する評価を実行し、評価結果を出力する。
特定のソフトウェアの動作の異常を検出することができる。
図１は、本実施例に係るシステムの構成を示す図である。 図２は、ベンチマーク動作表のデータ構造の一例を示す図である。 図３は、第１ログ情報のデータ構造の一例を示す図である。 図４は、ログパターンの一例を示す図である。 図５は、第２ログ情報のデータ構造の一例を示す図である。 図６は、ＡＰＩ呼び出しパターン表のデータ構造の一例を示す図である。 図７は、ログパターン表のデータ構造の一例を示す図である。 図８は、ベンチマークの構成を示す機能ブロック図である。 図９は、更新部の処理の一例を示す図（１）である。 図１０は、更新部の処理の一例を示す図（２）である。 図１１は、ログ収集機能部の構成を示す機能ブロック図である。 図１２は、ＡＰＩ呼び出しパターン表更新部の更新処理の一例を説明するための図である。 図１３は、第２ログ情報の一例を示す図である。 図１４は、運営者の端末装置に通知されるエラー情報の一例を示す図である。 図１５は、ベンチマークがベンチマーク動作表を更新する処理手順を示すフローチャートである。 図１６は、ベンチマークがＡＰＩリクエストを送信する処理手順を示すフローチャートである。 図１７は、ログ収集機能部がＡＰＩ呼び出しパターン表を更新する処理手順を示すフローチャートである。 図１８は、ログ収集機能部がベンチマークを評価する処理手順を示すフローチャートである。 図１９は、情報処理装置のハードウェア構成の一例を示す図である。
以下に、本願の開示する評価プログラム、評価方法、評価装置および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図１は、本実施例に係るシステムの構成を示す図である。図１に示すように、このシステムは、ＰａａＳ（Platform as a Service）１００と、ＩａａＳ（Infrastructure as a Service）２００とを有する。
ＰａａＳ１００は、各種のソフトウェアが稼働するためのハードウェアやＯＳ（Operating System）等のプラットフォーム一式をインターネット上のサービスとして提供するものである。例えば、ＰａａＳ１００は、顧客アプリ１１０と、ベンチマーク動作表１５０と、ベンチマーク１６０とを有する。ここでは、顧客アプリ１１０、ベンチマーク１６０のみを示すが、ＰａａＳ１００は、その他の顧客アプリ、ベンチマークを有していても良い。
ＩａａＳ２００は、仮想サーバ等の機材やネットワーク等のインフラを、インターネット上のサービスとして提供するものである。例えば、ＩａａＳ２００は、サービス群２０５と、ＡＰＩ呼び出しパターン表２５０と、ログパターン表２６０と、ログ収集機能部２７０とを有する。
顧客アプリ１１０は、顧客によって配備されるソフトウェア（アプリケーションプログラム）である。顧客アプリ１１０は、ＡＰＩ（Application Program Interface）リクエストによって、サービス群２０５に含まれるサービスを呼び出し、呼び出したサービスに処理を実行させる。例えば、ＡＰＩリクエストには、ＡＰＩメソッドと、パラメータとを有する。例えば、ＡＰＩメソッドには、呼び出し対象となるサービスを特定する情報が含まれる。パラメータは、サービスが処理を実行する場合の条件に対応する。なお、コンプライアンス上、顧客アプリ１１０から直接、ログ情報や性能情報を自由に解析することは難しい。
ベンチマーク動作表１５０は、特定のソフトウェアによってサービスに出力されたＡＰＩメソッドおよびパラメータを対応付けて保持するテーブルである。特定のソフトウェアは、例えば、顧客アプリ１１０またはベンチマーク１６０に対応する。
図２は、ベンチマーク動作表のデータ構造の一例を示す図である。図２に示すように、このベンチマーク動作表１５０は、サービス識別情報と、ＡＰＩメソッドと、パラメータ１、パラメータ２とを対応付ける。サービス識別情報は、ＡＰＩリクエストを送信するサービスを一意に識別する情報である。ＡＰＩメソッドは、ＰａａＳ１００の特定のソフトウェアがＩａａＳ２００のサービスを呼び出す場合に用いたＡＰＩメソッドを示す。パラメータ１，２は、ＡＰＩメソッドによって呼び出したサービスに対して指定した実行条件である。例えば、パラメータ１，２には、名前、値、型が含まれる。
ベンチマーク１６０は、ベンチマーク動作表１５０を基にして、ＡＰＩリクエストを生成する。ベンチマーク１６０は、生成したＡＰＩリクエストにより、サービス群２０５に含まれるサービスを呼び出し、呼び出したサービスに処理を実行させる。
ベンチマーク１６０は、ＡＰＩリクエスト、呼び出したサービスからのレスポンス内容、通信時刻等を含む第１ログ情報を生成する。ベンチマーク１６０は、生成した第１ログ情報を、ログ収集機能部２７０に出力する。
図３は、第１ログ情報のデータ構造の一例を示す図である。図３に示すように、この第１ログ情報は、サービス識別情報と、ＡＰＩメソッドと、パラメータ１，２と、ログパターンとを対応付ける。サービス識別情報は、ベンチマーク１６０がＡＰＩリクエストを送信したサービスを一意に識別する情報である。ＡＰＩメソッド、パラメータ１，２は、ベンチマーク１６０がサービスに出力したＡＰＩリクエストに対応するものである。ログパターンは、ベンチマーク１６０が、ＡＰＩリクエストをサービス２１０に送信し、サービス２１０とベンチマーク１６０との間でやり取りしたログ情報を含む。ログパターンの一例について説明する。
図４は、ログパターンの一例を示す図である。図４に示すように、ログパターンは、時刻と、サービス２１０およびベンチマーク１６０間でやり取りしたログ情報とを対応付ける。
ベンチマーク１６０は、ＡＰＩ呼び出しパターン表２５０を参照し、ベンチマーク動作表１５０を更新する。例えば、ベンチマーク１６０は、ＡＰＩ呼び出しパターン表２５０に存在しない、ＡＰＩメソッドとパラメータとの組を、ベンチマーク動作表１５０に登録することで、ベンチマーク動作表１５０を更新する。
サービス群２０５は、サービス２１０ａ，２１０ｂ，２１０ｃを有する。サービス２１０ａ〜２１０ｃをまとめて適宜、サービス２１０と表記する。サービス２１０は、顧客アプリ１１０またはベンチマーク１６０からＡＰＩリクエストを受け付けた場合に、ＡＰＩリクエストに含まれるＡＰＩメソッド、パラメータに基づき、処理を実行する。例えば、サービス２１０は、実行結果を基にして第２ログ情報を生成する。
図５は、第２ログ情報のデータ構造の一例を示す図である。図５に示すように、第２ログ情報は、送信元識別情報、時刻、サービス識別情報、ＡＰＩメソッド、パラメータ１，２を有する。例えば、送信元識別情報は、ＡＰＩリクエストの送信元を一意に識別する情報である。本実施例では、送信元識別情報は、顧客アプリ１１０またはベンチマーク１６０となる。時刻は、サービス２１０が処理を実行した時刻である。サービス識別情報は、処理を実行したサービスを一意に識別する情報である。ＡＰＩメソッド、パラメータ１，２は、ベンチマーク１６０がサービスに出力したＡＰＩリクエストに対応するものである。
ＡＰＩ呼び出しパターン表２５０は、第２ログ情報のうち、送信元識別情報がベンチマーク１６０となる第２ログ情報を格納するものである。図６は、ＡＰＩ呼び出しパターン表のデータ構造の一例を示す図である。図６に示すように、ＡＰＩ呼び出しパターン表２５０は、時刻、サービス識別情報、ＡＰＩメソッド、パラメータ１，２を有する。時刻、サービス識別情報、ＡＰＩメソッド、パラメータ１，２に関する説明は、図５の説明と同様である。
ログパターン表２６０は、第１ログ情報に基づき生成される情報である。図７は、ログパターン表のデータ構造の一例を示す図である。図７に示すように、ログパターン表２６０は、サービス識別情報と、ＡＰＩメソッドと、パラメータ１，２と、ログパターンとを対応付ける。サービス識別情報と、ＡＰＩメソッド、パラメータ１，２、ログパターンに関する説明は、図３と同様である。
ログ収集機能部２７０は、ベンチマーク１６０から第１ログ情報を収集し、サービス群２０５のサービス２１０から第２ログ情報を収集する処理部である。ログ収集機能部２７０は、第１ログ情報を基にして、ログパターン表２６０を生成する。ログ収集機能部２７０は、第２ログ情報を基にして、ＡＰＩ呼び出しパターン表２５０を生成する。
ログ収集機能部２７０は、ログパターン表２６０を解析し、ベンチマーク１６０に関する評価を実行し、評価結果を出力する。
次に、図１に示したベンチマーク１６０の構成の一例について説明する。図８は、ベンチマークの構成を示す機能ブロック図である。図８に示すように、このベンチマーク１６０は、更新部１６１と、ＡＰＩリクエスト送信部１６２と、第１ログ情報生成部１６３とを有する。
更新部１６１は、ＡＰＩ呼び出しパターン表２５０を参照し、ベンチマーク動作表１５０を更新する処理部である。図９および図１０は、更新部の処理の一例を示す図である。図９について説明する。図９では、更新前のベンチマーク動作表１５０ａと、更新後のベンチマーク動作表１５０ｂとを示す。なお、ベンチマーク動作表１５０ａは、サービス２１０ａに対するベンチマーク動作表であるとする。
例えば、更新部１６１は、ＡＰＩ呼び出しパターン表２５０を参照し、サービス２１０ａに送信されたＡＰＩリクエストについて、ベンチマーク動作表１５０ａに存在しないＡＰＩリクエストを検出したとする。例えば、係るＡＰＩリクエストを、ＡＰＩメソッド「PUT/aaa/xxx」、パラメータ１「名前 mode、値 modeC、型 固定文字列」、パラメータ２「名前 name、値 なまえＥ、型 任意文字列」とする。この場合には、ベンチマーク動作表１５０ａに、対応するＡＰＩリクエストのレコードを登録することで、ベンチマーク動作表１５０ｂを生成する。
図１０について説明する。図１０では、更新前のベンチマーク動作表１５０ｃと、更新後のベンチマーク動作表１５０ｄとを示す。なお、ベンチマーク動作表１５０ｃは、サービス２１０ｂに対するベンチマーク動作表であるとする。
例えば、更新部１６１は、ＡＰＩ呼び出しパターン表２５０を参照し、サービス２１０ｂに送信されたＡＰＩリクエストについて、ベンチマーク動作表１５０ｃに存在しないＡＰＩリクエストを検出したとする。例えば、係るＡＰＩリクエストを、ＡＰＩメソッド「POST/bbb/xxx」、パラメータ１「名前 user、値 USERA、型 任意文字列」、パラメータ２「名前 limit、値 510、型 数値」とする。この場合には、ベンチマーク動作表１５０ｃに、対応するＡＰＩリクエストのレコードを登録することで、ベンチマーク動作表１５０ｄを生成する。
ここで、更新部１６１は、登録したパラメータの名前および型が一致するレコードを選択し、選択したレコードの値を比較し、比較した値の差が閾値未満である場合には、該当するパラメータの情報「名前、値、型」の情報を削除する。例えば、図１０に示す例では、ベンチマーク動作表１５０ｄの１行目のレコードのパラメータ２と、４行目のレコードのパラメータ２との間で、名前と型が一致し、値の差が閾値未満となる。この場には、更新部１６１は、４行目のレコードのパラメータ２を「−」に設定することで、ベンチマーク動作表１５０ｅを生成する。
ＡＰＩリクエスト送信部１６２は、ＡＰＩリクエストを生成し、生成したＡＰＩリクエストを、サービス２１０に送信する処理部である。ＡＰＩリクエスト送信部１６２は、第１取得部の機能を有する。例えば、ＡＰＩリクエスト送信部１６２は、ベンチマーク動作表１５０から未選択のレコードを選択し、選択したレコードに含まれるＡＰＩメソッドおよびパラメータ１，２をＡＰＩリクエストに格納し、サービス２１０に送信する。ＡＰＩリクエスト送信部１６２が送信するサービス２１０は、予め管理者が設定しておいても良い。
また、ＡＰＩリクエスト送信部１６２は、ＡＰＩリクエストの送信先となるサービス２１０の指定を受け付けても良い。ＡＰＩリクエスト送信部１６２は、サービス２１０の指定を受け付けた場合に、サービスに対応するＡＰＩメソッドおよびパラメータ１，２を取得し、ＡＰＩリクエストを生成する。そして、ＡＰＩリクエスト送信部１６２は、生成したＡＰＩリクエストを、指定されたサービス２１０に送信する。
ＡＰＩリクエスト送信部１６２は、指定されたサービス２１０に対応するＡＰＩメソッドおよびパラメータ１，２が複数種類存在する場合には、各ＡＰＩメソッド、パラメータ１，２について、それぞれＡＰＩリクエストを生成する。ＡＰＩリクエスト送信部１６２は、各ＡＰＩリクエストを、順に、指定されたサービス２１０に送信する。
第１ログ情報生成部１６３は、ＡＰＩリクエストの送信先となるサービス２１０とベンチマーク１６０との情報のやり取りを監視し、第１ログ情報を生成する処理部である。第１ログ情報生成部１６３は、第１ログ情報を、ログ収集機能部２７０に出力する。
第１ログ情報のデータ構造は、図３で説明したものに対応する。例えば、第１ログ情報生成部１６３は、ベンチマーク１６０がＡＰＩリクエストを送信してから、ＡＰＩリクエストに対応する処理が終了するまでにやり取りされる情報を第１ログ情報として生成する。第１ログ情報生成部１６３は、ＡＰＩリクエストがサービス２１０に送信される度に、上記処理を繰り返し実行する。
次に、図１に示したログ収集機能部２７０の構成の一例について説明する。図１１は、ログ収集機能部の構成を示す機能ブロック図である。図１１に示すように、このログ収集機能部２７０は、第１ログ情報取得部２７１と、ログパターン表更新部２７２と、第２ログ情報取得部２７３と、ＡＰＩ呼び出しパターン表更新部２７４と、評価部２７５とを有する。
第１ログ情報取得部２７１は、ベンチマーク１６０から第１ログ情報を取得する処理部である。第１ログ情報取得部２７１は、第２取得部の機能を有する。第１ログ情報取得部２７１は、取得した第１ログ情報をログパターン表更新部２７２に出力する。
ログパターン表更新部２７２は、第１ログ情報を取得した場合に、第１ログ情報によって、ログパターン表２６０を更新する処理部である。例えば、ログパターン表更新部２７１は、第１ログ情報を、ログパターン表２６０に登録することで、ログパターン表２６０を更新する。
第２ログ情報取得部２７３は、サービス２１０から第２ログ情報を取得する処理部である。第２ログ情報取得部２７３は、ログ収集部の機能を有する。第２ログ情報取得部２７３は、取得した第２ログ情報をＡＰＩ呼び出しパターン表更新部２７４に出力する。
ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報を取得した場合に、ＡＰＩ呼び出しパターン表２５０を更新する処理部である。以下において、ＡＰＩ呼び出しパターン表更新部２７４の処理の一例について説明する。
ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報を取得し、第２ログ情報に含まれる送信元識別情報が「ベンチマーク１６０」である場合には、後述する更新処理を行わず、次の第２ログ情報を取得するまで待機する。
ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報を取得し、第２ログ情報に含まれる送信元識別情報が「顧客アプリ１１０」である場合には、後述する更新処理を実行する。
ＡＰＩ呼び出しパターン表更新部２７４が実行する更新処理について説明する。ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報に含まれるサービス識別情報、ＡＰＩメソッド、パラメータ１，２と、ＡＰＩ呼び出しパターン表２５０とを比較して、一致するレコードが存在するか否かを判定する。ＡＰＩ呼び出しパターン表更新部２７４は、一致するレコードが存在する場合には、一致するレコードの時刻を、第２ログ情報の時刻に更新する。
一方、ＡＰＩ呼び出しパターン表更新部２７４は、一致するレコードが存在しない場合には、第２ログ情報を、ＡＰＩ呼び出しパターン表更新部２７４に新規登録する。
図１２は、ＡＰＩ呼び出しパターン表更新部の更新処理の一例を説明するための図である。例えば、図１２では、更新前のＡＰＩ呼び出しパターン表２５０ａと、更新後のＡＰＩ呼び出しパターン表２５０ｂとを示す。
図１３は、第２ログ情報の一例を示す図である。図１３に示す例では、第２ログ情報（１）〜（４）を示す。
ＡＰＩ呼び出しパターン表更新部２７４は、ＡＰＩ呼び出しパターン表２５０ａと、第２ログ情報（１）〜（４）とを比較する。第２ログ情報（１）のサービス識別情報、ＡＰＩメソッド、パラメータ１，２と、ＡＰＩ呼び出しパターン表２５０ａの２行目のレコードとが一致する。このため、ＡＰＩ呼び出しパターン表更新部２７４は、ＡＰＩ呼び出しパターン表２５０ａの２行目の時刻を、第２ログ情報（１）の時刻に対応させ「２０１６年３月１５日１４：００」に更新する。
第２ログ情報（２）に対応するレコードは、ＡＰＩ呼び出しパターン表２５０ａには存在しない。このため、ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報（２）に対応するレコードを、ＡＰＩ呼び出しパターン表２５０ａに追加する。例えば、追加したレコードは、ＡＰＩ呼び出しパターン表２５０ｂの５行目のレコードに対応する。
第２ログ情報（３）、（４）に対応するレコードは、ＡＰＩ呼び出しパターン表２５０ａには存在しない。このため、ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報（３）、（４）に対応するレコードを、ＡＰＩ呼び出しパターン表２５０ａに追加する。例えば、追加したレコードは、ＡＰＩ呼び出しパターン表２５０ｂの１２，１３行目のレコードに対応する。
なお、ＡＰＩ呼び出しパターン表更新部２７４は、ＡＰＩ呼び出しパターン表２５０の時刻を定期的に参照し、現在時刻を基にして、所定時間以上経過した時刻を特定する。ＡＰＩ呼び出しパターン表更新部２７４は、図示しないタイマから現在時刻の情報を取得する。ＡＰＩ呼び出しパターン表更新部２７４は、特定した時刻に対応するレコードを、削除する。例えば、ＡＰＩ呼び出しパターン表更新部２７４は、ＡＰＩ呼び出しパターン表２５０ｂの１，８，９行目のレコードを削除する。
更に、ＡＰＩ呼び出しパターン表更新部２７４は、ＡＰＩ呼び出しパターン表２５０を参照し、各パラメータの「値」の内容を基にして、「型」を更新する。パラメータの値で指定する文字列は、数パターンの固定文字列から選んで指定したものと、任意の文字列を指定するものとが存在する。値の文字列が数パターンの文字列から選んで指定されたものである場合には、型は「固定文字列」となる。値の文字列が任意の文字列である場合には、型は「任意文字列」となる。
ＡＰＩ呼び出しパターン表更新部２７４は、ＡＰＩ呼び出しパターン表２５０に含まれる値毎に、同一の文字列となる値の数を計数する。ＡＰＩ呼び出しパターン表更新部２７４は、計数した値の数が所定数以上である場合には、かかる値の型を「固定文字列」に設定する。一方、ＡＰＩ呼び出しパターン表更新部２７４は、計数した値の数がサンプル数に対して所定数未満である場合には、かかる値の型を「任意文字列」に設定する。
例えば、ＡＰＩ呼び出しパターン表更新部２７４は、値「modeA」の数が所定数以上である場合には、値「modeA」の型を「固定文字列」に設定する。ＡＰＩ呼び出しパターン表更新部２７４は、値「testA」の数が所定数未満である場合には、値「testA」の型を「任意文字列」に設定する。
評価部２７５は、ログパターン表２６０を基にして、ベンチマーク１６０を評価する処理部である。例えば、評価部２７５は、ログパターン表２６０を参照して、ログパターン内にエラーが発生した旨の情報が含まれている場合には、ベンチマーク１６０に異常の可能性があると判定し、指定された運営者の端末装置にエラー情報を通知する。評価部２７５は、第１ログ情報取得部２７１が、第１ログ情報を取得した時点において、第１ログ情報のログパターンに、エラーが発生した旨の情報が含まれているか否かを判定しても良い。
また、評価部２７５は、ログパターン表２６０を参照し、サービス識別情報とＡＰＩメソッドとが一致する複数のレコードを特定し、特定した複数のレコードの内、いずれか一つのレコードを基準レコードとする。評価部２７５は、基準レコードのログパターンと、他のレコードのログパターンとを比較して一致率を算出する。ここで、他のレコードは、基準レコードのサービス識別情報およびＡＰＩメソッドと一致するレコードである。
評価部２７５は、基準レコードのログパターンと、他のレコードのログパターンとの一致率が閾値未満である場合には、ベンチマーク１６０に異常の可能性があると判定し、指定された運営者の端末装置にエラー情報を通知する。また、評価部２７５は、基準レコードのログパターンとの一致率が閾値未満のログパターンを有する他のレコードを、異常レコードとして特定する。
評価部２７５は、基準レコードをどのように選出しても良い。例えば、評価部２７５は、サービス識別情報とＡＰＩメソッドとが一致する複数のレコードのうち、最初にログパターン表２６０に登録されたレコードを、基準レコードとして選出する。
なお、評価部２７５は、下記の処理を行って一致率を算出しても良い。評価部２７５は、第１ログ情報取得部２７１が、第１ログ情報を取得した時点において、第１ログ情報のサービス識別情報およびＡＰＩメソッドと一致するレコードをログパターン表２６０から特定する。評価部２７５は、特定したレコードから選出した基準レコードのログパターンと、第１ログ情報のログパターンとを比較し、一致率を算出する。
図１４は、運営者の端末装置に通知されるエラー情報の一例を示す図である。図１４に示すように、エラー情報１０には、領域１０ａ，１０ｂ，１０ｃ，１０ｄが存在する。評価部２７５は、領域１０ａに、異常レコードに含まれるサービス識別情報を登録する。評価部２７５は、領域１０ｂに、異常レコードに含まれるＡＰＩメソッドを登録する。
評価部２７５は、領域１０ｃに、異常レコードに含まれるログパターンを登録する。評価部２７５は、領域１０ｄに、基準レコードに含まれるログパターンを登録する。
評価部２７５は、ログパターン表２６０に新たなレコードが登録される度に、上記処理を繰り返し実行する。
次に、ベンチマーク１６０がベンチマーク動作表１５０を更新する処理手順について説明する。図１５は、ベンチマークがベンチマーク動作表を更新する処理手順を示すフローチャートである。図１５に示すように、ベンチマーク１６０の更新部１６１は、ＡＰＩ呼び出しパターン表２５０から、自身（ベンチマーク１６０）が担当するサービスのレコードを抽出する（ステップＳ１０１）。ベンチマーク１６０の担当するサービスは事前に設定されているものとする。また、以下の説明では、自身が担当するサービスのレコードを呼び出しパターンと表記する。
更新部１６１は、呼び出しパターンを取り出す（ステップＳ１０２）。更新部１６１は、呼び出しパターンと「ＡＰＩメソッド」が一致するレコードをベンチマーク動作表１５０から検索する（ステップＳ１０３）。
更新部１６１は、検索結果が０件であるか否かを判定する（ステップＳ１０４）。更新部１６１は、検索結果が０件である場合には（ステップＳ１０４，Ｙｅｓ）、ステップＳ１１２に移行する。
更新部１６１は、検索結果が０件でない場合には（ステップＳ１０４，Ｎｏ）、呼び出しパターン内のいずれかのパラメータの「名前」、「値」、「型」のセットを取り出す（ステップＳ１０５）。
更新部１６１は、「型」が固定文字列であるか否かを判定する（ステップＳ１０６）。更新部１６１は、「型」が固定文字列である場合には（ステップＳ１０６，Ｙｅｓ）、ステップＳ１０７に移行する。一方、更新部１６１は、「型」が固定文字列でない場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０８に移行する。
更新部１６１は、呼び出しパターンと同じ「名前」、「値」の組み合わせがベンチマーク動作表１５０に存在するか否かを判定する（ステップＳ１０７）。更新部１６１は、呼び出しパターンと同じ「名前」、「値」の組み合わせがベンチマーク動作表１５０に存在しない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１１２に移行する。一方、更新部１６１は、呼び出しパターンと同じ「名前」、「値」の組み合わせがベンチマーク動作表１５０に存在する場合には（ステップＳ１０７，Ｙｅｓ）、ステップＳ１０８に移行する。
更新部１６１は、「型」が数値であるか否かを判定する（ステップＳ１０８）。更新部１６１は、「型」が数値である場合には（ステップＳ１０８，Ｙｅｓ）、ステップＳ１１０に移行する。一方、更新部１６１は、「型」が数値でない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０９に移行する。
更新部１６１は、全てのパラメータを調べたか否かを判定する（ステップＳ１０９）。更新部１６１は、全てのパラメータを調べた場合には（ステップＳ１０９，Ｙｅｓ）、ステップＳ１１３に移行する。一方、更新部１６１は、全てのパラメータを調べていない場合には（ステップＳ１０９，Ｎｏ）、ステップＳ１０５に移行する。
更新部１６１は、該当のパラメータの「値」について、呼び出しパターンとベンチマーク動作表１５０の値をクラスタリングする（ステップＳ１１０）。更新部１６１は、呼び出しパターンの「値」に近い値がベンチマーク動作表１５０内に存在するか否かを判定する（ステップＳ１１１）。
更新部１６１は、呼び出しパターンの「値」に近い値がベンチマーク動作表１５０内に存在する場合には（ステップＳ１１１，Ｙｅｓ）、ステップＳ１０９に移行する。更新部１６１は、呼び出しパターンの「値」に近い値がベンチマーク動作表１５０内に存在しない場合には（ステップＳ１１１，Ｎｏ）、ステップＳ１１２に移行する。
更新部１６１は、呼び出しパターンの「ＡＰＩメソッド」、「各パラメータ」をベンチマーク動作表１５０に新規追加し（ステップＳ１１２）、ステップＳ１１３に移行する。
更新部１６１は、全ての呼び出しパラメータを調べたか否かを判定する（ステップＳ１１３）。更新部１６１は、全ての呼び出しパラメータを調べていない場合には（ステップＳ１１３，Ｎｏ）、ステップＳ１０２に移行する。
一方、更新部１６１は、全ての呼び出しパラメータを調べた場合には（ステップＳ１１３，Ｙｅｓ）、ステップＳ１１４に移行する。更新部１６１は、ＡＰＩ呼び出しパターン表２５０のいずれの「ＡＰＩメソッド」、「パラメータ」にも一致しなかったレコードを、ベンチマーク動作表１５０から削除する（ステップＳ１１４）。
次に、ベンチマーク１６０がＡＰＩリクエストを送信する処理手順について説明する。図１６は、ベンチマークがＡＰＩリクエストを送信する処理手順を示すフローチャートである。図１６に示すように、ベンチマーク１６０のＡＰＩリクエスト送信部１６２は、ベンチマーク動作表１５０からレコードを一つ取り出す（ステップＳ２０１）。
ＡＰＩリクエスト送信部１６２は、レコードの「ＡＰＩメソッド」、「各パラメータ」を基に、ＡＰＩリクエストを生成する（ステップＳ２０２）。ベンチマーク１６０の第１ログ情報生成部１６３は、生成されたＡＰＩリクエストの情報を第１ログ情報に出力する（ステップＳ２０３）。
ＡＰＩリクエスト送信部１６２は、ＡＰＩリクエストを実行する（ステップＳ２０４）。第１ログ情報生成部１６３は、サービス２１０からのレスポンス内容、通信時刻などを第１ログ情報に出力する（ステップＳ２０５）。
ＡＰＩリクエスト送信部１６２は、未実行のレコードが存在するか否かを判定する（ステップＳ２０６）。ＡＰＩリクエスト送信部１６２は、未実行のレコードが存在する場合には（ステップＳ２０６，Ｙｅｓ）、ステップＳ２０１に移行する。ＡＰＩリクエスト送信部１６２は、未実行のレコードが存在しない場合には（ステップＳ２０６，Ｎｏ）、処理を終了する。
次に、ログ収集機能部２７０がＡＰＩ呼び出しパターン表２５０を更新する処理手順について説明する。図１７は、ログ収集機能部がＡＰＩ呼び出しパターン表を更新する処理手順を示すフローチャートである。図１７に示すように、ログ収集機能部２７０の第２ログ情報取得部２７３は、ＩａａＳ２００に含まれるサービス２１０から第２ログ情報を取得する（ステップＳ３０１）。
ログ収集機能部２７０のＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報が顧客アプリ１１０による呼び出しであるか否かを判定する（ステップＳ３０２）。ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報が顧客アプリ１１０による呼び出しでない場合には（ステップＳ３０２，Ｎｏ）、ステップＳ３０７に移行する。
ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報が顧客アプリ１１０による呼び出しである場合には（ステップＳ３０２，Ｙｅｓ）、ステップＳ３０３に移行する。ＡＰＩ呼び出しパターン表更新部２７４は、第２ログ情報の「サービス識別情報」、「ＡＰＩメソッド」、パラメータの「名前」および「値」と一致するレコードを、ＡＰＩ呼び出しパターン表２５０から検索する（ステップＳ３０３）。
ＡＰＩ呼び出しパターン表更新部２７４は、一致するレコードが存在するか否かを判定する（ステップＳ３０４）。ＡＰＩ呼び出しパターン表更新部２７４は、一致するレコードが存在しない場合には（ステップＳ３０４，Ｎｏ）、第２ログ情報に対応するレコードをＡＰＩ呼び出しパターン表２５０に新規追加し（ステップＳ３０５）、ステップＳ３０７に移行する。
ＡＰＩ呼び出しパターン表更新部２７４は、一致するレコードが存在する場合には（ステップＳ３０４，Ｙｅｓ）、一致したレコードの時刻を第２ログ情報の時刻で更新し（ステップＳ３０６）、ステップＳ３０７に移行する。
ＡＰＩ呼び出しパターン表更新部２７４は、未処理の第２ログ情報が存在するか否かを判定する（ステップＳ３０７）。ＡＰＩ呼び出しパターン表更新部２７４は、未処理の第２ログ情報が存在する場合には（ステップＳ３０７，Ｙｅｓ）、ステップＳ３０２に移行する。
一方、ＡＰＩ呼び出しパターン表更新部２７４は、未処理の第２ログ情報が存在しない場合には（ステップＳ３０７，Ｎｏ）、ＡＰＩ呼び出しパターン表２５０から、「時刻」が一定期間以上前のレコードを削除する（ステップＳ３０８）。ＡＰＩ呼び出しパターン表更新部２７４は、各パラメータの「値」の内容を基にして、「型」を更新する（ステップＳ３０９）。
次に、ログ収集機能部２７０がログパターン表２６０を基にして、ベンチマーク１６０を評価する処理手順について説明する。図１８は、ログ収集機能部がベンチマークを評価する処理手順を示すフローチャートである。図１８に示すように、ログ収集機能部２７０の第１ログ情報取得部２７１は、第１ログ情報を取得する（ステップＳ４０１）。
ログ収集機能部２７０の評価部２７５は、第１ログ情報のログパターンにエラーログが存在するか否かを判定する（ステップＳ４０２）。評価部２７５は、第１ログ情報のログパターンにエラーログが存在する場合には（ステップＳ４０２，Ｙｅｓ）、ステップＳ４０８に移行する。
一方、評価部２７５は、第１ログ情報のログパターンにエラーログが存在しない場合には（ステップＳ４０２，Ｎｏ）、ステップＳ４０３に移行する。評価部２７５は、第１ログ情報の「サービス識別情報」、「ＡＰＩメソッド」と一致するレコードをログパターン表２６０から抽出する（ステップＳ４０３）。
評価部２７５は、抽出したレコード数が０であるか否かを判定する（ステップＳ４０４）。評価部２７５は、抽出したレコード数が０である場合には（ステップＳ４０４，Ｙｅｓ）、ステップＳ４０５に移行する。一方、評価部２７５は、抽出したレコード数が０でない場合には（ステップＳ４０４，Ｎｏ）、ステップＳ４０６に移行する。
ログ収集機能部２７０のログパターン表更新部２７２は、第１ログ情報の「サービス識別情報」、「ＡＰＩメソッド」、「各パラメータ」、「ログパターン」をログパターン表２６０に新規追加し（ステップＳ４０５）、ステップＳ４０９に移行する。
評価部２７５は、第１ログ情報のログパターンと、ログパターン表２６０から抽出した基準レコードの「ログパターン」とを比較する（ステップＳ４０６）。
評価部２７５は、ログパターンの一致率が閾値未満であるか否かを判定する（ステップＳ４０７）。評価部２７５は、ログパターンの一致率が閾値未満である場合には（ステップＳ４０７，Ｙｅｓ）、エラー情報を生成し、運用者の端末装置に通知する（ステップＳ４０８）。一方、評価部２７５は、ログパターンの一致率が閾値未満でない場合には（ステップＳ４０７，Ｎｏ）、ステップＳ４０９に移行する。
評価部２７５は、未解析の第１ログ情報が存在するか否かを判定する（ステップＳ４０９）。評価部２７５は、未解析の第１ログ情報が存在する場合には（ステップＳ４０９，Ｙｅｓ）、ステップＳ４０１に移行する。ログパターン表更新部２７２は、未解析の第１ログ情報が存在しない場合には（ステップＳ４０９，Ｎｏ）、サービス２１０に実施されなかった「ＡＰＩメソッド」、「パラメータ」のレコードを、ログパターン表２６０から削除する（ステップＳ４１０）。
次に、本実施例に係るシステムの効果について説明する。ベンチマーク１６０は、ベンチマーク動作表１５０を参照して、顧客アプリ１１０がサービス２１０に出力したＡＰＩリクエストと同じＡＰＩリクエストを、サービス２１０に送信して実行依頼を行い、第１ログ情報を、ログ収集機能部２７０に通知する。ログ収集機能部２７０は、第１ログ情報と、過去の第１ログ情報を格納したログパターン表２６０に基づき、ペンチマーク１６０を評価する。上記のような処理を実行することで、顧客アプリ１１０からログ情報や性能情報を取得しなくても、ベンチマーク１６０を評価することで、間接的に、顧客アプリ１１０を評価することができる。
また、ＰａａＳ１００の運用者と、ＩａａＳ２００の運用者とが異なっていても、例えば、ＩａａＳ２００の運用者が、ベンチマーク１６０をＩａａＳ２００に配置しておくことで、ＩａａＳ２００の運用者は、ＰａａＳ１００に起因するエラーを容易に検出できる。
ログ収集機能部２７０が、サービス２１０から第２ログ情報を取得して、ＡＰＩ呼び出しパターン表２５０を更新する。ベンチマーク１６０は、ＡＰＩ呼び出しパターン表２５０を参照し、ベンチマーク動作表１５０に存在しないパターンを検出した場合に、新たなパターンを、ベンチマーク動作表１５０に登録する。これにより、顧客アプリ１１０から性能情報等を取得しなくても、顧客アプリ１１０の機能追加・更新に追従して、顧客アプリ１１０の処理を、ベンチマーク１６０に実行させることが可能となる。
なお、上述したＰａａＳ１００およびＩａａＳ２００は、図示しない制御部により実現される。制御部は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
ベンチマーク動作表１５０、ＡＰＩ呼び出しパターン表２５０、ログパターン表２６０は、図示しない記憶部に格納される。記憶部は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
ところで、図１に示したＰａａＳ１００およびＩａａＳ２００に対応する処理を、別々のサーバ装置に実行させても良いし、単一のサーバ装置に、ＰａａＳ１００およびＩａａＳ２００に対応する処理を実行させても良い。更に、ＰａａＳ１００の処理を複数のサーバ装置に分担して行わせ、ＩａａＳ２００に対応する処理を複数のサーバ装置に分担して行わせても良い。
また、本実施例では、ＰａａＳ１００およびＩａａＳ２００を例にして説明したが、これに限定されるものではない。例えば、ＰａａＳとＳａａＳとの組、ＩａａＳとＳａａＳとの組であっても同様に、上層にベンチマークを配置して、エラーを検出することができる。
次に、上記実施例に示したＰａａＳ１００，ＩａａＳ２００を実行する情報処理装置のハードウェア構成の一例について説明する。図１９は、情報処理装置のハードウェア構成の一例を示す図である。
図１９に示すように、情報処理装置３００は、各種演算処理を実行するＣＰＵ３０１と、利用者からのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３を有する。また、情報処理装置３００は、記憶媒体からプログラム等を読取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置３０５とを有する。また、情報処理装置３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７を有する。そして、各装置３０１〜３０７は、バス３０８に接続される。
ハードディスク装置３０７は、顧客アプリプログラム３０７ａ、ベンチマークプログラム３０７ｂ、ログ収集機能プログラム３０７ｃ、サービスプログラム３０７ｄを有する。また、ハードディスク装置３０７は、ＡＰＩ呼び出しパターン表３０７ｅ、ベンチマーク動作表２０７ｆ、ログパターン表３０７ｇを有する。
ＡＰＩ呼び出しパターン表３０７ｅは、図１に示したＡＰＩ呼び出しパターン表２５０に対応する。ベンチマーク動作表３０７ｆは、図１に示したベンチマーク動作表１５０に対応する。ログパターン表３０７ｇは、図１に示したログパターン表２６０に対応する。
また、ＣＰＵ３０１は、各プログラム３０７ａ〜３０７ｄを読み出してＲＡＭ３０６に展開する。顧客アプリプログラム３０７ａは、顧客アプリプロセス３０６ａとして機能する。ベンチマークプログラム３０７ｂは、ベンチマークプロセス３０６ｂとして機能する。ログ収集機能プログラム３０７ｃは、ログ収集機能プロセス３０６ｃとして機能する。サービスプログラム３０７ｄは、サービスプロセス３０６ｄとして機能する。
例えば、顧客アプリプロセス３０６ａの処理は、顧客アプリ１１０の処理に対応する。ベンチマークプロセス３０６ｂの処理は、ベンチマーク１６０の処理に対応する。ログ収集機能プロセス３０６ｃは、ログ収集機能部２７０の処理に対応する。サービスプロセス３０６ｄは、サービス２１０ａ〜２１０ｃに対応する。
なお、各プログラム３０７ａ〜３０７ｄについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、情報処理装置３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、情報処理装置３００がこれらから各プログラム３０７ａ〜３０７ｄを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）コンピュータに、
ソフトウェアの指定を受け付け、
特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、前記他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得し、
取得した前記実行条件を用いて、指定された前記ソフトウェアの実行依頼を実行し、
実行した前記実行依頼に応じて、指定された前記ソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得し、
取得した前記ログ情報に基づき、前記特定のソフトウェアに関する評価を実行し、
評価結果を出力する
処理を実行させることを特徴とする評価プログラム。
（付記２）前記特定のソフトウェアが存在する層は、前記特定のソフトウェアが実行依頼を行う他のソフトウェアが存在する層とは異なる層であることを特徴とする付記１に記載の評価プログラム。
（付記３）前記他のソフトウェアが実行依頼を実行した際のログ情報を収集し、前記他のソフトウェアが前記記憶部に記憶されていない新たな実行条件によって実行依頼を受け付けたことを検出した場合に、前記新たな実行条件と、前記他のソフトウェアとを対応付けた情報により前記記憶部の情報を更新することを特徴とする付記１または２に記載の評価プログラム。
（付記４）前記特定のソフトウェアは、顧客に設定された第１のソフトウェアと前記第１のソフトウェアとは異なる第２のソフトウェアとを含み、前記他のソフトウェアが実行依頼を実行した際のログ情報を収集する処理は、前記他のソフトウェアが、前記第１のソフトウェアによる実行依頼を実行した際のログ情報を収集することを特徴とする付記３に記載の評価プログラム。
（付記５）コンピュータが実行する評価方法であって、
ソフトウェアの指定を受け付け、
特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、前記他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得し、
取得した前記実行条件を用いて、指定された前記ソフトウェアの実行依頼を実行し、
実行した前記実行依頼に応じて、指定された前記ソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得し、
取得した前記ログ情報に基づき、前記特定のソフトウェアに関する評価を実行し、
評価結果を出力する
処理を実行することを特徴とする評価方法。
（付記６）前記特定のソフトウェアが存在する層は、前記特定のソフトウェアが実行依頼を行う他のソフトウェアが存在する層とは異なる層であることを特徴とする付記５に記載の評価方法。
（付記７）前記他のソフトウェアが実行依頼を実行した際のログ情報を収集し、前記他のソフトウェアが前記記憶部に記憶されていない新たな実行条件によって実行依頼を受け付けたことを検出した場合に、前記新たな実行条件と、前記他のソフトウェアとを対応付けた情報により前記記憶部の情報を更新することを特徴とする付記５または６に記載の評価方法。
（付記８）前記特定のソフトウェアは、顧客に設定された第１のソフトウェアと前記第１のソフトウェアとは異なる第２のソフトウェアとを含み、前記他のソフトウェアが実行依頼を実行した際のログ情報を収集する処理は、前記他のソフトウェアが、前記第１のソフトウェアによる実行依頼を実行した際のログ情報を収集することを特徴とする付記７に記載の評価方法。
（付記９）ソフトウェアの指定を受け付け、特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、前記他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得する第１取得部と、
前記第１取得部によって取得された前記実行条件を用いて、指定された前記ソフトウェアの実行依頼を実行し、実行した前記実行依頼に応じて、指定された前記ソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得する第２取得部と、
前記第２取得部によって取得された前記ログ情報に基づき、前記特定のソフトウェアに関する評価を実行し、評価結果を出力する評価部と
を有することを特徴とする評価装置。
（付記１０）前記特定のソフトウェアが存在する層は、前記特定のソフトウェアが実行依頼を行う他のソフトウェアが存在する層とは異なる層であることを特徴とする付記９に記載の評価装置。
（付記１１）前記他のソフトウェアが実行依頼を実行した際のログ情報を収集し、前記他のソフトウェアが前記記憶部に記憶されていない新たな実行条件によって実行依頼を受け付けたことを検出した場合に、前記新たな実行条件と、前記他のソフトウェアとを対応付けた情報により前記記憶部の情報を更新する更新部を更に有することを特徴とする付記９または１０に記載の評価装置。
（付記１２）前記特定のソフトウェアは、顧客に設定された第１のソフトウェアと前記第１のソフトウェアとは異なる第２のソフトウェアとを含み、前記第２取得部は、前記他のソフトウェアが、前記第１のソフトウェアによる実行依頼を実行した際のログ情報を収集することを特徴とする付記１１に記載の評価装置。
（付記１３）ソフトウェアの指定を受け付け、特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、前記他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得する第１取得部と、
前記第１取得部によって取得された前記実行条件を用いて、指定された前記ソフトウェアの実行依頼を実行し、実行した前記実行依頼に応じて、指定された前記ソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得する第２取得部と、
前記第２取得部によって取得された前記ログ情報に基づき、前記特定のソフトウェアに関する評価を実行し、評価結果を出力する評価部と、
前記他のソフトウェアが実行依頼を実行した際のログ情報を収集するログ収集部と
を有することを特徴とする情報処理装置。
（付記１４）前記ログ収集部によって収集されたログ情報を基にして、前記他のソフトウェアが前記記憶部に記憶されていない新たな実行条件によって実行依頼を受け付けたことを検出した場合に、前記新たな実行条件と、前記他のソフトウェアとを対応付けた情報により前記記憶部の情報を更新する更新部を更に有することを特徴とする付記１３に記載の情報処理装置。
１００ ＰａａＳ
１１０ 顧客アプリ
１５０ ベンチマーク動作表
１６０ ベンチマーク
２００ ＩａａＳ
２０５ サービス群
２１０ａ，２１０ｂ，２１０ｃ サービス
２５０ ＡＰＩ呼び出しパターン表
２６０ ログパターン表
２７０ ログ収集機能部

Claims (8)

  1. コンピュータに、
    ソフトウェアの指定を受け付け、
    特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、前記他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得し、
    取得した前記実行条件を用いて、指定された前記ソフトウェアの実行依頼を実行し、
    実行した前記実行依頼に応じて、指定された前記ソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得する処理を繰り返し実行し、
    複数のログ情報のうち、ログ情報に含まれるソフトウェアの種別と、メソッドとが一致する複数のログ情報の一致率を基にして、前記特定のソフトウェアに関する評価を実行し、
    評価結果を出力する
    処理を実行させることを特徴とする評価プログラム。
  2. 前記特定のソフトウェアが存在する層は、前記特定のソフトウェアが実行依頼を行う他のソフトウェアが存在する層とは異なる層であることを特徴とする請求項１に記載の評価プログラム。
  3. 前記他のソフトウェアが実行依頼を実行した際のログ情報を収集し、前記他のソフトウェアが前記記憶部に記憶されていない新たな実行条件によって実行依頼を受け付けたことを検出した場合に、前記新たな実行条件と、前記他のソフトウェアとを対応付けた情報により前記記憶部の情報を更新することを特徴とする請求項１または２に記載の評価プログラム。
  4. 前記特定のソフトウェアは、顧客に設定された第１のソフトウェアと前記第１のソフトウェアとは異なる第２のソフトウェアとを含み、前記他のソフトウェアが実行依頼を実行した際のログ情報を収集する処理は、前記他のソフトウェアが、前記第１のソフトウェアによる実行依頼を実行した際のログ情報を収集することを特徴とする請求項３に記載の評価プログラム。
  5. コンピュータが実行する評価方法であって、
    ソフトウェアの指定を受け付け、
    特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、前記他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得し、
    取得した前記実行条件を用いて、指定された前記ソフトウェアの実行依頼を実行し、
    実行した前記実行依頼に応じて、指定された前記ソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得する処理を繰り返し実行し、
    複数のログ情報のうち、ログ情報に含まれるソフトウェアの種別と、メソッドとが一致する複数のログ情報の一致率を基にして、前記特定のソフトウェアに関する評価を実行し、
    評価結果を出力する
    処理を実行することを特徴とする評価方法。
  6. ソフトウェアの指定を受け付け、特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、前記他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得する第１取得部と、
    前記第１取得部によって取得された前記実行条件を用いて、指定された前記ソフトウェアの実行依頼を実行し、実行した前記実行依頼に応じて、指定された前記ソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得する処理を繰り返し実行する第２取得部と、
    前記第２取得部によって取得された複数のログ情報のうち、ログ情報に含まれるソフトウェアの種別と、メソッドとが一致する複数のログ情報の一致率を基にして、前記特定のソフトウェアに関する評価を実行し、評価結果を出力する評価部と
    を有することを特徴とする評価装置。
  7. ソフトウェアの指定を受け付け、特定のソフトウェアによる他のソフトウェアの実行依頼に用いられた実行条件を、前記他のソフトウェアに対応付けて記憶する記憶部を参照して、指定されたソフトウェアに対応付けられた実行条件を取得する第１取得部と、
    前記第１取得部によって取得された前記実行条件を用いて、指定された前記ソフトウェアの実行依頼を実行し、実行した前記実行依頼に応じて、指定された前記ソフトウェアが実行されると、該ソフトウェアの実行に関するログ情報を取得する処理を繰り返し実行する第２取得部と、
    前記第２取得部によって取得された複数のログ情報のうち、ログ情報に含まれるソフトウェアの種別と、メソッドとが一致する複数のログ情報の一致率を基にして、前記特定のソフトウェアに関する評価を実行し、評価結果を出力する評価部と、
    前記他のソフトウェアが実行依頼を実行した際のログ情報を収集するログ収集部と
    を有することを特徴とする情報処理装置。
  8. 前記ログ収集部によって収集されたログ情報を基にして、前記他のソフトウェアが前記記憶部に記憶されていない新たな実行条件によって実行依頼を受け付けたことを検出した場合に、前記新たな実行条件と、前記他のソフトウェアとを対応付けた情報により前記記憶部の情報を更新する更新部を更に有することを特徴とする請求項７に記載の情報処理装置。
JP2016132895A 2016-07-04 2016-07-04 評価プログラム、評価方法、評価装置および情報処理装置 Active JP6801267B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016132895A JP6801267B2 (ja) 2016-07-04 2016-07-04 評価プログラム、評価方法、評価装置および情報処理装置
US15/635,662 US10445213B2 (en) 2016-07-04 2017-06-28 Non-transitory computer-readable storage medium, evaluation method, and evaluation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016132895A JP6801267B2 (ja) 2016-07-04 2016-07-04 評価プログラム、評価方法、評価装置および情報処理装置

Publications (2)

Publication Number Publication Date
JP2018005635A JP2018005635A (ja) 2018-01-11
JP6801267B2 true JP6801267B2 (ja) 2020-12-16

Family

ID=60807471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016132895A Active JP6801267B2 (ja) 2016-07-04 2016-07-04 評価プログラム、評価方法、評価装置および情報処理装置

Country Status (2)

Country Link
US (1) US10445213B2 (ja)
JP (1) JP6801267B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776252B1 (en) * 2018-11-27 2020-09-15 Walgreen Co. Crowd-sourced automatic generation of user interface tests for enterprise-specific mobile applications
JP7322964B2 (ja) * 2019-10-28 2023-08-08 日本電信電話株式会社 テスト情報抽出装置、テスト情報抽出方法及びプログラム
CN111913885B (zh) * 2020-08-07 2021-07-27 腾讯科技（深圳）有限公司 日志处理方法、装置、计算机可读存储介质及设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115751A (ja) 2003-10-09 2005-04-28 Hitachi Ltd 計算機システム及び計算機システムの障害兆候の検知方法
JP4532237B2 (ja) * 2004-10-29 2010-08-25 株式会社日立製作所 計算機および計算機におけるアクセス制御方法
JP4983801B2 (ja) * 2006-09-28 2012-07-25 富士通株式会社 プログラム性能解析装置
WO2009096519A1 (ja) * 2008-01-31 2009-08-06 Nec Corporation フィードフォーワード制御方法、サービス提供品質制御装置、システム、プログラム及びその記録媒体
US20090228871A1 (en) * 2008-03-10 2009-09-10 Microsoft Corporation Managing generation of security tests
JP5140633B2 (ja) * 2008-09-04 2013-02-06 株式会社日立製作所 仮想化環境において生じる障害の解析方法、管理サーバ、及びプログラム
WO2011018827A1 (ja) * 2009-08-13 2011-02-17 株式会社日立製作所 実行環境におけるアプリケーションの適性を評価するシステム及び方法
JP5487864B2 (ja) * 2009-09-30 2014-05-14 富士通株式会社 データ収集装置、データ収集方法およびデータ収集プログラム
WO2011108584A1 (ja) * 2010-03-04 2011-09-09 日本電気株式会社 アプリケーション改変部位探索装置およびアプリケーション改変部位探索方法
US9015675B2 (en) * 2010-04-13 2015-04-21 Nec Corporation System reliability evaluation device
JP2012088901A (ja) * 2010-10-19 2012-05-10 Fujitsu Ltd ソフトウェア管理装置、ソフトウェア管理方法およびソフトウェア管理プログラム
US9213832B2 (en) * 2012-01-24 2015-12-15 International Business Machines Corporation Dynamically scanning a web application through use of web traffic information
WO2013171944A1 (ja) 2012-05-15 2013-11-21 日本電気株式会社 仮想マシン管理システム、仮想マシン管理方法およびプログラム
US9146840B2 (en) * 2012-06-15 2015-09-29 Cycle Computing, Llc Method and system for automatically detecting and resolving infrastructure faults in cloud infrastructure
JP6019995B2 (ja) * 2012-09-24 2016-11-02 日本電気株式会社 分散システム、サーバ計算機、及び障害発生防止方法
US8839201B2 (en) * 2012-10-12 2014-09-16 Vmware, Inc. Capturing test data associated with error conditions in software item testing
US8966636B2 (en) * 2012-10-16 2015-02-24 International Business Machines Corporation Transforming unit tests for security testing
CN105144187B (zh) 2013-02-10 2019-01-22 配拨股份有限公司 提供预测的安全产品以及评分现有安全产品的方法与产品
NL2010294C2 (en) 2013-02-13 2014-08-14 Boudewijn John Sambeek Connection device, assembly thereof and assembly method therefor.
WO2014188502A1 (ja) * 2013-05-21 2014-11-27 株式会社日立製作所 管理システム、管理プログラム及び管理方法
US9146787B2 (en) * 2013-11-07 2015-09-29 Accenture Global Services Limited Analytics for application programming interfaces
US9417994B2 (en) * 2014-04-08 2016-08-16 Turnkey Solutions, Corp. Software test automation system and method
JP6298711B2 (ja) * 2014-05-19 2018-03-20 株式会社日立製作所 分散処理システム
US20160188898A1 (en) * 2014-12-31 2016-06-30 Netapp, Inc. Methods and systems for role based access control in networked storage environment
US9785476B2 (en) * 2015-04-08 2017-10-10 Amazon Technologies, Inc. Endpoint management system and virtual compute system
US9740473B2 (en) * 2015-08-26 2017-08-22 Bank Of America Corporation Software and associated hardware regression and compatibility testing system
US9825956B2 (en) * 2015-10-06 2017-11-21 Netflix, Inc. Systems and methods for access permission revocation and reinstatement
US9965379B1 (en) * 2016-11-10 2018-05-08 Sap Se Cross-platform API test flow synthesizer

Also Published As

Publication number Publication date
US20180004626A1 (en) 2018-01-04
JP2018005635A (ja) 2018-01-11
US10445213B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
JP6440203B2 (ja) ネットワーク監視システム、ネットワーク監視方法およびプログラム
EP3882773A1 (en) Method and system for automatic real-time causality analysis of end user impacting system anomalies using causality rules and topological understanding of the system to effectively filter relevant monitoring data
JP2018519586A5 (ja)
JP6201614B2 (ja) ログ分析装置、方法およびプログラム
JP6307453B2 (ja) リスク評価システムおよびリスク評価方法
JP6801267B2 (ja) 評価プログラム、評価方法、評価装置および情報処理装置
CN105512045B (zh) 一种应用程序的测试方法、装置及测试设备
CN106295348B (zh) 应用程序的漏洞检测方法及装置
WO2019169760A1 (zh) 测试用例范围确定方法、装置及存储介质
JP2016152594A (ja) ネットワーク攻撃監視装置、ネットワーク攻撃監視方法、及びプログラム
US10341182B2 (en) Method and system for detecting network upgrades
CN109167794B (zh) 一种面向网络系统安全度量的攻击检测方法
EP3151124A1 (en) On-board information system and information processing method therefor
KR20190078768A (ko) 전산 자산 정보 자동 분석 장치 및 방법
JP5613000B2 (ja) アプリケーション特性解析装置およびプログラム
JP2019012477A (ja) 診断プログラム、診断方法及び診断装置
JP6467365B2 (ja) 故障解析装置、故障解析プログラムおよび故障解析方法
CN110691090B (zh) 网站检测方法、装置、设备及存储介质
EP3232360B1 (en) Malware analysis system, malware analysis method, and malware analysis program
US11036561B2 (en) Detecting device utilization imbalances
KR101922594B1 (ko) 상태정보 모니터링을 통해 상태를 탐지하는 유무선 공유기, 유무선 공유기의 상태 탐지 장치 및 그 방법
KR101637201B1 (ko) 함수 후킹을 이용한 리눅스 또는 유닉스 시스템용 ｃ언어 기반 어플리케이션 성능 관리 모듈
KR101688922B1 (ko) 어플리케이션 패키지 파일 수집 장치 및 방법
RU2781822C1 (ru) Система и способ автоматической оценки качества сигнатур сетевого трафика
WO2020020646A1 (en) Method, computer program product and device for recognizing a weak point in an original program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201109

R150 Certificate of patent or registration of utility model

Ref document number: 6801267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150