WO2014054233A1 - 情報システムの性能評価装置、方法およびプログラム - Google Patents

情報システムの性能評価装置、方法およびプログラム Download PDF

Info

Publication number
WO2014054233A1
WO2014054233A1 PCT/JP2013/005470 JP2013005470W WO2014054233A1 WO 2014054233 A1 WO2014054233 A1 WO 2014054233A1 JP 2013005470 W JP2013005470 W JP 2013005470W WO 2014054233 A1 WO2014054233 A1 WO 2014054233A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation information
information
performance
evaluation target
existing
Prior art date
Application number
PCT/JP2013/005470
Other languages
English (en)
French (fr)
Inventor
啓 榊
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US14/430,619 priority Critical patent/US20150277858A1/en
Priority to JP2014539591A priority patent/JP6142878B2/ja
Publication of WO2014054233A1 publication Critical patent/WO2014054233A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/10—Requirements analysis; Specification techniques

Definitions

  • the present invention relates to an information system performance evaluation apparatus, method, and program.
  • Patent Document 1 discloses a technology for building a test target system by incorporating a program under development into another proven program, and evaluating the test target system using data of another proven program. It is disclosed.
  • An object of the present invention is to provide an information system performance evaluation apparatus, method, and program capable of accurately evaluating the performance of an information system including an undeveloped portion.
  • An information system performance evaluation apparatus includes an input / output unit and a performance evaluation unit, and the performance evaluation unit is the same as a system model of an evaluation target system input from the input / output unit. From the operation information of the existing system constructed by the system model, among the modules to be incorporated into the evaluation target system, using parameters corresponding to the undeveloped part module and parameters corresponding to the developed module of the evaluation target system, The performance of the evaluation target system is evaluated.
  • An information system performance evaluation method is an undeveloped portion of modules to be incorporated into an evaluation target system from operation information of an existing system constructed by the same system model as the system model of the evaluation target system. Parameters corresponding to the modules of the system, and parameters corresponding to the developed modules of the evaluation target system, Using the acquired two parameters, the performance of the evaluation target system is evaluated.
  • An information system performance evaluation program is an undeveloped portion of modules installed in an evaluation target system from operation information of an existing system constructed by the same system model as the system model of the evaluation target system.
  • the above object can also be realized by a computer-readable storage medium storing a performance evaluation program for the information system.
  • FIG. 1 It is a figure which illustrates the structure of the performance evaluation apparatus of the information system in embodiment of this invention. It is a schematic diagram for demonstrating the outline
  • the information system performance evaluation apparatus in the present embodiment is an apparatus that evaluates the performance of various information systems constructed using virtual machines in a cloud environment.
  • the performance evaluation apparatus 1 of the information system functionally includes, for example, an operation information acquisition unit 11, an undeveloped part extraction unit 12, a performance evaluation unit 13, and an input / output unit 14. Have.
  • the input / output unit 14 inputs / outputs data by connecting to the outside via the keyboard 15, mouse 16, or network 17.
  • the operation information acquisition unit 11 is already constructed based on a system model of an information system (hereinafter referred to as “evaluation target system”) that is a target of performance evaluation when a performance evaluation execution instruction is input by the user. It is constructed using the same system model as the system model of the evaluation target system from the operation information database 2 (hereinafter referred to as DB2) that stores the operation information of the information system being operated (hereinafter referred to as “existing system”). Acquire operation information for existing systems.
  • the system model is a model that is set in the design information unit for constructing the information system.
  • the design information includes, for example, information describing a network configuration, a server configuration, a relationship between application components, a processing flow indicating the operation of the application, and the like.
  • the operation information is information managed by an operator who operates the information system. For example, parameters such as CPU (Central Processing Unit) load, number of requests processed, hard disk failure history, etc. and their values are obtained from the operation system. Includes acquired items.
  • CPU Central Processing Unit
  • Parameters include, for example, the arrival rate of requests, the average transmission size of application messages, the Web load expressed by average CPU time, the Web read load expressed by disk read time, the Web write load expressed by disk write time, and the average during SQL execution
  • Application load expressed in size, average CPU time, application write load expressed in disk write time, and the like can be used.
  • the operation information DB 2 is a database that stores operation information of an existing system, and can also store parameters corresponding to developed modules of the evaluation target system.
  • the operation information DB 2 is designed so that the operation information or the parameter can be searched using the system model as a key.
  • the operation information DB 2 may be provided inside the information system performance evaluation apparatus 1 or may be provided outside.
  • the undeveloped part extraction unit 12 extracts parameters corresponding to the modules of the undeveloped part among the modules to be incorporated into the evaluation target system from the operation information of the existing system acquired by the operation information acquisition unit 11.
  • the “module” is a word indicating a development application (function) represented by a software program (computer program).
  • the performance evaluation unit 13 evaluates the performance of the evaluation target system using the parameters extracted by the undeveloped part extraction unit 12 and the parameters corresponding to the developed modules of the evaluation target system.
  • the parameters corresponding to the developed modules are stored in the development environment together with the development application. Here, it may be acquired directly from the system under development via the input / output unit 14 and output to the performance evaluation unit 13 or stored in the operation information DB 2.
  • the performance evaluation unit 13 sets parameters corresponding to the undeveloped part module, for example (1) or It can be calculated by any method of (2).
  • An average value is calculated for each parameter, and the average value is set as a parameter corresponding to an undeveloped module.
  • the worst value (maximum value or minimum value) is selected for each parameter, and the worst value is set as a parameter corresponding to an undeveloped module.
  • the system model SM includes a web server WS, an ap server AS, and a db server DS.
  • the ap server AS module has already been developed, and the web server WS and db server DS modules have not yet been developed.
  • Existing systems ES1 and ES2 are existing information systems constructed using the same system model as the system model SM.
  • the operation information O1 of the existing system ES1 and the operation information O2 of the existing system ES2 are stored in the operation information DB2.
  • the evaluation target system could not be evaluated in such a state. This is because parameters (for example, CPU usage rate, DISK usage rate) by the web server WS and db server DS modules cannot be acquired unless the modules of the web server WS and the db server DS are developed.
  • parameters for example, CPU usage rate, DISK usage rate
  • the information system performance evaluation apparatus 1 uses parameters (for example, CPU usage rate, DISK usage rate) of the web server WS and db server DS modules as operation information of the existing systems ES1 and ES2. Calculation is performed using O1 and O2.
  • an undeveloped module extracts parameters corresponding to modules corresponding to the system model from the operation information of the existing system. For example, when the undeveloped module is “web” in the system model, CPU time corresponding to “web” of the existing system is extracted. At this time, if there are a plurality of existing systems, the representative value is calculated. The calculation of the representative value is, for example, an average value or a worst value.
  • the performance of the evaluation target system can be evaluated in the same manner as the information system after completion.
  • FIG. 3 is a flowchart for explaining the procedure for evaluating the performance of the information system.
  • the operation information acquisition unit 11 determines whether or not a performance evaluation execution instruction has been input by the user (step S101). If this determination is NO (step S101; NO), it waits until it becomes YES.
  • step S101 when it is determined in the determination in step S101 that the functional requirement and the performance evaluation execution instruction are input (step S101; YES), the operation information acquisition unit 11 evaluates based on the system model of the evaluation target system.
  • the operation information of the existing system constructed using the same system model as the system model of the target system is acquired from the operation information DB2.
  • the input / output unit 14 acquires a parameter (for example, application CPU usage rate: 0.04) corresponding to the developed module from the evaluation target system, and outputs it to the performance evaluation unit 13 (step S102).
  • the undeveloped part extraction unit 12 uses parameters (for example, as shown in FIG. 2) corresponding to the undeveloped part module among the modules to be incorporated into the evaluation target system from the operation information of the existing system acquired in step S102. Then, Web CPU usage rate: 0.005 and database CPU usage rate: 0.002), which are operation information of the existing system ES1, are extracted (step S103). At this time, when there are a plurality of existing models, the average value or the worst value may be used.
  • the performance evaluation unit 13 determines the parameters (for example, web CPU usage rate: 0.005 and database CPU usage rate: 0.002) extracted in step S103 and parameters corresponding to the developed module of the evaluation target system (for example, The application CPU usage rate: 0.04) is used to evaluate the performance of the evaluation target system (step S104).
  • the parameters for example, web CPU usage rate: 0.005 and database CPU usage rate: 0.002
  • parameters corresponding to the developed module of the evaluation target system for example, The application CPU usage rate: 0.04 is used to evaluate the performance of the evaluation target system (step S104).
  • step S104 for example, the performance of the evaluation target system is evaluated using a product such as a queuing network simulator or Hyperformix® (http://www.cmsinc.co.jp/techinfo/ssd01.html). . Since it is a known one, detailed description is omitted.
  • the performance evaluation unit 13 presents the performance evaluation result of the evaluation target system, which is the result evaluated in step S104, to the user (step S105).
  • the performance evaluation result such as the usage rate of each CPU, “web CPU: 5%, database CPU usage rate: 2%, application CPU usage rate: 40%”, and average CPU usage rate: 15% Present to the user.
  • the operation information acquisition unit 11 obtains operation information of an existing system constructed using the same system model as the system model of the evaluation target system. Obtained from the operation information DB2.
  • the undeveloped part extraction unit 12 extracts parameters corresponding to the modules of the undeveloped part among the modules to be incorporated into the evaluation target system from the acquired operation information of the existing system.
  • the performance evaluation unit 13 extracts the parameters and the evaluation target. The performance of the evaluation target system can be evaluated using parameters corresponding to the developed modules of the system.
  • the parameters corresponding to the module of the undeveloped part can be extracted from the operation information of the existing system constructed with the same system model.
  • the performance of the evaluation target system can be evaluated by combining the parameter and the parameter corresponding to the developed module.
  • Performance when evaluating performance, there is no need to execute the evaluation target system or the existing system. For example, even if the configuration of the interface, middleware, or the like does not match between the evaluation target system and the existing system, Performance can be evaluated.
  • the performance can be evaluated using the average value or the worst value for each parameter, so that the accuracy of the performance evaluation can be improved.
  • the information system performance evaluation apparatus 1 in the present embodiment it is possible to accurately evaluate the performance of the information system including the undeveloped portion.
  • the operation information acquisition unit 11 in the above-described embodiment acquires operation information of the existing system from the operation information DB 2, the operation of the existing system constructed using the same system model as the system model of the evaluation target system.
  • the acquisition conditions for acquiring operation information are not limited to this.
  • the operation information acquisition unit 11 is an existing system constructed using the same system model as the system model of the evaluation target system, and has a service level requirement for determining the quality assurance level provided by the information system. It is good also as acquiring the operation information of the similar existing system from operation information DB2.
  • the service level requirement is a condition for determining the quality assurance level provided by the system to be built.
  • the guarantee such as throughput, CPU maximum usage rate, disk maximum usage rate, network usage rate, TAT (Turn (Around ⁇ Time), etc. Includes levels.
  • the operation information acquisition unit 11 is an existing system constructed using the same system model as the system model of the evaluation target system, and the operation of the existing system having similar functional requirements for determining the role played by the application. It is good also as acquiring information from operation information DB2.
  • the functional requirements are conditions for determining the role played by the application, and include, for example, functions such as data processing, data store, image analysis, response creation, statistical processing, and inventory management.
  • the performance evaluation unit 13 sets the parameters corresponding to the undeveloped portion of the module (1) or (2 For example, it can be calculated using the following method.
  • the similarity with the service level requirement and the functional requirement is calculated, and the weighting factor is determined according to the similarity.
  • an average value including a weighting factor is calculated, and the average value is set as a parameter corresponding to an undeveloped module.
  • the performance evaluation apparatus 1 of the information system does not use the operation information acquisition unit 11 and the undeveloped part extraction unit 12, and uses the input / output unit 14 to evaluate parameters necessary for performance evaluation from the outside.
  • the performance evaluation unit 13 can also evaluate the performance of the information system using the input parameters.
  • the processing function described with reference to the flowchart can be realized by a computer.
  • a program describing the processing content of the function that the performance evaluation apparatus 1 of the information system should have is provided.
  • FIG. 4 is a block diagram showing an example of a hardware configuration of the information system performance evaluation apparatus according to the embodiment of the present invention.
  • the information system performance evaluation apparatus 1 physically includes, for example, a CPU 401 (Central Processing Unit), a storage device 404, and an input / output interface 405.
  • the storage device 404 is, for example, a ROM 403 (Read Only Memory) or HDD (Hard Disk Drive) that stores programs and data processed by the CPU 401, and a RAM 402 (Random Access Memory) mainly used as various work areas for control processing. Etc.
  • the CPU 401 executes a program stored in the ROM 403 and processes a message received via the input / output interface 405, data developed in the RAM 402, and the like, so that the function of each unit in the information system performance evaluation apparatus 1 is performed. Is realized.
  • the present invention can be applied to, for example, performance evaluation of information system development.

Abstract

本発明の目的は、未開発部分のある情報システムの性能を精度よく評価することにある。 本発明の情報システム性能評価装置は、性能評価の実行指示が入力された場合に、性能評価の対象となる情報システムである評価対象システムのシステムモデルに基づいて、評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された既存システムの運用情報を運用情報ＤＢ２から取得する運用情報取得部１１と、取得された既存システムの運用情報から、評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータを抽出する未開発部分抽出部１２と、抽出されたパラメータ、および評価対象システムの開発済みモジュールに対応するパラメータを用いて、評価対象システムの性能を評価する性能評価部１３と、を備える。

Description

情報システムの性能評価装置、方法およびプログラム
　本発明は、情報システムの性能評価装置、方法およびプログラムに関する。
　複数のサーバによって構成される情報システムを開発する場合、一部のモジュールが開発された時点で、情報システムの性能を評価することにより開発時の効率を高めることができる。下記特許文献１には、開発中のプログラムを、実績のある他のプログラムに組み込んで試験対象システムを構築し、実績のある他のプログラムのデータを利用して試験対象システムの評価を行う技術が開示されている。
特開２００６－５９１０８号公報
　ところで、特許文献１に記載されている技術では、試験対象システムを実際に実行して評価しているため、開発中のプログラムと、実績のある他のプログラムとの間で、データの受け渡し方法等のインターフェースが完全に一致している必要がある。
　言い換えると、実績のあるプログラムが存在しても、開発中のプログラムとインターフェースが完全に一致しているプログラムが存在しなければ、開発中の全てのモジュールが完成するまで評価することができない。
　本発明は、上述した課題を解決するためになされた。本発明は、未開発部分を含む情報システムの性能を精度よく評価することができる情報システムの性能評価装置、方法およびプログラムを提供することを目的の一つとする。
　本発明の一態様である情報システムの性能評価装置は、入出力部と、性能評価部とを備え、前記性能評価部は、前記入出力部から入力された評価対象システムのシステムモデルと同一のシステムモデルによって構築された既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータ、及び前記評価対象システムの開発済みモジュールに対応するパラメータを用いて、前記評価対象システムの性能を評価することを特徴とする。
　本発明の一態様である情報システムの性能評価方法は、評価対象システムのシステムモデルと同一のシステムモデルによって構築された既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータ、及び前記評価対象システムの開発済みモジュールに対応するパラメータを取得し、
取得した前記二つのパラメータを用いて、前記評価対象システムの性能を評価することを特徴とする。
　本発明の一態様である情報システムの性能評価プログラムは、評価対象システムのシステムモデルと同一のシステムモデルによって構築された既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータ、及び前記評価対象システムの開発済みモジュールに対応するパラメータを取得する処理と、
取得した前記二つのパラメータを用いて、前記評価対象システムの性能を評価する処理とをコンピュータに実行させる。
　上記目的は、係る情報システムの性能評価プログラムが格納されたコンピュータ読み取り可能な記憶媒体によっても実現可能である。
　本発明によれば、未開発部分を含む情報システムの性能を精度よく評価することができる。
本発明の実施形態における情報システムの性能評価装置の構成を例示する図である。 本発明の実施形態に係る性能評価の概要を説明するための模式図である。 本発明の情報システムの性能を評価する際の手順を説明するためのフローチャートである。 本発明の実施形態に係る情報システムの性能評価装置１のハードウェア構成の一例を示すブロック図である。
　以下、添付図面を参照して、本発明に係る情報システムの性能評価装置、方法およびプログラムの実施形態について説明する。
　本実施形態における情報システムの性能評価装置は、クラウド環境において仮想マシンを利用して構築する様々な情報システムの性能を評価する装置である。
　まず、図１を参照して、本実施形態における情報システムの性能評価装置の構成について説明する。図１に示すように、情報システムの性能評価装置１は、機能的には、例えば、運用情報取得部１１と、未開発部分抽出部１２と、性能評価部１３と、入出力部１４とを有する。
　入出力部１４は、キーボード１５、マウス１６又はネットワーク１７を介して外部と接続してデータの入出力を行う。
　運用情報取得部１１は、性能評価の実行指示がユーザにより入力された場合に、その性能評価の対象となる情報システム（以下、「評価対象システム」という。）のシステムモデルに基づいて、既に構築されている情報システム（以下、「既存システム」という。）の運用情報を記憶する運用情報データベース２（以下、ＤＢ２と表す）から、評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された既存システムの運用情報を取得する。
　システムモデルは、情報システムを構築するための設計情報単位に設定されるモデルである。
　設計情報には、例えば、ネットワークの構成や、サーバの構成、アプリケーションのコンポーネント間の関係、アプリケーションの動作を示す処理フロー等を記述した情報が含まれる。
　運用情報は、情報システムを運用する運用者によって管理される情報であり、例えば、ＣＰＵ（Central Processing Unit）の負荷、リクエストの処理数、ハードディスクの故障履歴等などのパラメータとその値を運用システムから取得したものなどを含む。
　パラメータとしては、例えば、リクエストの到着率や、アプリケーションメッセージの平均送信サイズ、平均ＣＰＵ時間で表すＷｅｂ負荷、ディスク読込み時間で表すＷｅｂ読込み負荷、ディスク書込み時間で表すＷｅｂ書込み負荷、ＳＱＬ実行時の平均サイズ、平均ＣＰＵ時間で表すアプリケーション負荷、ディスク書込み時間で表すアプリケーション書込み負荷等を用いることができる。
　運用情報ＤＢ２は、既存システムの運用情報を記憶するデータベースであり、また評価対象システムの開発済みモジュールに対応するパラメータを記憶することもできる。運用情報ＤＢ２は、システムモデルをキーにして、前記運用情報、又は前記パラメータを検索できるように設計されている。運用情報ＤＢ２は、情報システムの性能評価装置１の内部に備えてもよいし、外部に備えてもよい。
　未開発部分抽出部１２は、運用情報取得部１１により取得された既存システムの運用情報から、評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータを抽出する。ここで、「モジュール」とは、ソフトウェアプログラム（コンピュータプログラム）によって表された開発アプリケーション（機能）を示す文言である。
　性能評価部１３は、未開発部分抽出部１２により抽出された前記パラメータと、評価対象システムの開発済みモジュールに対応するパラメータと、を用いて、評価対象システムの性能を評価する。
　開発済みモジュールに対応するパラメータは、開発アプリとともに、開発環境に保管されている。ここでは、前記入出力部１４を介して開発中のシステムから直接に取得して前記性能評価部１３に出力しても良い、又は前記運用情報ＤＢ２に記憶しても良い。
　性能評価部１３は、運用情報取得部１１により前記運用情報ＤＢ２から複数の既存システムの運用情報が取得された場合には、未開発部分のモジュールに対応するパラメータを、例えば以下の（１）または（２）のいずれかの方法で算出することができる。
（１）パラメータごとに平均値を算出し、その平均値を、未開発部分のモジュールに対応するパラメータとする。
（２）パラメータごとに最悪値（最大値または最小値）を選定し、その最悪値を、未開発部分のモジュールに対応するパラメータとする。
　図２を参照して、情報システムの性能評価装置１で行う性能評価の概要について説明する。
　図２に示すシステムモデルＳＭは、評価対象システムのシステムモデルである。システムモデルＳＭは、ｗｅｂサーバＷＳと、ａｐサーバＡＳと、ｄｂサーバＤＳとを有する。
　現時点において、ａｐサーバＡＳのモジュールは既に開発されており、ｗｅｂサーバＷＳおよびｄｂサーバＤＳのモジュールは未だ開発されていないこととする。
　既存システムＥＳ１、ＥＳ２は、システムモデルＳＭと同一のシステムモデルを用いて構築された既存の情報システムである。既存システムＥＳ１の運用情報Ｏ１および既存システムＥＳ２の運用情報Ｏ２は、運用情報ＤＢ２に記憶されている。
　通常、このような状態で評価対象システムの評価を行うことができなかった。それは、ｗｅｂサーバＷＳおよびｄｂサーバＤＳのモジュールが開発されなければ、ｗｅｂサーバＷＳおよびｄｂサーバＤＳのモジュールによるパラメータ（例えば、CPU使用率、DISK使用率）を取得することができないためである。
　これに対して、本実施形態における情報システムの性能評価装置１は、ｗｅｂサーバＷＳおよびｄｂサーバＤＳのモジュールによるパラメータ（例えば、CPU使用率、DISK使用率）を、既存システムＥＳ１、ＥＳ２の運用情報Ｏ１、Ｏ２を利用して算出している。
　算出方法の一例として、例えば、同じシステムモデルから開発されている既存システムのうち、未開発モジュールがシステムモデルに対応するモジュールに相当するパラメータを既存システムの運用情報から取り出す。たとえば、未開発のモジュールがシステムモデルで「web」である時には、既存システムの「web」に相当するCPU時間などを取り出す。このとき、複数の既存システムがある場合には、その代表値を計算する。代表値の計算は、例えば平均値、最悪値などである。
　これにより、ｗｅｂサーバＷＳおよびｄｂサーバＤＳのモジュールが未だ開発されていない状態であっても、完成後の情報システムと同様に、評価対象システムの性能を評価することが可能となる。
　次に、図３を参照して、情報システム性能評価装置１の動作について説明する。
　図３は、情報システムの性能を評価する際の手順を説明するためのフローチャートである。
　最初に、運用情報取得部１１は、性能評価の実行指示がユーザにより入力されたか否かを判定する（ステップＳ１０１）。この判定がＮＯである場合（ステップＳ１０１；ＮＯ）には、ＹＥＳになるまで待機する。
　一方、上記ステップＳ１０１の判定で機能要件、性能評価の実行指示が入力されたと判定された場合（ステップＳ１０１；ＹＥＳ）に、運用情報取得部１１は、評価対象システムのシステムモデルに基づいて、評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された既存システムの運用情報を運用情報ＤＢ２から取得する。入出力部１４は、評価対象システムから開発済モジュールに対応するパラメータ（例えば、アプリCPU使用率：0.04）を取得して性能評価部１３に出力する（ステップＳ１０２）。
　続いて、未開発部分抽出部１２は上記ステップＳ１０２で取得された既存システムの運用情報から、評価対象システムに組み込むモジュールのうち、未開発部分モジュールに対応するパラメータ（例えば、図２に示すように、既存システムＥＳ１の運用情報であるウェブＣＰＵ使用率：0.005及びデータベースＣＰＵ使用率：0.002）を抽出する（ステップＳ１０３）。この時、複数の既存モデルがある場合には、その平均値を用いたり、最悪値を用いたりしてもよい。
　続いて、性能評価部１３は、上記ステップＳ１０３で抽出されたパラメータ（例えば、ウェブＣＰＵ使用率：0.005及びデータベースＣＰＵ使用率：0.002）と、評価対象システムの開発済みモジュールに対応するパラメータ（例えば、アプリCPU使用率：0.04）と、を用いて、評価対象システムの性能を評価する（ステップＳ１０４）。
　ステップＳ１０４における評価の処理は、例えば、キューイングネットワークシミュレータや、Hyperformix （http://www.cmsinc.co.jp/techinfo/ssd01.html）といった製品を使用して評価対象システムの性能を評価する。既知のものであるため、詳細の説明は省略する。
　続いて、性能評価部１３は、上記ステップＳ１０４で評価した結果である評価対象システムの性能評価結果をユーザに提示する（ステップＳ１０５）。
　この場合は、例えば、各CPUの使用率、「ウェブＣＰＵ：５％、データベースＣＰＵ使用率：２％、アプリCPU使用率：４０％」や、CPUの平均使用率：１５％という性能評価結果をユーザに提示する。
　上述したように、本実施形態における情報システムの性能評価装置１によれば、運用情報取得部１１は、評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された既存システムの運用情報を運用情報ＤＢ２から取得する。未開発部分抽出部１２は、評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータを、取得した既存システムの運用情報から抽出する性能評価部１３は、抽出したパラメータと評価対象システムの開発済みモジュールに対応するパラメータとを用いて、評価対象システムの性能を評価することができる。
　これにより、評価対象システムに未開発のモジュールが存在しても、同じシステムモデルで構築された既存システムの運用情報から、未開発部分のモジュールに対応するパラメータを抽出することができ、この抽出したパラメータと、開発済みモジュールに対応するパラメータとを合わせて、評価対象システムの性能を評価することができる。
　また、性能を評価する際に、評価対象システムや既存システムを実行する必要がないため、例えば評価対象システムと既存システムとでインターフェースやミドルウェア等の構成が一致していなくても、評価対象システムの性能を評価することができる。
　また、既存システムの運用情報が複数存在する場合には、パラメータごとに平均値や最悪値等を用いて性能を評価することができるため、性能評価の精度を向上させることが可能となる。
　それゆえに、本実施形態における情報システムの性能評価装置１によれば、未開発部分を含む情報システムの性能を精度よく評価することが可能となる。
　なお、上述した実施形態は、単なる例示に過ぎず、実施形態に明示していない種々の変形や技術の適用を排除するものではない。すなわち、本発明は、その趣旨を逸脱しない範囲で様々な形態に変形して実施することができる。
　例えば、上述した実施形態における運用情報取得部１１は、運用情報ＤＢ２から既存システムの運用情報を取得する際に、評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された既存システムの運用情報を取得しているが、運用情報を取得する際の取得条件はこれに限定されない。
　例えば、運用情報取得部１１は、評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された既存システムであり、かつ、情報システムで提供する品質の保証レベルを決めるためのサービスレベル要件が類似する既存システムの運用情報を運用情報ＤＢ２から取得することとしてもよい。
　サービスレベル要件は、構築予定システムで提供する品質の保証レベルを決めるための条件であり、例えば、スループットやＣＰＵ最大使用率、ディスク最大使用率、ネットワーク使用率、ＴＡＴ（Turn Around Time）等の保証レベルを含む。
　また、運用情報取得部１１は、評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された既存システムであり、かつ、アプリケーションが果たす役割を決めるための機能要件が類似する既存システムの運用情報を運用情報ＤＢ２から取得することとしてもよい。
　機能要件は、アプリケーションが果たす役割を決めるための条件であり、例えば、データ処理や、データストア、画像分析、応答作成、統計処理、在庫管理等の機能を含む。
　この変形例において、性能評価部１３は、運用情報取得部１１により複数の既存システムの運用情報が取得された際に、未開発部分のモジュールに対応するパラメータを、上述した（１）または（２）の他に、例えば以下の方法を用いて算出することができる。
　最初に、サービスレベル要件や機能要件との類似度を算出し、その類似度に応じて重み係数を決定する。
　続いて、パラメータごとに、重み係数を加味した平均値を算出し、その平均値を、未開発部分のモジュールに対応するパラメータとする。
　さらに、例えば、前記情報システムの性能評価装置１は、運用情報取得部１１と未開発部分抽出部１２を使用せず、入出力部１４を利用して外部から性能評価に必要なパラメータを性能評価部１３に入力し、前記性能評価部１３は、入力されたパラメータを用いて、情報システムの性能を評価することもできる。
　また、上述した本発明の各実施形態において、フローチャートを参照して説明した処理機能は、コンピュータによって実現することができる。その場合、情報システムの性能評価装置１が有すべき機能の処理内容を記述したプログラムが提供される。
　図４は、本発明の実施形態に係る情報システム性能評価装置のハードウェア構成の一例を示すブロック図である。
　図４に示すように、情報システムの性能評価装置１は、物理的には、例えば、ＣＰＵ４０１（Central Processing Unit）と、記憶装置４０４と、入出力インターフェース４０５とを含む。記憶装置４０４は、例えば、ＣＰＵ４０１で処理されるプログラムおよびデータを記憶するＲＯＭ４０３（Read Only Memory）やＨＤＤ（Hard Disk Drive）、主として制御処理のための各種作業領域として使用するＲＡＭ４０２（Random Access Memory）等を含む。
　これらの各要素は、互いにバスを介して接続する。ＣＰＵ４０１が、ＲＯＭ４０３に記憶されたプログラムを実行し、入出力インターフェース４０５を介して受信されるメッセージや、ＲＡＭ４０２に展開されるデータ等を処理することで、情報システムの性能評価装置１における各部の機能を実現する。
　また、この出願は、２０１２年１０月０２日に出願された日本出願特願２０１２－２２０６１９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、情報システム開発の性能評価に適用できる。
　１    情報システムの性能評価装置
　２    運用情報データベース（ＤＢ）
　１１  　運用情報取得部
　１２  　未開発部分抽出部
　１３  　性能評価部
　１４　　 入出力部
　１５  　キーボード
　１６　　 マウス
　１７　　 ネットワーク
　４０１　　ＣＰＵ
　４０２　　ＲＡＭ
　４０３　　ＲＯＭ
　４０４　　記憶装置
　４０５　　入出力インターフェース

Claims (19)

  1. 入出力部と、性能評価部とを備え、前記性能評価部は、前記入出力部から入力された評価対象システムのシステムモデルと同一のシステムモデルによって構築された既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータ、及び前記評価対象システムの開発済みモジュールに対応するパラメータを用いて、前記評価対象システムの性能を評価することを特徴とする情報システム性能評価装置。
  2. 　前記評価対象システムのシステムモデルに基づいて、既に構築されている既存情報システムの運用情報から、前記評価対象システムのシステムモデルと同一のシステムモデルによって構築された前記既存システムの運用情報を取得する運用情報取得部と、
    　前記運用情報取得部により取得された前記既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータを抽出する未開発部分抽出部と、をさらに備え、
    性能評価の実行指示が入力された場合に、前記性能評価部は、前記未開発部分抽出部により抽出された前記パラメータ、および前記評価対象システムの開発済みモジュールに対応するパラメータを用いて、前記評価対象システムの性能を評価することを特徴とする請求項１に記載の情報システムの性能評価装置。
  3. 　前記運用情報取得部は、前記既存システムの運用情報を取得する際に、前記評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された前記既存システムであり、かつ、情報システムで提供する品質の保証レベルを決めるためのサービスレベル要件が類似する前記既存システムの運用情報を取得する、ことを特徴とする請求項２記載の情報システム性能評価装置。
  4. 　前記運用情報取得部は、前記既存システムの運用情報を取得する際に、前記評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された前記既存システムであり、かつ、アプリケーションが果たす役割を決めるための機能要件が類似する前記既存システムの運用情報を取得する、ことを特徴とする請求項２記載の情報システム性能評価装置。
  5. 　前記性能評価部は、前記評価対象システムの性能を評価する際に、前記運用情報取得部により複数の前記既存システムの運用情報が取得された場合には、それぞれの運用情報から抽出された前記パラメータの平均値を用いることを特徴とする請求項２に記載の情報システム性能評価装置。
  6. 　前記性能評価部は、前記評価対象システムの性能を評価する際に、前記運用情報取得部により複数の前記既存システムの運用情報が取得された場合には、それぞれの運用情報から抽出された前記パラメータの最悪値を用いることを特徴とする請求項２に記載の情報システム性能評価装置。
  7. 　情報処理装置によって、
    　評価対象システムのシステムモデルと同一のシステムモデルによって構築された既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータ、及び前記評価対象システムの開発済みモジュールに対応するパラメータを取得し、
    取得した前記二つのパラメータを用いて、前記評価対象システムの性能を評価することを特徴とする情報システム性能評価方法。
  8. 　前記性能評価の対象となる情報システムである評価対象システムのシステムモデルに基づいて、既に構築されている情報システムである既存システムの運用情報から、前記評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された前記既存システムの運用情報を取得し、
    　前記取得された前記既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータを抽出し、
    　性能評価の実行指示が入力された場合に、前記抽出された前記パラメータ、および前記評価対象システムの開発済みモジュールに対応するパラメータを用いて、前記評価対象システムの性能を評価することを特徴とする請求項７に記載の情報システム性能評価方法。
  9. 　前記運用情報の取得において、前記既存システムの運用情報を取得する際に、前記評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された前記既存システムであり、かつ、情報システムで提供する品質の保証レベルを決めるためのサービスレベル要件が類似する前記既存システムの運用情報を取得することを特徴とする請求項８記載の情報システム性能評価方法。
  10. 　前記運用情報の取得において、前記既存システムの運用情報を取得する際に、前記評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された前記既存システムであり、かつ、アプリケーションが果たす役割を決めるための機能要件が類似する前記既存システムの運用情報を取得することを特徴とする請求項８記載の情報システム性能評価方法。
  11. 　前記評価対象システムの性能を評価する際に、前記運用情報取得において複数の前記既存システムの運用情報が取得された場合には、それぞれの運用情報から抽出された前記パラメータの平均値を用いることを特徴とする請求項８に記載の情報システム性能評価方法。
  12. 　前記評価対象システムの性能を評価する際には、前記運用情報の取得において複数の前記既存システムの運用情報が取得された場合には、それぞれの運用情報から抽出された前記パラメータの最悪値を用いることを特徴とする請求項８に記載の情報システム性能評価方法。
  13. 評価対象システムのシステムモデルと同一のシステムモデルによって構築された既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータ、及び前記評価対象システムの開発済みモジュールに対応するパラメータを取得する処理と、
    取得した前記二つのパラメータを用いて、前記評価対象システムの性能を評価する処理とをコンピュータに実行させることを特徴とする情報システム性能評価プログラム。
  14. 　前記性能評価の対象となる情報システムである評価対象システムのシステムモデルに基づいて、既に構築されている情報システムである既存システムの運用情報から、前記評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された前記既存システムの運用情報を取得する処理と、
    　前記運用情報取得処理において取得された前記既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータを抽出する処理と、
    　性能評価の実行指示が入力された場合に、前記未開発部分抽出処理において抽出された前記パラメータ、および前記評価対象システムの開発済みモジュールに対応するパラメータを用いて、前記評価対象システムの性能を評価する処理と、をコンピュータに実行させることを特徴とする請求項１３に記載の情報システム性能評価プログラム。
  15. 　前記運用情報取得処理は、前記既存システムの運用情報を取得する際に、前記評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された前記既存システムであり、かつ、情報システムで提供する品質の保証レベルを決めるためのサービスレベル要件が類似する前記既存システムの運用情報を取得することを特徴とする請求項１４記載の情報システム性能評価プログラム。
  16. 　前記運用情報取得処理は、前記既存システムの運用情報を取得する際に、前記評価対象システムのシステムモデルと同一のシステムモデルを用いて構築された前記既存システムであり、かつ、アプリケーションが果たす役割を決めるための機能要件が類似する前記既存システムの運用情報を取得することを特徴とする請求項１４記載の情報システム性能評価プログラム。
  17. 　前記性能評価処理は、前記評価対象システムの性能を評価する際に、前記運用情報取得処理において複数の前記既存システムの運用情報が取得された場合には、それぞれの運用情報から抽出された前記パラメータの平均値を用いることを特徴とする請求項１４に記載の情報システム性能評価プログラム。
  18. 　前記性能評価処理は、前記評価対象システムの性能を評価する際に、前記運用情報取得処理において複数の前記既存システムの運用情報が取得された場合には、それぞれの運用情報から抽出された前記パラメータの最悪値を用いることを特徴とする請求項１４に記載の情報システム性能評価プログラム。
  19. 評価対象システムのシステムモデルと同一のシステムモデルによって構築された既存システムの運用情報から、前記評価対象システムに組み込むモジュールのうち、未開発部分のモジュールに対応するパラメータ、及び前記評価対象システムの開発済みモジュールに対応するパラメータを取得する処理と、
    取得した前記二つのパラメータを用いて、前記評価対象システムの性能を評価する処理とをコンピュータに実行させるプログラムが記録された記録媒体。
PCT/JP2013/005470 2012-10-02 2013-09-17 情報システムの性能評価装置、方法およびプログラム WO2014054233A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/430,619 US20150277858A1 (en) 2012-10-02 2013-09-17 Performance evaluation device, method, and medium for information system
JP2014539591A JP6142878B2 (ja) 2012-10-02 2013-09-17 情報システムの性能評価装置、方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-220619 2012-10-02
JP2012220619 2012-10-02

Publications (1)

Publication Number Publication Date
WO2014054233A1 true WO2014054233A1 (ja) 2014-04-10

Family

ID=50434579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005470 WO2014054233A1 (ja) 2012-10-02 2013-09-17 情報システムの性能評価装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20150277858A1 (ja)
JP (1) JP6142878B2 (ja)
WO (1) WO2014054233A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391989A (zh) * 2021-06-30 2021-09-14 北京百度网讯科技有限公司 程序评估方法、装置、设备、介质及程序产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109728938A (zh) * 2018-12-11 2019-05-07 国云科技股份有限公司 一种评估系统服务水平的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198282A (ja) * 1996-01-19 1997-07-31 Matsushita Electric Works Ltd コンピュータ性能評価システム及び評価方法
WO2003021516A1 (fr) * 2001-09-03 2003-03-13 Fujitsu Limited Programme, dispositif et procede de prediction de performance
JP2005165673A (ja) * 2003-12-02 2005-06-23 Ns Solutions Corp 性能監視システム、管理サーバ装置、情報処理方法及びプログラム
JP2006185055A (ja) * 2004-12-27 2006-07-13 Toshiba Corp 計算機システムの設計支援システムおよび設計支援プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7222269B2 (en) * 2001-12-06 2007-05-22 Ns Solutions Corporation Performance evaluation device, performance evaluation information managing device, performance evaluation method, performance evaluation information managing method, performance evaluation system
US7810067B2 (en) * 2002-08-30 2010-10-05 Sap Aktiengesellschaft Development processes representation and management
JP2005055978A (ja) * 2003-08-06 2005-03-03 Hitachi Ltd 情報処理装置及び情報処理システム
JP4100630B2 (ja) * 2004-05-14 2008-06-11 インターナショナル・ビジネス・マシーンズ・コーポレーション Ｕｍｌ設計方法
US20060129992A1 (en) * 2004-11-10 2006-06-15 Oberholtzer Brian K Software test and performance monitoring system
WO2007026435A1 (ja) * 2005-08-31 2007-03-08 Jastec Co., Ltd. ソフトウェア開発生産管理システム、コンピュータプログラム及び記録媒体
JP4374378B2 (ja) * 2006-12-21 2009-12-02 株式会社日立製作所 運用実績評価装置、運用実績評価方法、およびプログラム
US8527956B2 (en) * 2008-12-23 2013-09-03 International Business Machines Corporation Workload performance projection via surrogate program analysis for future information handling systems
US9170918B2 (en) * 2009-05-12 2015-10-27 Nec Corporation Model verification system, model verification method, and recording medium
US8930918B2 (en) * 2010-05-18 2015-01-06 Tata Consultancy Services Limited System and method for SQL performance assurance services
US9015654B2 (en) * 2012-08-13 2015-04-21 Bitbar Technologies Oy System for providing test environments for executing and analysing test routines

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198282A (ja) * 1996-01-19 1997-07-31 Matsushita Electric Works Ltd コンピュータ性能評価システム及び評価方法
WO2003021516A1 (fr) * 2001-09-03 2003-03-13 Fujitsu Limited Programme, dispositif et procede de prediction de performance
JP2005165673A (ja) * 2003-12-02 2005-06-23 Ns Solutions Corp 性能監視システム、管理サーバ装置、情報処理方法及びプログラム
JP2006185055A (ja) * 2004-12-27 2006-07-13 Toshiba Corp 計算機システムの設計支援システムおよび設計支援プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391989A (zh) * 2021-06-30 2021-09-14 北京百度网讯科技有限公司 程序评估方法、装置、设备、介质及程序产品
CN113391989B (zh) * 2021-06-30 2024-01-09 北京百度网讯科技有限公司 程序评估方法、装置、设备、介质及程序产品

Also Published As

Publication number Publication date
JP6142878B2 (ja) 2017-06-07
US20150277858A1 (en) 2015-10-01
JPWO2014054233A1 (ja) 2016-08-25

Similar Documents

Publication Publication Date Title
CN110928772B (zh) 一种测试方法及装置
US9569325B2 (en) Method and system for automated test and result comparison
WO2018120721A1 (zh) 用户界面的测试方法、系统、电子装置及计算机可读存储介质
US20170168885A1 (en) System and Method for Testing Internet of Things Network
CN104246767A (zh) 用于云同步系统的遥测系统
JP6903755B2 (ja) データ統合ジョブ変換
JP6282217B2 (ja) 不正プログラム対策システムおよび不正プログラム対策方法
JP2015108898A (ja) 異常検知システム及び異常検知方法
CN111897696A (zh) 服务器集群硬盘状态检测方法、装置、电子设备及存储介质
US9645873B2 (en) Integrated configuration management and monitoring for computer systems
US9286036B2 (en) Computer-readable recording medium storing program for managing scripts, script management device, and script management method
US20130318499A1 (en) Test script generation
JP6142878B2 (ja) 情報システムの性能評価装置、方法およびプログラム
JP2019049802A (ja) 障害解析支援装置、インシデント管理システム、障害解析支援方法及びプログラム
JP4734454B2 (ja) システム分析プログラム、システム分析方法およびシステム分析装置
JP2008191849A (ja) 稼働管理装置、情報処理装置、稼働管理装置の制御方法、情報処理装置の制御方法及びプログラム
CN111338609B (zh) 信息获取方法、装置、存储介质及终端
US11340952B2 (en) Function performance trigger
JP5679347B2 (ja) 障害検知装置、障害検知方法、及びプログラム
JPWO2013114911A1 (ja) リスク評価システム、リスク評価方法、及びプログラム
JP5545133B2 (ja) 静的解析処理システム、方法、およびプログラム
US10467079B2 (en) Information processing device, information processing method, and non-transitory computer-readable storage medium
JP4947218B2 (ja) メッセージの分類方法およびメッセージの分類を行う装置
JP5718256B2 (ja) システム性能解析装置、システム性能解析方法、およびシステム性能解析プログラム
JP7023439B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13843168

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014539591

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14430619

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13843168

Country of ref document: EP

Kind code of ref document: A1