JP4384478B2 - Performance monitoring system, management server device, information processing method, and program - Google Patents
Performance monitoring system, management server device, information processing method, and program Download PDFInfo
- Publication number
- JP4384478B2 JP4384478B2 JP2003403657A JP2003403657A JP4384478B2 JP 4384478 B2 JP4384478 B2 JP 4384478B2 JP 2003403657 A JP2003403657 A JP 2003403657A JP 2003403657 A JP2003403657 A JP 2003403657A JP 4384478 B2 JP4384478 B2 JP 4384478B2
- Authority
- JP
- Japan
- Prior art keywords
- performance
- information processing
- performance data
- data
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000010365 information processing Effects 0.000 title claims description 116
- 238000012544 monitoring process Methods 0.000 title claims description 64
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000005259 measurement Methods 0.000 claims description 64
- 238000013500 data storage Methods 0.000 claims description 52
- 238000007726 management method Methods 0.000 claims description 46
- 238000012806 monitoring device Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000007418 data mining Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013439 planning Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000035936 sexual power Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
- Multi Processors (AREA)
Description
本発明は、例えば新規構築されるデータセンタ内の情報処理システムの性能を測定するための性能監視システム、管理サーバ装置、情報処理方法及びプログラムに関するものである。 The present invention relates to a performance monitoring system, a management server device, an information processing method, and a program for measuring the performance of an information processing system in a newly built data center, for example.
従来、新規にデータセンタを構える際、例えば、Webサーバ、AP(アプリケーション)サーバ、DB(データベース)サーバ等、当該データセンタにおける実機の検証用環境を構築し、想定される実際の稼働状態と同様の負荷をその検証用環境をかけ、ベンチマークテストを行い、その結果に基づいて新規データセンタに設置する実機のキャパシティプランニングをしていた。ここで、ベンチマークテストとは、コンピュータのハードウェアやソフトウェアの処理能力を測定するための性能測定処理であり、キャパシティプランニングとは、コンピュータが支障なく動作し、与えられたシステム要件を満たすために必要とされるコンピュータの性能を評価する処理である。 Conventionally, when setting up a new data center, for example, an environment for verifying an actual machine in the data center, such as a Web server, an AP (application) server, a DB (database) server, etc., is constructed, and the actual operating state is assumed. We applied a verification environment to the load, performed a benchmark test, and based on the results, we planned the capacity of the actual machine installed in the new data center. Here, the benchmark test is a performance measurement process to measure the processing capacity of the computer hardware and software, and the capacity planning is to ensure that the computer operates without problems and meets the given system requirements. This process evaluates the required computer performance.
しかしながら、検証用環境を構築するには多大な時間及びコストを要する。そして、この検証用環境は新規のデータセンタ毎に構築し直し、改めて性能測定等を行う必要があり、非効率であった。 However, it takes a lot of time and cost to construct a verification environment. This verification environment is inefficient because it is necessary to rebuild each new data center and perform performance measurement again.
また、上記特許文献1においては、単独のコンピュータシステムの性能評価のみを行うコンピュータ性能監視装置が開示されている。当該コンピュータ性能監視装置は、コンピュータに負荷をかけることなく性能データ採取機構により当該コンピュータの稼働データを採取し、その稼働データに基づいてボトルネック検出や性能評価を行う。 Moreover, in the said patent document 1, the computer performance monitoring apparatus which performs only the performance evaluation of a single computer system is disclosed. The computer performance monitoring apparatus collects operating data of the computer by a performance data collecting mechanism without applying a load to the computer, and performs bottleneck detection and performance evaluation based on the operating data.
しかしながら、上記コンピュータ性能監視装置は、コンピュータの実稼働と並行してボトルネック検出や性能評価を行っていくので、そのボトルネック検出・性能評価期間は最適なサービスを提供しにくいという問題がある。 However, since the computer performance monitoring apparatus performs bottleneck detection and performance evaluation in parallel with the actual operation of the computer, there is a problem that it is difficult to provide an optimal service during the bottleneck detection and performance evaluation period.
従って、本発明の目的は、性能測定の対象となる情報処理システムが変わる度に検証用環境をその都度新たに構築する必要をなくすとともに、実際に情報処理システムが稼働する前にはその性能測定が完了し、従来のように実稼働後のボトルネック検出・性能評価期間に当該情報処理システムにより提供されるサービスが低下してしまうことを回避することにある。 Therefore, the object of the present invention is to eliminate the need to newly construct a verification environment each time the information processing system subject to performance measurement changes, and to measure the performance before the information processing system actually operates. This is to prevent the service provided by the information processing system from being lowered during the bottleneck detection / performance evaluation period after actual operation as in the prior art.
斯かる目的を達成するために、本発明の性能監視システムは、複数の性能監視装置と管理サーバ装置とを通信ネットワークにより接続した性能監視システムであって、前記複数の性能監視装置は夫々、接続される一又は複数の情報処理装置の性能を監視する性能監視手段と、前記性能監視手段によって取得された前記情報処理装置のリソースの状態を示す性能データを送信する性能データ送信手段とを有し、前記管理サーバ装置は、前記複数の性能監視装置から夫々性能データを受信する性能データ受信手段と、前記性能データ受信手段が受信した性能データを、情報処理システムを構成する前記情報処理装置を示すシステム構成情報と対応付けて保管する性能データ記憶手段と、任意の情報処理装置によって構成される情報処理システムのシステム構成情報に該当するシステム構成情報と対応付けて保管された性能データを、前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定する性能測定手段とを有し、前記性能測定手段は、前記任意の情報処理装置によって構成される情報処理システム構成と類似するシステムの性能データを、データマイニング及び多次元解析のうちの少なくとも何れか一方を含む手法により前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定することを特徴とする。 In order to achieve such an object, the performance monitoring system of the present invention is a performance monitoring system in which a plurality of performance monitoring devices and a management server device are connected via a communication network, and the plurality of performance monitoring devices are connected to each other. Performance monitoring means for monitoring the performance of one or a plurality of information processing apparatuses, and performance data transmission means for transmitting performance data indicating the resource status of the information processing apparatus acquired by the performance monitoring means. The management server device indicates performance data receiving means for receiving performance data from each of the plurality of performance monitoring devices, and the information processing device constituting the information processing system for the performance data received by the performance data receiving means. and performance data storage means for storing in association with the system configuration information, the information processing system constituted by any of the information processing apparatus Storage performance data in association with the relevant system configuration information to the stem configuration information, by searching from the performance data storage means, for measuring the performance of the constructed information processing system by said arbitrary information processing device performance have a measuring means, said performance measuring means, the performance data of the system similar information processing system configuration and constituted by said arbitrary information processing apparatus, the at least one of the data mining and multidimensional analysis The performance data storage means is used to search the performance data storage means to measure the performance of the information processing system constituted by the arbitrary information processing apparatus .
本発明の管理サーバ装置は、一又は複数の情報処理装置と接続され、前記一又は複数の情報処理装置の性能を監視する複数の性能監視装置と通信ネットワークを介して接続される管理サーバ装置であって、前記複数の性能監視装置の夫々から、接続される前記一又は複数の情報処理装置のリソースの状態を示す性能データを受信する性能データ受信手段と、前記性能データ受信手段が受信した性能データを、情報処理システムを構成する前記情報処理装置を示すシステム構成情報と対応付けて保管する性能データ記憶手段と、任意の情報処理装置によって構成される情報処理システムのシステム構成情報に該当するシステム構成情報と対応付けて保管された性能データを、前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定する性能測定手段とを有し、前記性能測定手段は、前記任意の情報処理装置によって構成される情報処理システム構成と類似するシステムの性能データを、データマイニング及び多次元解析のうちの少なくとも何れか一方を含む手法により前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定することを特徴とする。 The management server device of the present invention is a management server device connected to one or a plurality of information processing devices and connected to a plurality of performance monitoring devices for monitoring the performance of the one or more information processing devices via a communication network. The performance data receiving means for receiving the performance data indicating the state of the resource of the one or more information processing apparatuses to be connected from each of the plurality of performance monitoring apparatuses, and the performance received by the performance data receiving means system to the appropriate data, to the information processing apparatus and the performance data storage means for storing in association with the system configuration information indicating the system configuration information of the information processing system constituted by any of the information processing apparatus constituting the information processing system performance data that is stored in association with configuration information, by searching from the performance data storage means, said arbitrary information Possess a performance measuring means for measuring the performance of a formed information processing system by physical devices, said performance measuring means, the performance data of the system similar information processing system configuration and constituted by said arbitrary information processing apparatus Measuring the performance of the information processing system constituted by the arbitrary information processing device by searching from the performance data storage means by a method including at least one of data mining and multidimensional analysis. And
本発明の情報処理方法は、一又は複数の情報処理装置と接続され、前記一又は複数の情報処理装置の性能を監視する複数の性能監視装置と通信ネットワークを介して接続される管理サーバ装置による情報処理方法であって、前記複数の性能監視装置の夫々から、接続される前記一又は複数の情報処理装置のリソースの状態を示す性能データを受信する性能データ受信ステップと、前記性能データ受信ステップにて受信した性能データを、情報処理システムを構成する前記情報処理装置を示すシステム構成情報と対応付けて性能データ記憶手段において保管する性能データ記憶ステップと、任意の情報処理装置によって構成される情報処理システムのシステム構成情報に該当するシステム構成情報と対応付けて保管された性能データを、前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定する性能測定ステップとを有し、前記性能測定ステップは、前記任意の情報処理装置によって構成される情報処理システム構成と類似するシステムの性能データを、データマイニング及び多次元解析のうちの少なくとも何れか一方を含む手法により前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定することを特徴とする。 The information processing method of the present invention is based on a management server device connected to one or a plurality of information processing devices and connected to a plurality of performance monitoring devices that monitor the performance of the one or more information processing devices via a communication network. An information processing method comprising: a performance data receiving step for receiving performance data indicating a state of a resource of the one or more information processing devices connected from each of the plurality of performance monitoring devices; and the performance data receiving step. information constituted performance data received, and performance data storing step of storing the performance data storage means in association with the system configuration information indicating the information processing apparatus constituting the information processing system, by any of the information processing apparatus at stored in association with the system configuration information corresponding to the system configuration information of the processing system the performance data, wherein the sexual By searching from the data storage means, possess a performance measuring step of measuring the performance of a formed information processing system by said arbitrary information processing apparatus, said performance measuring step is constituted by said arbitrary information processing apparatus Configured by the arbitrary information processing device by retrieving performance data of a system similar to the information processing system configuration from the performance data storage means by a method including at least one of data mining and multidimensional analysis It is characterized by measuring the performance of an information processing system .
本発明のプログラムは、前記情報処理方法をコンピュータに実行させることを特徴とする。 A program according to the present invention causes a computer to execute the information processing method.
本発明によれば、性能測定の対象となる情報処理システムが変わる度に検証用環境をその都度新たに構築する必要をなくすとともに、実際に情報処理システムが稼働する前にはその性能測定が完了し、従来のように実稼働後のボトルネック検出・性能評価期間に当該情報処理システムにより提供されるサービスが低下してしまうことを回避することが可能となる。 According to the present invention, together with eliminating each time the need to build a new verification environment every time the change information processing system to be sexual performance measurement, before actually processing system is running it is its performance measurement Completion of the service provided by the information processing system during the bottleneck detection / performance evaluation period after actual operation as in the prior art can be avoided.
即ち、情報処理装置の具体例として、例えば、Webサーバ、APサーバ及びDBサーバが挙げられるが、この場合、管理サーバ装置は性能監視装置を介して夫々から性能データを受信することが可能となる。更に、Webサーバ、APサーバ、DBサーバの組合せから成る様々な形態の情報処理システムから夫々の性能データが得られることになれば、管理サーバ装置は、性能測定の対象となる情報処理システムの構成に類似した情報処理システムに該当する情報処理装置の性能データを選び、その性能データに基づいて当該情報処理システムの性能測定を行うことが可能となる。従って、性能測定の対象となる情報処理システムが変わる度に検証用環境を改めて構築する必要がなく、当該情報処理システムの実稼働前には性能測定は完了することになり、上記のサービス低下を回避することが可能となる。 That is, specific examples of the information processing apparatus include, for example, a Web server, an AP server, and a DB server. In this case, the management server apparatus can receive performance data from each through the performance monitoring apparatus. . Furthermore, if each piece of performance data can be obtained from various types of information processing systems comprising a combination of a Web server, an AP server, and a DB server, the management server device can configure the information processing system that is the target of performance measurement. It is possible to select performance data of an information processing apparatus corresponding to an information processing system similar to, and perform performance measurement of the information processing system based on the performance data. Therefore, it is not necessary to build a verification environment every time the information processing system subject to performance measurement changes, and the performance measurement is completed before the information processing system is actually operated. It can be avoided.
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.
図1は、本発明の一実施形態に係る性能監視システムの構成を概略的に示した図である。
図1において、10(10a、10b)は、データセンタ(データセンタA10a、データセンタB10b)である。データセンタA10aは、Web系システム100aとERP(Enterprise Resource Planning)系システム110aとを備え、データセンタB10bは、Web系システム100bとERP系システム110bとを備える。
FIG. 1 is a diagram schematically showing a configuration of a performance monitoring system according to an embodiment of the present invention.
In FIG. 1, 10 (10a, 10b) is a data center (
Web系システム100aは、Webサーバ101a、AP(アプリケーション)サーバ102a、DB(データベース)サーバ103a及び性能監視装置104a、105aにより構成されており、DBサーバ103aにはDB(データベース)106aが接続されている(DB106aはDBサーバ103aに内蔵された構成であってもよい)。ERP系システム110a、並びに、データセンタB10bのWeb系システム100b及びERP系システム110bについては不図示であるが、夫々、任意のシステム構成を採ることでできる。但し、後述するように、各装置から性能データを取得し、管理サーバ111に送信する性能監視装置をシステム構成に少なくとも一つ含む構成とする必要がある。
The
性能監視装置104aは、Webサーバ101a及びAPサーバ102aと例えばLAN(Local Area Network)で接続され、夫々から性能データを取得する。性能監視装置105aは、同じくDBサーバ103aとLANで接続され、DBサーバ103aから性能データを取得する。性能監視装置104a及び105aは、取得した性能データをDWH(データウェハウス)11向けに送信する。
The
DHW11は、設置される管理サーバ111の機能によりデータセンタA10a、B10bから性能データを集約する仕組みとなっている。即ち、管理サーバ111は、データセンタA10a及びB10bからWeb系システム100a、100b、ERP系システム110a、110bの性能データを受信し、それらの性能データをWeb系システム100、ERP系システム110毎に集約して内部に保管する。
The DHW 11 is configured to collect performance data from the
性能測定を行いたいシステムがある場合、管理サーバ111は、そのシステム構成に類似したシステムの性能データに基づいて性能測定処理を行う。このような性能測定の対象となるシステムとしては、新規に構築されるデータセンタ内のシステムが一例として挙げられる。例えば、新規データセンタに設置されるシステムの構成がデータセンタA10aのWeb系システム100aと類似している場合、管理サーバ111は、当該新規データセンタのシステムに関し、Web系システム100aの性能データに基づく性能測定処理を行う。尚、ここでいう「性能測定処理」には、コンピュータのハードウェアやソフトウェアの処理能力を測定するための性能測定処理のほか、コンピュータが支障なく動作し、与えられたシステム要件を満たすために必要とされるコンピュータの性能を評価するキャパシティプランニング処理も含まれる。
When there is a system for which performance measurement is desired, the
尚、図1では、管理サーバ111が性能データを集約する対象となるデータセンタとして2つのデータセンタ(データセンタA10a、B10b)のみを示しているが、更に多数のデータセンタを性能データ集約の対象としてもよい。また、本実施形態において、各データセンタA10a、B10b内の性能監視装置(104a、105a等)と管理サーバ111間のデータ通信は、専用線、認証システムや暗号技術を利用したVPN(Virtual Private Network)等を利用することが好適であるが、その他のデータ伝送媒体を適用してもよい。
In FIG. 1, only two data centers (data centers A10a and B10b) are shown as data centers on which the
管理サーバ111は、例えばインターネットを介してクライアント端末12a、12bと接続され、上記の性能測定処理の結果や、保管する性能データを該当するクライアント端末12に対して配信することができる。ここで「該当するクライアント端末12」とは、例えば、新規データセンタを構築する企業内で操作されるクライアント端末等、それらの情報を必要とする者が操作するクライアント端末を配信の対象とすることが考えられる。これにより、新規データセンタを構築する企業は、クライアント端末12の画面等で情報を閲覧することができ、新規データセンタ内に設置するシステムをサイジングする上で参考とすることが可能となる。その他には、上記性能測定結果や性能データをROI(投資対効果)の概念に適用することにより、有利な企業戦略の立案に活用することもできる。
The
図2は、データセンタA10aのWeb系システム100a内における性能監視装置104a(105a)及び管理サーバ111のコンピュータシステムのハードウェア構成を概略的に示した図である。
図2に示すように、上記コンピュータシステム1200は、CPU1201、ROM1202、RAM1203、キーボード(KB)1209のキーボードコントローラ(KBC)1205、表示部としてのCRTディスプレイ(CRT)1210のCRTコントローラ(CRTC)1206、ハードディスク(HD)1211及びフレキシブルディスク(FD)1212のディスクコントローラ(DKC)1207、並びに、ネットワーク1220との接続のためのネットワークインタフェースコントローラ(NIC)1208が、システムバス1204を介して互いに通信可能に接続された構成としている。
FIG. 2 is a diagram schematically showing a hardware configuration of the computer system of the
As shown in FIG. 2, the
CPU1201は、ROM1202或いはHD1211等より読み出すソフトウェアを実行することで、システムバス1204に接続された各構成部を総括的に制御し、後述する図4、図6及び図7に示す処理等を実行する。
The
RAM1203は、CPU1201の主メモリ或いはワークエリア等として機能する。KBC1205は、KB1209や図示していないポインティングデバイス等からの指示入力を制御する。CRTC1206は、CRT1210の表示を制御する。DKC1207は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル及びネットワーク管理プログラムへのアクセスを制御する。NIC1208は、本コンピュータシステムが性能監視装置104a(105a)のものであれば、専用線又はVPNを介して管理サーバ111とのデータの送受信を制御し、本コンピュータシステムが管理サーバ111のものであれば、インターネットを介してクライアント端末12a、12bとのデータの送受信を制御する。尚、ここでは、データセンタA10aのWeb系システム内における性能監視装置104a、105aを例に挙げて説明したが、データセンタA10aのERP系システム内の性能監視装置も同様のハードウェア構成を有し、データセンタB10b内のWeb系システム及びERP系システム内の性能監視装置についても同様である。
A
図3は、データセンタA10aのWeb系システム100a内における性能監視装置104a(105a)の機能構成を示したブロック図である。
以下では、性能監視装置104a(105a)の機能構成についてのみ説明するが、データセンタA10a内のERP系システム110aの性能監視装置、データセンタB10b内の性能監視装置も夫々同様の機能構成を有する。
FIG. 3 is a block diagram showing a functional configuration of the
Hereinafter, only the functional configuration of the
性能監視装置104a(105a)は、性能データ取得部1041a(1051a)、性能データ記憶部1042a(1052a)、通信処理部1043a(1053a)及び時間監視部1044a(1054a)により構成される。性能データ取得部1041a(1051a)及び通信処理部1043a(1053a)は、例えば、CPU1201、ROM1202(又はHD1211)内のプログラム、及び、ネットワークインタフェース1208により構成され、性能データ記憶部1042a(1052a)は、例えばRAM1203内に構成され、時間監視部1044a(1054a)は、例えばCPU1201及びROM1202(又はHD1211)内のプログラムにより構成される。
The
性能データ取得部1041aは、Webサーバ101a及びAPサーバ102aから夫々の性能データを取得し、性能データ取得部1051aは、DBサーバ103aから性能データを取得する。性能データ記憶部1042aは、性能データ取得部1041により取得された性能データ、例えば、外部装置からのWebサーバ101aへのアクセス履歴を示すアクセスlogデータ、APサーバ102aのレスポンスタイムを示すレスポンスタイムデータ、及び、APサーバ102aのスループットを示すスループットデータを記憶し、性能データ記憶部1052aは、性能データ取得部1051により取得された性能データ、例えば、DB106aの残記憶容量を示すハードウェア状況データを記憶する。
The performance
通信処理部1043a(1053a)は、性能データ記憶部1042a(1052a)に記憶された性能データを管理サーバ111に対して送信する。時間監視部1044a(1054a)は、予め定められた時間の経過を監視する。性能データ取得部1041a(1051a)及び通信処理部1043a(1053a)は、時間監視部1044a(1054a)による監視結果に基づいて一定時間毎に性能データの取得又は送信を行う。
The
図8は、性能データ取得部1041aが取得する性能データを具体的に説明するための図である。図8には、CPU負荷とレスポンスタイムの関係についてのAPサーバ102aの特性が示されており、性能データ取得部1041aがAPサーバ102aから図8に示される情報を性能データとして取得することにより、性能監視装置104aはAPサーバ102aのレスポンスタイムに係る性能を監視することができる。尚、APサーバ102aでは、CPU負荷が高まるにつれ次第にレスポンスタイムが長くなるが、レスポンスタイムがSLA(Service Level Agreement)に近づくとレスポンスタイムを短くするように制御していることが図8から把握される。
FIG. 8 is a diagram for specifically explaining the performance data acquired by the performance
次に、性能監視装置104a(105a)の動作を図4を参照しながら説明する。図4は、性能監視装置104a(105a)の動作の流れを示したフローチャートである。ここでも同様に、性能監視装置104a(105a)の動作についてのみ説明するが、データセンタA10a内のERP系システムの性能監視装置、データセンタB10bの性能監視装置も夫々同様の動作を行う。
Next, the operation of the
先ず、性能データ取得部1041aは、Webサーバ101a及びAPサーバ102aから時間監視部1044aの監視結果に基づいて一定時間毎(例えば、5分毎)に性能データの取得を試みる(ステップS401、S402)。この取得処理により得られた性能データは性能データ記憶部1042aに記憶される(ステップS403、S404)。性能データ記憶部1042aに記憶された性能データは、時間監視部1044aの監視結果に基づいて一定時間毎(例えば、1時間毎)に通信処理部1043aより管理サーバ111に対して送信される(ステップS405、S406)。
First, the performance
一方、性能データ取得部1051aは、DBサーバ103aから時間監視部1054aの監視結果に基づいて一定時間毎(例えば、5分毎)に性能データの取得を試みる(ステップS401、S402)。この取得処理により得られた性能データは性能データ記憶部1052aに記憶される(ステップS403、S404)。性能データ記憶部1052bに記憶された性能データは、時間監視部1054aの監視結果に基づいて一定時間毎(例えば、1時間毎)に通信処理部1053aより管理サーバ111に対して送信される(ステップS405、S406)。
On the other hand, the performance
図5は、管理サーバ111の機能構成を示したブロック図である。
管理サーバ111は、通信処理部1101、Web系性能データ記憶部1102、ERP系性能データ記憶部1103、性能測定部1104、測定結果記憶部1105、時間監視部1106、検索部1107及び入力部1108により構成される。通信処理部1101は、例えば、CPU1201、ROM1202(又はHD1211)内のプログラム、及び、ネットワークインタフェース1208により構成され、Web系性能データ記憶部1102、ERP系性能データ記憶部1103及び測定結果記憶部1105は、例えばRAM1203内に構成され、性能測定部1104、時間監視部1106及び検索部1107は、例えばCPU1201及びROM1202(又はHD1211)内のプログラムにより構成される。入力部1108は、例えばKB1209及びKBC1205等に相当する。
FIG. 5 is a block diagram illustrating a functional configuration of the
The
通信処理部1101は、各データセンタA10a、B10bの性能監視装置(性能監視装置104a、105a等)から性能データを受信する受信機能と、後述の測定結果記憶部1105に記憶される測定結果データをクライアント端末12a、12bに対して配信する配信機能を有する。Web系性能データ記憶部1102は、通信処理部1101にて受信する性能データのうちWeb系システム100a、100bから取得された性能データを記憶する。ERP系性能データ記憶部1103は、通信処理部1101にて受信する性能データのうちERP系システム110a、110bから取得された性能データを記憶する。Web系性能データ記憶部1102及びERP系性能データ記憶部1103内においては、Web系システム及びERP系システムに係る性能データがデータセンタA10a、B10b毎に記憶される。
The
性能測定部1104は、Web系性能データ記憶部1102又はERP系性能データ記憶部1103に記憶される性能データを読み出し、読み出した性能データに基づいて該当するシステムの性能測定処理を行い、その結果を測定結果データとして出力する。測定結果記憶部1105は、性能測定部により出力された測定結果データを記憶する。時間監視部1106は、時間の経過を監視する。検索部1107は、時間監視部1106の監視結果に基づいて所定の期日に測定結果記憶部1105より該当する測定結果データを検索する。
The
ここで、Web系性能データ記憶部1102に記憶されるWeb系システムに係る性能データは、データセンタA10aに関して例示すると、Web系システム100a(Webサーバ101a)に対する外部装置からのアクセス履歴を示すアクセスlogデータ、APサーバ102aの応答時間を示すレスポンスタイムデータ、APサーバ102aのスループットを示すスループットデータ、及び、DB106aを記録する外部記憶装置の残記憶容量を示すハード状況データ等が挙げられる。勿論、データセンタA10aのWeb系システム100aに関してWeb系性能データ記憶部1102内に記憶される性能データはこれに限定されず、Web系システム100aのシステム構成から取得し得る性能データ全てを記録対象とすることができる。
Here, the performance data related to the Web system stored in the Web system performance
また、ERP系システム110a並びにデータセンタB10bのWeb系システム100b及びERP系システム110bからも同様にそのシステム構成に応じた性能データが得られ、管理サーバ111内では、Web系システム100a、ERP系システム110b毎に性能データが記憶される。
Similarly, performance data corresponding to the system configuration is obtained from the
次に、管理サーバ111の動作を図6及び図7を参照しながら説明する。図6は、管理サーバ111による性能測定処理の流れを示したフローチャートであり、図7は、管理サーバ111による測定結果配信処理の流れを示したフローチャートである。
Next, the operation of the
先ず、管理サーバ111による性能測定処理について説明する。図6において、操作者によりKB1209等の入力部1108を用いて管理サーバ111に対して新規データセンタのシステム構成を示す情報の入力され、性能予測指示があると、性能測定部1104は、当該新規データセンタのシステム構成と類似するシステムの性能データを、データマイニングや多次元解析等の手法によりWeb系性能データ記憶部1102又はERP系性能データ記憶1103より検索する(ステップS601、S602)。
First, the performance measurement process by the
例えば、操作者より入力された新規データセンタのシステム構成がデータセンタA10aのWeb系システム100aに最も類似しているものとすると、性能測定部1104は、Web系性能データ記憶部1102からデータセンタA10aの性能データを検索する。他のシステム構成を示す情報が入力された場合も同様にそれに類似するシステムの性能データが検索されることになる。この性能データの検索処理はシステム構成を示す情報をキーにして行われるが、Web系性能データ記憶部1102及びERP系性能データ記憶部1103内において、各性能データがシステム構成を示すデータが対応付けて記憶されることにより上記検索処理が可能となる。
For example, assuming that the system configuration of the new data center input by the operator is most similar to the
次に、性能測定部1104は、検索した性能データに基づいて性能測定処理を行う(ステップS603)。その結果を示す測定結果データは測定結果記憶部1105内において記憶される(ステップS604)。
Next, the
上記のように、管理サーバ111は、データセンタA10a、データセンタB10b内のWeb系システム100a、100b及びERP系システム110a、110bから夫々に設置される実機の性能データを取得することが可能である。例えば新規データセンタに設置する予定のシステムの構成が入力部1108より入力されると、性能測定部1104は、入力されたシステム構成に類似するシステムに対応する性能データに基づいて性能測定を行う。
As described above, the
従って、その結果は、新規データセンタに設置する予定のシステムの性能を予測したものとして扱うことができる。また、本実施形態の管理サーバ111は、性能測定の対象となるシステムが変わった場合でも保管される性能データに基づいて何度も性能測定を行うことも可能である。よって、本実施形態によれば、性能測定の対象となるシステムが変わる度に検証用環境を改めて構築する必要がなくなるとともに、当該システムの実稼働前には性能測定が完了するので、従来のようなコンピュータの実稼働と並行して性能測定を行うことによるサービス低下を回避することが可能となる。
Therefore, the result can be treated as a prediction of the performance of the system scheduled to be installed in the new data center. In addition, the
次に、管理サーバ111による測定結果配信処理について説明する。図7において、検索部1107は、時間監視部1106の監視結果に基づいて所定の期日(例えば、毎月の月初め)に測定結果記憶部1105より該当する測定結果データを検索する(ステップS701、S702)。例えば、Web系システム100aの性能データに基づく上記測定結果データが月初めに配信されるデータであるとすると、月初めとなると、測定結果記憶部1105より上記測定結果データが検索されることになる。
Next, measurement result distribution processing by the
検索された測定結果データは通信処理部1101より該当するクライアント端末12に対して配信される(ステップS703、S704)。また、ステップS703の検索処理において該当する測定結果データが得られなかった場合、約束の期日に測定結果データを該当するクライアント端末12に配信することができないので、音声や画像表示等でシステム管理者に対してエラー通知を行う(ステップS703、S705)。
The retrieved measurement result data is distributed from the
上記実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段は、プログラムを記録したCD−ROM等のコンピュータ読み取り可能な記録媒体やプログラムを伝送するインターネット等の伝送媒体であってもよい。以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で適宜変更可能である。 The embodiment described above can be realized by a computer executing a program. The means for supplying the program to the computer may be a computer-readable recording medium such as a CD-ROM recording the program or a transmission medium such as the Internet for transmitting the program. As mentioned above, although embodiment of this invention has been explained in full detail with reference to drawings, a concrete structure is not restricted to said embodiment, In the range which does not deviate from the summary of this invention, it can change suitably.
10a、10b:データセンタA、データセンタB
100a、100b:Web系システム
110a、110b:ERP系システム
101a:Webサーバ
102a:APサーバ
103a:DBサーバ
104a、105a:性能監視装置
11:DWH
111:管理サーバ
12a、12b:クライアント端末
1041a、1051a:性能データ取得部
1042a、1052a:性能データ記憶部
1043a、1053a:通信処理部
1044a、1054a、1106:時間監視部
1101:通信処理部
1102:Web系性能データ記憶部
1103:ERP系性能データ記憶部
1104:性能測定部
1105:測定結果記憶部
1107:検索部
1108:入力部
10a, 10b: data center A, data center B
100a, 100b:
111:
Claims (11)
前記複数の性能監視装置は夫々、
接続される一又は複数の情報処理装置の性能を監視する性能監視手段と、
前記性能監視手段によって取得された前記情報処理装置のリソースの状態を示す性能データを送信する性能データ送信手段とを有し、
前記管理サーバ装置は、
前記複数の性能監視装置から夫々性能データを受信する性能データ受信手段と、
前記性能データ受信手段が受信した性能データを、情報処理システムを構成する前記情報処理装置を示すシステム構成情報と対応付けて保管する性能データ記憶手段と、
任意の情報処理装置によって構成される情報処理システムのシステム構成情報に該当するシステム構成情報と対応付けて保管された性能データを、前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定する性能測定手段とを有し、
前記性能測定手段は、
前記任意の情報処理装置によって構成される情報処理システム構成と類似するシステムの性能データを、データマイニング及び多次元解析のうちの少なくとも何れか一方を含む手法により前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定することを特徴とする性能監視システム。 A performance monitoring system in which a plurality of performance monitoring devices and a management server device are connected via a communication network,
Each of the plurality of performance monitoring devices is
Performance monitoring means for monitoring the performance of one or more information processing devices connected;
Performance data transmission means for transmitting performance data indicating the state of the resource of the information processing apparatus acquired by the performance monitoring means;
The management server device
Performance data receiving means for receiving performance data from each of the plurality of performance monitoring devices;
Performance data The performance data received by the receiving means, and performance data storage means for storing in association with the system configuration information indicating the information processing apparatus constituting the information processing system,
By searching performance data stored in association with system configuration information corresponding to system configuration information of an information processing system configured by an arbitrary information processing device from the performance data storage unit, the arbitrary information processing device It possesses a performance measuring means for measuring the performance of a formed information processing system by,
The performance measuring means includes
By retrieving performance data of a system similar to the information processing system configuration configured by the arbitrary information processing apparatus from the performance data storage unit by a method including at least one of data mining and multidimensional analysis A performance monitoring system for measuring the performance of an information processing system constituted by the arbitrary information processing apparatus .
前記性能測定手段は、前記任意の情報処理装置によって構成される情報処理システムのシステム構成情報、及び、当該情報処理システムを構成する情報処理装置の系統に該当する性能データを前記性能データ記憶手段より検索することによって、当該情報処理システムの性能を測定することを特徴とする請求項1に記載の性能監視システム。 The performance data storage means stores the performance data received by the performance data reception means in association with each system of the information processing apparatus and each system configuration information of the information processing system,
The performance measuring means receives system configuration information of an information processing system constituted by the arbitrary information processing apparatus, and performance data corresponding to the system of the information processing apparatus constituting the information processing system from the performance data storage means. The performance monitoring system according to claim 1, wherein the performance of the information processing system is measured by searching.
前記管理サーバ装置は、
前記性能測定手段による測定結果を示す測定結果データを前記一又は複数のクライアント端末のうち、前記任意の情報処理装置によって構成される情報処理システムに関する情報を必要とするものによって操作されるクライアント端末に対して送信する測定結果データ送信手段を更に有することを特徴とする請求項1又は2に記載の性能監視システム。 The performance monitoring system includes one or more client terminals connected to the management server device via a communication network,
The management server device
Measurement result data indicating a measurement result by the performance measurement means is sent to a client terminal operated by one or a plurality of client terminals that requires information on an information processing system configured by the arbitrary information processing apparatus. The performance monitoring system according to claim 1, further comprising a measurement result data transmitting means for transmitting to the measurement result data.
前記複数の性能監視装置の夫々から、接続される前記一又は複数の情報処理装置のリソースの状態を示す性能データを受信する性能データ受信手段と、
前記性能データ受信手段が受信した性能データを、情報処理システムを構成する前記情報処理装置を示すシステム構成情報と対応付けて保管する性能データ記憶手段と、
任意の情報処理装置によって構成される情報処理システムのシステム構成情報に該当するシステム構成情報と対応付けて保管された性能データを、前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定する性能測定手段とを有し、
前記性能測定手段は、
前記任意の情報処理装置によって構成される情報処理システム構成と類似するシステムの性能データを、データマイニング及び多次元解析のうちの少なくとも何れか一方を含む手法により前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定することを特徴とする管理サーバ装置。 A management server device connected to one or a plurality of information processing devices and connected via a communication network to a plurality of performance monitoring devices for monitoring the performance of the one or more information processing devices;
Performance data receiving means for receiving performance data indicating the state of the resource of the one or more information processing devices connected from each of the plurality of performance monitoring devices;
Performance data The performance data received by the receiving means, and performance data storage means for storing in association with the system configuration information indicating the information processing apparatus constituting the information processing system,
By searching performance data stored in association with system configuration information corresponding to system configuration information of an information processing system configured by an arbitrary information processing device from the performance data storage unit, the arbitrary information processing device It possesses a performance measuring means for measuring the performance of a formed information processing system by,
The performance measuring means includes
By retrieving performance data of a system similar to the information processing system configuration configured by the arbitrary information processing apparatus from the performance data storage unit by a method including at least one of data mining and multidimensional analysis A management server device that measures the performance of an information processing system constituted by the arbitrary information processing device.
前記性能測定手段は、前記任意の情報処理装置によって構成される情報処理システムのシステム構成情報、及び、当該情報処理システムを構成する情報処理装置の系統に該当する性能データを前記性能データ記憶手段より検索することによって、当該情報処理システムの性能を測定することを特徴とする請求項8に記載の管理サーバ装置。 The performance data storage means stores the performance data received by the performance data reception means in association with each system of the information processing apparatus and each system configuration information of the information processing system,
The performance measuring means receives system configuration information of an information processing system constituted by the arbitrary information processing apparatus, and performance data corresponding to the system of the information processing apparatus constituting the information processing system from the performance data storage means. The management server device according to claim 8, wherein the performance of the information processing system is measured by searching.
前記複数の性能監視装置の夫々から、接続される前記一又は複数の情報処理装置のリソースの状態を示す性能データを受信する性能データ受信ステップと、
前記性能データ受信ステップにて受信した性能データを、情報処理システムを構成する前記情報処理装置を示すシステム構成情報と対応付けて性能データ記憶手段において保管する性能データ記憶ステップと、
任意の情報処理装置によって構成される情報処理システムのシステム構成情報に該当するシステム構成情報と対応付けて保管された性能データを、前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定する性能測定ステップとを有し、
前記性能測定ステップは、
前記任意の情報処理装置によって構成される情報処理システム構成と類似するシステムの性能データを、データマイニング及び多次元解析のうちの少なくとも何れか一方を含む手法により前記性能データ記憶手段より検索することによって、前記任意の情報処理装置によって構成される情報処理システムの性能を測定することを特徴とする情報処理方法。 An information processing method by a management server device connected to one or a plurality of information processing devices and connected via a communication network to a plurality of performance monitoring devices for monitoring the performance of the one or more information processing devices,
A performance data receiving step for receiving performance data indicating a state of a resource of the one or more information processing devices connected from each of the plurality of performance monitoring devices;
Performance data received by said performance data receiving step, and performance data storing step of storing the performance data storage means in association with the system configuration information indicating the information processing apparatus constituting the information processing system,
By searching performance data stored in association with system configuration information corresponding to system configuration information of an information processing system configured by an arbitrary information processing device from the performance data storage unit, the arbitrary information processing device It possesses a performance measuring step of measuring the performance of a formed information processing system by,
The performance measuring step includes
By retrieving performance data of a system similar to the information processing system configuration configured by the arbitrary information processing apparatus from the performance data storage unit by a method including at least one of data mining and multidimensional analysis An information processing method for measuring the performance of an information processing system constituted by the arbitrary information processing apparatus .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003403657A JP4384478B2 (en) | 2003-12-02 | 2003-12-02 | Performance monitoring system, management server device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003403657A JP4384478B2 (en) | 2003-12-02 | 2003-12-02 | Performance monitoring system, management server device, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005165673A JP2005165673A (en) | 2005-06-23 |
JP4384478B2 true JP4384478B2 (en) | 2009-12-16 |
Family
ID=34726903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003403657A Expired - Lifetime JP4384478B2 (en) | 2003-12-02 | 2003-12-02 | Performance monitoring system, management server device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4384478B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4942466B2 (en) * | 2006-12-08 | 2012-05-30 | 中国電力株式会社 | Computer performance evaluation support system and performance evaluation support method |
JP5541908B2 (en) * | 2009-11-26 | 2014-07-09 | 株式会社野村総合研究所 | Data center configuration management system |
WO2011071010A1 (en) * | 2009-12-08 | 2011-06-16 | 日本電気株式会社 | Load characteristics estimation system, load characteristics estimation method, and program |
JP5416833B2 (en) * | 2010-04-06 | 2014-02-12 | 株式会社日立製作所 | Performance monitoring device, method and program |
JP6142878B2 (en) * | 2012-10-02 | 2017-06-07 | 日本電気株式会社 | Information system performance evaluation apparatus, method and program |
JP6079476B2 (en) | 2013-06-26 | 2017-02-15 | 富士通株式会社 | Analysis support program, analysis support apparatus, and analysis support method |
KR101624898B1 (en) | 2015-11-20 | 2016-05-30 | (주)다봄소프트 | Data service performance integration management method |
-
2003
- 2003-12-02 JP JP2003403657A patent/JP4384478B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005165673A (en) | 2005-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11550630B2 (en) | Monitoring and automatic scaling of data volumes | |
US10515000B2 (en) | Systems and methods for performance testing cloud applications from multiple different geographic locations | |
US7302558B2 (en) | Systems and methods to facilitate the creation and configuration management of computing systems | |
JP4809772B2 (en) | Management based on computer system and distributed application model | |
US9594547B2 (en) | Method and system to manage services for multiple managed computer systems | |
JP5980914B2 (en) | Mutual cloud management and fault diagnosis | |
JP5325230B2 (en) | Methods, computer programs, and devices for monitoring the operation of a designated transaction server having an associated network topology (synthetic transactions dynamically scheduled to monitor the performance and availability of e-business systems) How to use) | |
JP6286345B2 (en) | System design support apparatus and system design support method | |
US20160062880A1 (en) | Methods and Systems for the Use of Synthetic Users To Performance Test Cloud Applications | |
WO2003052620A1 (en) | Structure of policy information for storage, network and data management applications | |
US10680902B2 (en) | Virtual agents for facilitation of network based storage reporting | |
EP1974529A1 (en) | Method and apparatus for collecting data for characterizing http session workloads | |
US7293059B2 (en) | Distributed computing system using computing engines concurrently run with host web pages and applications | |
JP6778722B2 (en) | Cloud scraping system and method using pre-scraped big data and computer program for that | |
JP4384478B2 (en) | Performance monitoring system, management server device, information processing method, and program | |
US8370800B2 (en) | Determining application distribution based on application state tracking information | |
EP3842980A1 (en) | System and method for automatically securing sensitive data in public cloud using a serverless architecture | |
US6944793B1 (en) | Method of remote monitoring | |
US8438271B2 (en) | Performing services in a network data processing system | |
US7752169B2 (en) | Method, system and program product for centrally managing computer backups | |
US7873715B1 (en) | Optimized instrumentation of web pages for performance management | |
JP2007265244A (en) | Performance monitoring device for web system | |
US9092397B1 (en) | Development server with hot standby capabilities | |
US10379744B2 (en) | System for collecting end-user feedback and usability metrics | |
JP2005018103A (en) | Performance improvement service providing system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090216 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090407 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090703 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090925 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4384478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |