JP6704476B2 - 影響分析システム、計測項目最適化方法、および計測項目最適化プログラム - Google Patents
影響分析システム、計測項目最適化方法、および計測項目最適化プログラム Download PDFInfo
- Publication number
- JP6704476B2 JP6704476B2 JP2018562857A JP2018562857A JP6704476B2 JP 6704476 B2 JP6704476 B2 JP 6704476B2 JP 2018562857 A JP2018562857 A JP 2018562857A JP 2018562857 A JP2018562857 A JP 2018562857A JP 6704476 B2 JP6704476 B2 JP 6704476B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement item
- service
- terminal
- measurement
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 574
- 238000004458 analytical method Methods 0.000 title claims description 218
- 238000000034 method Methods 0.000 title claims description 103
- 238000005457 optimization Methods 0.000 title description 4
- 238000012545 processing Methods 0.000 claims description 78
- 238000011156 evaluation Methods 0.000 claims description 64
- 238000003860 storage Methods 0.000 claims description 49
- 238000010219 correlation analysis Methods 0.000 claims description 43
- 230000000694 effects Effects 0.000 claims description 12
- 230000006872 improvement Effects 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 9
- 230000037430 deletion Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 description 200
- 230000008569 process Effects 0.000 description 64
- 238000011161 development Methods 0.000 description 58
- 230000018109 developmental process Effects 0.000 description 57
- 238000007726 management method Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 38
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000003825 pressing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- VOZKAJLKRJDJLL-UHFFFAOYSA-N 2,4-diaminotoluene Chemical compound CC1=CC=C(N)C=C1N VOZKAJLKRJDJLL-UHFFFAOYSA-N 0.000 description 1
- 241000211181 Manta Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Description
本発明は、開発担当者(Development)と運用担当者(Operations)が連携して協力する開発手法である「DevOps」で必要性の高い,サービス良否や改善効果の測定に使われる計測項目についての影響分析システム、計測項目最適化方法、および計測項目最適化プログラムに関する。
これまでのシステム開発では、開発担当者(Development)が様々な要件を定義し、本要件を満たす設計と開発を行い、あらゆる想定ケースに対するテストと評価を繰り返すことで、開発されたシステムが本番リリースとなる。また、リリース後は、安定稼動を継続するため、運用担当者(Operations)が、定型の手順に従った運用を行うが、リスクを伴う変更等を極力実施しない。
ところが、仮想化技術の進展により、物理ハードウェアリソースを仮想リソースとして使用することができる。これにより、インフラリソースをクラウトサービスで利用することで、開発担当者は素早くシステムを構築し、要件の変更に応じて、運用担当者はリソースを柔軟に変更できる。このため、アイディアを素早く実装し、サービス提供して、新たなビジネスを生み出して成功する事業者が増えている。事業者は、市場競争を勝ち抜くために、新しいサービスをスピーディに提供し、潜在的な開発担当者ニーズを把握し、新たな施策を立てるサイクルを、継続する。とはいえ、提供サービスの安定稼動を継続するためには、事業者は、サービスの健全性を監視し、大規模な障害発生前に、軽微な変化に気づく必要がある。
特許文献1は、サービスと関連するシステムに対して、一定期間の稼動実績をもとに、監視項目間の相関モデル(監視項目間の関係構造、関係の強さ)を作成し、相関関係の崩れがあると異常と判定するシステムを開示する。非特許文献1のメトリック駆動型開発(Metric Driven Development)に関する記事は、サービスの良否や改善の効果を把握するため、様々な計測項目を使って、サービス利用状況を実測することを開示する。
Mantas Klasavicius メトリック駆動型開発(Metric Driven Development) https://www.infoq.com/articles/metrics-driven-development Nov 30, 2012 平成29年1月4日検索
特許文献1のシステムは、サービスと関連システム間のあらゆる監視項目に対して、一定期間の監視結果をもとに、相関関係性を検出する。しかし、短サイクルでサービスとそれに関連してシステム構成変更が発生すると、相関関係性の定義が困難になる。
非特許文献1のメトリック駆動型開発は、短期間で様々なサービスが追加、更新されるため、新たな計測項目が次々と追加され、次第に計測項目数が爆発し、計測コストがかさむようになる。このため、計測項目の要否を判定し、不要な計測項目は測定から除外することが求められる。
さらに、サービス開発担当者が、各自で多種多様な計測を行うことで、サービス毎に運用方法や分析方法が異なるため、個別最適化が進んでしまう。これより、統合運用が困難になってしまう。
本発明は、サービス良否や改善効果の測定に使われる計測項目の最適化を図ることを目的とする。
本願において開示される発明の一側面となる影響分析システム、計測項目最適化方法、および計測項目最適化プログラムは、端末と、前記端末および管理対象システムと通信可能な分析システムと、を有する影響分析システム、計測項目最適化方法、および計測項目最適化プログラムであって、前記分析システムは、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶装置と、を有し、前記プロセッサは、前記管理対象システムが提供するサービス群、前記管理対象システム内で実行されるアプリケーション群、および前記管理対象システムが有するシステムリソース群の各々についてサービスの良否または改善効果を計測するための計測項目とその評価値を管理する計測項目情報を前記記憶装置に定義し、前記端末でのサービス群からのサービスの指定に応じて、前記管理対象システムにアクセスして、前記サービスの計測項目、前記サービスに利用されるアプリケーションの計測項目、および前記サービスに利用されるシステムリソースの計測項目を計測して、計測結果を前記端末に送信して前記端末に表示させ、前記端末からの選択により、前記サービスの計測項目に対して前記アプリケーションの計測項目および前記システムリソースの計測項目の関係性を定義する相関モデルを前記記憶装置に記憶し、前記計測結果と前記相関モデルとを用いて相関分析して前記記憶装置に記憶するとともに、当該相関分析の分析結果を前記端末に送信し、前記分析結果を前記端末に送信した結果、前記サービスの計測項目、前記アプリケーションの計測項目、および前記システムリソースの計測項目から選択された計測項目の評価指示を前記端末から受け付けて、前記計測項目情報内の前記選択された計測項目の評価値を更新する、ことを特徴とする。
本発明の代表的な実施の形態によれば、サービス良否や改善効果の測定に使われる計測項目の最適化を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
図1は、本発明の概要図である。図1では、影響分析システム1を使った処理手順が示される。(1)手順101では、影響分析システム1は、ユーザである開発担当者の操作により計測項目間相関モデル102を定義する。計測項目間相関モデル102は、サービス計測項目Zに対して、アプリケーション計測項目Xとシステムリソース計測項目Yの関係性を定義する相関モデルである。
サービス、アプリケーション、およびシステムリソースは、管理対象システム204における計測対象である。計測項目とは、開発担当者(Development)と運用担当者(Operations)が連携して協力する開発手法である「DevOps」において、必要性が高く、かつ、サービスの良否や改善効果を計測するための項目である。すなわち、計測項目は、計測対象の挙動の種類を示す。サービス計測項目Zには、たとえば、アクセス数がある。アプリケーション計測項目Xには、たとえば、アクセス数、処理時間がある。システムリソース計測項目Yには、たとえば、Wait Time(待ち時間)、ディスクアクセスがある。
(2)手順103では、影響分析システム1は、計測結果を相関分析する。相関分析104は、サービス計測項目Zに対する、アプリケーション計測項目Xとシステムリソース計測項目Yの実測値から、非線形多変量解析により計測項目間の関係性を示す寄与率を求める処理である。
(3)手順105では、影響分析システム1は、各計測項目に対して、相関分析104から得られる寄与率から、計測項目の重要度や不要度を評価する。サービス別計測項目一覧106は、分析対象サービス毎に、サービス計測項目Zに対して、相関分析104により、アプリケーション計測項目Xおよびシステムリソース計測項目Yの寄与率から計測項目の重要度または不要度107を提示する表示情報である。たとえば、「Aサービス」については、サービス計測項目Zの「アクセス数」、アプリケーション計測項目Xの「処理時間」、システムリソース計測項目Yの「Wait Time」が最も重要度が高い計測項目として表示されている。
(4)手順108では、影響分析システム1は、全サービスの計測項目を一元管理し、計測項目の重要度または不要度107の評価結果を集計する。目的別計測項目登録情報109は、複数サービスで使用する計測項目に関する情報を一元化した情報である。目的別計測項目登録情報109に格納される情報は、計測対象であるサービス、アプリケーション、システムリソース毎に、計測目的別に、計測項目、計測手段であるテンプレート、適用例、評価や採用数を含む。
(5)手順110では、影響分析システム1は、計測対象や目的と用途に対して、他サービスの実績に基づく、有用な計測項目を取得する。計測項目検索111は、入力情報112として計測対象と目的を入力すると、出力情報113として、高評価順114に、計測項目と計測手段と適用例と評価や採用数を提示する処理である。
図2は、本発明に関わる、管理系、実行系、および利用するリモートサイトからなる影響分析システム1のシステム構成図200である。実行系は、管理対象システム204と、管理対象システム204を構成するAP(Application)サーバ205、およびDB(DataBase)サーバ206と、を含む。リモートサイトは、ネットワーク207経由で、Webブラウザ209でアクセスする1以上の端末208である。入力情報112は、端末208から入力される。
管理系である分析システム100は、構成管理サーバ201と、監視サーバ202と、影響分析サーバ203と、を含む。構成管理サーバ201には、構成情報定義210、サービス構成情報211、アプリケーション構成情報212、システム構成情報213、構成情報収集214が格納される。監視サーバ202には、サービス監視マネージャ215、サービス監視設定情報216、サービス監視結果217、リソース監視マネージャ218、リソース監視設定情報219、リソース監視結果220、ログ監視マネージャ221、ログ監視設定情報222、およびログ監視結果223が格納される。
影響分析サーバ203には、計測項目管理224、サービス別計測項目管理情報225、目的別計測項目情報226、相関分析227、相関モデル228(図1に示した計測項目間相関モデル102)、および相関分析結果229が格納される。
管理対象システム204を構成するAPサーバ205には、アプリケーションプログラム230、アプリケーションデータ231、アプリケーションログ情報232、サービス監視エージェント233とそのサービス監視結果217、リソース監視エージェント234とそのリソース監視結果220、および、ログ監視エージェント235とそのログ監視結果223が格納される。
管理対象システム204を構成するDBサーバ206には、データベース管理システムDBMS(DataBase Management System)236、開発担当者DB237、DB管理情報238、リソース監視エージェント234とそのリソース監視結果220、および、ログ監視エージェント235とそのログ監視結果223が格納される。
図3は、構成管理サーバ201の構成図である。図3の構成管理サーバ201の、画面表示処理305と構成情報定義210と構成情報収集214の情報処理は、メモリ301、プロセッサ302、記憶装置303、通信インタフェース304からなるハードウェアにより、具体的に実現可能である。
構成情報定義210に含まれる、サービスとアプリケーション間関連情報の登録処理306とサービスとシステム間関連情報の登録処理307は、メモリ301に読み込んだプログラムを、プロセッサ302が情報処理することにより、実現可能である。構成情報収集214に含まれる、構成情報収集方法設定処理308と構成情報収集処理309は、メモリ301に読み込んだプログラムを、プロセッサ302が情報処理することにより、実現可能である。また、記憶装置303には、サービス構成情報211、アプリケーション構成情報212、およびシステム構成情報213が格納される。端末208からWebブラウザ209経由でやりとりされる入出力情報(たとえば、入力情報112および出力情報113)は、通信インタフェース304より入出力される。
図4は、監視サーバ202の構成図である。図2に示した監視サーバ202の、画面表示処理401、サービス監視マネージャ215、リソース監視マネージャ218、ログ監視マネージャ221の情報処理は、メモリ301、プロセッサ302、記憶装置303、通信インタフェース304からなるハードウェアにより、具体的に実現可能である。
サービス監視マネージャ215に含まれる、サービス監視設定・解除処理402、およびサービス監視結果収集処理403は、メモリ301に読み込んだプログラムを、プロセッサ302が情報処理することにより実現可能である。リソース監視マネージャ218に含まれる、リソース監視設定・解除処理404、およびリソース監視結果収集処理405は、メモリ301に読み込んだプログラムを、プロセッサ302が情報処理することにより、実現可能である。ログ監視マネージャ221に含まれる、ログ監視設定・解除処理406、ログ監視結果収集処理407は、メモリ301に読み込んだプログラムを、プロセッサ302が情報処理することにより実現可能である。
また、記憶装置303には、サービス監視設定情報216とサービス監視結果217、リソース監視設定情報219とそのリソース監視結果220、ログ監視設定情報222とそのログ監視結果223が格納される。端末208からWebブラウザ209経由でやりとりされる入出力情報(たとえば、入力情報112および出力情報113)、影響分析サーバ203の計測項目管理224で設定される計測項目管理情報225、相関分析227で使用するサービス監視結果217とリソース監視結果220とログ監視結果223は、通信インタフェース304より入出力される。
図5は、影響分析サーバ203の構成図である。図2に示した影響分析サーバ203の、画面表示処理501、計測項目管理224、相関分析227の情報処理は、メモリ301、プロセッサ302、記憶装置303、通信インタフェース304からなるハードウェアにより、具体的に実現可能である。計測項目管理224に含まれる、計測項目定義処理502、計測項目設定処理503、計測項目評価処理504、および計測項目検索処理505は、メモリ301に読み込んだプログラムを、プロセッサ302が情報処理することにより、実現可能である。相関分析227に含まれる、監視情報取得処理506、相関分析モデル定義処理507、および相関分析処理508は、メモリ301に読み込んだプログラムを、プロセッサ302が情報処理することにより実現可能である。
また、記憶装置303には、サービス別計測項目管理情報225、目的別計測項目情報226、相関モデル228(図1に示した計測項目間相関モデル102)、相関分析結果229が格納される。端末208からWebブラウザ209経由でやりとりされる入出力情報(たとえば、入力情報112および出力情報113)、監視サーバ202のサービス監視設定情報216とリソース監視設定情報219とログ監視設定情報222、サービス監視結果217とリソース監視結果220とログ監視結果223は、通信インタフェース304より入出力される。
図6は、影響分析のためのサーバ間の処理とデータの流れ600を示すシーケンス図である。影響分析のためのサーバ間の処理とデータの流れ600は、端末208、構成管理サーバ201、APサーバ205、監視サーバ202、および影響分析サーバ203間で、各処理のデータの流れを示す。
端末208は、サービス定義情報601を開発担当者の操作により受け付けて構成管理サーバ201に送信する。構成管理サーバ201は、サービス定義情報601を受信した場合、構成情報定義210を実行し、サービス構成情報211を端末208に送信する。構成情報定義210は、サービス定義情報601を定義する処理である。サービス構成情報211は、構成情報定義210が完了したことを示す情報である。
端末208は、収集設定602を開発担当者の操作により受け付けて構成管理サーバ201に送信する。構成管理サーバ201は、収集設定602を受信した場合、構成情報収集214を実行し、システム構成情報213を端末208に送信する。構成情報収集214は、収集設定602にしたがって管理対象システム204からシステム構成情報213を収集する処理である。
端末208は、計測項目情報603を開発担当者の操作により受け付けて影響分析サーバ203に送信する。影響分析サーバ203は、計測項目情報603を受信した場合、影響分析サーバ203内の計測項目定義処理502を実行し、サービス別計測項目定義情報225を端末208に送信する。計測項目定義処理502は、計測項目情報603に含まれる計測項目を定義する処理である。サービス別計測項目定義情報225は、計測項目定義処理502が完了したことを示す情報である。
端末208は、計測項目設定情報604を開発担当者の操作により受け付けて影響分析サーバ203に送信する。影響分析サーバ203は、計測項目設定情報604を受信した場合、計測項目設定処理503を実行する。影響分析サーバ203は、その実行結果として、監視設定情報225を監視サーバ202に送信し、アプリ計測項目225を端末208に送信する。計測項目設定処理503は、監視サーバ202に監視計測項目を設定させ、かつ、アプリ計測項目225を設定する処理である。
監視サーバ202は、監視設定情報225を影響分析サーバ203から受信し、サービス監視設定・解除処理402とリソース監視設定・解除処理404とログ監視設定・解除処理406とを実行する。監視サーバ202は、それらの実行結果として、サービス監視設定情報216とリソース監視設定情報219とログ監視設定情報222を監視設定項目として端末208に送信する。
端末208は、開発担当者の操作により、影響分析サーバ203からのアプリ計測項目225に関するアプリ計測コード605を、APサーバ205内のアプリケーションプログラム230に挿入し、計測コード付きアプリケーションプログラム230として保持する。APサーバ205は、計測コード付きアプリケーションプログラム230が生成されたことを示す情報を端末208に返す。
端末208は、分析対象サービス606を開発担当者の操作により受け付けて影響分析サーバ203に送信する。影響分析サーバ203は、分析対象サービス606を受信した場合、影響分析サーバ203内の監視情報取得処理506から、監視サーバ202内のサービス監視結果収集処理403とリソース監視結果収集処理405とログ監視結果収集処理407を実行する。監視サーバ202は、それらの実行結果として、サービス監視結果217とリソース監視結果220とログ監視結果223を端末208に送信する。
端末208は、相関モデル定義情報607を開発担当者の操作により受け付けて影響分析サーバ203に送信する。影響分析サーバ203は、相関モデル定義情報607を受信した場合、影響分析サーバ203内の相関分析モデル定義処理507と相関分析処理508を実行し、相関分析結果229を端末208に送信する。
端末208は、計測項目優先度問合せ608を開発担当者の操作により受け付けて影響分析サーバ203に送信する。影響分析サーバ203は、計測項目優先度問合せ608を受信した場合、計測項目評価処理504を実行する。影響分析サーバ203は、その実行結果として、評価結果の計測項目管理情報225を端末208に送信する。
端末208は、計測項目設定変更情報609を開発担当者の操作により受け付けて影響分析サーバ203に送信する。影響分析サーバ203は、計測項目設定変更情報609を受信した場合、影響分析サーバ203内の計測項目設定処理503を実行する。影響分析サーバ203は、その実行結果として、監視設定情報225を監視サーバ202に出力し、アプリ計測項目225を端末208に送信する。
監視サーバ202は、上記出力結果の監視設定情報225を影響分析サーバ203から受信し、サービス監視設定・解除処理402とリソース監視設定・解除処理404とログ監視設定・解除処理406を実行する。監視サーバ202は、それらの実行結果として、サービス監視設定情報216とリソース監視設定情報219とログ監視設定情報222を監視設定項目として端末208に送信する。
端末208は、計測コード見直し情報610を開発担当者の操作により受け付けてAPサーバ205に送信する。APサーバ205は、APサーバ205内のアプリケーションプログラム230のコードを修正し、計測コード変更後のアプリケーションプログラム230を保持する。
図7は、計測項目検索のためのサーバ間の処理とデータの流れ700を示すシーケンス図である。計測項目検索のためのサーバ間の処理とデータの流れ700は、端末208、構成管理サーバ201、APサーバ205、監視サーバ202、および影響分析サーバ203間で、各処理のデータの流れを示す。
端末208は、サービス定義情報701を開発担当者の操作により受け付けて構成管理サーバ201に送信する。構成管理サーバ201は、サービス定義情報701を受信した場合、構成情報定義210を実行し、サービス構成情報211を端末208に送信する。構成情報定義210は、サービス定義情報701を定義する処理である。サービス構成情報211は、構成情報定義210が完了したことを示す情報である。
端末208は、収集設定702を開発担当者の操作により受け付けて構成管理サーバ201に送信する。構成管理サーバ201は、収集設定702を受信した場合、構成情報収集214を実行し、システム構成情報213を端末208に送信する。構成情報収集214は、収集設定702にしたがって管理対象システム204からシステム構成情報213を収集する処理である。
端末208は、計測項目検索情報703を開発担当者の操作により受け付けて影響分析サーバ203に送信する。影響分析サーバ203は、計測項目検索情報703を受信した場合、影響分析サーバ203内の計測項目検索処理505を実行する。影響分析サーバ203は、その実行結果として、高評価計測項目226を端末208に送信する。計測項目検索処理505は、検索条件である計測項目検索情報703に従って計測項目を検索する処理である。高評価計測項目226は、計測項目検索処理505の検索結果である。
端末208は、計測項目設定情報704を開発担当者の操作により受け付けて影響分析サーバ203に送信する。影響分析サーバ203は、計測項目設定情報704を受信した場合、計測項目設定処理503を実行する。影響分析サーバ203は、その実行結果として、アプリ計測項目225を端末208に送信し、監視設定情報225を監視サーバ202に送信する。
端末208は、開発担当者の操作により、影響分析サーバ203からのアプリ計測項目225に関するアプリ計測コード605を、APサーバ205内のアプリケーションプログラム230に挿入し、計測コード付きアプリケーションプログラム230として保持する。APサーバ205は、計測コード付きアプリケーションプログラム230が生成されたことを示す情報を端末208に返す。
監視サーバ202は、上記出力結果の監視設定情報225を影響分析サーバ203から受信し、サービス監視設定・解除処理402とリソース監視設定・解除処理404とログ監視設定・解除処理406を実行する。監視サーバ202は、それらの実行結果として、サービス監視設定情報216とリソース監視設定情報219とログ監視設定情報222を監視設定項目として端末208に送信する。
図8は、サービス構成情報211、アプリケーション構成情報212、およびシステム構成情報213の内容を示す説明図である。サービス構成情報211は、サービスの構成に関する情報であり、サービス801、アプリケーショングループ803、およびサーバグループ805からなる。サービス801は、サービスID802を格納する。アプリケーショングループ803は、アプリケーショングループID804を格納する。サーバグループ805は、サーバグループID806を格納する。
アプリケーション構成情報212は、アプリケーションの構成に関する情報であり、アプリケーショングループ803、およびアプリケーション807からなる。アプリケーショングループ803は、アプリケーショングループID804を格納する。アプリケーション807は、アプリケーションID808を格納する。
システム構成情報213は、システムリソースの構成に関する情報であり、サーバグループ805、およびサーバ809からなる。サーバグループ805は、サーバグループID806を格納する。サーバ809は、サーバID810を格納する。このように、計測項目群は一元管理され、複数のサービスに共用される計測項目も存在する。したがって、複数のサービスのいずれかで使用実績があれば、有用な計測項目として検索される。
図9は、サービス別計測項目情報225を示す説明図である。サービス別計測項目情報225は、サービス別サービス計測項目情報901、サービス別アプリケーション計測項目情報902、およびサービス別システムリソース計測項目情報903に分類される。
サービス別サービス計測項目情報901は、サービスID802、監視エージェント913、計測項目905(サービス計測項目)、ログファイル906、イベントID907、およびメッセージフォーマット908からなる。
サービス別アプリケーション計測項目情報902は、アプリケーションID808、モジュールID909、監視エージェント913、計測項目905(アプリケーション計測項目)、ログファイル906、イベントID907、およびメッセージフォーマット908からなる。
サービス別システムリソース計測項目情報903は、サーバグループID806、サーバID810、監視エージェント913、オブジェクト904、および計測項目905(システムリソース計測項目)からなる。
図10は、目的別計測項目情報226を示す説明図である。目的別計測項目情報226は、計測対象別に目的別サービス計測項目情報1001、目的別アプリケーション計測項目情報1002、および目的別システムリソース計測項目情報1003に分類される。目的別サービス計測項目情報1001は、目的とサービス計測項目情報1004からなる。目的別アプリケーション計測項目情報1002は、目的とアプリケーション計測項目情報1005からなる。目的別システムリソース計測項目情報1003は、目的とシステムリソース計測項目情報1006からなる。
サービス計測項目情報1004、アプリケーション計測項目情報1005、およびシステムリソース計測項目情報1006は、計測項目905、計測方法1007、計測結果取得方法1008、計測結果1009、適用例1010、および評価1011からなる。
図11は、構成管理サーバ201内の、構成情報定義210と構成情報収集214の処理の流れを示すフローチャートである。構成管理サーバ201は、構成情報定義210では、第1ステップのサービスとアプリケーション間関連情報の登録処理306で、サービス構成情報211を入力し、サービス内部アプリケーション取得処理1101と、アプリケーション内部のモジュール取得処理1102とを実行し、結果をサービス構成情報211およびアプリケーション構成情報212に格納する。
構成管理サーバ201は、第2ステップのサービスとシステム間関連情報の登録処理307で、サービス構成情報211を入力し、サービスと関連するシステム定義処理1103と、システムを構成するサーバグループ設定処理1104とを実行し、結果をサービス構成情報211およびシステム構成情報213に格納する。
構成管理サーバ201は、構成情報収集214では、第1ステップの構成情報収集方法設定処理308で、システム構成情報213を入力し、管理対象システム204を構成するサーバグループ指定処理1105を実行する。
構成管理サーバ201は、第2ステップの構成情報収集処理309で、第1ステップで指定されたサーバグループ内のサーバ内部情報収集処理1106を実行し、結果をシステム構成情報213に格納する。
図12は、監視サーバ202内のサービス監視マネージャ215、リソース監視マネージャ218、およびログ監視マネージャ221での、監視設定・解除処理および情報収集処理の流れを示すフローチャートである。監視サーバ202は、サービス監視マネージャ215において、サービス監視設定・解除処理402では、サービス監視設定情報216を入力し、サービス監視エージェントに対して、計測項目に対するログ情報の監視設定、または監視解除処理1201を実行し、結果をサービス監視設定情報216に格納する。
監視サーバ202は、サービス監視結果収集処理403では、サービス監視結果217を入力し、第1ステップでサービス監視エージェント233に対して、収集対象ログ情報と期間指定処理1202を実行し、第2ステップで、前記指定に従って、収集したサービス監視結果表示処理1203を実行する。
監視サーバ202は、リソース監視マネージャ218において、リソース監視設定・解除処理404では、リソース監視設定情報219を入力し、リソース監視エージェントに対して、監視項目に対する監視設定、または監視解除処理1204を実行し、結果をリソース監視設定情報219に格納する。
監視サーバ202は、リソース監視結果収集処理405では、リソース監視結果220を入力し、第1ステップで、リソース監視エージェント234に対して、収集対象情報と期間指定処理1205を実行し、第2ステップで、前記指定に従って、収集したリソース監視結果表示処理1206を実行する。
監視サーバ202は、ログ監視マネージャ221において、ログ監視設定・解除処理406では、ログ監視設定情報222を入力し、ログ監視エージェント235に対して、計測項目に対するログ情報の監視設定、または監視解除処理1207を実行し、結果をログ監視設定情報222に格納する。
監視サーバ202は、ログ監視結果収集処理407では、ログ監視結果223を入力し、第1ステップで、ログ監視エージェント235に対して、収集対象ログ情報と期間指定処理1208を実行し、第2ステップで、前記指定に従って、収集したログ監視結果表示処理1209を実行する。
図13は、影響分析サーバ203内の、計測項目管理224と相関分析227の流れを示すフローチャートである。影響分析サーバ203は、計測項目管理224では、第1ステップの計測項目定義処理502で、計測対象(サービス、アプリケーション、システムリソース)別に、計測項目と計測方法定義処理1301を実行し、サービス別計測項目管理情報225に格納する。
影響分析サーバ203は、第2ステップの計測項目設定処理503で、サービス別計測項目管理情報225とサービス構成情報211を入力し、計測対象別に、サービス構成要素に計測項目を登録する処理1302、計測項目の登録先アプリプログラム内に計測コードを挿入し、ログ監視サーバに計測結果の取得方法を設定する処理1303、および、監視サーバに、監視対象と監視項目を設定する処理1304を実行する。影響分析サーバ203は、それらの結果をサービス監視設定情報216、リソース監視設定情報219、およびログ監視設定情報222に格納する。
影響分析サーバ203は、相関分析227では、第1ステップの監視情報取得処理506で、サービス監視結果217とリソース監視結果220とログ監視結果223を入力し、分析対象サービスの監視結果の取得と表示処理1305を実行する。影響分析サーバ203は、第2ステップの相関分析モデル定義処理507で、サービス別計測項目管理情報225を入力し、計測対象別に、相関分析対象の計測項目選択処理1306を実行し、結果を相関モデル228に格納する。影響分析サーバ203は、第3ステップの相関分析処理508で、相関モデル228を入力し、計測対象間で相関分析処理1307を実行し、相関分析結果229に格納する。
影響分析サーバ203は、引き続き、計測項目管理224では、第1ステップの計測項目評価処理504で、相関分析結果229を入力し、計測項目の寄与率を登録および更新する処理1308を実行し、サービス別計測項目管理情報225と目的別計測項目情報226に格納する。影響分析サーバ203は、第2ステップの計測項目検索処理505で、目的別計測項目管理情報を入力し、計測項目に応じて、高評価の計測項目提示処理1309を実行する。相関分析227で使用する計算式の一例が下記式(1)である。
上記式(1)において、nは、アプリケーション計測項目Xの項目数で、1≦i≦nを満たす整数である。mは、システムリソース計測項目Yの項目数であり、1≦j≦mを満たす整数である。Zkは、サービス計測項目Zの実測値を正規化した値である。Xiは、アプリケーション計測項目Xの実測値を正規化した値である。Yjは、システムリソース計測項目Yの実測値を正規化した値である。Aiは、サービス計測項目Zに対するアプリケーション計測項目Xの寄与率である。Rjは、サービス計測項目に対するシステムリソース計測項目Yの寄与率である。
図14〜図19は、影響分析サーバ203にインストールされた計測項目管理224と相関分析227の画面表示処理501で実行され、端末208のWebブラウザ209上で表示する影響分析サーバ203からの管理画面である。
図14は、計測項目検索画面1400の一例を示す説明図である。計測項目検索画面1400は、開発担当者が指定したサービスに対して、計測対象期間を指定して、計測目的に応じた計測項目を検索する画面である。図14において、白抜き文字で示されるオブジェクトは、ユーザ操作で選択されたことを示す(図15〜図19も同様)。
端末208は、開発担当者の操作により、サービス一覧1401から、計測対象サービスを選択する。端末208は、開発担当者の操作により、指定期間1402、開始時刻1403、終了時刻1404で計測対象期間を指定する。トポロジー表示1405は、トポロジー情報Tを表示する領域である。トポロジー情報Tは、サービス内部構成情報と、構成要素に対する計測項目一覧と、構成要素を監視する監視エージェントと、を含む。具体的には、たとえば、トポロジー情報Tは、サービスごとに、所属するアプリケーションとシステムリソースと、サービス、アプリケーション、およびシステムリソースの各計測項目一覧を階層化した構造情報である。
なお、影響分析サーバ203は、あらかじめ、サービス構成情報211、アプリケーション構成情報212、およびシステム構成情報213を用いて、サービスごとに、トポロジー情報Tを生成しておき、記憶装置303に格納し、端末208からの要求により端末208に送信する。これにより、端末208は、Webブラウザ209でトポロジー情報Tを表示することができる。サービス構成情報211、アプリケーション構成情報212、およびシステム構成情報213と、トポロジー情報Tと、を別々に保存することで、オリジナルデータであるサービス構成情報211、アプリケーション構成情報212、およびシステム構成情報213を保持しておくことができる。
検索メニュー1406には、計測対象であるサービス、アプリケーション、システム別に、計測目的一覧(メニュー)が表示される。開発担当者が、計測対象と目的を選択し、検索ボタン1407をクリックすると、影響分析サーバ203が、検索ボタン1407に対応する計測対象(たとえば、「サービス」)および目的(たとえば、「サービス利用」)についての計測項目の検索を開始する。各検索結果は、計測項目一覧1408において、サービス計測項目1409、アプリケーション計測項目1410、システムリソース計測項目1411に表示される。
図15は、計測項目定義・登録画面1500の一例を示す説明図である。計測項目定義・登録画面1500は、開発担当者が指定したサービスに対して、計測対象期間を指定して、計測対象であるサービス、アプリケーション、システムリソースに対して、計測項目を定義し、登録する画面である。
開発担当者は、端末208を操作することにより、サービス一覧1501から、計測対象サービスを選択する。開発担当者は、端末208を操作することにより、指定期間1502、開始時刻1503、終了時刻1504で計測対象期間を指定する。トポロジー表示1505は、トポロジー情報Tを表示する領域である。
計測項目一覧1506のサービス計測項目1507、アプリケーション計測項目1508、およびシステムリソース計測項目1509の各々に対して、開発担当者が、トポロジー情報Tのサービス内部構成要素から登録先となる計測項目一覧を選択し、対応する登録ボタン1510をクリックする。これにより、端末208は、トポロジー表示1505において、対応する計測項目一覧に、登録対象である計測項目をトポロジー情報Tに登録する。また、これに連動して、端末208は、登録対象である計測項目をトポロジー情報Tに登録したことを示す情報を影響分析サーバ203に通知する。当該通知を受けて、影響分析サーバ203は、登録対象である計測項目を、影響分析サーバ203に格納されているトポロジー情報T内の登録先に登録する。
たとえば、開発担当者が、トポロジー情報Tのサービス内部構成要素から登録先として、「サービス1」を選択し、登録ボタン1510をクリックする。これにより、端末208は、トポロジー情報Tにおいて、「サービス1」につながっている計測項目一覧L1に、登録対象計測項目である「アクセス数」を登録する。また、これに連動して、影響分析サーバ203は、登録対象計測項目である「アクセス数」を、影響分析サーバ203に格納されているトポロジー情報Tにおいて、「サービス1」につながっている計測項目一覧L1に、登録対象計測項目である「アクセス数」を登録する。
同様に、計測項目を新規定義する場合は、開発担当者は、計測項目一覧1506のサービス計測項目1507、アプリケーション計測項目1508、システムリソース計測項目1509に、計測項目情報を入力し、新規ボタン1511をクリックする。これにより、端末208は、トポロジー表示1505において、対応する計測項目一覧に、新規定義対象である計測項目をトポロジー情報Tに登録する。また、これに連動して、端末208は、登録対象である計測項目をトポロジー情報Tに新規定義したことを示す情報を影響分析サーバ203に通知する。当該通知を受けて、影響分析サーバ203は、新規定義対象である計測項目を、影響分析サーバ203に格納されているトポロジー情報T内の登録先に登録する。
たとえば、開発担当者が、トポロジー情報Tのサービス内部構成要素から登録先として、「アプリ1−1」(アプリケーション1のモジュール1の意味)を選択し、新規ボタン1511をクリックする。これにより、端末208は、トポロジー情報Tにおいて、「アプリケーション1」の「モジュール1」につながっている計測項目一覧L2に、新規定義対象計測項目である「クエリ処理負荷」を登録する。また、これに連動して、影響分析サーバ203は、新規定義対象計測項目である「クエリ処理負荷」を、影響分析サーバ203に格納されているトポロジー情報Tにおいて、「アプリケーション1」の「モジュール1」につながっている計測項目一覧L2に、新規定義対象計測項目である「クエリ処理負荷」を登録する。
図16は、監視結果表示画面1600の一例を示す説明図である。監視結果表示画面1600は、開発担当者が指定したサービスに対して、分析対象期間を指定して、計測対象であるサービス、アプリケーション、システムリソースに対して、監視結果を表示する画面である。
開発担当者は、端末208を操作することにより、サービス一覧1601から、計測対象サービスを選択する。開発担当者は、端末208を操作することにより、指定期間1602、開始時刻1603、終了時刻1604で計測対象期間を指定する。トポロジー表示1605は、トポロジー情報Tを表示する領域である。
計測項目一覧1606のサービス計測項目1607、アプリケーション計測項目1608、およびシステムリソース計測項目1609の各々に対して、開発担当者が、トポロジー情報Tのサービス内部構成要素から監視結果を表示する計測項目を選択し、対応する表示ボタン1610をクリックする。これにより、影響分析サーバ203は、表示対象である計測項目のログデータを端末208に送信する。端末208は、影響分析サーバ203からログデータを受信して、Webブラウザ209により、グラフ表示1611に表示対象である計測項目のログデータの経時的なグラフを表示する。
図17は、分析結果表示画面1700の一例を示す説明図である。分析結果表示画面1700は、開発担当者が指定したサービスに対して、分析期間を指定して、サービス、アプリケーション、システムリソースに対する計測項目から、分析モデルを定義し、分析結果を表示する画面である。
開発担当者は、端末208を操作することにより、サービス一覧1701から、計測対象サービスを選択する。開発担当者は、端末208を操作することにより、指定期間1702、開始時刻1703、終了時刻1704で計測対象期間を指定する。トポロジー表示1705は、トポロジー情報Tを表示する領域である。
計測項目一覧1706のアプリケーション計測項目1708、およびシステムリソース計測項目1709の各々に対して、開発担当者が、トポロジー表示1705のサービス内部構成要素から、分析モデルの定義に加える計測項目を選択し、モデルボタン1710をクリックする。これにより、影響分析サーバ203は、上記式(1)を用いて、選択した計測項目について相関分析227を実行し、相関分析結果229を端末208に送信する。端末208は、Webブラウザ209により、分析結果1712に相関分析結果229を示すグラフを表示する。
図18は、計測項目評価登録画面1800の一例を示す説明図である。計測項目評価登録画面1800は、開発担当者が指定したサービスに対して、分析期間を指定して、サービス、アプリケーション、システムリソースに対する計測項目について、分析結果に基づく評価を登録する画面である。開発担当者は、端末208を操作することにより、指定期間1802、開始時刻1803、終了時刻1804で計測対象期間を指定する。トポロジー表示1805は、トポロジー情報Tを表示する領域である。
計測項目一覧1806のサービス計測項目1807、アプリケーション計測項目1808、システムリソース計測項目1809の各々に対して、開発担当者が、トポロジー表示1805のサービス内部構成要素から、評価登録する計測項目を選択し、評価ボタン1810をクリックする。これにより、端末208は、評価登録する計測項目を示す情報を影響分析サーバ203に送信する。影響分析サーバ203は、当該情報を受信すると、図10に示した評価登録する計測項目905のエントリを目的別計測項目情報から特定し、特定したエントリの評価1011を更新する。評価1011の値が、評価回数であれば、影響分析サーバ203は、当該評価回数をインクリメントする。評価1011の値が、割合(パーセント)であれば、評価登録する計測項目905のインクリメント後の評価回数を、インクリメント後の全計測項目の合計評価回数で除算することで、割合を算出する。
図19は、計測項目更新画面1900の一例を示す説明図である。計測項目更新画面1900は、開発担当者が指定したサービスに対して、分析期間を指定して、サービス、アプリケーション、システムリソースに対する計測項目について、分析結果に基づいて、計測項目を更新する画面である。開発担当者は、端末208を操作することにより、指定期間1902、開始時刻1903、終了時刻1904で計測対象期間を指定する。トポロジー表示1905は、トポロジー情報Tを表示する領域である。
計測項目一覧1906のサービス計測項目1907、アプリケーション計測項目1908、およびシステムリソース計測項目1909に対して、開発担当者が、トポロジー表示1905のサービス内部構成要素(計測項目一覧)から、削除する計測項目を選択し、削除ボタン1910をクリックする。端末208は、削除ボタン1910がクリックされた計測項目を、トポロジー情報Tのサービス内部構成要素(計測項目一覧)から削除する。また、これに連動して、端末208は、削除ボタン1910がクリックされた計測項目を示す情報を、影響分析サーバ193に送信する。影響分析サーバ203は、トポロジー情報Tのサービス内部構成要素(計測項目一覧)から、削除ボタン1910がクリックされた計測項目を削除することで、記憶装置303内のトポロジー情報Tを更新する。
このように、上述した影響分析サーバ203は、サービス開発の影響や効果を測定するため、サービス、アプリケーション、およびシステムリソースの3つの観点で、計測項目を定義し、計測し、計測した結果を収集する。影響分析サーバ203は、収集結果から、サービス開発に対する影響を分析する。影響分析サーバ203は、分析の結果、影響度に応じた計測項目の寄与率から、計測項目の重要度や不要な計測項目を端末208に提示する。さらに、影響分析サーバ203は、複数サービスで使用される計測項目を一元管理し、各サービスに対する影響分析の結果、計測項目の寄与率に基づく評価を累積する。開発担当者は、他サービスで使用実績のある有用な計測項目を、上記評価結果から検索して利用できるようにする。
したがって、影響分析サーバ203は、計測項目に優先度(たとえば、寄与率)を付与することで、取得する測定項目を絞ったり、ダッシュボードに表示する少数の測定項目を決定することができる。また、複数サービスで共通の計測項目を使用することで、開発担当者は、サービス間で分析ノウハウを共有することができる。
ここで、ユーザである開発担当者が利用する計測項目数の増加を抑制し、開発および運用の効率化を図るための処理手順について、図20〜図22を用いて具体的に説明する。
図20は、影響分析サーバ203と端末208との間で実行される計測項目の検索処理手順の一例を示すシーケンス図である。端末208は、計測項目検索画面1400を影響分析サーバ203に要求する(ステップS2001)。影響分析サーバ203は、当該画面要求に応じて計測項目検索画面情報を端末208に送信する(ステップS2002)。端末208は、計測項目検索画面情報を受信して、Webブラウザ209により計測項目検索画面1400を表示する(ステップS2003)。
端末208は、開発担当者の操作により、計測対象サービスをサービス一覧1401から指定して、計測対象サービスIDを影響分析サーバ203に送信する(ステップS2004)。影響分析サーバ203は、計測対象サービスIDを受信して、当該サービスIDで特定されるサービスのトポロジー情報Tを影響分析サーバ203の記憶装置303から取得する(ステップS2006)。影響分析サーバ203は、取得したトポロジー情報Tを端末208に送信する(ステップS2007)。
端末208は、影響分析サーバ203からのトポロジー情報Tを受信して、トポロジー表示1405に表示する(ステップS2008)。端末208は、開発担当者の操作により、検索メニュー1406から検索対象となる計測項目の検索ボタン1407を押下することで、検索対象を選択する(ステップS2009)。端末208は、検索メニュー1406において選択した計測項目および目的を示す検索要求を送信する(ステップS2010)。検索要求には、指定期間1502、開始時刻1503および終了時刻1504が含まれてもよい。
影響分析サーバ203は、検索要求に含まれる計測項目および目的に基づいて検索する(ステップS2011)。具体的には、たとえば、影響分析サーバ203は、検索要求として選択された計測項目の種類が、サービス計測項目である場合、目的に対応するサービス計測項目情報1004を、目的別サービス計測項目情報1001から検索する。また、影響分析サーバ203は、検索要求として選択された計測項目の種類が、アプリケーション計測項目である場合、目的に対応するアプリケーション計測項目情報1005を、目的別アプリケーション計測項目情報1002から検索する。また、影響分析サーバ203は、検索要求として選択された計測項目の種類が、システム計測項目である場合、目的に対応するシステムリソース計測項目情報1006を、目的別システムリソース計測項目情報1003から検索する。
影響分析サーバ203は、ステップS2011での検索結果を端末208に送信する(ステップS2012)。端末208は、検索結果を受信して、計測項目検索画面1400の計測項目一覧1506に検索結果を表示する(ステップS2013)。検索結果を表示する場合、端末208は、たとえば、評価値の高い順(または低い順)に計測項目のエントリを表示してもよい。
図21は、影響分析サーバ203と端末208との間で実行される計測項目の登録処理手順例を示すシーケンス図である。端末208には、図15に示した計測項目定義・登録画面1500が表示されている。端末208は、開発担当者の操作により、登録先を選択する(ステップS2101)。具体的には、たとえば、端末208は、開発担当者の操作により、計測項目一覧1506のいずれかの登録ボタン1510を押下することで、対応する登録先となるサービス、アプリケーション、およびシステムリソースのいずれかの計測対象を選択する。
端末208は、登録先の選択により、対応する計測項目をトポロジー表示1505に表示されているトポロジー情報Tの計測項目一覧に登録する(ステップS2102)。具体的には、たとえば、端末208は、登録先として「AP1−1」が選択された場合、トポロジー情報Tの「アプリケーション1」の下位階層の「モジュール1」(AP1−1)につながっている計測項目一覧L2に、計測項目として「処理時間」を登録する。
また、新規登録をする場合、端末208は、登録先の選択により、入力済みの新規の計測項目をトポロジー情報Tの計測項目一覧に登録する(ステップS2103)。具体的には、たとえば、端末208は、新規ボタン1511を押下した場合、登録先は「AP1−1」になるため、トポロジー情報Tの「アプリケーション1」の下位階層の「モジュール1」(AP1−1)につながっている計測項目一覧L2に、計測項目として「処理負荷」を登録する。
端末208は、計測項目を登録した場合、トポロジー情報Tの更新要求を影響分析サーバ203に送信する(ステップS2104)。更新要求は、登録または新規登録した計測項目とトポロジー情報Tでの登録位置を示す位置情報とを含む。影響分析サーバ203は、更新要求を受信して、端末208での登録(ステップS2102、S2103)と同様に、記憶装置303に格納されているトポロジー情報Tを更新する(ステップS2105)。
また、端末208は、計測項目を新規登録した場合、当該エントリに入力済みの計測結果取得方法(たとえば、ログ監視エージェントで処理負荷のログデータを取得する方法を示す情報)を監視サーバ202に送信する(ステップS2106)。監視サーバ202は、計測結果取得方法を受信して、ログ監視エージェントで管理対象システム204の処理負荷のログデータを取得するように設定する(ステップS2107)。
また、端末208は、計測項目を新規登録した場合、当該エントリに入力済みの計測コード(たとえば、処理負荷を計測してログデータとして出力するプログラムコード)を監視サーバ202に送信する(ステップS2108)。管理対象システム204のAPサーバ411は、計測コードを受信して、計測コードを実行可能に設定する(ステップS2109)。これにより、管理対象システム204は、処理負荷を計測することができ、監視サーバ202は、処理負荷の計測結果を管理対象システム204から取得することができる。
図22は、影響分析サーバ203と端末208との間で実行される計測項目の評価およびトポロジー表示からの削除処理手順例を示すシーケンス図である。管理対象システム204は、計測コードで計測した各種ログデータを常時監視サーバ202に送信する(ステップS2201)。
端末208は、開発担当者の操作により、分析対象サービスのサービスIDを指定して監視要求を影響分析サーバ203に送信する(ステップS2202)。影響分析サーバ203は、監視要求を受信すると、当該サービスIDに対応するアプリケーショングループID803およびサーバグループID806をサービス構成情報211から特定し、当該アプリケーショングループID803に対応するアプリケーションID808をアプリケーション構成情報212から特定し、当該サーバグループID806に対応するサーバID809をシステム構成情報213から特定する。そして、影響分析サーバ203は、特定したアプリケーションID808およびサーバID809を含む監視指示を監視サーバ202に送信する(ステップS2203)。監視指示には、分析対象サービスのトポロジー情報Tが含まれる。
監視サーバ202は、受信した監視指示に含まれるサーバID809で特定されるサーバ内のアプリケーションID808のアプリケーションが出力したログデータを、設定済みの監視結果取得方法で、ステップS2201で受信済みのログデータから監視結果として取得する(ステップS2204)。監視サーバ202は、取得した監視結果を分析対象サービスのトポロジー情報Tとともに、監視要求をした端末208に送信する(ステップS2205)。
端末208は、監視結果を受信して、監視結果表示画面1600のグラフ表示1611に表示する(ステップS2206)。また、端末208は、監視結果表示画面1600のトポロジー表示1605にトポロジー情報Tを表示する。また、端末208は、開発担当者の操作により、分析対象の計測項目を含む分析要求を影響分析サーバ203に送信する(ステップS2207)。具体的には、たとえば、端末208は、分析結果表示画面1700において、いずれかのモデルボタン1710を押下することで、押下したモデルボタン1710に対応する計測項目で構成される相関モデルを、分析要求として影響分析サーバ203に送信する(ステップS2207)。
影響分析サーバ203は、端末208から分析要求を受信して、上記式(1)を用いて、分析要求に含まれる相関モデルについて相関分析227を実行して、相関分析結果229の一例として寄与率を得る(ステップS2208)。
影響分析サーバ203は、相関分析結果229を端末208に送信する(ステップS2209)。端末208は、影響分析サーバ203から相関分析結果229を受信して、分析結果表示画面1700の計測項目一覧1706に寄与率を表示する(ステップS2210)。
端末208は、開発担当者の操作により、評価対象となる計測項目を選択する(ステップS2211)。具体的には、たとえば、端末208は、開発担当者の操作により、図18に示したように、開発担当者が評価ボタン1810を押下することで、対応する計測項目を評価対象として選択する。端末208は、選択した計測項目を評価対象として影響分析サーバ203に送信する(ステップS2212)。
影響分析サーバ203は、評価対象である選択計測項目を受信し、目的別サービス計測項目情報1001〜目的別システムリソース計測項目情報1003にアクセスして、当該計測項目の評価1011の値を更新する(ステップS2213)。具体的には、たとえば、選択計測項目がアプリケーションの計測項目905である場合、影響分析サーバ203は、目的別アプリケーション計測項目情報1002にアクセスして、選択したアプリケーションの計測項目905の評価1011の値を1つカウントアップする。
また、端末208のユーザがトポロジー表示1905に表示されているトポロジー情報T内の計測項目を削除したい場合、端末208は、開発担当者の操作により、削除対象の計測項目をトポロジー情報Tから選択する(ステップS2214)。具体的には、たとえば、端末208は、開発担当者の操作により、図19に示したように、開発担当者が削除ボタン1910を押下することで、当該計測項目をトポロジー情報Tから削除する。そして、端末208は、削除対象の計測項目を示す情報を影響分析サーバ203に送信する(ステップS2215)。
影響分析サーバ203は、削除対象の計測項目を示す情報を端末208から受信し、記憶装置303内のトポロジー情報Tにアクセスして、当該削除対象の計測項目をトポロジー情報Tから削除する(ステップS2216)。これにより、以降、トポロジー情報Tが端末208で表示される場合、当該計測項目は、いずれの端末208でも表示されない。なお、図21において、削除された計測項目が再度計測項目一覧に登録された場合(ステップS2102)、影響分析サーバ203は、記憶装置303内のトポロジー情報Tにアクセスして、当該計測項目を追加する(ステップS2104、S2105)。
このように、本実施例によれば、計測項目に関する評価値を提示することで、各ユーザにとって好適な計測項目への評価を促すことができる。これにより、計測項目の検索時において、評価値の高い計測項目を優先的に提示することができる。また、優先的に提示された計測項目のトポロジー情報Tへの登録や削除を促すことにより、ユーザ全体にとって好適なトポロジー情報Tを構築することができる。
また、評価値を導入することで評価値の高い計測項目が優先的に検索し、かつ、ユーザに提示する計測項目数の低減化を図ることができる。また、評価値の高い計測項目は複数のサービスで利用されるため、サービス間で分析ノウハウを共有することができる。またこれにより、サービスごとのトポロジー情報T間で計測項目が共有されるため、統合的な運用が可能となる。
以上説明したように、本実施例の分析システム100は、管理対象システム204が提供するサービス、管理対象システム204内で実行されるアプリケーション、および管理対象システム204が有するシステムリソースについて、サービスに利用されるアプリケーションおよびシステムリソースを構成要素としたサービスごとのトポロジー情報Tと、サービスの良否または改善効果を計測するための計測項目とその評価値を管理する計測項目情報(目的別計測項目情報226)と、を記憶装置303に記憶する。
分析システム100は、端末208からのサービスの指定に応じて、管理対象システム204にアクセスして、サービスの計測項目、サービスに利用されるアプリケーションの計測項目、およびサービスに利用されるシステムリソースの計測項目を計測して、計測結果および第1サービスに関するトポロジー情報を端末208に送信する。計測結果およびサービスに関するトポロジー情報は、端末208の監視結果表示画面1600に表示される。
分析システム100は、端末208からの要求に応じて、サービスの計測項目に対してアプリケーションの計測項目およびシステムリソースの計測項目の関係性を相関モデルとして定義し、相関モデルと計測結果とを用いて相関分析して、当該相関分析の当該分析結果(相関分析結果229)を端末に送信する。分析結果およびトポロジー情報は、端末208の分析結果表示画面1700に表示される。
分析システム100は、分析結果を端末208に送信した結果、計測項目評価登録画面1800において、サービスの計測項目、アプリケーションの計測項目、およびシステムリソースの計測項目から選択された計測項目の評価指示を端末208から受け付けて、計測項目情報内の当該選択された計測項目の評価値を更新する。
分析システム100は、サービスについての端末208からの検索要求を受け付けて、検索要求に含まれる検索条件に基づいて計測項目情報を検索して、検索された計測項目およびその評価値を検索結果として端末208に送信する。
分析システム100は、検索結果を端末208に送信した結果、端末208においてトポロジー情報に前記検索された計測項目が追加された場合、端末208からの前記検索された計測項目の追加指示に応じて、記憶装置303に記憶されているそのトポロジー情報に前記検索された計測項目を追加して更新する。
これにより、分析システム100は、計測項目の分析結果を開発担当者に提示して、当該開発担当者にとって好適な計測項目への評価を促すことができる。また、分析システム100は、計測項目の評価値を開発担当者に提示して、たとえば、評価値が相対的または絶対的に高い計測項目を、必要な計測項目としてトポロジー情報Tに追加するように促すことができる。追加後のトポロジー情報Tは、他の開発担当者の端末208に提示される。すなわち、当該追加は、他の開発担当者にも波及するため、必要な計測項目ほど、各開発担当者が着目し、相対的に、他の計測項目よりも優先的に適用されることになる。したがって、必要な計測項目数の減少を抑制することができる。
また、複数のサービスに共通する第2計測項目は、各々のサービスにおいて評価された場合に評価値は累積される。したがって、各開発担当者にとって評価が高い計測項目ほど評価値が高くなる。すなわち、他サービスで使用実績のある有用な計測項目は上記評価結果から検索して利用できるようになる。
また、分析システム100は、端末208の計測項目更新画面1900において削除ボタン1910の押下により、トポロジー情報から選択された計測項目の削除要求を端末208から受け付けた場合、トポロジー情報内の当該計測項目を削除して記憶装置303内で更新する。
これにより、分析システム100は、計測項目の評価値を開発担当者に提示して、たとえば、評価値が相対的または絶対的に低い計測項目を、不要な計測項目としてトポロジー情報Tから削除するように促すことができる。削除後のトポロジー情報Tは、他の開発担当者の端末208に提示される。すなわち、当該削除は、他の開発担当者にも波及するため、不要な計測項目ほど、各開発担当者が着目しなくなり、相対的に、他の計測項目が優先的に適用されることになる。したがって、不要な計測項目数の増加を抑制することができる。
また、一旦、削除された計測項目であっても、開発担当者が必要に応じてトポロジー表示のトポロジー情報Tに追加することにより、分析システム100は、当該計測項目を記憶装置303内のトポロジー情報Tに再度追加する。これにより、他のサービスや他の開発担当者によって有用と判断された計測項目についてはトポロジー表示において再表示され、有用性が見直される契機となる。
分析システム100は、端末208からの検索要求に応じて計測項目を検索するが、評価値の高い順に計測項目を端末208に表示させることで、評価が高い計測項目ほど開発担当者に選択しやすくして、トポロジー情報Tへの追加を優先的に促すことができる。
以上説明したように、分析システム100は、利用する計測項目を最適化することができ、開発および運用の効率化を図ることができる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
Claims (15)
- 端末と、前記端末および管理対象システムと通信可能な分析システムと、を有する影響分析システムであって、
前記分析システムは、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶装置と、を有し、
前記プロセッサは、
前記管理対象システムが提供するサービス群、前記管理対象システム内で実行されるアプリケーション群、および前記管理対象システムが有するシステムリソース群の各々についてサービスの良否または改善効果を計測するための計測項目とその評価値を管理する計測項目情報を前記記憶装置に定義し、
前記端末でのサービス群からのサービスの指定に応じて、前記管理対象システムにアクセスして、前記サービスの計測項目、前記サービスに利用されるアプリケーションの計測項目、および前記サービスに利用されるシステムリソースの計測項目を計測して、計測結果を前記端末に送信して前記端末に表示させ、
前記端末からの選択により、前記サービスの計測項目に対して前記アプリケーションの計測項目および前記システムリソースの計測項目の関係性を定義する相関モデルを前記記憶装置に記憶し、
前記計測結果と前記相関モデルとを用いて相関分析して前記記憶装置に記憶するとともに、当該相関分析の分析結果を前記端末に送信し、
前記分析結果を前記端末に送信した結果、前記サービスの計測項目、前記アプリケーションの計測項目、および前記システムリソースの計測項目から選択された計測項目の評価指示を前記端末から受け付けて、前記計測項目情報内の前記選択された計測項目の評価値を更新する、
ことを特徴とする影響分析システム。 - 請求項1に記載の影響分析システムであって、
前記計測項目は、前記サービス群内の複数のサービスに利用されることを特徴とする影響分析システム。 - 請求項1に記載の影響分析システムであって、
前記記憶装置は、前記サービスに利用される前記アプリケーションおよび前記システムリソースを構成要素とした前記サービスごとのトポロジー情報を記憶しており、
前記端末は、
前記分析システムから前記サービスのトポロジー情報を取得して表示しており、
前記プロセッサは、
前記サービスについての検索要求を前記端末から受け付けて、前記検索要求に含まれる検索条件に基づいて前記計測項目情報を検索して、検索された計測項目およびその評価値を検索結果として前記端末に送信し、
前記検索結果を前記端末に送信した結果、前記端末において前記サービスのトポロジー情報に前記検索された計測項目が追加された場合、前記端末からの前記検索された計測項目の追加指示に応じて、前記記憶装置に記憶されている前記サービスのトポロジー情報に前記検索された計測項目を追加して更新する、
ことを特徴とする影響分析システム。 - 請求項1に記載の影響分析システムであって、
前記記憶装置は、前記サービスに利用される前記アプリケーションおよび前記システムリソースを構成要素とした前記サービスごとのトポロジー情報を記憶しており、
前記端末は、
前記分析システムから前記サービスのトポロジー情報を取得して表示しており、
前記プロセッサは、
前記端末において前記サービスのトポロジー情報から選択された計測項目の削除要求を前記端末から受け付けた場合、前記記憶装置に格納されている前記トポロジー情報内の前記削除要求の対象となる計測項目を削除して前記記憶装置内で更新する、
ことを特徴とする影響分析システム。 - 請求項1に記載の影響分析システムであって、
前記分析結果は、前記サービスの計測項目に対する前記アプリケーションの計測項目の寄与率、および前記システムリソースの計測項目の寄与率である、
ことを特徴とする影響分析システム。 - 端末と、前記端末および管理対象システムと通信可能な分析システムと、を有する影響分析システムによる計測項目最適化方法であって、
前記分析システムは、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶装置と、を有し、
前記プロセッサは、
前記管理対象システムが提供するサービス群、前記管理対象システム内で実行されるアプリケーション群、および前記管理対象システムが有するシステムリソース群の各々についてサービスの良否または改善効果を計測するための計測項目とその評価値を管理する計測項目情報を前記記憶装置に定義し、
前記端末でのサービス群からのサービスの指定に応じて、前記管理対象システムにアクセスして、前記サービスの計測項目、前記サービスに利用されるアプリケーションの計測項目、および前記サービスに利用されるシステムリソースの計測項目を計測して、計測結果を前記端末に送信して前記端末に表示させ、
前記端末からの選択により、前記サービスの計測項目に対して前記アプリケーションの計測項目および前記システムリソースの計測項目の関係性を定義する相関モデルを前記記憶装置に記憶し、
前記計測結果と前記相関モデルとを用いて相関分析して前記記憶装置に記憶するとともに、当該相関分析の分析結果を前記端末に送信し、
前記分析結果を前記端末に送信した結果、前記サービスの計測項目、前記アプリケーションの計測項目、および前記システムリソースの計測項目から選択された計測項目の評価指示を前記端末から受け付けて、前記計測項目情報内の前記選択された計測項目の評価値を更新する、
ことを特徴とする計測項目最適化方法。 - 請求項6に記載の計測項目最適化方法であって、
前記計測項目は、前記サービス群内の複数のサービスに利用されることを特徴とする計測項目最適化方法。 - 請求項6に記載の計測項目最適化方法であって、
前記記憶装置は、前記サービスに利用される前記アプリケーションおよび前記システムリソースを構成要素とした前記サービスごとのトポロジー情報を記憶しており、
前記端末は、
前記分析システムから前記サービスのトポロジー情報を取得して表示しており、
前記プロセッサは、
前記サービスについての検索要求を前記端末から受け付けて、前記検索要求に含まれる検索条件に基づいて前記計測項目情報を検索して、検索された計測項目およびその評価値を検索結果として前記端末に送信し、
前記検索結果を前記端末に送信した結果、前記端末において前記サービスのトポロジー情報に前記検索された計測項目が追加された場合、前記端末からの前記検索された計測項目の追加指示に応じて、前記記憶装置に記憶されている前記サービスのトポロジー情報に前記検索された計測項目を追加して更新する、
ことを特徴とする計測項目最適化方法。 - 請求項6に記載の計測項目最適化方法であって、
前記記憶装置は、前記サービスに利用される前記アプリケーションおよび前記システムリソースを構成要素とした前記サービスごとのトポロジー情報を記憶しており、
前記端末は、
前記分析システムから前記サービスのトポロジー情報を取得して表示しており、
前記プロセッサは、
前記端末において前記サービスのトポロジー情報から選択された計測項目の削除要求を前記端末から受け付けた場合、前記記憶装置に格納されている前記トポロジー情報内の前記削除要求の対象となる計測項目を削除して前記記憶装置内で更新する、
ことを特徴とする計測項目最適化方法。 - 請求項6に記載の計測項目最適化方法であって、
前記分析結果は、前記サービスの計測項目に対する前記アプリケーションの計測項目の寄与率、および前記システムリソースの計測項目の寄与率である、
ことを特徴とする計測項目最適化方法。 - 端末と、前記端末および管理対象システムと通信可能な分析システムと、を有する影響分析システムで実行される計測項目最適化プログラムであって、
前記分析システムは、前記計測項目最適化プログラムを実行するプロセッサと、前記計測項目最適化プログラムを記憶する記憶装置と、を有し、
前記プロセッサに、
前記管理対象システムが提供するサービス群、前記管理対象システム内で実行されるアプリケーション群、および前記管理対象システムが有するシステムリソース群の各々についてサービスの良否または改善効果を計測するための計測項目とその評価値を管理する計測項目情報を前記記憶装置に定義し、
前記端末でのサービス群からのサービスの指定に応じて、前記管理対象システムにアクセスして、前記サービスの計測項目、前記サービスに利用されるアプリケーションの計測項目、および前記サービスに利用されるシステムリソースの計測項目を計測して、計測結果を前記端末に送信して前記端末に表示させ、
前記端末からの選択により、前記サービスの計測項目に対して前記アプリケーションの計測項目および前記システムリソースの計測項目の関係性を定義する相関モデルを前記記憶装置に記憶し、
前記計測結果と前記相関モデルとを用いて相関分析して前記記憶装置に記憶するとともに、当該相関分析の分析結果を前記端末に送信し、
前記分析結果を前記端末に送信した結果、前記サービスの計測項目、前記アプリケーションの計測項目、および前記システムリソースの計測項目から選択された計測項目の評価指示を前記端末から受け付けて、前記計測項目情報内の前記選択された計測項目の評価値を更新する、
処理を実行させることを特徴とする計測項目最適化プログラム。 - 請求項11に記載の計測項目最適化プログラムであって、
前記計測項目は、前記サービス群内の複数のサービスに利用されることを特徴とする計測項目最適化プログラム。 - 請求項11に記載の計測項目最適化プログラムであって、
前記記憶装置は、前記サービスに利用される前記アプリケーションおよび前記システムリソースを構成要素とした前記サービスごとのトポロジー情報を記憶しており、
前記端末は、
前記分析システムから前記サービスのトポロジー情報を取得して表示しており、
前記プロセッサに、
前記サービスについての検索要求を前記端末から受け付けて、前記検索要求に含まれる検索条件に基づいて前記計測項目情報を検索して、検索された計測項目およびその評価値を検索結果として前記端末に送信し、
前記検索結果を前記端末に送信した結果、前記端末において前記サービスのトポロジー情報に前記検索された計測項目が追加された場合、前記端末からの前記検索された計測項目の追加指示に応じて、前記記憶装置に記憶されている前記サービスのトポロジー情報に前記検索された計測項目を追加して更新する、
処理を実行させることを特徴とする計測項目最適化プログラム。 - 請求項11に記載の計測項目最適化プログラムであって、
前記記憶装置は、前記サービスに利用される前記アプリケーションおよび前記システムリソースを構成要素とした前記サービスごとのトポロジー情報を記憶しており、
前記端末は、
前記分析システムから前記サービスのトポロジー情報を取得して表示しており、
前記プロセッサに、
前記端末において前記サービスのトポロジー情報から選択された計測項目の削除要求を前記端末から受け付けた場合、前記記憶装置に格納されている前記トポロジー情報内の前記削除要求の対象となる計測項目を削除して前記記憶装置内で更新する、
ことを特徴とする計測項目最適化プログラム。 - 請求項11に記載の計測項目最適化プログラムであって、
前記分析結果は、前記サービスの計測項目に対する前記アプリケーションの計測項目の寄与率、および前記システムリソースの計測項目の寄与率である、
ことを特徴とする計測項目最適化プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/002184 WO2018135008A1 (ja) | 2017-01-23 | 2017-01-23 | 影響分析システム、計測項目最適化方法、および計測項目最適化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018135008A1 JPWO2018135008A1 (ja) | 2019-06-27 |
JP6704476B2 true JP6704476B2 (ja) | 2020-06-03 |
Family
ID=62908968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018562857A Active JP6704476B2 (ja) | 2017-01-23 | 2017-01-23 | 影響分析システム、計測項目最適化方法、および計測項目最適化プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6704476B2 (ja) |
WO (1) | WO2018135008A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7311350B2 (ja) * | 2019-08-07 | 2023-07-19 | 株式会社日立ソリューションズ | 監視装置、監視方法、および監視プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003263342A (ja) * | 2002-03-07 | 2003-09-19 | Telecommunication Advancement Organization Of Japan | 情報処理装置の監視装置および監視方法並びにそのプログラム |
JP4479284B2 (ja) * | 2004-03-08 | 2010-06-09 | 株式会社日立製作所 | 計算機システムのモニタリングを設定する管理計算機及びシステム |
WO2013069138A1 (ja) * | 2011-11-10 | 2013-05-16 | 株式会社日立製作所 | 稼働情報予測計算機、稼働情報予測方法及びプログラム |
-
2017
- 2017-01-23 WO PCT/JP2017/002184 patent/WO2018135008A1/ja active Application Filing
- 2017-01-23 JP JP2018562857A patent/JP6704476B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2018135008A1 (ja) | 2019-06-27 |
WO2018135008A1 (ja) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11244247B2 (en) | Facilitating concurrent forecasting of multiple time series | |
US11061918B2 (en) | Locating and categorizing data using inverted indexes | |
US20200081891A1 (en) | Multi-phased execution of a search query | |
US8839209B2 (en) | Software performance profiling in a multi-tenant environment | |
US10659609B2 (en) | Hierarchy based graphical user interface generation | |
US10853399B2 (en) | User interface search tool for locating and summarizing data | |
WO2019205716A1 (zh) | 一种搜索应用程序内信息的方法及设备 | |
US11172065B1 (en) | Monitoring framework | |
US11630695B1 (en) | Dynamic reassignment in a search and indexing system | |
US9924293B2 (en) | Mobile applications incorporating mobile-based transactions detection and monitoring means | |
US20180285184A1 (en) | Apparatus, system, and method for analyzing logs | |
JP6654654B2 (ja) | クエリ生成支援方法及びクエリ生成支援装置 | |
US10411969B2 (en) | Backend resource costs for online service offerings | |
Smit et al. | A web service for cloud metadata | |
JP2016504687A (ja) | 情報技術サービスの管理 | |
US20180293304A1 (en) | Sampling data using inverted indexes in response to grouping selection | |
JP2019135597A (ja) | 性能調整プログラム、および性能調整方法 | |
US11693710B1 (en) | Workload pool hierarchy for a search and indexing system | |
CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
JP6704476B2 (ja) | 影響分析システム、計測項目最適化方法、および計測項目最適化プログラム | |
WO2013186891A1 (ja) | 進捗状況管理システム、及び進捗状況管理方法 | |
JP2014078080A (ja) | クラウドコンピュータ選択システム、およびクラウドコンピュータ選択用プログラム | |
Mirmotalebi et al. | Modeling user’s non-functional preferences for personalized service ranking | |
JP2007328499A (ja) | ポータルサイト生成装置、及びポータル画面設計プログラム | |
US20220138082A1 (en) | Applied Computer Technology for High Efficiency and Scalable Value Stream Mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6704476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |