JP5147216B2 - コンピューティング・システムのオートノミック能力を測定するための方法、システム及びコンピュータ・プログラム - Google Patents
コンピューティング・システムのオートノミック能力を測定するための方法、システム及びコンピュータ・プログラム Download PDFInfo
- Publication number
- JP5147216B2 JP5147216B2 JP2006299658A JP2006299658A JP5147216B2 JP 5147216 B2 JP5147216 B2 JP 5147216B2 JP 2006299658 A JP2006299658 A JP 2006299658A JP 2006299658 A JP2006299658 A JP 2006299658A JP 5147216 B2 JP5147216 B2 JP 5147216B2
- Authority
- JP
- Japan
- Prior art keywords
- sut
- recovery
- period
- autonomic
- disturbance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3428—Benchmarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Description
1.非オートノミック ― 手動障害検出及び手動復旧開始。例えば、データベース・システムのオペレータが、特定のプロセスに関する多くの苦情を受取ったことをヘルプ・デスクから知らされる。オペレータは、応答の際、そのデータベースに於ける望ましくないプロセスを終了させる。
2.完全オートノミック ― オートノミック障害検出及びオートノミック復旧開始。例えば、オートノミック・マネジャはシステム中に望ましくないプロセスがあることを調べ、人手の介入なしにそのプロセスを自動的に終了させる。
3.部分的オートノミック ― オートノミック障害検出及び手動復旧開始。例えば、オートノミック・マネジャシステム中に望ましくないプロセスがあることを調べ、警告やメッセージを送り出す。人間のオペレータはコンソール上または紙上の警告やメッセージを受取ることによりその問題を検出する。これに応答して、そのオペレータはその警告やメッセージで提供される情報に基づいてその望ましくないプロセスを突き止め、そのプロセスを終了させる。
問題1: 検出された問題に関しオペレータに警告やメッセージを提供し、その検出された問題をどのように直すかについての情報を提供する部分的オートノミック・システムを扱うには柔軟性がある。このタイプの部分的オートノミック・システムは、例えば、警告やメッセージが紙や他のコミュニケーション装置を介しデータベース管理者に知らされるような多くのデータベース・システムに於いて優位を占めている。一定の検出期間32(例えば、復旧平均時間(MTTR)―― 障害を修復するのにかかった平均時間から導き出される)を使用するというのは、警告やメッセージを自動的に提供することが、問題を検出するための時間の長さを大きくカットするから、このタイプの状況には働かない。この点で、部分的オートノミック機能が存在する中で一定の検出期間32を使用すると、AC性能の、正確な若しくは反復可能な、あるいはその両方の測定を提供しない。
問題2: もしシステムが完全オートノミック自己修復システムであれば、ベンチマーク・ドライバ12は、問題の検出及び復旧のタイミングを制御することはない。一例を挙げればデータベース・システムに於けるRAID5ディスクの耐障害性である。こそのディスク・サブシステムはディスク故障を自動的に検出しその故障したディスクを自動的に迂回する。
前記コンピューティング・システムに外乱を注入するステップと、前記注入された外乱に応答して前記コンピューティング・システムが問題を検出したことを通知するステップと、前記検出された問題に対処する復旧手続きを開始するのに必要な時間量を決定するステップと、前記復旧手続きを実行するのに必要な時間量を決定するステップとを含む方法を指向する。
102 ベンチマーク・ドライバ
104 テスト下のシステム(SUT)
106 ワークロード
108 応答
110 ベンチマーク結果
112 外乱
114 コールバック・システム
118 警告又はメッセージ
120 外乱注入方法
122 注入スロット
124 始動期間
126 注入期間
128 検出期間
130 復旧開始期間
132 復旧期間
Claims (7)
- コンピュータによって、テスト対象システム(SUT)のオートノミック能力を測定する方法であって、前記コンピュータが、
前記SUTにワークロードをかけるステップと、
前記SUTに外乱を注入するステップと、
前記SUTが注入された前記外乱によって発生した問題を自動的に検出したことの通知を受けるステップと、
前記外乱の注入から前記通知までの時間(検出期間)に基づいて前記SUTの部分的なオートノミック能力を決定するステップと、
前記検出された問題に対処する復旧手続きを開始するのに必要な時間量(復旧開始期間)を決定するステップと、
前記復旧手続きを実行するのに必要な時間量(復旧期間)を決定するステップと、を実行する方法。 - 前記通知を受けるステップが、前記SUTからEメール、テキスト・メッセージ、または記録済みのアナウンスを受けることを含む、請求項1に記載の方法。
- 前記復旧開始期間が、前記SUTに注入される前記外乱に依存する、請求項1に記載の方法。
- 前記復旧手続きを実行するのに必要な時間量が復旧期間を含む、請求項1に記載の方法。
- 前記復旧開始期間が、前記通知に応答して人手による介在をシミュレートする予め定義した時間遅延を表す、請求項1に記載の方法。
- 前記検出期間、前記復旧開始期間及び前記復旧期間が前記コンピューティング・システムのオートノミック能力の測定に用いられる、請求項1に記載の方法。
- 請求項1乃至6のいずれか1項に記載の方法の各ステップを前記コンピュータに実行させるためのコンピュータ・プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/268,221 | 2005-11-07 | ||
US11/268,221 US7539904B2 (en) | 2005-11-07 | 2005-11-07 | Quantitative measurement of the autonomic capabilities of computing systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007133870A JP2007133870A (ja) | 2007-05-31 |
JP5147216B2 true JP5147216B2 (ja) | 2013-02-20 |
Family
ID=38082844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006299658A Active JP5147216B2 (ja) | 2005-11-07 | 2006-11-02 | コンピューティング・システムのオートノミック能力を測定するための方法、システム及びコンピュータ・プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7539904B2 (ja) |
JP (1) | JP5147216B2 (ja) |
KR (1) | KR100985959B1 (ja) |
CN (1) | CN100478905C (ja) |
TW (1) | TWI393001B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4962239B2 (ja) * | 2007-09-20 | 2012-06-27 | 大日本印刷株式会社 | リソース使用量取得装置、リソース使用量取得方法、及びリソース使用量取得処理プログラム |
WO2011094484A1 (en) | 2010-01-28 | 2011-08-04 | Drexel University | Detection, diagnosis, and mitigation of software faults |
US11204861B2 (en) * | 2019-03-05 | 2021-12-21 | Honeywell International Inc. | Systems and methods for fault injection and ensuring failsafe FMS SaaS platforms |
US11310680B2 (en) | 2020-08-26 | 2022-04-19 | Spirent Communications, Inc. | Reusing provisioned resources during heterogeneous component-based testing in a portable automation framework |
US11269712B1 (en) * | 2020-08-26 | 2022-03-08 | Spirent Communications, Inc. | Customized categorial error handling framework for heterogeneous component-based testing in a portable automation framework |
US11449414B2 (en) | 2020-08-26 | 2022-09-20 | Spirent Communications, Inc. | Mapping test parameter data elements during heterogeneous component-based testing in a portable automation framework in both API mode and UI mode |
US11216347B1 (en) | 2020-08-26 | 2022-01-04 | Spirent Communications, Inc. | Automatically locating resources using alternative locator expressions during heterogeneous component-based testing in a portable automation framework |
US12013777B2 (en) | 2020-08-26 | 2024-06-18 | Spirent Communications, Inc. | Controlling heterogeneous component-based testing in a portable automation framework with test scripts in both API mode and UI mode |
US11748242B2 (en) * | 2021-02-17 | 2023-09-05 | Atlassian Pty Ltd. | Proactive monitoring of a software application framework |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6442694B1 (en) * | 1998-02-27 | 2002-08-27 | Massachusetts Institute Of Technology | Fault isolation for communication networks for isolating the source of faults comprising attacks, failures, and other network propagating errors |
US6971048B1 (en) * | 1998-06-15 | 2005-11-29 | Sun Microsystems, Inc. | Testing device driver hardening |
US6484276B1 (en) * | 1999-10-25 | 2002-11-19 | Lucent Technologies Inc. | Method and apparatus for providing extensible object-oriented fault injection |
US6442494B1 (en) * | 2000-02-23 | 2002-08-27 | Autoliv Asp, Inc. | Method and circuit for detecting batteries in a distributed battery network |
US6418068B1 (en) * | 2001-01-19 | 2002-07-09 | Hewlett-Packard Co. | Self-healing memory |
US7194445B2 (en) * | 2002-09-20 | 2007-03-20 | Lenovo (Singapore) Pte. Ltd. | Adaptive problem determination and recovery in a computer system |
JP2005004699A (ja) * | 2003-06-16 | 2005-01-06 | Trecenti Technologies Inc | コンピュータシステム異常検出システム、コンピュータシステム異常検出方法およびコンピュータシステム |
JP4189854B2 (ja) * | 2003-07-28 | 2008-12-03 | 新日鉄ソリューションズ株式会社 | 障害時動作検証装置及び障害時動作検証方法 |
US7467333B2 (en) * | 2005-09-01 | 2008-12-16 | Hewlett-Packard Development Company, L.P. | System and method for interposition-based selective simulation of faults for access requests to a data storage system |
-
2005
- 2005-11-07 US US11/268,221 patent/US7539904B2/en active Active
-
2006
- 2006-10-30 KR KR1020060105486A patent/KR100985959B1/ko not_active IP Right Cessation
- 2006-11-02 JP JP2006299658A patent/JP5147216B2/ja active Active
- 2006-11-03 TW TW095140908A patent/TWI393001B/zh not_active IP Right Cessation
- 2006-11-07 CN CNB2006101447130A patent/CN100478905C/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007133870A (ja) | 2007-05-31 |
US20070168751A1 (en) | 2007-07-19 |
CN100478905C (zh) | 2009-04-15 |
KR100985959B1 (ko) | 2010-10-06 |
CN1963779A (zh) | 2007-05-16 |
US7539904B2 (en) | 2009-05-26 |
TWI393001B (zh) | 2013-04-11 |
KR20070049064A (ko) | 2007-05-10 |
TW200805049A (en) | 2008-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5147216B2 (ja) | コンピューティング・システムのオートノミック能力を測定するための方法、システム及びコンピュータ・プログラム | |
US6694288B2 (en) | System and method for automated analysis of load testing results | |
JP5325230B2 (ja) | 関連のネットワーク・トポロジを有する指定のトランザクション・サーバの動作をモニターするための方法、コンピュータ・プログラム、および装置(e‐ビジネス・システムのパフォーマンスおよび可用性をモニターするために動的にスケジュールされた合成トランザクションを使用するための方法) | |
US7496795B2 (en) | Method, system, and computer program product for light weight memory leak detection | |
US9405666B2 (en) | Health monitoring using snapshot backups through test vectors | |
US7747986B2 (en) | Generating static performance modeling factors in a deployed system | |
US20070203973A1 (en) | Fuzzing Requests And Responses Using A Proxy | |
US20120084605A1 (en) | Replaying captured network traffic | |
CN108287775A (zh) | 一种服务器故障检测的方法、装置、设备及存储介质 | |
US11086752B2 (en) | Methods, systems, and computer readable media for vendor-neutral testing and scoring of systems under test | |
CN111597099B (zh) | 一种监测部署于云平台的应用运行质量的无侵入仿真方法 | |
US20070086350A1 (en) | Method, system, and computer program product for providing failure detection with minimal bandwidth usage | |
CN116405412B (zh) | 基于混沌工程故障模拟服务端集群有效性验证方法和系统 | |
US9195562B2 (en) | Recording external processes | |
US20160259578A1 (en) | Apparatus and method for detecting performance deterioration in a virtualization system | |
JP2019012477A (ja) | 診断プログラム、診断方法及び診断装置 | |
TW201640371A (zh) | 雲桌面效能測試器叢集建置之方法與架構 | |
US10795805B2 (en) | Performance engineering platform and metric management | |
Cisco | White Paper: Monitoring Cisco Unity Performance | |
JP2014137635A (ja) | 応答時間監視プログラム、方法および応答時間監視装置 | |
Lo et al. | An architecture for cloud service testing and real time management | |
RU2748963C2 (ru) | Система и способ выявления проблем функционирования сервисов в сети передачи данных, содержащей виртуальные машины | |
CN111176916B (zh) | 数据存储故障诊断方法及系统 | |
CN112272126A (zh) | 业务应用的失效监测方法、计算机设备和存储介质 | |
CN117931622A (zh) | 设备的测试方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120918 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20120918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20121106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5147216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |