JP7110415B2 - 故障注入方法、装置、電子設備、記憶媒体、及びプログラム - Google Patents

故障注入方法、装置、電子設備、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP7110415B2
JP7110415B2 JP2021001793A JP2021001793A JP7110415B2 JP 7110415 B2 JP7110415 B2 JP 7110415B2 JP 2021001793 A JP2021001793 A JP 2021001793A JP 2021001793 A JP2021001793 A JP 2021001793A JP 7110415 B2 JP7110415 B2 JP 7110415B2
Authority
JP
Japan
Prior art keywords
fault
target service
fault injection
task
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021001793A
Other languages
English (en)
Other versions
JP2021190089A (ja
Inventor
グアン,ユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021190089A publication Critical patent/JP2021190089A/ja
Application granted granted Critical
Publication of JP7110415B2 publication Critical patent/JP7110415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26Functional testing
    • G06F11/263Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3664Environments for testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • G06F11/076Error or fault detection not based on redundancy by exceeding limits by exceeding a count or rate limit, e.g. word- or bit count limit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)
  • Retry When Errors Occur (AREA)

Description

本発明の実施形態は、コンピュータ技術分野に関し、特にクラウドコンピューティング分野に関する。
マイクロサービス技術の発展に伴い、システムのロバストネスとフォールトトレランスは大幅に向上し、ますます多くのユーザー量を迎え入れるようになった。しかし、不完全な集計によると、プログラム自体のフォールトトレランス問題や予期しないコードの欠陥による故障は、全故障の50%以上を占めている。そのため、どのようにプログラム自体の問題を事前に発見するかは、システムのアベイラビリティの向上に重要な影響を与える。
プログラム自体の品質を向上させる従来の方法は、ソフトウェアテストエンジニアのテストによる。現在、エンジニアは手動で故障を注入してオンライン故障訓練を行っている。例えば、中央制御機を通じてオンライン機械にログインし、再起動、シャットダウン等の命令を通じてオンライン機械の故障をシミュレートする。
本発明は、故障注入方法、装置、電子設備及び記憶媒体を提供する。
本発明の第1態様は、故障注入方法を提供し、当該方法は、少なくとも1つの対象サービス標識およびそれに対応する故障シーンを含む故障注入タスクを取得することと、各対象サービス標識に基づいて対象サービスを特定し、対象サービスの状態を取得することと、対象サービスの状態が正常状態である場合に、対象サービス標識に対応する故障シーンを対象サービスに注入することと、を含む。
本発明の第2態様は、故障注入装置を提供し、当該装置は、少なくとも1つの対象サービス標識およびそれに対応する故障シーンを含む故障注入タスクを取得するための第1取得モジュールと、各対象サービス標識に基づいて対象サービスを特定し、対象サービスの状態を取得するための第2取得モジュールと、対象サービスの状態が正常状態である場合に、対象サービス標識に対応する故障シーンを対象サービスに注入するための注入モジュールと、を備える。
本発明の技術により、故障シーンを手動で注入する問題を解決し、故障注入の人件費を削減し、さらに故障注入の正常な進行を保証することに有利である。
ここに記載された内容は、本発明の実施形態のキーポイントまたは重要な特徴を標識することを意図せず、また、本発明の範囲を制限することにも用いられないことを理解すべきである。本発明の他の特徴については、下記の明細書を通して説明を促す。
添付図面は、本発明をより良く理解するためのものであり、本発明を限定するものではない。
本発明の実施形態による故障注入方法のフローチャートである。 本発明の実施形態による故障注入方法のフローチャートである。 本発明の実施形態による故障注入方法のフローチャートである。 本発明の実施形態によるサービス指標収集モジュールのインタフェースの一例を示す図である。 本発明の実施形態による故障管理モジュールのインタフェースの一例を示す図である。 本発明の実施形態による故障注入タスク管理モジュールのインタフェースを示す図である。 本発明の実施形態による故障注入タスク管理モジュールのインタフェースを示す図である。 本発明の実施形態による故障注入装置の構造図である。 本発明の実施形態による故障注入装置の構造図である。 本発明の実施形態による故障注入装置の構造図である。 本発明の実施形態による故障注入装置の構造図である。 本発明の実施形態による故障注入装置の構造図である。 本発明の実施形態による故障注入方法の電子設備のブロック図である。
以下では、本出願の例示的な実施形態を、理解を容易にするために本出願の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本発明の範囲および思想を逸脱することなく、本明細書に記載された実施形態に様々な変更および修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。
本発明の実施形態は、故障注入方法を提供し、マイクロサービスアーキテクチャの故障訓練に応用することができる。図1に示すように、図1は、故障注入方法のフローチャートであり、当該方法は、S101において、少なくとも1つの対象サービス標識およびそれに対応する故障シーンを含む故障注入タスクを取得する。
S102は、各対象サービス標識に基づいて対象サービスを特定し、対象サービスの状態を取得する。
S103では、対象サービスの状態が正常状態である場合に、対象サービス標識に対応する故障シーンを対象サービスに注入する。
上記実施形態において、故障注入タスクに少なくとも1つの故障シーンをアサインし、故障注入タスクを起動することにより、対象サービスの状態が正常であることを確認した上で対象サービスに故障を注入することができ、エンジニアが手動で故障シーンを注入する人件費を削減し、故障注入コマンドの人為的な入力ミスを回避するとともに、サービス状態が正常である場合にのみ故障を注入することができ、故障注入の正常な進行を保証することに有利である。
1つの実施形態において、ステップS102は、故障注入タスクが審査に合格した場合に、対象サービス標識に基づいて対象サービスを特定し、対象サービスの状態を取得することを含む。
このうち、故障注入タスクが審査に合格することは、故障注入タスクにおける故障シーンのうち、コマンドとコードセグメントの少なくとも1つのリスクが予め設定されたリスクレベルを下回っている場合に、故障注入タスクが審査に合格したと判定することと、故障注入タスクに対する審査通過指示を受信した場合に、故障注入タスクが審査に合格したと判定することと、を少なくとも1つ含む。
上記実施形態において、故障注入タスクは審査に合格してから実行できるようになるため、故障注入時のリスクを低減するメリットがあり、結果として、オンラインの実際の環境において、予期しない結果が現れるリスクを低減する。また、上記実施形態において、システム承認および手動承認を提供し、例えば、まず、システムを通して、故障シーンにおけるコマンドとコードセグメントとを審査し、高リスクコマンドと高リスクコードとがなければ、即ち審査に合格し、高リスクコマンドと高リスクコードとがあれば、即ち手動の再審査を必要とし、故障注入タスクの審査通過の指示を受信したとき、審査は合格となる。これにより、故障注入タスクに対する審査がより良くなり、故障注入リスクが低減する。
1つの実施形態において、図2に示すように、当該方法はさらに、S201において、対象サービスの対象指標を収集する。
S202において、収集された対象指標が予め設定された指標区間を超えていることがモニタリングされた場合に、故障シーンの注入を停止する。
上記実施形態において、故障注入の過程で、対象サービスの対象指標を自動的に収集し、対象指標異常時に故障の注入を停止し、故障訓練の過程において予期しない結果が発生した場合に、自動的に故障訓練を速やかに終了することを実現でき、対象サービスにより重大な故障を引き起こすことを回避するため、オンラインの実際の環境における故障訓練のリスクを低減する。
1つの実施形態において、対象サービスの対象指標を収集することは、指定された指標データプッシュインタフェースから対象サービスの対象指標を収集することと、対象サービスから対象指標を収集することと、を少なくとも1つ含む。
このうち、1つ目の収集方式は指定された指標データプッシュインタフェースを提供し、サービスのオペレーションエンジニアは収集したデータをプログラムを通じて自動的に当該モジュールにプッシュすることができ、サービスの対象指標の収集と記録を実現することができる。2つ目の収集方式はオペレーションエンジニアがアップロードしたオペレーションプログラムを受信することができ、当該オペレーションプログラムは対象サービスにおいて、対象指標を収集するよう、実行される。
上記実施例において、2種類の対象サービスの対象指標を収集する方法を提供し、対象サービスの対象指標に対する自動収集を実現し、人件費を削減する。
一例として、対象指標は、対象サービスのコア指標であってもよい。例えば、ストレージサービスには、可読性、書き込み可能性、読み取り速度、書き込み速度などの複数の指標が含まれている場合がある。ストレージサービスのコアの性能は、読み取りと書き込みの可否にあるため、可読性と書き込み可能性がそのコア指標となる。このように処理する利点は、故障をサービスに注入した場合、サービスの複数の指標にそれぞれ影響を与える可能性があるが、故障注入はサービスに故障が出現するかどうかをテストすることであり、主にサービスのコアの性能に焦点を当てている。そのため、コア指標を収集してモニタリングを行うことは、サービスに故障テストに対する要求を満たしつつ、データ収集の簡素化を高めることができる。
1つの実施形態において、図2に示すように、当該方法はさらに、S203において、対象サービスの異常状況の記録を行うすることと、対象サービスに注入された故障シーンを取り消すことと、故障注入タスクを終了することと、を少なくとも1つ実行する。
上記の実施例において、故障の注入を停止した後、対象サービスの異常状況を自動的に記録でき、故障テストを完了するとともに、対象サービスの故障シーンを取り消し、故障の注入が対象サービスに影響を与えることを回避する。
選択的に、対象サービスの異常状況は、対象サービスの予期しない故障状況と、対象指標とを含む。
選択的に、対象サービスに注入された故障シーンを取り消すことは、対象サービスに対してロールバックを行い、対象サービスを故障シーンが注入される前の状態に戻すことを含む。
図3に示すように、図3は本実施形態の具体的な実現のフローチャートを例示する。ステップS101において対象サービスの状態をチェックした後、対象サービスの状態が異常である場合には、故障注入タスクを終了する。目標サービスの状態が正常でないことは、故障が存在することを示し、故障を解決した後に故障を注入することで、故障訓練の正常な進行を保証することに有利である。他の代替方法において、対象サービスの状態異常の提示を生成してもよく、ユーザに現在のサービスの故障を解決するよう提示し、対象サービスの状態が正常状態に戻ったとチェックしてから、故障シーンを再び注入する。
図3に示すように、選択的に、ステップS103の後に、当該方法はさらに、故障注入タスクの故障シーン注入が成功し、かつ、対象指標が予め設定された時間内に、いずれも予め設定された指標区間を超えない場合に、対象指標を記録し、対象サービスに注入された故障シーンを取り消し、故障注入タスクを終了する。
故障注入タスクの故障シーン注入が失敗した場合には、故障注入タスクを終了する。さらに、注入に失敗したと提示し、手動により注入失敗問題を処理するよう提示する。また、故障注入タスクの故障シーン注入に失敗した場合、故障シーンの注入をリトライし、投入故障シーンのリトライ回数を予め設定してもよい。
1つの実施形態において、当該方法はさらに、受信したタスクアサイメント命令に従って故障注入タスクをアサインすることを含む。
故障注入タスクをアサインすることは、故障シーンを故障注入タスクに追加することと、故障注入タスクにおける故障シーンに対して、削除、編集又は注入順序の調整を行うことと、故障注入タスクのトリガ方法を設定することと、を少なくとも1つ含む。
上記実施形態において、当該アサイン機能を通して、相応の故障注入タスクをアサインし、当該故障注入タスクを実行すれば、相応の故障訓練課程を実現でき、ユーザーがいちいち手動で操作する必要がなく、人件費が削減され、かつ、カスタマイズ度が高く、より多くの故障訓練の可能性を実現することができるメリットを有し、それによって、より優先的にプログラムのディザスタリカバリ能力と予期の動作を検証し、システムの安定性を高めることができる。
選択的に、故障注入タスクのトリガ方法は、
(1)ユーザが、故障注入タスクの起動をトリガする一定時間だけを設定する必要がある指定タイミングトリガ方法と、
(2)たとえば、システムが1つの故障注入タイミングをランダムに生成し、当該ランダムなタイミングで故障注入タスクの起動をトリガするランダムトリガ方法と、を含む。
1つの実施形態において、故障シーンを故障注入タスクに追加することは、複数の故障シーンを予め保存している故障管理モジュールから少なくとも1つの故障シーンを選択して故障注入タスクに追加することを含む。
上記実施形態において、エンジニアは、故障注入タスクをアサインする際に、故障管理モジュールから対応する故障シーンを直接選択することができ、この操作は簡単でエラーが発生しにくい。
1つの実施形態において、故障管理モジュールにおける故障シーンの管理方法は、故障管理モジュールにおける故障シーンを追加、削除、修正、またはレビューすることと、故障プログラム編集インタフェースを介して受信したプログラムの内容に基づいて故障シーンを生成し、生成した故障シーンを故障管理モジュールにアップロードすることと、故障管理モジュールにおける故障シーンを対応する対象サービスと紐付けることと、を少なくとも1つ含み、故障シーンを生成する前に、受信したプログラムの内容のうちの高リスクコマンドおよび高リスクコードセグメントに対して、故障シーンの注入リスクを提示するための標識を付ける。
上記実施形態において、故障シーンプログラムの作成、高リスクコマンドおよび高リスクコードセグメントの標識付け、様々な故障シーンに対する添削やレビュー、応用すべきサービスのマッチングを含む、故障シーンに対する管理機能を提供し、様々な故障シーンの効果的な管理を実現し、テスト作業の効率を向上するメリットを有する。
上記高リスクコマンドおよび高リスクコードセグメントの標識付けについて、標識は故障シーンの注入リスクを提示するに用いられる。ユーザが作成した故障シーンのプログラムに応用するだけでなく、故障シーンの注入前や故障注入タスクの承認などの段階にも適用することができる。
1つの応用として、本発明の実施形態の方法を通して、故障注入プラットフォームを実現することができる。該故障注入プラットフォームは、サービス指標収集モジュールと、故障管理モジュールと、故障注入モジュールと、及び故障注入タスク管理モジュールとを備えることができる。
具体的に、サービス指標収集モジュールは、入力されたサービス指標収集を設定する命令を受け付けるのに用いられ、サービス指標収集命令に基づき、対応するチェックアクションの機能を生成し、チェックアクションは、ステップS101における対象サービスの状態に対するチェックを実現するのに用いられてもよく、さらにステップS103における対象サービスの対象指標の収集、及び対象指標のモニタリングを実現するのに用いられてもよい。図4に示すように、図4は、サービス指標収集モジュールのインタフェースの一例を示す図であり、該モジュールは、サービス指標収集を設定する命令を入力できるようユーザに提供し、アクション名称、収集時間、リトライ回数、収集方法、チェック間隔、指標区間などのうちの少なくとも1つの設定を含む。
故障管理モジュールは、入力された故障管理命令を受け付けるのに用いられ、故障管理命令に基づき、故障シーンに対して管理を行い、管理の内容は、故障シーンプログラムの作成、高リスクコマンドおよび高リスクコードに対する標識付け、様々な故障シーンに対する添削やレビュー、応すべきサービスのマッチング、のうちの少なくとも1つを含む。図5に示すように、図5は、故障管理モジュールのインタフェースの一例を示す図であり、該インタフェースは故障管理モジュールが格納している故障シーン(図では故障アクションとして表す)の一部を示し、故障シーンのアクション名称、ラベル、タイプ、最新バージョン、影響レベル、管理可能な操作などの複数の情報を含む。これに加えて、故障シーンを参照し、故障管理モジュールはさらにチェックアクションの管理を提供する。
故障注入モジュールは、故障注入タスクの実行過程に用いられるため、図3の例示と同じであり、ここでは繰り返し説明しない。
故障注入タスク管理モジュールは、故障注入タスクの管理を実現するために用いられ、個々の故障注入タスクのレビューおよびアサインを含む。
図6に示すよう、図6は、故障注入タスク管理モジュールのインタフェースを示す図1であり、該モジュールは例えば、タスク名称、実行状況、作成者、操作などの複数の故障注入タスクの情報を表示することができる。
図7に示すように、図7は故障注入タスク管理モジュールのインタフェースを示す図2であり、故障注入タスクのアサインは、前置段階、チェック段階、取消段階、後置段階にそれぞれ対応するアクションをアサインする。そのうち、ステップS101における対象サービスの状態に対するチェックを実現するよう前置段階にチェックアクションをアサインし、ステップS103における対象サービスの対象指標の収集、及び対象指標のモニタリングを実現するようチェック段階にチェックアクションをアサインし、故障シーンの対象サービスへの注入を実現するよう注入段階に故障シーンをアサインし、対象サービスから故障の取り消しを実現するよう取消段階に取り消しアクションをアサインする。
本出願の実施形態は、プログラムのオンラインにおける実際のディザスタリカバリ能力と予期の動作を真に検証することができ、システムの安定性を高めると共に、故障検証の過程における労働量の投入を削減することができ、莫大な経済効果をもたらす。
対応的に、図8に示すよう、本発明の実施形態は、故障注入のための装置800を提供する。装置800は、対象サービスへの少なくとも1つの故障シーンを含む故障注入タスクを開始し、対象サービスの状態をチェックするための第1取得モジュール801と、各対象サービス標識に基づいて対象サービスを特定し、対象サービスの状態を取得するための第2取得モジュール802と、対象サービスの状態が正常状態である場合に、対象サービス標識に対応する故障シーンを対象サービスに注入するための注入モジュール803と、を備える。
1つの実施形態において、図9を参照すると、装置900は、対象サービスの対象指標を収集するための収集モジュール901と、収集された対象指標が予め設定された指標区間を超えていることがモニタリングされた場合に、故障シーンの注入を停止するための停止モジュール902と、をさらに備える。
1つの実施形態において、装置900は、対象サービスに注入された故障シーンを取り消すための取消モジュール903と、故障注入タスクを終了するための終了モジュール904と、をさらに備える。
1つの実施形態において、第2取得モジュール802は、故障注入タスクが審査に合格した場合に、対象サービス標識に基づいて対象サービスを特定し、対象サービスの状態を取得することに用いられる。
ここで、故障注入タスクが審査に合格することは、故障注入タスクにおける故障シーンのうち、コマンドとコードセグメントの少なくとも1つのリスクが予め設定されたリスクレベルを下回っている場合に、故障注入タスクが審査に合格したと判定することと、故障注入タスクに対する審査通過指示を受信した場合に、故障注入タスクが審査に合格したと判定することと、を少なくとも1つ含む。
1つの実施形態において、装置900は、受け付けたタスクアサイメント命令に従って故障注入タスクをアサインするためのアサインメントモジュール905をさらに備える。
図10を参照すると、アサインメントモジュール905は、故障シーンを故障注入タスクに追加するための追加サブモジュール1001と、故障注入タスクにおける故障シーンに対して、削除、編集又は注入順序の調整を行うための調整サブモジュール1002と、故障注入タスクのトリガ方法を設定するためのトリガサブモジュール1003とをさらに備える。
1つの実施形態において、追加サブモジュールは、複数の故障シーンを予め保存している故障管理モジュールから少なくとも1つの故障シーンを選択して故障注入タスクに追加することに用いられる。
1つの実施形態において、図11を参照すると、故障管理モジュール1100は、故障管理モジュールにおける故障シーンを追加、削除、修正、またはレビューするための追加・削除・修正・レビューサブモジュール1101と、故障プログラム編集インタフェースを介して受信したプログラムの内容に基づいて故障シーンを生成し、生成した故障シーンを故障管理モジュールにアップロードするための編集サブモジュール1102と、故障管理モジュールにおける故障シーンを対応する対象サービスと紐付けるための紐付けサブモジュール1103と、を備える。
ここで、故障シーンを生成する前に、受信したプログラムの内容のうちの高リスクコマンドおよび高リスクコードセグメントに対して、故障シーンの注入リスクを提示するための標識を付ける。
1つの実施形態において、故障注入装置900は、故障管理モジュール1100を含むことができる。
1つの実施形態において、図12を参照すると、収集モジュール901は、指定された指標データプッシュインタフェースから対象サービスの対象指標を収集するための第1収集サブモジュール1201と、対象サービスから対象指標を収集するための第2収集サブモジュール1202とを少なくとも1つ備える。
本発明の実施形態によれば、本発明は、電子設備及び可読記憶媒体をさらに提供する。
図13に示すよう、本発明の実施形態による故障注入方法を実現する電子設備のブロック図である。電子設備は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことができる。また、電子設備はパーソナルデジタル処理、携帯電話、スマートフォン、装着可能デバイス、及びその他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。ここで示した構成要素、それらの接続と関係、及びそれらの機能は例示的なものに過ぎず、本発明で説明されたもの及び/または要求される本発明の実施を制限することは意図されない。
図13に示すように、当該電子設備は、1つ又は複数のプロセッサ1301と、メモリ1302と、高速インターフェースと低速インターフェースとを含む各構成要素を接続するためのインターフェースとを含む。各構成要素は、異なるバスを利用して互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子設備内で実行される命令を処理してもよく、また、外部入出力デバイス(例えば、インターフェースに接続された表示デバイス)にグラフィックユーザインターフェース(Graphical User Interface、GUI)を表示するための、メモリまたはメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び/または複数のバスを複数のメモリ及び複数のメモリとともに使用することができる。同様に、複数の電子設備を接続してもよく、各デバイスは、部分的に必要な動作(例えば、サーバアレイ、ブレードサーバのセット、またはマルチプロセッサシステムとして)を提供する。図13においてプロセッサ1301を例とする。
メモリ1302は、本発明にて提供された非一過性のコンピュータ可読記憶媒体である。メモリは、本発明で提供される故障注入方法を少なくとも1つのプロセッサに実行させるように、少なくとも1つのプロセッサによって実行されることができる命令を記憶する。本発明における非一過性のコンピュータ可読記憶媒体は、本発明で提供された故障注入方法をコンピュータに実行させるためのコンピュータ命令を記憶する。
メモリ1302は、非一過性のコンピュータ可読記憶媒体として、非一過性のソフトウェアプログラム、非一過性のコンピュータ実行可能なプログラム及びモジュールを記憶するために使用されてもよく、本発明の実施形態における故障注入方法に対応するプログラム命令/モジュール(例えば、図8に示された第1取得モジュール801、第2取得モジュール802及び注入モジュール803)のようなものである。プロセッサ1301は、メモリ1302に記憶されている非一過性のソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理、即ち上述した方法に関する実施形態に係る故障注入方法を実行する。
メモリ1302は、オペレーティングシステムや少なくとも1つの機能に必要なアプリケーションを記憶することができるプログラムの記憶領域と、故障注入方法に係る電子設備の使用によって生成されたデータなどを記憶することができるデータの記憶領域と、を含むことができる。さらに、メモリ1302は、高速ランダムアクセスメモリを含んでもよく、非一過性の固体記憶装置を含んでもよい。例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の非一過性の固体記憶装置を含むことができる。いくつかの実施形態では、メモリ1302はオプションとして、プロセッサ1301に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して故障注入方法に係る電子設備に接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワーク及びその組み合わせを含むが、これらに限定されない。
本発明の実施形態の故障注入方法に対応する電子設備は、入力装置1303と出力装置1304とをさらに含むことができる。プロセッサ1301、メモリ1302、入力装置1303、及び出力装置1304は、バスまたは他の方法で接続されてもよく、図13ではバスを介して接続されている。
入力装置1303は、入力された数字または文字を受信し、故障注入方法に係る電子設備のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックボード、タッチパッド、指示棒、1つまたは複数のマウスボタン、トラックボール、ジョイスティックなどを含むことができる。出力装置1304は、表示装置、補助照明装置(例えばLED)、及び触覚フィードバック装置(例えば、振動モータ)などを含むことができる。この表示装置は、液晶ディスプレイ(Liquid Crystal Display、LCD)、発光ダイオード(Light Emitting Diode、LED)ディスプレイ及びプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。
本発明におけるシステム及び技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路(Application Specific Integrated Circuits、ASIC)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/またはこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、1つまたは複数のコンピュータプログラムにおいて実装されてもよく、この1つまたは複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されてもよく、及び/または解釈されてもよく、このプログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置より、データと命令を受信し、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置に、データと命令を送信する。
これらの計算プログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードともいう)は、プログラマブルプロセッサのマシン命令を含み、プロセス指向及び/またはオブジェクト指向プログラミング言語、及び/またはアセンブリ/マシン言語を用いてこれらの計算プログラムを実施することができる。本発明で使用されるように、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、マシン命令及び/またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、及び/または装置(例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス(programmable logic device、PLD)を意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令及び/またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのイントラクションを提供するために、本発明で説明されているシステムや技術は、コンピュータ上で実施されてもよく、また、ユーザに情報を表示するための表示装置(例えば、CRT(Cathode Ray Tube、ブラウン管)またはLCD(液晶ディスプレイ)モニタ)と、入力をコンピュータに提供するためのキーボード及びポインティングデバイス(例えば、マウスまたはトラックボール)とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、ユーザからの入力は、いかなる形式(音響入力、音声入力、または触覚入力を含む)で受信されてもよい。
本発明で説明されているシステム及び技術は、バックグラウンド構成要素を含む計算システム(例えば、データサーバとして)、または中間部構成要素を含む計算システム(例えば、アプリケーションサーバ)、または、フロントエンド構成要素を含む計算システム(例えば、グラフィカルユーザインタフェースまたはネットワークブラウザを備えたユーザコンピュータであって、ユーザがこのグラフィカルユーザインタフェースまたはネットワークブラウザを介して本発明で説明されたシステム及び技術に係る実施形態とインタラクションを行うことができるユーザコンピュータ)に実行されてもよく、または、このようなバックグラウンド構成要素、中間部構成要素、またはフロントエンド構成要素の任意の組合せを含む計算システムにおいて実行されてもよい。システムの構成要素は、任意の形態または媒体のデジタルデータ通信(例えば、通信ネットワーク)によって相互に接続されてもよい。通信ネットワークの例えとして、ローカルネットワーク(Local Area Network、LAN)、広域ネットワーク(Wide Area Network、WAN)及びインターネットを含む。
コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバは一般的に相互に離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係を持つコンピュータプログラムがそれぞれのコンピュータ上で実行されることによって、クライアントとサーバとの関係は構築される。
本発明の技術方案によると、プログラムのオンラインにおける実際のディザスタリカバリ能力と予期の動作を真に検証することができ、システムの安定性を高めると共に、故障検証の過程における労働量の投入を削減することができ、莫大な経済効果をもたらす。
上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、または削除することが可能であることを理解すべきである。例えば、本発明で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本発明で開示された技術案が所望する結果を実現することができる限り、本発明ではこれに限定されない。
上記具体的な実施形態は、本発明の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本発明の要旨及び原則内における変更、均等な置換及び改善等は、いずれも本発明の保護範囲に含まれるべきである。

Claims (17)

  1. 少なくとも1つの対象サービス標識およびそれに対応する故障シーンを含む故障注入タスクを取得することと、
    各前記対象サービス標識に基づいて対象サービスを特定し、前記対象サービスの状態を取得することと、
    前記対象サービスの状態が正常状態である場合に、前記対象サービス標識に対応する故障シーンを前記対象サービスに注入することと、を含み、
    各前記対象サービス標識に基づいて対象サービスを特定し、前記対象サービスの状態を取得することは、
    前記故障注入タスクが審査に合格した場合に、前記対象サービス標識に基づいて前記対象サービスを特定し、前記対象サービスの状態を取得することを含み、
    前記故障注入タスクが審査に合格することは、
    前記故障注入タスクにおける故障シーンのうち、コマンドとコードセグメントの少なくとも1つのリスクが予め設定されたリスクレベルを下回っている場合に、前記故障注入タスクが審査に合格したと判定することと、
    前記故障注入タスクに対する審査通過指示を受信した場合に、前記故障注入タスクが審査に合格したと判定することと、
    を少なくとも1つ含む
    ことを特徴とする故障注入方法。
  2. 前記対象サービスの対象指標を収集することと、
    収集された前記対象指標が予め設定された指標区間を超えていることがモニタリングされた場合に、前記故障シーンの注入を停止することと、を含む
    ことを特徴とする請求項1に記載の故障注入方法。
  3. 前記対象サービスに注入された故障シーンを取り消すことと、
    前記故障注入タスクを終了することと、
    を少なくとも1つさらに含む
    ことを特徴とする請求項2に記載の故障注入方法。
  4. 前記故障注入方法は、
    受信したタスクアサイメント命令に従って前記故障注入タスクをアサインすることをさらに含み、
    前記故障注入タスクをアサインすることは、
    故障シーンを前記故障注入タスクに追加することと、
    前記故障注入タスクにおける故障シーンに対して、削除、編集又は注入順序の調整を行うことと、
    前記故障注入タスクのトリガ方法を設定することと、
    を少なくとも1つ含む
    ことを特徴とする請求項1~3のいずれか一項に記載の故障注入方法。
  5. 前記故障シーンを前記故障注入タスクに追加することは、
    複数の故障シーンを予め保存している故障管理モジュールから少なくとも1つの故障シーンを選択して前記故障注入タスクに追加することを含む
    ことを特徴とする請求項に記載の故障注入方法。
  6. 前記故障管理モジュールにおける故障シーンの管理方法は、
    前記故障管理モジュールにおける故障シーンを追加、削除、修正、またはレビューすることと、
    故障プログラム編集インタフェースを介して受信したプログラムの内容に基づいて故障シーンを生成し、生成した故障シーンを前記故障管理モジュールにアップロードすることと、
    前記故障管理モジュールにおける故障シーンを対応する対象サービスと紐付けることと、
    を少なくとも1つ含み、
    前記故障シーンを生成する前に、前記受信したプログラムの内容のうちの高リスクコマンドおよび高リスクコードセグメントに対して、故障シーンの注入リスクを提示するための標識を付ける
    ことを特徴とする請求項に記載の故障注入方法。
  7. 前記対象サービスの対象指標を収集することは、
    指定された指標データプッシュインタフェースから前記対象サービスの対象指標を収集することと、
    前記対象サービスから前記対象指標を収集することと、
    を少なくとも1つ含む
    ことを特徴とする請求項2に記載の故障注入方法。
  8. 少なくとも1つの対象サービス標識およびそれに対応する故障シーンを含む故障注入タスクを取得する第1取得モジュールと、
    各前記対象サービス標識に基づいて対象サービスを特定し、前記対象サービスの状態を取得する第2取得モジュールと、
    前記対象サービスの状態が正常状態である場合に、前記対象サービス標識に対応する故障シーンを前記対象サービスに注入する注入モジュールと、を備え
    前記第2取得モジュールは、
    前記故障注入タスクが審査に合格した場合に、前記対象サービス標識に基づいて前記対象サービスを特定し、前記対象サービスの状態を取得することに用いられ、
    前記故障注入タスクが審査に合格することは、
    前記故障注入タスクにおける故障シーンのうち、コマンドとコードセグメントの少なくとも1つのリスクが予め設定されたリスクレベルを下回っている場合に、前記故障注入タスクが審査に合格したと判定することと、
    前記故障注入タスクに対する審査通過指示を受信した場合に、前記故障注入タスクが審査に合格したと判定することと、
    を少なくとも1つ含む
    ことを特徴とする故障注入装置。
  9. 前記対象サービスの対象指標を収集する収集モジュールと、
    収集された前記対象指標が予め設定された指標区間を超えていることがモニタリングされた場合に、前記故障シーンの注入を停止する停止モジュールと、をさらに備える
    ことを特徴とする請求項に記載の故障注入装置。
  10. 前記対象サービスに注入された故障シーンを取り消す取消モジュールと、
    前記故障注入タスクを終了する終了モジュールと、をさらに備える
    ことを特徴とする請求項に記載の故障注入装置。
  11. 前記故障注入装置は、
    受け付けたタスクアサイメント命令に従って前記故障注入タスクをアサインするアサイメントモジュールをさらに備え、
    前記アサイメントモジュールは、
    故障シーンを前記故障注入タスクに追加する追加サブモジュールと、
    前記故障注入タスクにおける故障シーンに対して、削除、編集又は注入順序の調整を行う調整サブモジュールと、
    前記故障注入タスクのトリガ方法を設定するトリガサブモジュールと、
    を少なくとも1つ備える
    ことを特徴とする請求項10のいずれか一項に記載の故障注入装置。
  12. 前記追加サブモジュールは、
    複数の故障シーンを予め保存している故障管理モジュールから少なくとも1つの故障シーンを選択して前記故障注入タスクに追加することに用いられる
    ことを特徴とする請求項11に記載の故障注入装置。
  13. 前記故障管理モジュールは、
    前記故障管理モジュールにおける故障シーンを追加、削除、修正、またはレビューする追加・削除・修正・レビューサブモジュールと、
    故障プログラム編集インタフェースを介して受信したプログラムの内容に基づいて故障シーンを生成し、生成した故障シーンを前記故障管理モジュールにアップロードする編集サブモジュールと、
    前記故障管理モジュールにおける故障シーンを対応する対象サービスと紐付ける紐付けサブモジュールと、を備え、
    前記故障シーンを生成する前に、前記受信したプログラムの内容のうちの高リスクコマンドおよび高リスクコードセグメントに対して、故障シーンの注入リスクを提示するための標識を付ける
    ことを特徴とする請求項12に記載の故障注入装置。
  14. 前記収集モジュールは、
    指定された指標データプッシュインタフェースから前記対象サービスの対象指標を収集する第1収集サブモジュールと、
    前記対象サービスから前記対象指標を収集する第2収集サブモジュールと、
    を少なくとも1つ備える
    ことを特徴とする請求項9に記載の故障注入装置。
  15. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、
    前記命令は、前記少なくとも1つのプロセッサにより実行される場合、請求項1~のいずれか1項に記載の故障注入方法を実行させることを特徴とする電子設備。
  16. 請求項1~のいずれか1項に記載の故障注入方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体。
  17. コンピュータにおいて、プロセッサにより実行される場合、請求項1~のいずれか一項に記載の故障注入方法を実現することを特徴とするプログラム。
JP2021001793A 2020-05-29 2021-01-08 故障注入方法、装置、電子設備、記憶媒体、及びプログラム Active JP7110415B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010479965.9 2020-05-29
CN202010479965.9A CN111651353B (zh) 2020-05-29 2020-05-29 故障注入的方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021190089A JP2021190089A (ja) 2021-12-13
JP7110415B2 true JP7110415B2 (ja) 2022-08-01

Family

ID=72344973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021001793A Active JP7110415B2 (ja) 2020-05-29 2021-01-08 故障注入方法、装置、電子設備、記憶媒体、及びプログラム

Country Status (5)

Country Link
US (1) US11307948B2 (ja)
EP (1) EP3916560A1 (ja)
JP (1) JP7110415B2 (ja)
KR (1) KR102583034B1 (ja)
CN (1) CN111651353B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651353B (zh) * 2020-05-29 2023-07-18 北京百度网讯科技有限公司 故障注入的方法、装置、电子设备和存储介质
US11983100B2 (en) * 2020-09-29 2024-05-14 Amazon Technologies, Inc. Automated testing of systems and applications
CN112540887A (zh) * 2020-12-16 2021-03-23 北京奇艺世纪科技有限公司 故障演练方法、装置、电子设备及存储介质
CN112631846B (zh) * 2020-12-25 2024-10-01 广州品唯软件有限公司 一种故障演练方法、装置、计算机设备及存储介质
CN112905480A (zh) * 2021-03-19 2021-06-04 腾讯科技(深圳)有限公司 测试脚本生成方法、装置、存储介质和电子设备
CN113064782B (zh) * 2021-03-22 2023-03-24 山东英信计算机技术有限公司 一种内存注错自动化系统、使用方法及介质
CN113407394B (zh) * 2021-05-31 2023-03-28 浪潮电子信息产业股份有限公司 一种服务器ras功能测试的方法、装置、设备和介质
CN114978923B (zh) * 2022-04-21 2024-06-18 京东科技信息技术有限公司 故障演练方法、装置和系统
US11966276B2 (en) * 2022-05-23 2024-04-23 Microsoft Technology Licensing, Llc Error testing for computers using temporary, self-terminating fault injectors
CN115081410A (zh) * 2022-07-19 2022-09-20 中电金信软件有限公司 一种实验报告的自动生成方法及装置
CN115757088B (zh) * 2022-10-10 2023-10-20 中电金信软件有限公司 基于环境变量的故障注入方法、装置和设备
CN117170916A (zh) * 2023-08-15 2023-12-05 深圳金融科技研究院(中国人民银行金融科技研究院) 一种故障分析方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060271825A1 (en) 2005-05-25 2006-11-30 Todd Keaffaber Injection of software faults into an operational system
JP2015141539A (ja) 2014-01-28 2015-08-03 株式会社東芝 故障注入プログラム
US20180285239A1 (en) 2017-03-31 2018-10-04 Microsoft Technology Licensing, Llc Scenarios based fault injection

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977772B1 (ko) * 2012-07-12 2019-05-13 삼성전자주식회사 데이터 처리 장치 및 이를 포함하는 보안 메모리 장치
US9483383B2 (en) * 2013-12-05 2016-11-01 International Business Machines Corporation Injecting faults at select execution points of distributed applications
CN105868097B (zh) 2015-01-22 2018-09-14 阿里巴巴集团控股有限公司 系统测试方法及其装置
US9747153B2 (en) * 2015-06-22 2017-08-29 Microsoft Technology Licensing, Llc Resilience as a service
US9753826B2 (en) * 2015-07-21 2017-09-05 International Business Machines Corporation Providing fault injection to cloud-provisioned machines
US9842045B2 (en) * 2016-02-19 2017-12-12 International Business Machines Corporation Failure recovery testing framework for microservice-based applications
CN106598860B (zh) 2016-12-16 2019-02-05 郑州云海信息技术有限公司 一种多种故障注入测试方法
CN107301101A (zh) * 2017-06-22 2017-10-27 郑州云海信息技术有限公司 一种存储故障注入方法及系统
US10990682B2 (en) * 2017-12-18 2021-04-27 Nuvoton Technology Corporation System and method for coping with fault injection attacks
CN109032825B (zh) * 2018-06-06 2021-09-14 创新先进技术有限公司 一种故障注入方法、装置及设备
CN109739774A (zh) * 2019-01-25 2019-05-10 上海创景信息科技有限公司 Edac故障注入与检测方法
US11204861B2 (en) * 2019-03-05 2021-12-21 Honeywell International Inc. Systems and methods for fault injection and ensuring failsafe FMS SaaS platforms
CN110673993B (zh) * 2019-09-19 2023-05-05 聚好看科技股份有限公司 一种故障注入方法、平台及系统
CN110704314B (zh) * 2019-09-26 2023-03-10 天津津航计算技术研究所 一种嵌入式软件测试的故障注入方法
US10986013B1 (en) * 2019-09-26 2021-04-20 Amazon Technologies, Inc. Fault injection service
CN111651353B (zh) * 2020-05-29 2023-07-18 北京百度网讯科技有限公司 故障注入的方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060271825A1 (en) 2005-05-25 2006-11-30 Todd Keaffaber Injection of software faults into an operational system
JP2015141539A (ja) 2014-01-28 2015-08-03 株式会社東芝 故障注入プログラム
US20180285239A1 (en) 2017-03-31 2018-10-04 Microsoft Technology Licensing, Llc Scenarios based fault injection

Also Published As

Publication number Publication date
EP3916560A1 (en) 2021-12-01
CN111651353B (zh) 2023-07-18
JP2021190089A (ja) 2021-12-13
CN111651353A (zh) 2020-09-11
US11307948B2 (en) 2022-04-19
KR20210049033A (ko) 2021-05-04
KR102583034B1 (ko) 2023-09-25
US20210374025A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
JP7110415B2 (ja) 故障注入方法、装置、電子設備、記憶媒体、及びプログラム
JP7209034B2 (ja) エッジコンピューティングテスト方法、装置、機器及び読み取り可能な記憶媒体
US10083027B2 (en) Systems and methods for managing software development environments
CN108959068B (zh) 软件界面测试方法、设备及存储介质
US20130311827A1 (en) METHOD and APPARATUS for automatic testing of automation software
US20180329807A1 (en) Focus area integration test heuristics
US10310967B1 (en) Regression testing of new software version and deployment
US9928162B2 (en) Identifying severity of test execution failures by analyzing test execution logs
US20150106791A1 (en) System and method for automating build deployment and testing processes
US9135149B2 (en) Test case arrangment and execution
US20170270030A1 (en) Generating reusable testing procedures
CN115658529A (zh) 用户页面的自动化测试方法以及相关设备
CN111176974B (zh) 容灾测试方法、装置、计算机可读介质及电子设备
US9449527B2 (en) Break-fix simulator
US11249880B1 (en) Debugging and simulating application runtime execution
CN114647572A (zh) 用于软件应用组件测试的方法和系统
US20120239986A1 (en) Script execution with fallback
CN112035300A (zh) 服务器bmc自动化测试系统、方法、存储介质、电子设备
Du et al. High availability verification framework for OpenStack based on fault injection
CN111435306A (zh) 一种代码的管理方法和装置
US20180203790A1 (en) Detection of software errors
CN113392002A (zh) 一种测试系统构建方法、装置、设备及存储介质
CN109213569B (zh) 一种基于虚拟机的审计方法、装置、服务器及存储介质
US10684881B2 (en) Batch processing of computing elements to conditionally delete virtual machine(s)
CN111858302A (zh) 小程序的测试方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220720

R150 Certificate of patent or registration of utility model

Ref document number: 7110415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150