JP7387773B2 - 継続的インテグレーションテスト方法、システム及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents
継続的インテグレーションテスト方法、システム及び装置、電子機器、記憶媒体並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP7387773B2 JP7387773B2 JP2022006332A JP2022006332A JP7387773B2 JP 7387773 B2 JP7387773 B2 JP 7387773B2 JP 2022006332 A JP2022006332 A JP 2022006332A JP 2022006332 A JP2022006332 A JP 2022006332A JP 7387773 B2 JP7387773 B2 JP 7387773B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- test device
- test
- hardware parameter
- environment information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims description 403
- 230000010354 integration Effects 0.000 title claims description 90
- 238000004590 computer program Methods 0.000 title claims description 13
- 230000007613 environmental effect Effects 0.000 claims description 61
- 238000013515 script Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 40
- 238000007726 management method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/3648—Software debugging using additional hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Description
MACHINE: [“Cloud.2c8g”, “Bare-metal.gpu”]
OS: [“CentOS 7.3”, “CentOS 7.5”, “CentOS 8.0”, “Ubuntu 20.04”]
KERNEL: [“3.10.0”, “4.18.1”]
ENV: [“Docker:18.03”, “Docker:19.03”]
である。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項1:
テスト対象のスクリプトを取得して、テストに要するハードウェアパラメータ情報及び非ハードウェアパラメータ情報を含む複数の環境情報を取得するステップと、
テスト装置クラスタから、前記環境情報におけるハードウェアパラメータ情報に適合するテスト装置を選択するステップと、
前記環境情報における非ハードウェアパラメータ情報に基づいて、該テスト装置を初期化して、初期化済みテスト装置を得るステップと、
前記初期化済みテスト装置を用いて、前記テスト対象のスクリプトをテストして、前記環境情報に対応するテスト結果を生成するステップと
を備える、サービス側に用いられる継続的インテグレーションテスト方法。
請求項2:
前記複数の環境情報を取得するステップは、
テスト対象の少なくとも2つの環境パラメータ値を取得することであって、前記環境パラメータ値は、ハードウェアパラメータ情報のハードウェアパラメータ値及び非ハードウェアパラメータ情報の非ハードウェアパラメータ値を含むことと、
前記少なくとも2つの環境パラメータ値に対して順列組合せを行い、得られた順列組合せ結果に基づいて、前記複数の環境情報を確定することと
を備える請求項1に記載の方法。
請求項3:
前記ハードウェアパラメータ情報及び非ハードウェアパラメータ情報の両方の少なくとも2つの環境パラメータ値が行列で表され、前記ハードウェアパラメータ情報及び非ハードウェアパラメータ情報の両方の数が前記行列の行数に等しい、請求項2に記載の方法。
請求項4:
前記方法は、前記複数の環境情報に対してテストの同時並行処理環境数を確定するステップをさらに含み、
テスト装置クラスタから前記環境情報におけるハードウェアパラメータ情報に適合するテスト装置を選択するステップは、前記複数の環境情報のうちの同時並行処理環境数の環境情報に対して、テスト装置クラスタから前記同時並行処理環境数の環境情報のハードウェアパラメータ情報に適合するテスト装置を選択することを含む、請求項1に記載の方法。
請求項5:
前記初期化済みテスト装置を用いて前記テスト対象のスクリプトをテストした後に、採用した環境情報のうち最後に採用した環境情報をテスト終了したことに応答して、選択したテスト装置の状態タグを未選択状態に修正するステップをさらに含む、請求項1~4のいずれか一項に記載の方法。
請求項6:
前記初期化済みテスト装置を用いて、前記テスト対象のスクリプトをテストするステップは、
選択したテスト装置の、IPアドレスを含む登録条件情報を確定することと、
前記登録条件情報及び前記初期化済みテスト装置により、前記テスト対象のスクリプトをテストすることと
を含む、請求項1~4のいずれか一項に記載の方法。
請求項7:
サービス側に用いられる継続的インテグレーションテストシステムであって、前記システムは、継続的インテグレーションサーバとリソース管理サーバとを備え、
前記継続的インテグレーションサーバは、テスト対象のスクリプトを取得して、テストに要するハードウェアパラメータ情報及び非ハードウェアパラメータ情報を含む複数の環境情報を取得し、前記複数の環境情報を含むテストリクエストを前記リソース管理サーバに送信するように構成され、
前記リソース管理サーバは、前記テストリクエストを受信したことに応答して、テスト装置クラスタから前記環境情報のハードウェアパラメータ情報に適合するテスト装置を選択し、前記環境情報の非ハードウェアパラメータ情報に基づいて、前記テスト装置情報が示すテスト装置を初期化して、初期化済みテスト装置を得るように構成され、
前記継続的インテグレーションサーバはさらに、前記初期化済みテスト装置を用いて、前記テスト対象のスクリプトをテストして、前記環境情報に対応するテスト結果を生成するように構成される、継続的インテグレーションテストシステム。
請求項8:
前記システムは、前記テスト対象のスクリプトを構築するための構築コードを受信したことに応答して、前記構築コードを含む構築トリガー情報を前記継続的インテグレーションサーバに送信するように構成されるコードリポジトリサーバをさらに備え、
前記継続的インテグレーションサーバはさらに、前記構築トリガー情報を受信したことに応答して、前記構築コードに基づいて、前記テスト対象のスクリプトを構築するように構成される、請求項7に記載のシステム。
請求項9:
前記継続的インテグレーションサーバはさらに、前記複数の環境情報に対してテストの同時並行処理環境数を確定するように構成され、
前記リソース管理サーバはさらに、前記複数の環境情報のうちの同時並行処理環境数の環境情報に対して、テスト装置クラスタから前記同時並行処理環境数の環境情報のハードウェアパラメータ情報に適合するテスト装置を選択するように構成される、請求項7又は8に記載のシステム。
請求項10:
前記継続的インテグレーションサーバはさらに、採用した環境情報のうち最後に採用した環境情報をテスト終了したことに応答して、テスト終了情報を前記リソース管理サーバに送信するように構成され、
前記リソース管理サーバはさらに、テスト終了情報を受信したことに応答して、選択したテスト装置の状態タグを未選択状態に修正するように構成される、請求項7又は8に記載のシステム。
請求項11:
テスト対象のスクリプトを取得して、テストに要するハードウェアパラメータ情報及び非ハードウェアパラメータ情報を含む複数の環境情報を取得するように構成される取得ユニットと、
テスト装置クラスタから前記環境情報におけるハードウェアパラメータ情報に適合するテスト装置を選択するように構成される選択ユニットと、
前記環境情報における非ハードウェアパラメータ情報に基づいて、該テスト装置を初期化して、初期化済みテスト装置を得るように構成される初期化ユニットと、
前記初期化済みテスト装置を用いて、前記テスト対象のスクリプトをテストして、前記環境情報に対応するテスト結果を生成するように構成されるテストユニットと
を備える、サービス側に用いられる継続的インテグレーションテスト装置。
請求項12:
前記複数の環境情報を取得することは、
テスト対象の少なくとも2つの環境パラメータ値を取得することであって、前記環境パラメータ値は、ハードウェアパラメータ情報のハードウェアパラメータ値及び非ハードウェアパラメータ情報の非ハードウェアパラメータ値を含むことと、
前記少なくとも2つの環境パラメータ値に対して順列組合せを行い、得られた順列組合せ結果に基づいて、前記複数の環境情報を確定することと
を備える、請求項11に記載の装置。
請求項13:
前記ハードウェアパラメータ情報及び非ハードウェアパラメータ情報の両方の少なくとも2つの環境パラメータ値が行列で表され、前記ハードウェアパラメータ情報及び非ハードウェアパラメータ情報の両方の数が、前記行列の行数に等しい、請求項12に記載の装置。
請求項14:
前記装置は、前記複数の環境情報に対して、テストの同時並行処理環境数を確定するように構成される確定ユニットをさらに備え、
前記選択ユニットは、前記複数の環境情報のうちの同時並行処理環境数の環境情報に対して、テスト装置クラスタから前記同時並行処理環境数の環境情報のハードウェアパラメータ情報に適合するテスト装置を選択することによって、テスト装置クラスタから前記環境情報におけるハードウェアパラメータ情報に適合するテスト装置を選択することを実行するようにさらに構成される、請求項11に記載の装置。
請求項15:
前記初期化済みテスト装置を用いて前記テスト対象のスクリプトをテストした後に、採用した環境情報のうち最後に採用した環境情報をテスト終了したことに応答して、選択したテスト装置の状態タグを未選択状態に修正するように構成される修正ユニットをさらに備える、請求項11~14のいずれか一項に記載の装置。
請求項16:
前記テストユニットはさらに、選択したテスト装置の、IPアドレスを含む登録条件情報を確定することと、前記登録条件情報及び前記初期化済みテスト装置により、前記テスト対象のスクリプトをテストすることとを行うことによって、前記初期化済みテスト装置を用いて前記テスト対象のスクリプトをテストすることを実行するように構成される、請求項11~14のいずれか一項に記載の装置。
請求項17:
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信可能に接続されるメモリと
を備える電子機器であって、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な指令が格納され、前記指令が前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに請求項1~6のいずれか一項に記載の方法を実行させることができる、電子機器。
請求項18:
コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ指令はコンピュータに請求項1~6のいずれか一項に記載の方法を実行させるために用いられる、非一時的コンピュータ可読記憶媒体。
請求項19:
プロセッサによって実行されると、請求項1~6のいずれか一項に記載の方法を実現する、コンピュータプログラム。
Claims (16)
- テスト対象のスクリプトを取得して、テストに要するハードウェアパラメータ情報及び非ハードウェアパラメータ情報を含む複数の環境情報を取得するステップと、
テスト装置クラスタから、前記環境情報におけるハードウェアパラメータ情報に適合するテスト装置を選択するステップと、
前記環境情報における非ハードウェアパラメータ情報に基づいて、該テスト装置を初期化して、初期化済みテスト装置を得るステップと、
前記初期化済みテスト装置を用いて、前記テスト対象のスクリプトをテストして、前記環境情報に対応するテスト結果を生成するステップと、
前記複数の環境情報に対してテストの同時並行処理環境数を確定するステップと
を備え、
テスト装置クラスタから前記環境情報におけるハードウェアパラメータ情報に適合するテスト装置を選択するステップは、前記複数の環境情報のうちの同時並行処理環境数の環境情報に対して、テスト装置クラスタから前記同時並行処理環境数の環境情報のハードウェアパラメータ情報に適合するテスト装置を選択することを含む、サービス側に用いられる継続的インテグレーションテスト方法。 - 前記複数の環境情報を取得するステップは、
テスト対象の少なくとも2つの環境パラメータ値を取得することであって、前記環境パラメータ値は、ハードウェアパラメータ情報のハードウェアパラメータ値及び非ハードウェアパラメータ情報の非ハードウェアパラメータ値を含むことと、
前記少なくとも2つの環境パラメータ値に対して順列組合せを行い、得られた順列組合せ結果に基づいて、前記複数の環境情報を確定することと
を備える請求項1に記載の継続的インテグレーションテスト方法。 - 前記ハードウェアパラメータ情報及び非ハードウェアパラメータ情報の両方の少なくとも2つの環境パラメータ値が行列で表され、前記ハードウェアパラメータ情報及び非ハードウェアパラメータ情報の両方の数が前記行列の行数に等しい、請求項2に記載の継続的インテグレーションテスト方法。
- 前記初期化済みテスト装置を用いて前記テスト対象のスクリプトをテストした後に、採用した環境情報のうち最後に採用した環境情報をテスト終了したことに応答して、選択したテスト装置の状態タグを未選択状態に修正するステップをさらに含む、請求項1~3のいずれか一項に記載の継続的インテグレーションテスト方法。
- 前記初期化済みテスト装置を用いて、前記テスト対象のスクリプトをテストするステッ
プは、
選択したテスト装置の、IPアドレスを含む登録条件情報を確定することと、
前記登録条件情報及び前記初期化済みテスト装置により、前記テスト対象のスクリプトをテストすることと
を含む、請求項1~3のいずれか一項に記載の継続的インテグレーションテスト方法。 - サービス側に用いられる継続的インテグレーションテストシステムであって、前記継続的インテグレーションテストシステムは、継続的インテグレーションサーバとリソース管理サーバとを備え、
前記継続的インテグレーションサーバは、テスト対象のスクリプトを取得して、テストに要するハードウェアパラメータ情報及び非ハードウェアパラメータ情報を含む複数の環境情報を取得し、前記複数の環境情報を含むテストリクエストを前記リソース管理サーバに送信するように構成され、
前記リソース管理サーバは、前記テストリクエストを受信したことに応答して、テスト装置クラスタから前記環境情報のハードウェアパラメータ情報に適合するテスト装置を選択し、前記環境情報の非ハードウェアパラメータ情報に基づいて、前記テスト装置を初期化して、初期化済みテスト装置を得るように構成され、
前記継続的インテグレーションサーバはさらに、前記初期化済みテスト装置を用いて、前記テスト対象のスクリプトをテストして、前記環境情報に対応するテスト結果を生成するように構成され、
前記継続的インテグレーションサーバはさらに、前記複数の環境情報に対してテストの同時並行処理環境数を確定するように構成され、
前記リソース管理サーバはさらに、前記複数の環境情報のうちの同時並行処理環境数の環境情報に対して、テスト装置クラスタから前記同時並行処理環境数の環境情報のハードウェアパラメータ情報に適合するテスト装置を選択するように構成される、継続的インテグレーションテストシステム。 - 前記継続的インテグレーションテストシステムは、前記テスト対象のスクリプトを構築するための構築コードを受信したことに応答して、前記構築コードを含む構築トリガー情報を前記継続的インテグレーションサーバに送信するように構成されるコードリポジトリサーバをさらに備え、
前記継続的インテグレーションサーバはさらに、前記構築トリガー情報を受信したことに応答して、前記構築コードに基づいて、前記テスト対象のスクリプトを構築するように構成される、請求項6に記載の継続的インテグレーションテストシステム。 - 前記継続的インテグレーションサーバはさらに、採用した環境情報のうち最後に採用した環境情報をテスト終了したことに応答して、テスト終了情報を前記リソース管理サーバに送信するように構成され、
前記リソース管理サーバはさらに、テスト終了情報を受信したことに応答して、選択したテスト装置の状態タグを未選択状態に修正するように構成される、請求項6又は7に記載の継続的インテグレーションテストシステム。 - テスト対象のスクリプトを取得して、テストに要するハードウェアパラメータ情報及び非ハードウェアパラメータ情報を含む複数の環境情報を取得するように構成される取得ユニットと、
テスト装置クラスタから前記環境情報におけるハードウェアパラメータ情報に適合するテスト装置を選択するように構成される選択ユニットと、
前記環境情報における非ハードウェアパラメータ情報に基づいて、該テスト装置を初期化して、初期化済みテスト装置を得るように構成される初期化ユニットと、
前記初期化済みテスト装置を用いて、前記テスト対象のスクリプトをテストして、前記環境情報に対応するテスト結果を生成するように構成されるテストユニットと、
前記複数の環境情報に対して、テストの同時並行処理環境数を確定するように構成される確定ユニットと
を備え、
前記選択ユニットは、前記複数の環境情報のうちの同時並行処理環境数の環境情報に対して、テスト装置クラスタから前記同時並行処理環境数の環境情報のハードウェアパラメータ情報に適合するテスト装置を選択するようにさらに構成される、サービス側に用いられる継続的インテグレーションテスト装置。 - 前記複数の環境情報を取得することは、
テスト対象の少なくとも2つの環境パラメータ値を取得することであって、前記環境パラメータ値は、ハードウェアパラメータ情報のハードウェアパラメータ値及び非ハードウェアパラメータ情報の非ハードウェアパラメータ値を含むことと、
前記少なくとも2つの環境パラメータ値に対して順列組合せを行い、得られた順列組合せ結果に基づいて、前記複数の環境情報を確定することと
を備える、請求項9に記載の継続的インテグレーションテスト装置。 - 前記ハードウェアパラメータ情報及び非ハードウェアパラメータ情報の両方の少なくとも2つの環境パラメータ値が行列で表され、前記ハードウェアパラメータ情報及び非ハードウェアパラメータ情報の両方の数が、前記行列の行数に等しい、請求項10に記載の継続的インテグレーションテスト装置。
- 前記初期化済みテスト装置を用いて前記テスト対象のスクリプトをテストした後に、採用した環境情報のうち最後に採用した環境情報をテスト終了したことに応答して、選択したテスト装置の状態タグを未選択状態に修正するように構成される修正ユニットをさらに備える、請求項9~11のいずれか一項に記載の継続的インテグレーションテスト装置。
- 前記テストユニットはさらに、選択したテスト装置の、IPアドレスを含む登録条件情報を確定することと、前記登録条件情報及び前記初期化済みテスト装置により、前記テスト対象のスクリプトをテストすることとを行うことによって、前記初期化済みテスト装置を用いて前記テスト対象のスクリプトをテストすることを実行するように構成される、請求項9~11のいずれか一項に記載の継続的インテグレーションテスト装置。
- 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信可能に接続されるメモリと
を備える電子機器であって、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な指令が格納され、前記指令が前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに請求項1~5のいずれか一項に記載の継続的インテグレーションテスト方法を実行させることができる、電子機器。 - コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ指令はコンピュータに請求項1~5のいずれか一項に記載の継続的インテグレーションテスト方法を実行させるために用いられる、非一時的コンピュータ可読記憶媒体。
- プロセッサによって実行されると、請求項1~5のいずれか一項に記載の継続的インテグレーションテスト方法を実現する、コンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110528919.8 | 2021-05-14 | ||
CN202110528919.8A CN113238943A (zh) | 2021-05-14 | 2021-05-14 | 持续集成测试的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022158903A JP2022158903A (ja) | 2022-10-17 |
JP7387773B2 true JP7387773B2 (ja) | 2023-11-28 |
Family
ID=77134418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022006332A Active JP7387773B2 (ja) | 2021-05-14 | 2022-01-19 | 継続的インテグレーションテスト方法、システム及び装置、電子機器、記憶媒体並びにコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220138093A1 (ja) |
EP (1) | EP4075283A1 (ja) |
JP (1) | JP7387773B2 (ja) |
KR (1) | KR20220013947A (ja) |
CN (1) | CN113238943A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115373927B (zh) * | 2022-10-25 | 2023-04-21 | 深圳市亿联无限科技股份有限公司 | 产品测试方法、装置、电子设备和计算机可读介质 |
CN116881064B (zh) * | 2023-09-06 | 2023-12-15 | Tcl通讯科技(成都)有限公司 | 终端测试方法、装置、设备和存储介质 |
CN117149665B (zh) * | 2023-10-31 | 2024-02-20 | 芯瞳半导体技术(山东)有限公司 | 持续集成方法、控制设备、持续集成系统及存储介质 |
CN117555626A (zh) * | 2023-11-29 | 2024-02-13 | 沐曦集成电路(上海)有限公司 | 基于Jenkins的硬件测试方法、电子设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050071838A1 (en) | 2003-09-30 | 2005-03-31 | Keisuke Hatasaki | System-updating method and computer system adopting the method |
US20070168970A1 (en) | 2005-11-07 | 2007-07-19 | Red Hat, Inc. | Method and system for automated distributed software testing |
WO2020008991A1 (ja) | 2018-07-04 | 2020-01-09 | 日本電気株式会社 | 検証自動化装置、検証自動化方法、およびコンピュータ読み取り可能な記録媒体 |
WO2020171952A1 (en) | 2019-02-22 | 2020-08-27 | Microsoft Technology Licensing, Llc | Machine-based recognition and dynamic selection of subpopulations for improved telemetry |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0793187A (ja) * | 1993-09-27 | 1995-04-07 | Matsushita Electric Ind Co Ltd | 自動テスト方法および自動テスト装置 |
US7337431B1 (en) * | 2003-12-23 | 2008-02-26 | Sprint Communications Company L.P. | Distributed large-scale application benchmark system |
US8433953B1 (en) * | 2007-08-13 | 2013-04-30 | The Mathworks, Inc. | Automatic configuration of a test environment |
US8533676B2 (en) * | 2011-12-29 | 2013-09-10 | Unisys Corporation | Single development test environment |
CA2889387C (en) * | 2011-11-22 | 2020-03-24 | Solano Labs, Inc. | System of distributed software quality improvement |
US9495281B2 (en) * | 2012-11-21 | 2016-11-15 | Hewlett Packard Enterprise Development Lp | User interface coverage |
GB2516986B (en) * | 2013-08-06 | 2017-03-22 | Barclays Bank Plc | Automated application test system |
CN106933729A (zh) * | 2015-12-29 | 2017-07-07 | 苏宁云商集团股份有限公司 | 一种基于云平台的测试方法和系统 |
CN110706147B (zh) * | 2019-09-29 | 2023-08-11 | 阿波罗智联(北京)科技有限公司 | 图像处理的环境确定方法、装置、电子设备和存储介质 |
CN111309602A (zh) * | 2020-02-04 | 2020-06-19 | 北京同邦卓益科技有限公司 | 一种软件测试方法、装置及系统 |
US20220138089A1 (en) * | 2020-10-30 | 2022-05-05 | EMC IP Holding Company LLC | Smart test executor |
CN112306880A (zh) * | 2020-11-02 | 2021-02-02 | 百度在线网络技术(北京)有限公司 | 测试方法、装置、电子设备和计算机可读存储介质 |
-
2021
- 2021-05-14 CN CN202110528919.8A patent/CN113238943A/zh active Pending
-
2022
- 2022-01-14 US US17/576,157 patent/US20220138093A1/en not_active Abandoned
- 2022-01-17 KR KR1020220006506A patent/KR20220013947A/ko not_active Application Discontinuation
- 2022-01-19 JP JP2022006332A patent/JP7387773B2/ja active Active
- 2022-03-30 EP EP22165528.5A patent/EP4075283A1/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050071838A1 (en) | 2003-09-30 | 2005-03-31 | Keisuke Hatasaki | System-updating method and computer system adopting the method |
JP2005107803A (ja) | 2003-09-30 | 2005-04-21 | Hitachi Ltd | システム更新方法、および、それを実行するための計算機システム |
US20070168970A1 (en) | 2005-11-07 | 2007-07-19 | Red Hat, Inc. | Method and system for automated distributed software testing |
WO2020008991A1 (ja) | 2018-07-04 | 2020-01-09 | 日本電気株式会社 | 検証自動化装置、検証自動化方法、およびコンピュータ読み取り可能な記録媒体 |
WO2020171952A1 (en) | 2019-02-22 | 2020-08-27 | Microsoft Technology Licensing, Llc | Machine-based recognition and dynamic selection of subpopulations for improved telemetry |
Also Published As
Publication number | Publication date |
---|---|
US20220138093A1 (en) | 2022-05-05 |
CN113238943A (zh) | 2021-08-10 |
KR20220013947A (ko) | 2022-02-04 |
EP4075283A1 (en) | 2022-10-19 |
JP2022158903A (ja) | 2022-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7387773B2 (ja) | 継続的インテグレーションテスト方法、システム及び装置、電子機器、記憶媒体並びにコンピュータプログラム | |
US20180267885A1 (en) | Determining application test results using screenshot metadata | |
CN110765024B (zh) | 模拟测试方法、装置、电子设备和计算机可读存储介质 | |
JP7074964B2 (ja) | セッション推奨方法、装置及び電子機器 | |
US20180081795A1 (en) | Automated test generation for multi-interface enterprise virtualization management environment | |
JP7030177B2 (ja) | テスト方法及び装置 | |
US20210081309A1 (en) | Mapping interactive elements in an application user interface | |
CN111582453A (zh) | 生成神经网络模型的方法和装置 | |
CN111582477B (zh) | 神经网络模型的训练方法和装置 | |
US11843674B2 (en) | Virtual workspace experience visualization and optimization | |
CN111639027B (zh) | 一种测试方法、装置及电子设备 | |
CN111582375A (zh) | 数据增强策略搜索方法、装置、设备以及存储介质 | |
US11216482B2 (en) | Systems and methods for access to multi-tenant heterogeneous databases | |
CN111582452B (zh) | 生成神经网络模型的方法和装置 | |
CN109815119A (zh) | 一种app链接渠道的测试方法及装置 | |
US11954013B2 (en) | Method of testing applet performance, electronic device, and computer-readable medium | |
US20180234329A1 (en) | Test building for testing server operation | |
CN107229565B (zh) | 测试方法和装置 | |
WO2022100075A1 (zh) | 性能检测方法、装置、电子设备和计算机可读介质 | |
US20160328200A1 (en) | Testing screens of a multi-screen device | |
US20150160942A1 (en) | Data object with common statement series | |
CN116541224A (zh) | 性能测试方法、装置、电子设备与可读存储介质 | |
CN111813407A (zh) | 游戏开发方法、游戏运行方法、装置和电子设备 | |
JP2022078129A (ja) | データラベリング方法、装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム | |
KR20210038975A (ko) | 세션 추천 방법, 장치 및 전자 기기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7387773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |