JPWO2021133603A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021133603A5
JPWO2021133603A5 JP2022535176A JP2022535176A JPWO2021133603A5 JP WO2021133603 A5 JPWO2021133603 A5 JP WO2021133603A5 JP 2022535176 A JP2022535176 A JP 2022535176A JP 2022535176 A JP2022535176 A JP 2022535176A JP WO2021133603 A5 JPWO2021133603 A5 JP WO2021133603A5
Authority
JP
Japan
Prior art keywords
data
executable component
flow graph
data flow
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022535176A
Other languages
Japanese (ja)
Other versions
JP2023507301A (en
Publication date
Priority claimed from US16/884,138 external-priority patent/US20210191845A1/en
Application filed filed Critical
Publication of JP2023507301A publication Critical patent/JP2023507301A/en
Publication of JPWO2021133603A5 publication Critical patent/JPWO2021133603A5/ja
Pending legal-status Critical Current

Links

Claims (25)

データ処理システムによって実施され、複数の実行可能コンポーネントを含むデータフローグラフのためのユニットテストを定義する方法であって、前記方法は、
テスト用のデータフローグラフの一部分のインジケーションを受信することであって、前記部分は、前記データフローグラフの少なくとも１つの実行可能コンポーネントを含み、前記少なくとも１つの実行可能コンポーネントは、前記少なくとも１つの実行可能コンポーネントに入力データを提供するための少なくとも１つのデータフローに接続される、ことと、
前記少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信することと、
前記少なくとも１つの実行可能コンポーネントの前記入力データを受信することであって、前記入力データは、前記パラメータセットによって示され、前記少なくとも１つのデータフローによって前記少なくとも１つの実行可能コンポーネントに提供された場合に、前記少なくとも１つの実行可能コンポーネントの機能を呼び出すように構成される、ことと、
前記パラメータセットに基づいて前記少なくとも１つの実行可能コンポーネントのユニットテストを定義することであって、前記ユニットテストは、
前記入力データを前記少なくとも１つのデータフローによって、前記少なくとも１つの実行可能コンポーネントに提供することと、
出力データを生成するように、前記少なくとも１つの実行可能コンポーネントによる前記入力データの処理を引き起こさせることと、
前記生成された出力データと、前記パラメータによって示される前記期待される出力データとの間の対応関係を示す結果データを生成することと、
前記結果データと、前記入力データと、前記データフローグラフとの組み合わせに基づいて、構造化データを生成させることと、を含む、動作を引き起こすように構成されている、ことと、
を含む、方法。 A method for defining unit tests for a data flow graph that is implemented by a data processing system and includes multiple executable components, the method comprising:
receiving an indication of a portion of a data flow graph for testing, the portion including at least one executable component of the data flow graph; connected to at least one data flow for providing input data to the executable component;
receiving a parameter set including parameters indicating expected output data produced by execution of the at least one executable component;
receiving the input data of the at least one executable component, the input data being indicated by the parameter set and provided to the at least one executable component by the at least one data flow; configured to invoke functionality of the at least one executable component;
defining a unit test for the at least one executable component based on the parameter set, the unit test comprising:
providing the input data to the at least one executable component by the at least one data flow;
causing processing of the input data by the at least one executable component to generate output data;
generating result data indicating a correspondence between the generated output data and the expected output data indicated by the parameters;
configured to cause an action, the method comprising: generating structured data based on a combination of the result data, the input data, and the data flow graph;
including methods. 前記結果データ、前記構造化データ、又はその両方は、前記生成された出力データが前記期待される出力データに従っているか否かを示すデータを含む、請求項１に記載の方法。 2. The method of claim 1, wherein the result data, the structured data, or both include data indicating whether the generated output data is in accordance with the expected output data. 前記結果データ、前記構造化データ、又はその両方は、前記生成された出力データが前記期待される出力データに従っていないことに基づいてエラーが発生したことを示すデータと、前記エラーが発生した前記少なくとも１つの実行可能コンポーネントの前記実行可能コンポーネントを示すデータと、前記エラーを訂正する方法のガイダンスを提供するデータとを含む、請求項１に記載の方法。 The result data, the structured data, or both may include data indicating that an error has occurred based on the generated output data not complying with the expected output data; 2. The method of claim 1, comprising data indicative of the executable component of one executable component and data providing guidance on how to correct the error. 前記生成された出力データが前記期待される出力データに従っていないことに基づいてエラーが発生したことを示す前記データと、前記エラーが発生した前記少なくとも１つの実行可能コンポーネントの前記実行可能コンポーネントを示す前記データと、前記エラーを訂正する方法のガイダンスを提供する前記データと、を表示するか、又は表示するように構成されているグラフィカルユーザインタフェースを、生成すること、又は生成するためのデータを提供すること、
を更に含む、請求項１に記載の方法。 said data indicating that an error has occurred based on said generated output data not in accordance with said expected output data; and said data indicating said executable component of said at least one executable component in which said error has occurred; generating, or providing data for generating, a graphical user interface that displays or is configured to display data and said data that provides guidance on how to correct said error; thing,
2. The method of claim 1, further comprising: 前記グラフィカルユーザインタフェースによって、前記入力データ、前記期待される出力データ、又は前記エラーが発生した前記少なくとも１つの実行可能コンポーネントの前記実行可能コンポーネントの前記機能の修正を受信するための手段を提供することと、
前記入力データを前記少なくとも１つのデータフローによって、前記少なくとも１つの実行可能コンポーネントに提供することと、
前記修正に従って、出力データを生成するために、前記エラーが発生した前記少なくとも１つの実行可能コンポーネントの前記実行可能コンポーネントによる入力データの処理を引き起こすことと、
を更に含む、請求項４に記載の方法。 providing means for receiving, by the graphical user interface, the input data, the expected output data, or a modification of the functionality of the executable component of the at least one executable component in which the error occurred; and,
providing the input data to the at least one executable component by the at least one data flow;
causing processing of input data by the executable component of the at least one executable component in which the error occurred to generate output data in accordance with the modification;
5. The method of claim 4, further comprising: 前記期待される出力データはベースラインデータを含み、前記結果データを生成することは、前記生成された出力データを前記ベースラインデータと比較することを含む、請求項１に記載の方法。 2. The method of claim 1, wherein the expected output data includes baseline data, and generating the result data includes comparing the generated output data to the baseline data. 入力データを提供することは、前記少なくとも１つのデータフローに供給するための前記入力データを生成するアプリケーションを実行することを含む、請求項１に記載の方法。 2. The method of claim 1, wherein providing input data includes executing an application that generates the input data for feeding the at least one data flow. 前記期待される出力データは、検証機能の予期される結果を含み、前記結果データを生成することは、結果を生成するために前記生成された出力データの少なくとも一部に前記検証機能を適用することと、前記検証機能を前記期待される出力データの少なくとも一部に適用することに従って、前記結果を前記予期される結果と比較することと、を含む、請求項１に記載の方法。 The expected output data includes an expected result of a verification function, and generating the result data applies the verification function to at least a portion of the generated output data to generate a result. 2. The method of claim 1, comprising: applying the verification function to at least a portion of the expected output data and comparing the results with the expected results. 前記検証機能は、前記少なくとも１つの実行可能コンポーネントを含む１つ以上の実行可能コンポーネントに接続された２つの異なるデータフローからのデータを比較するように構成されている、請求項８に記載の方法。 9. The method of claim 8, wherein the validation functionality is configured to compare data from two different data flows connected to one or more executable components, including the at least one executable component. . 前記パラメータセットは、前記生成された出力データを抽出するための前記データフローグラフ内の少なくとも１つの位置、前記生成された出力データと比較するためのベースラインデータの位置、前記生成された出力データを検証するための検証機能の定義、のうちの１つを示す少なくとも１つの追加のパラメータを含む、請求項１に記載の方法。 The parameter set includes at least one position within the data flow graph for extracting the generated output data, a position of baseline data for comparison with the generated output data, and the generated output data. 2. The method of claim 1, further comprising at least one additional parameter indicating one of: a definition of a verification function for verifying. 検証機能の実行中に無視する前記入力データの１つ以上の部分のインジケーションを受信することと、
前記受信されたインジケーションに基づいて、前記パラメータセットを更新することと、
を更に含む、請求項１に記載の方法。 receiving an indication of one or more portions of the input data to ignore during execution of a verification function;
updating the parameter set based on the received indication;
2. The method of claim 1, further comprising: 前記少なくとも１つの実行可能コンポーネントは、実行中に前記データフローグラフの外部のソースからソースデータを受信するように構成されており、前記入力データは、前記データフローグラフの外部の前記ソースからの前記ソースデータに対応する値を含み、前記少なくとも１つの実行可能コンポーネントの前記動作のうちの少なくともいくつかのすべての動作が、前記値の受信時に呼び出されるように構成されている、請求項１に記載の方法。 The at least one executable component is configured to receive source data from a source external to the data flow graph during execution, and the input data is configured to receive source data from a source external to the data flow graph. 2. All operations of at least some of the operations of the at least one executable component, including a value corresponding to source data, are configured to be invoked upon receipt of the value. the method of. 前記少なくとも１つの実行可能コンポーネントの少なくとも１つの機能のために前記少なくとも１つの実行可能コンポーネントに入力値を提供するルックアップファイルの一部を検索することであって、前記ルックアップファイルは遠隔ソースによって提供される、ことと、
前記少なくとも１つの実行可能コンポーネントの実行中に、前記少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置に前記ルックアップファイルの前記一部分を記憶することと、
を更に含む、請求項１に記載の方法。 retrieving a portion of a lookup file that provides input values to the at least one executable component for at least one function of the at least one executable component, the lookup file being provided by a remote source; provided, and
storing the portion of the lookup file on a data storage device accessible by the at least one executable component during execution of the at least one executable component;
2. The method of claim 1, further comprising: 前記少なくとも１つの実行可能コンポーネントのデータソースが機能呼び出しを含むと判定することと、
前記機能呼び出しの機能入力のセットの各機能入力について、前記機能呼び出しを実行して、機能出力のセットを取得することであって、各機能出力は機能入力に対応する、ことと、
前記少なくとも１つの実行可能コンポーネントの実行中に、前記少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置に前記機能呼び出しの前記機能出力のセットを記憶することと、
を更に含む、請求項１に記載の方法。 determining that the at least one executable component's data source includes a function call;
for each function input of the set of function inputs of the function call, executing the function call to obtain a set of function outputs, each function output corresponding to a function input;
storing the set of functional outputs of the functional call in a data storage device accessible by the at least one executable component during execution of the at least one executable component;
2. The method of claim 1, further comprising: 前記データフローグラフをトラバースして、前記データフローグラフの少なくとも１つのデータフローを発見することと、
前記少なくとも１つの実行可能コンポーネントのうちの少なくとも１つの実行可能コンポーネントの実行から、追加の結果データを抽出するための、前記データフローグラフ内の位置を示すために、プローブを前記少なくとも１つのデータフロー上に挿入することと、
を更に含む、請求項１に記載の方法。 traversing the data flow graph to discover at least one data flow of the data flow graph;
a probe into the at least one data flow graph to indicate a position within the data flow graph for extracting additional result data from execution of at least one of the at least one executable component; and inserting
2. The method of claim 1, further comprising: 前記構造化データのバージョンを表す前記構造化データのハッシュを生成することと、
前記構造化データの前記バージョンの前記ハッシュを、前記データフローグラフの対応するバージョンと関連付けて記憶することと、
を更に含む、請求項１に記載の方法。 generating a hash of the structured data representing a version of the structured data;
storing the hash of the version of the structured data in association with a corresponding version of the data flow graph;
2. The method of claim 1, further comprising: 前記データフローグラフの表現を表示するか、又は表示するように構成されたユーザインタフェースを生成するか、又は生成するためのデータを提供することであって、前記ユーザインタフェースは、前記少なくとも１つの実行可能コンポーネントの前記少なくとも１つの実行可能コンポーネントに対して、前記ユニットテスト中に、前記少なくとも１つの実行可能コンポーネントがどのように実行されたかを表す前記少なくとも１つの実行可能コンポーネントの動作状態を示すアノテーションを表示するか、又は表示するためである、ことを更に含む、請求項１に記載の方法。 generating or providing data for generating a user interface displaying or configured to display a representation of the data flow graph, the user interface an annotation indicating an operational state of the at least one executable component representing how the at least one executable component was executed during the unit test, for the at least one executable component of the executable component; 2. The method of claim 1, further comprising: displaying or for displaying. 前記ユーザインタフェースは、前記データフローグラフの前記少なくとも１つの実行可能コンポーネントの実行に応答して、前記データフローグラフに関連付けられた前記出力データ、前記入力データ、及び前記結果データのうちの１つ以上を示すオーバーレイ層を含む、請求項１７に記載の方法。 The user interface is configured to display one or more of the output data, the input data, and the result data associated with the data flow graph in response to execution of the at least one executable component of the data flow graph. 18. The method of claim 17, comprising an overlay layer exhibiting. 前記データフローグラフの表現を表示するか、又は表示するように構成されたユーザインタフェースを生成するか、又は生成するためのデータを提供することであって、前記ユーザインタフェースは、前記データフローグラフが前記入力データを受信する前記データフローグラフの前記表現内の位置を表示する、又は表示するためである、ことを更に含む、請求項１に記載の方法。 generating, or providing data for generating, a user interface displaying or configured to display a representation of the data flow graph, the user interface comprising: displaying a representation of the data flow graph; 2. The method of claim 1, further comprising: displaying or for displaying a position within the representation of the data flow graph that receives the input data. 前記結果データは、前記少なくとも１つの実行可能コンポーネントの各機能が、
ベースラインデータに一致する出力データを生成することと、
前記期待される出力データと一致しなかった出力データを生成すること、又は
出力データを生成しないこと、
のインジケーションを含む、請求項１に記載の方法。 The result data indicates that each function of the at least one executable component:
generating output data that matches the baseline data;
generating output data that does not match the expected output data, or not generating output data;
2. The method of claim 1, comprising an indication of. 前記ユニットテストは、前記入力データを処理するために前記少なくとも１つの実行可能コンポーネントによって要求された要求されたデータを記憶することを含む動作を引き起こすように更に構成され、前記要求されたデータは、前記構造化データに含まれる、請求項１に記載の方法。 The unit test is further configured to cause an operation that includes storing requested data requested by the at least one executable component to process the input data, the requested data comprising: The method of claim 1, wherein the structured data includes: 前記構造化データは、前記構造化データの前のバージョン、前記構造化データの後続のバージョン、又はその両方にリンク可能である、請求項１に記載の方法。 2. The method of claim 1, wherein the structured data is linkable to a previous version of the structured data, a subsequent version of the structured data, or both. 複数の実行可能コンポーネントを含むデータフローグラフのユニットテストを定義するためのデータ処理システムによって実施されるシステムであって、前記システムは、
命令を記憶するデータ記憶装置と、
少なくとも１つのプロセッサであって、前記データ記憶装置によって記憶された前記命令を実行して、
テスト用のデータフローグラフの一部分のインジケーションを受信することであって、前記部分は、前記データフローグラフの少なくとも１つの実行可能コンポーネントを含み、前記少なくとも１つの実行可能コンポーネントは、前記少なくとも１つの実行可能コンポーネントに入力データを提供するための少なくとも１つのデータフローに接続される、ことと、
前記少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信することと、
前記少なくとも１つの実行可能コンポーネントの前記入力データを受信することであって、前記入力データは、前記パラメータセットによって示され、前記少なくとも１つのデータフローによって前記少なくとも１つの実行可能コンポーネントに提供された場合に、前記少なくとも１つの実行可能コンポーネントの機能を呼び出すように構成される、ことと、
前記パラメータセットに基づいて前記少なくとも１つの実行可能コンポーネントのユニットテストを定義することであって、前記ユニットテストは、
前記入力データを前記少なくとも１つのデータフローによって、前記少なくとも１つの実行可能コンポーネントに提供することと、
出力データを生成するように、前記少なくとも１つの実行可能コンポーネントによる前記入力データの処理を引き起こさせることと、
前記生成された出力データと、前記パラメータによって示される前記期待される出力データとの間の対応関係を示す結果データを生成することと、
前記結果データと、前記入力データと、前記データフローグラフとの組み合わせに基づいて、構造化データを生成させることと、を含む、動作を引き起こすように構成されている、ことと、を含む動作を実行するように構成された、プロセッサと、
を備える、システム。 A system implemented by a data processing system for defining unit tests for a data flow graph including a plurality of executable components, the system comprising:
a data storage device for storing instructions;
at least one processor executing the instructions stored by the data storage device;
receiving an indication of a portion of a data flow graph for testing, the portion including at least one executable component of the data flow graph; connected to at least one data flow for providing input data to the executable component;
receiving a parameter set including parameters indicating expected output data produced by execution of the at least one executable component;
receiving the input data of the at least one executable component, the input data being indicated by the parameter set and provided to the at least one executable component by the at least one data flow; configured to invoke functionality of the at least one executable component;
defining a unit test for the at least one executable component based on the parameter set, the unit test comprising:
providing the input data to the at least one executable component by the at least one data flow;
causing processing of the input data by the at least one executable component to generate output data;
generating result data indicating a correspondence between the generated output data and the expected output data indicated by the parameters;
and generating structured data based on a combination of the result data, the input data, and the data flow graph. a processor configured to execute;
A system equipped with. 複数の実行可能コンポーネントを含むデータフローグラフのユニットテストを定義するための命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つのプロセッサに、
テスト用のデータフローグラフの一部分のインジケーションを受信することであって、前記部分は、前記データフローグラフの少なくとも１つの実行可能コンポーネントを含み、前記少なくとも１つの実行可能コンポーネントは、前記少なくとも１つの実行可能コンポーネントに入力データを提供するための少なくとも１つのデータフローに接続される、ことと、
前記少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信することと、
前記少なくとも１つの実行可能コンポーネントの前記入力データを受信することであって、前記入力データは、前記パラメータセットによって示され、前記少なくとも１つのデータフローによって前記少なくとも１つの実行可能コンポーネントに提供された場合に、前記少なくとも１つの実行可能コンポーネントの機能を呼び出すように構成される、ことと、
前記パラメータセットに基づいて前記少なくとも１つの実行可能コンポーネントのユニットテストを定義することであって、前記ユニットテストは、
前記入力データを前記少なくとも１つのデータフローによって、前記少なくとも１つの実行可能コンポーネントに提供することと、
出力データを生成するように、前記少なくとも１つの実行可能コンポーネントによる前記入力データの処理を引き起こさせることと、
前記生成された出力データと、前記パラメータによって示される前記期待される出力データとの間の対応関係を示す結果データを生成することと、
前記結果データと、前記入力データと、前記データフローグラフとの組み合わせに基づいて、構造化データを生成させることと、を含む、動作を引き起こすように構成されている、ことと、を含む動作を実行させるように構成された、１つ以上の非一時的コンピュータ可読媒体。 One or more non-transitory computer-readable media storing instructions for defining a unit test for a data flow graph including a plurality of executable components, the instructions comprising:
receiving an indication of a portion of a data flow graph for testing, the portion including at least one executable component of the data flow graph; connected to at least one data flow for providing input data to the executable component;
receiving a parameter set including parameters indicating expected output data produced by execution of the at least one executable component;
receiving the input data of the at least one executable component, the input data being indicated by the parameter set and provided to the at least one executable component by the at least one data flow; configured to invoke functionality of the at least one executable component;
defining a unit test for the at least one executable component based on the parameter set, the unit test comprising:
providing the input data to the at least one executable component by the at least one data flow;
causing processing of the input data by the at least one executable component to generate output data;
generating result data indicating a correspondence between the generated output data and the expected output data indicated by the parameters;
and generating structured data based on a combination of the result data, the input data, and the data flow graph. one or more non-transitory computer-readable media configured to cause execution; 前記構造化データは、前記パラメータにより定義される前記ユニットテストの第１のバージョンと前記構造化データの異なるバージョンの異なるパラメータにより定義される前記ユニットテストの第２のバージョンとの間の関係を定義し、前記関係は、前記構造化データの以前のバージョン、前記構造化データの後続のバージョン、又は前記構造化データに関する両者の間の変化を表し、前記関係は、前記ユニットテストの前記第２のバージョンから前記ユニットテストの前記第１のバージョンを区別する、請求項１に記載の方法。The structured data defines a relationship between a first version of the unit test defined by the parameters and a second version of the unit test defined by different parameters of different versions of the structured data. and the relationship represents a previous version of the structured data, a subsequent version of the structured data, or a change between the two with respect to the structured data, and the relationship represents the second version of the unit test. 2. The method of claim 1, distinguishing the first version of the unit test from a version.
JP2022535176A 2019-12-23 2020-12-16 Unit tests for dataflow graph components Pending JP2023507301A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962952631P 2019-12-23 2019-12-23
US62/952,631 2019-12-23
US16/884,138 US20210191845A1 (en) 2019-12-23 2020-05-27 Unit testing of components of dataflow graphs
US16/884,138 2020-05-27
PCT/US2020/065281 WO2021133603A1 (en) 2019-12-23 2020-12-16 Unit testing of components of dataflow graphs

Publications (2)

Publication Number Publication Date
JP2023507301A JP2023507301A (en) 2023-02-22
JPWO2021133603A5 true JPWO2021133603A5 (en) 2023-12-26

Family

ID=76438415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022535176A Pending JP2023507301A (en) 2019-12-23 2020-12-16 Unit tests for dataflow graph components

Country Status (10)

Country Link
US (1) US20210191845A1 (en)
EP (1) EP4081903A1 (en)
JP (1) JP2023507301A (en)
CN (1) CN115039084A (en)
AR (1) AR120909A1 (en)
AU (1) AU2020412360A1 (en)
BR (1) BR112022012487A2 (en)
CA (1) CA3161519A1 (en)
MX (1) MX2022007818A (en)
WO (1) WO2021133603A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138366B2 (en) * 2019-02-25 2021-10-05 Allstate Insurance Company Systems and methods for automated code validation
CN111640426A (en) * 2020-06-10 2020-09-08 北京百度网讯科技有限公司 Method and apparatus for outputting information
US20220091966A1 (en) * 2020-09-22 2022-03-24 Mastercontrol, Inc. Systems and methods for facilitating software validation within a production environment
US11573887B2 (en) * 2020-11-20 2023-02-07 Vdoo Connected Trust Ltd. Extracting code patches from binary code for fuzz testing
US20230083221A1 (en) * 2021-09-13 2023-03-16 Oracle International Corporation Systems and methods for validating data
CN113778890B (en) * 2021-09-16 2023-06-30 平安银行股份有限公司 Code testing method and device, electronic equipment and storage medium
US11921604B2 (en) * 2021-10-28 2024-03-05 Red Hat, Inc. Evaluating system recovery using emulated production systems

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966072A (en) 1996-07-02 1999-10-12 Ab Initio Software Corporation Executing computations expressed as graphs
US20080052687A1 (en) * 2003-11-03 2008-02-28 Agustin Gonzales-Tuchmann Development environment for data transformation applications
US7716630B2 (en) 2005-06-27 2010-05-11 Ab Initio Technology Llc Managing parameters for graph-based computations
US7644334B2 (en) * 2006-11-27 2010-01-05 Honeywell International, Inc. Requirements-based test generation
US7502972B1 (en) * 2008-03-16 2009-03-10 International Business Machines Corporation Reducing log entries using hash keys
CA2782414C (en) 2009-12-14 2021-08-03 Ab Initio Technology Llc Specifying user interface elements
US9274926B2 (en) * 2013-01-03 2016-03-01 Ab Initio Technology Llc Configurable testing of computer programs
WO2015157470A1 (en) * 2014-04-08 2015-10-15 Turnkey Solutions Corp. Software test automation system and method
US10055333B2 (en) * 2014-11-05 2018-08-21 Ab Initio Technology Llc Debugging a graph
US10642720B2 (en) * 2016-09-15 2020-05-05 Talend, Inc. Test case generator built into data-integration workflow editor

Similar Documents

Publication Publication Date Title
US9489292B2 (en) Devices and methods for acquiring abnormal information
US9672029B2 (en) Determining test case priorities based on tagged execution paths
US9015666B2 (en) Updating product documentation using automated test scripts
US20120054715A1 (en) System and method for use in replaying software application events
JP4946651B2 (en) Specification verification program, computer-readable recording medium recording the program, specification verification apparatus, and specification verification method
JP2008191963A (en) Source code verification system, source code verification method and source code verification program
WO2009095741A1 (en) Selective code instrumentation for software verification
US9389989B2 (en) Self verifying device driver for multi-version compatible data manipulation devices
US20150143342A1 (en) Functional validation of software
Aniche et al. What do the asserts in a unit test tell us about code quality? a study on open source and industrial projects
US11797639B2 (en) Systems and methods for development of web products
JPWO2021133603A5 (en)
JP2014021982A (en) Iterative generation of symbolic test drivers for object-oriented languages
US20140229923A1 (en) Commit sensitive tests
TWI437457B (en) Method for analyzing dependency of target object
US20130024478A1 (en) Method and system for an executable specification
JPWO2012036304A1 (en) Operation verification support apparatus, operation verification support method, and operation verification support program
US9965379B1 (en) Cross-platform API test flow synthesizer
JP2016031622A (en) Software verification system and control device
US8464103B2 (en) Generating a functional coverage model from a trace
US20130125086A1 (en) Software architecture by untangling undesired code level dependencies using code refactoring
US9442701B1 (en) Verifying models for exceptional behavior
CN113326193A (en) Applet testing method and device
JPWO2012049816A1 (en) Model checking apparatus, method and program
JP6945957B2 (en) How to generate a test suite of source code