JP4218766B2 - シナリオをテストする方法、装置、及びプログラム - Google Patents

シナリオをテストする方法、装置、及びプログラム Download PDF

Info

Publication number
JP4218766B2
JP4218766B2 JP2006063759A JP2006063759A JP4218766B2 JP 4218766 B2 JP4218766 B2 JP 4218766B2 JP 2006063759 A JP2006063759 A JP 2006063759A JP 2006063759 A JP2006063759 A JP 2006063759A JP 4218766 B2 JP4218766 B2 JP 4218766B2
Authority
JP
Japan
Prior art keywords
api
data
apis
input
executed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006063759A
Other languages
English (en)
Other versions
JP2007241697A (ja
Inventor
亮 岩本
洋一 服部
浩司 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2006063759A priority Critical patent/JP4218766B2/ja
Priority to US11/681,823 priority patent/US7676794B2/en
Priority to CNB2007100861960A priority patent/CN100478913C/zh
Publication of JP2007241697A publication Critical patent/JP2007241697A/ja
Application granted granted Critical
Publication of JP4218766B2 publication Critical patent/JP4218766B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、シナリオをテストする方法、装置、及びプログラムに関する。さらに詳しくは、複数のアプリケーション・プログラム・インターフェース(API)を順次実行するシナリオをテストする方法、装置、及びプログラムに関する。
従来、システム開発の各局面において、開発者の作業効率を向上させるための技術が提案されてきている。例えば特許文献1には、APIを利用したシステムの設計局面において、ユースケースとAPIとの関連度に基づいてシナリオを作成し、設計の作業負担を軽減させる方法が開示されている。
また、システムのテストを行う局面においては、GUI(Graphical User Interface)による対話的なAPIテストを行うツールが利用されてきている。このようなツールによれば、個々の入力データ(パラメータ)を手入力し、あるいは予め入力データを登録しておいたファイルを読み取ってAPIを実行する。また、入力データ及び出力データをファイルに保存したり、テストデータを比較したりすることもできる。
特開2000−235485号公報
しかしながら、APIの入力データは、その数や桁数が多い場合には入力を間違える可能性が高く、その修正にも時間がかかる。このような状況において、複数のAPIの間で入出力データの関連性(先行のAPIの出力データが後続のAPIの入力データとなる等)がある場合に、実行済みAPIの入出力データを自動的に後続のAPIの入力データとする方法は提供されていない。
更に、業務処理(シナリオ)に沿って複数のAPIを実行するソフトウェアのテストにおいては、多数のAPIが存在する中で、状況に応じたAPIを適切に選択するためには困難を伴う。特許文献1に記載の方法においても、与えられたユースケースの情報からAPIと関連付けたシナリオを抽出することはできるが、新たなシナリオを生成・テストする場合に後続のAPIの候補を示す方法は提供されていない。
そこで本発明は、シナリオをテストする際に、実行するAPIの入力データを効率的に決定し、更には、実行されるべきAPIの候補を提示する方法、装置、及びプログラムを提供することを目的とする。
本発明の第1の形態によると、複数のAPIを順次実行するシナリオをテストする方法を提供する。当該方法は、次の実行候補となるAPIのリストを表示するステップと、 APIのリストの中から、次に実行させるAPIの選択を受け付けるステップと、選択されたAPIの入力を受け付けるステップと、選択されたAPIを実行するステップと、実行された複数のAPIの実行順序を表す順序データを記憶するステップと、実行された複数のAPIの間の入出力データの関連を表す関連データを記憶するステップとを含み、次の実行候補となるAPIのリストを表示するステップにおいて、順序データが既に記憶されていた場合には、当該順序データに基づいて候補APIを表示し、選択されたAPIの入力を受け付けるステップにおいて、関連データが既に記憶されていた場合には当該関連データを表示するようにしたことを特徴としている。
本発明の第2の形態によると、複数のAPIを順次実行するシナリオをテストする装置を提供する。当該装置は、次の実行候補となるAPIのリストを表示する表示部と、APIのリストの中から、次に実行させるAPIの選択を受け付けるAPI選択部と、選択されたAPIの入力を受け付ける入力部と、選択されたAPIを実行するAPI実行部と、実行された複数のAPIの実行順序を表す順序データ、および実行された複数のAPIの間の入出力データの関連を表す関連データを記憶する記憶部とを備え、表示部は、次の実行候補となるAPIのリストを表示するときに、順序データが既に記憶されていた場合には、当該順序データに基づいて候補APIを表示し、入力部が選択されたAPIの入力を受け付けるときに、関連データが既に記憶されていた場合には関連データを表示するようにしたことを特徴としている。
本発明の第3の形態によると、第1の形態の方法をコンピュータに実行させるコンピュータ・プログラムを提供する。
本発明の第4の形態によると、第3の形態のコンピュータ・プログラムをコンピュータ可読媒体に記録したプログラム製品を提供する。
上記本発明の形態を実現するコンピュータは、APIの実行順序を表す順序データや、APIの入出力データの関連を表す関連データを記憶する。当該順序データ及び関連データは、テストを繰り返すことでその情報量を次第に増加していく。
情報量が増えた当該順序データ及び関連データを用いることにより、シナリオをテストする際に、当該コンピュータは、実行するAPIの入力データを効率的に決定し、更には、実行されるべきAPIの候補を効果的に提示することができる。
本発明によれば、APIを順次実行するシナリオのテストにおける効率が上がり、開発アプリケーションの品質を向上させる可能性がある。
本発明に係る好適な実施形態の一例について、図面に基づいて以下に説明する。
[実施形態概念図]
図1は、本発明に係る好適な実施形態の一例を示す全体概念図である。
テスト実施者は、APIの組合せである被検証ソフトウェア20のテストを行う場合に、想定されるシナリオに沿って当該APIへの入力データを指定し、実行結果(出力データ)を得る。
ここで、シナリオとは被検証ソフトウェア20により実現する業務処理(例えば銀行業務における口座作成処理、入出金処理等)であって、実行する順序が決められた複数のAPIによって構成される。APIとは、当該業務処理に関する一部の機能を担うために、入力データを受け付けて処理結果を出力する機能または当該機能を実現するプログラムのことである。例えばAPIとは、上述の機能を実現する手続きや関数等であってよい。
このとき、本発明に係るテストツール10を介することで、APIの選択や入力データの指定に関するガイド表示がなされるため、当該テスト実施者は、APIの選択や入力データの指定を全て手動で行うのに比べて、効率的にAPIの実行をし、結果を得ることができる。
なお、テストツール10は、被検証ソフトウェア20を含むコンピュータ30に配置してもよいし、別のコンピュータに配置することとしてもよい。
[コンピュータの構成]
本発明は、ハードウェア、ソフトウェア、またはハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実施では、所定のプログラムを有するコンピュータ・システムでの実施が典型的な例として挙げられる。かかる場合、該所定プログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、または表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、または(1)他の言語、コード、もしくは表記への変換、(2)他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。
本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、MO、CD−ROM、DVD、ハード・ディスク装置、ROM、MRAM、RAM等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一または複数の記録媒体に格納することもできる。
図2は、本発明の好適な実施形態の一例に係るコンピュータ30の構成を示すブロック図である。
制御部11、記憶部12、入力部13、表示部14、通信制御部15は、バス16を介して接続されている。
制御部11は、情報の演算、処理を行う情報演算処理装置(CPU)であり、当該コンピュータ全体の制御を行う。制御部11は、記憶部12に記憶された各種プログラムを適宜読み出して実行することにより、上述のハードウェアと協働し、本発明に係る各種機能を実現している。
記憶部12は、制御部11と組み合わせてプログラムの実行に使用するローカル・メモリ、大容量のバルク・ストレージ、及び当該バルク・ストレージの検索を効率的に行うために使用するキャッシュ・メモリ等を含む。
入力部13は、ユーザによる入力の受付を行うものであり、キーボード、ポインティング・デバイス等を含む。入力部13は、直接または介在I/Oコントローラを介してコンピュータ30と接続することができる。
表示部14は、ユーザにデータの入力を受け付ける画面を表示したり、当該コンピュータによる処理結果を表示したりするものであり、ブラウン管表示装置(CRT)、液晶表示装置(LCD)等のディスプレイ装置等を含む。表示部14は、直接または介在I/Oコントローラを介してコンピュータ30と接続することができる。
通信制御部15は、当該コンピュータを専用ネットワークまたは公共ネットワークを介して別の演算処理システム、遠隔プリンタまたは記憶装置と接続できるようにするためのネットワーク・アダプタである。通信制御部15は、モデム、ケーブル・モデム及びイーサネット(登録商標)・カード等を含む。
[テスト手段の全体構成]
図3は、本発明の好適な実施形態の一例に係る、テストツール10が備えるテスト手段の実装構成を示すブロック図である。
テストツール10の動作に係る各種データは、テスト情報データベース110に記憶されている。テスト情報データベース110は、DB2(登録商標)や種々のXMLデータベース等、その形式は限定しない。APIテスト制御部120は、後述の各部と協働してテストツール10全体を制御し、テスト情報データベース110にあるデータを適宜読み書きする。
API構文解析部130は、被検証ソフトウェアに含まれるAPIの入出力データ形式等を定義したAPI定義ファイルを読み取り、APIの呼び出し形式に関するデータをテスト情報データベース110に記憶する。テスト実施者は、ここで定義したAPIから、テストするシナリオに適したAPIを選択して実行していくことになる。なお、API定義ファイルはXML等の構造化文書としてもよい。
テストケース管理部135は、予めテストケース(テスト入力データ)を設定しておく場合に、入力データを記述したテストケースファイルを読み取り、テスト情報データベース110に記憶する。なお、テストケースの設定は、このように予め行っておいてもよいし、API実行時に指定してもよい。また、テストケースファイルはXML等の構造化文書としてもよい。
API実行部140は、テストケース管理部135にて読み取ったテストケース、あるいは適宜指定された入力データにより、被検証ソフトウェア20に含まれるAPIを呼び出し実行する。なお、APIはJAVA(登録商標)のオブジェクトであってよく、被検証ソフトウェア20は、テストツール10とは異なるプラットフォーム(OS)上にあってもよい。呼び出しのプロトコルとしては、RMI(Remote Method Invocation)/IIOP(Internet Inter−ORB Protocol)(RMI over IIOP)を用いることができる。
API順序登録部150は、シナリオで実行したAPIの入出力データ及び実行順序に関する順序データを、テスト情報データベース110に記憶する(後述の終了時登録処理)。
ここで、入出力データとは、API実行時に要求される入力データ(入力パラメータ等)及び実行結果を表す出力データ(出力パラメータ、関数値等)である。
また、順序データは、APIの実行順序を表すデータであって、例えば、テストしたシナリオにて実行したAPIを識別するIDやその順序、あるいは任意のシナリオにおいて、あるAPIに続いて実行されたAPIのリスト等がこれに相当する。
関連性登録部155は、API実行部から得られた複数のAPIの入出力データから相互の関連性を抽出し、関連データとしてテスト情報データベース110に記憶する(後述の終了時登録処理)。あるいは、ユーザインタフェース部180を介してテスト実施者から関連データを取得することとしてもよい(後述の実行時登録処理)。
ここで、関連データは、入出力データの相互の関連性を表すデータであって、例えば、先に実行したあるAPIの入力データまたは出力データと後続のAPIの入力データとが等しい(先行APIと同一のデータを後続のAPIの入力データとして入力する)こと等を表すデータである。
なお、入出力データから関連性を抽出する場合には、関連付けのルールを表すデータ(例えば、値が一致する入出力データ同士を関連付ける、データフィールド名が一致する入出力データ同士を関連付ける等)を予め記憶しておく。
エラーパターン登録部160は、APIの実行がエラーになった場合の入力データと、エラーにならなかった場合の入力データとを比較し、エラーになる入力データの組合せを判別し、エラーパターンデータとしてテスト情報データベース110に記憶する(後述のエラーパターン登録処理)。
ここで、エラーパターンデータは、APIを実行する際にエラーとなる可能性のある入力データの組合せである。例えば、APIの実行がエラーとなった場合の入力データと成功した場合の入力データとの差異をエラーの要因とみなし、入力データを識別するIDと値とをエラーパターンデータとする。
コード生成部170は、テスト情報データベース110に記憶したデータに基づき、実際のアプリケーションで使用可能となるサンプルのソースコードを生成する(後述のコード生成処理)。
ユーザインタフェース部180は、テスト実施者から入力部13を介して、実行するAPIの選択や当該APIへの入力データ、あるいは入出力データの関連性データ等を受け付ける。また、後述する各種処理における結果データ等を表示部14へ表示する。なお、ユーザインタフェース部180は、GUIによる対話的なインタフェースを提供できる。
[メイン処理]
図4及び図5は、本発明の好適な実施形態の一例に係るテスト手段のメイン処理を示すフロー図である。図14にて画面例を含めた処理概要を示す。
ステップS105では、テストツール10は、テストを行うシナリオの選択を受け付ける表示を行う。具体的には、例えば図14の画面1のように、登録されているシナリオをリスト表示する。ここで、初めてテストするシナリオについての登録を受け付けることとしてよい。入力フォーム(図示しない)により受け付けたシナリオを登録することにより、次回実行時にリスト表示を行う。
ステップS110では、テストツール10は、ステップS105にて表示したシナリオのリストから、どのシナリオをテストするかの選択を受け付ける。当該選択を受け付けることにより、テストツール10はステップS115に処理を移す。
選択されたシナリオについて、必要なAPIを全て実行するまで、ステップS115からステップS195を繰り返す。ステップS115では、テストツール10は、選択されたシナリオにて実行するAPIの候補をテスト情報データベース110から読み取る。具体的には、後述の終了時登録処理(ステップS200)にて記憶した複数のAPIの実行順序に基づき、先行のAPIから後続の1つまたは複数のAPIを推測し、候補APIとして抽出する。ここで抽出される候補APIは、テストを重ねる毎にその数が増えることがある。
ステップS120では、テストツール10は、ステップS115にて読み取った候補APIから、次に実行するAPIの選択を受け付ける表示を行う。具体的には、例えば図14の画面2のように、候補APIをリスト表示する。なお、候補API以外からの選択も可能にするため、全APIのリストを表示する選択肢も設ける。
ステップS125では、テストツール10は、ステップS120にて表示したリストから、全APIのリストを表示する選択を受け付けたか否かを判別する。全APIのリストを表示する選択を受け付けた場合には、ステップS130に処理を移し、選択を受け付けなかった場合には、ステップS135に処理を移す。
ステップS130では、テストツール10は、全APIのリストを表示し、次に実行するAPIの選択を受け付ける。
ステップS135では、テストツール10は、ステップS120またはステップS130にて表示したリストから、どのAPIを実行するかの選択を受け付ける。当該選択を受け付けることにより、テストツール10はステップS140に処理を移す。
ステップS140では、テストツール10は、APIの入出力データの関連性を示すデータを読み取る。具体的には、例えば後述の実行時登録処理(ステップS155)または終了時登録処理(ステップS200)にて記憶した関連データを読み取る。当該関連データは、例えば図12のパラメータ関連テーブル50に記憶する。パラメータ関連テーブル50では、API−ID、パラメータ区分、及びパラメータIDにて特定される入力データが、関連API−ID、関連パラメータ区分、関連パラメータIDにて特定されるデータと関連付いている(等しい)ことを示している。
ステップS145では、テストツール10は、ステップS140にて読み取った関連データに基づき、先行のAPIの実行結果を参照してAPIへの入力データを表示する。具体的には、例えば図14の画面3のように、APIへの入力データをリスト表示する。ここで、関連データに基づいて決定できない入力データについては、テスト実施者から値の入力を受け付ける。また、後述のステップS170またはステップS190からの遷移により、テストツール10は入力データの修正入力も受け付ける。
ステップS150では、テストツール10は、関連データの実行時登録処理を行うか否かの選択を受け付ける。当該実行時登録処理を行う旨の選択を受け付けた場合には、ステップS155に処理を移し、選択を受け付けなかった場合には、ステップS160に処理を移す。
ステップS155では、テストツール10は、APIの入出力データに関する関連データの登録を行う。詳細は後述する(図7)。
ステップS160では、テストツール10は、設定した入力データによってAPIがエラーになる可能性を事前確認するか否かの選択を受け付ける。確認する旨の選択を受け付けた場合にはステップS165に処理を移し、受け付けなかった場合にはステップS170に処理を移す。
ステップS165では、テストツール10は、設定した入力データによりAPIを実行した場合に、エラーとなる可能性を事前確認する。詳細は後述する(図9)。
ステップS170では、テストツール10は、APIを実行させる旨の入力を受け付ける。当該入力を受け付けた場合には、ステップS175に処理を移す。
ステップS175では、テストツール10は、設定した入力データに基づきAPIを呼び出して実行する。
ステップS180では、テストツール10は、ステップS175における実行結果に基づき、エラーパターンの登録を行う。詳細は後述する(図8)。
ステップS185では、テストツール10は、APIの実行結果である出力データの表示を行う。具体的には、例えば図14の画面4のように出力データをリスト表示する。
ステップS190では、テストツール10は、シナリオを次のステップに移す(次のAPIを実行する)か否かの選択を受け付ける。次のAPIを実行する旨(シナリオ続行)の選択を受け付けた場合には、ステップS195に処理を移し、続行しない(やり直す)選択を受け付けた場合には、ステップS145に処理を戻し、同じAPIを実行すべく入力データを受け付ける。
ステップS195では、テストツール10は、シナリオが終了したか否かを判別する。具体的には、シナリオを終了させるか否かの選択を受け付け、終了させる旨の選択を受け付けた場合にはステップS200に処理を移し、終了させない(後続のAPIが存在する)旨の選択を受け付けた場合には、ステップS115に処理を戻し、後続のAPIの選択を受け付ける。
ステップS200では、テストツール10は、入出力データの関連データ及びAPIの実行順序に関するデータを記憶する。詳細は後述する(図6)。
[終了時登録処理]
図6は、本発明の好適な実施形態の一例に係るテスト手段の終了時登録処理を示すフロー図である。
ステップS205では、テストツール10は、シナリオ終了時に行う処理のリストを表示し、実行する処理の選択を受け付ける。具体的には、例えば図14の画面5のように、APIシーケンス登録、パラメータ関連情報登録、終了、の選択を受け付ける表示とする。
ステップS210及びステップS220では、テストツール10は、ステップS205にて受け付けた処理がAPIシーケンス登録であるか、パラメータ関連情報登録であるかを判別する。受け付けた処理がAPIシーケンス登録であった場合にはステップS215を実行し、受け付けた処理がパラメータ関連情報登録であった場合にはステップS225及びステップS230を実行する。
ステップS215では、テストツール10は、選択されたシナリオにて実行したAPIの順序に関するデータを記憶する。具体的には、例えば図11のAPI登録テーブル40に、シナリオ、順序、各APIを識別するID、パラメータの入出力区分、パラメータID、パラメータの値を記憶する。このことにより、入出力データと共にシナリオにて使用するAPI、及び複数のAPIの実行順序(前後関係)を記憶できる。よって、前述の候補APIの読み取り(図4のステップS115)では、当該実行順序に基づいて候補APIを抽出することができる。
ステップS225では、テストツール10は、複数のAPIの入出力データ間の関連性を表すデータを記憶する。具体的には、例えば図12のパラメータ関連テーブル50に、APIのID、パラメータの入出力区分、パラメータID、関連APIのID、関連パラメータの入出力区分、関連パラメータIDを記憶する。このことにより、先行のAPIの出力データあるいは入力データが後続のAPIの入力データと等しいことを表現することができる。
または、例えば2番目のAPIの1番目の入力データに、1番目のAPIの5番目の出力データをセットする場合に、「input_2_1=output_1_5」のようなテキストデータとして記憶することとしてもよい。
ここで、パラメータ間で関連性があるか否かを判別するためには、関連付けの規則を予め設定しておく。当該規則は、設定ファイルとして読み取ることとしてよい。関連付けの規則としては例えば、値が一致しているもの、データフィールド名が一致しているもの、等とすることができる。このとき、デフォルト値(文字列なら空白、数値なら0等)や未使用フィールドは除外することとしてよい。
ステップS230では、テストツール10は、ステップS225にて記憶した関連データについての補正入力を受け付ける。具体的には、例えば記憶した関連データを別画面に表示(図示しない)し、必要のない関連データを削除、もしくは新たに関連データを追加する入力を受け付ける。
このようにして関連データを記憶することにより、前述の関連性の読み取り処理(図4のステップS140)にて当該関連データを読み取り、実行するAPIへの入力データを自動的に表示することができる。
ステップS235では、テストツール10は、終了時登録処理を終了する旨の選択を受け付けたか否かを判断する。終了する旨の選択を受け付けた場合には処理を終了し、受け付けなかった場合には、ステップS210に処理を戻し、処理選択の入力を待機する。
[実行時登録処理]
図7は、本発明の好適な実施形態の一例に係るテスト手段の実行時登録処理を示すフロー図である。
ステップS305では、テストツール10は、関連データの実行時登録を行う旨の選択を受け付ける。当該選択を受け付けた場合にステップS310に処理を移す。具体的には例えば、図15のような画面によれば、口座作成のシナリオのAPI3において、N番目の入力データValue3_Nの関連性を登録する場合に、当該入力データの選択を受け付けた上で登録ボタン押下の入力を受け付ける。
ステップS310では、テストツール10は、関連付けの入力を受け付けるため、一時記憶しておいた実行済みのAPIの入出力データを参照し、表示する。具体的には例えば、図15のような画面表示を行う。実行済みのAPIそれぞれの入出力データをタブ切り替え等により表示する。
ステップS315では、テストツール10は、関連付けの選択入力を受け付ける。具体的には例えば、図15の例では、ステップS305にて選択したN番目の入力データを、API2の2番目の出力データと関連付ける(API2の2番目の出力データをAPI3のN番目の入力データとする)ため、Value_2_2の選択を受け付ける。
ステップS320では、テストツール10は、ステップS315における関連付けの選択を決定する選択を受け付ける。決定する旨の選択を受け付けた場合にはステップS325に処理を移し、受け付けなかった場合にはステップS315の関連付けの選択入力の受け付けを継続する。
ステップS325では、テストツール10は、受け付けた関連付けを表すデータを記憶する。具体的には前述の終了時登録処理(図6)と同様の方法による。
[エラーパターン登録処理]
図8は、本発明の好適な実施形態の一例に係るテスト手段のエラーパターン登録処理を示すフロー図である。
ステップS405では、テストツール10は、APIの実行が成功した(処理が正常に完了した)か否かを判別する。成功せずにエラーになった場合にはステップS410の処理を行い、実行が成功した場合にはステップS415の処理を行う。
ステップS410では、テストツール10は、エラーになったAPIに入力した入力データを記憶する。具体的には、例えば図16に示した例では、実行がエラーになった際に、Field1、2、3、4、5、6、7にそれぞれInput1、2、3、4、5、6、7を入力していた旨を記憶する。
ステップS410にてエラーパターン登録処理は終了するが、テストツール10は、メイン処理(図4、図5)のステップS145からS190を繰り返すことにより、テスト実施者からの修正入力を受け付けてAPI実行を成功させることができる。これにより、テストツール10はステップS420以降の処理へと進む。
ステップS415では、テストツール10は、実行に成功したAPIに入力した入力データを記憶する。具体的には、例えば図16に示した例では、実行が成功した際に、Field1、2、3、4、5、6、7にそれぞれInput1、A、3、4、5、B、7を入力していた旨を記憶する。図16は、APIの実行でエラーが生じたときに、テスト実施者が修正データを入力して、同じAPIを再実行させたときの成功例を示しているが、最初の実行でエラーが生じなかった場合にも、成功入力データを記憶しておくようにしてもよい。
ステップS420では、テストツール10は、ステップS410にてエラーになった際の入力データを記憶しているか否かを判別する。APIの実行が少なくとも1回エラーとなり、その際の入力データを記憶していれば、テストツール10はステップS425に処理を移す。
ステップS425では、テストツール10は、エラーパターンの登録を行うか否かの選択入力を受け付ける。登録する旨の選択を受け付けた場合にはステップS430の処理を行う。
ステップS430では、テストツール10は、エラーパターンの登録を行う。具体的には、ステップS410にて記憶したエラーになる入力データと、ステップS415にて記憶した成功する入力データとを比較する。そして、エラーとなる入力データのうち、成功する入力データと異なる部分をエラーパターンとして図13のエラーパターンテーブル60に記憶する。例えば図16に示した例では、エラー時の入力データと成功時の入力データとを比較すると、Field2とField6の値が異なっている。そこで、Field2の値がInput2であることと、Field6の値がInput6であることとがエラーの原因であるとみなし、これらをエラーパターンとして記憶する。
エラーパターンテーブル60では、APIを識別するID、エラーパターンを識別するID、入力データ(パラメータ)ID、入力データを記憶する。なお、エラーパターンは、一つの入力データとは限らず、複数の入力データの組(図16の例では、Field2とField6の組)の場合もある。複数の入力データの組である場合には、エラーパターンには複数の入力データIDが紐付き、エラーパターンID(図16の例ではR1)がそれらの関連性を表す。
[実行前エラーパターン確認処理]
図9は、本発明の好適な実施形態の一例に係るテスト手段の実行前エラーパターン確認処理を示すフロー図である。
ステップS505では、テストツール10は、APIを実行する前に、エラーになる可能性の確認を行うか否かの選択入力を受け付ける。確認を行う旨の選択を受け付けた場合には、ステップS510に処理を移す。
ステップS510では、テストツール10は、前述のエラーパターン登録処理にて記憶したエラーパターンデータを読み取る。具体的には、エラーパターンテーブル60から、確認するAPIのIDに対応するパターン、入力パラメータID、及びパラメータ値を取得する。
ステップS515では、テストツール10は、確認をする入力データとステップS510にて読み取ったパラメータ値とを比較し、同じであるか否かを判別する。同じである場合にはステップS520に処理を移し、異なる場合には処理を終了する。
ステップS520では、テストツール10は、指定した入力データでAPIを実行した場合にエラーになる可能性があることを警告する表示を行う。
以上の実行前エラーパターン確認処理については、図16に例を示す。API1を実行する際に、エラーとなった場合の入力データと成功した場合の入力データとを比較すると、2番目と6番目の入力データが異なっている。この差異データをエラーパターンR1として記憶する(2番目の入力データをInput2、6番目の入力データをInput6とした場合にはエラーになる)。次回実行時に実行前エラーパターン確認を行った場合、2番目と6番目の入力データが記憶したエラーパターンR1と等しいため、警告として、例えば該当する入力データの色を変える等の強調表示を行う。
ここで、2番目の入力データと6番目の入力データとの組合せがエラーとなることを表すために、その関連性を示すエラーパターンID(図16の例ではR1)を併せて表示する。
以上のような機能を提供することにより、テストツール10は、テストの進行に伴い、順序データや関連データやエラーパターンデータ等をテスト情報データベース110に蓄積していく。つまり、テストを繰り返すことにより、テスト情報データベース110の情報量(順序データや関連データやエラーパターンデータ等)は増加し、成長していく。
このことにより、テスト実施者に対して、APIの選定や入力データの選定に関してのガイドとなる表示(候補APIの表示、入力データの自動表示)をすることができる。したがって、テスト時間を短縮できる可能性が生じ、あるいは、テスト実施者はテストに際しての仕様等の事前学習量を軽減できる可能性もある。また、入力間違いの可能性を減らすことができるため、品質の向上にも寄与することができる。
[コード生成処理]
以上の各種処理により記憶されたデータに基づき、テストツール10は、実際のアプリケーションで使用可能となるサンプルのソースコードを生成することができる。図10は、本発明の好適な実施形態の一例に係るテスト手段のコード生成処理を示すフロー図である。
ステップS605では、テストツール10は、前述の終了時登録処理にて記憶したAPIの順序データを読み取る。このことにより、指定したシナリオで実行する全APIを抽出する。
ステップS610では、テストツール10は、APIの定義データ(図3のAPI構文解析部130にて読み取ったAPI定義ファイルから抽出したAPIの呼び出し形式に関するデータ)を読み取る。このことにより、ステップS605にて抽出したAPIの呼び出し形式(入出力データの型、記述方法等)を把握し、記述できる。
ステップS615では、テストツール10は、前述の終了時登録処理または実行時登録処理にて記憶した入出力データに関する関連データを読み取る。
ステップS620では、テストツール10は、順序データ、APIの定義データ、及び関連データに基づき、アプリケーションのサンプルとなるソースコードを生成する。
図17にソースコードの具体例を示す。
1番目のAPI(getInformation)は15個の入力データを必要とし、2番目のAPI(create)は6個の入力データを必要としている。
1番目のAPI(getInformation)の1番目の出力データ、3番目の入力データ、20番目の出力データがそれぞれ、2番目のAPI(create)の1番目の入力データ、3番目の入力データ、5番目の入力データとなっている。
そこで、ソースコードでは、15個の入力データを指定してgetInformationを実行する記述の後、6個の入力データを指定してcreateを実行する記述とする。
ここで、createの1番目の入力データにはgetInformationの実行結果であるoutput1の1番目の出力データを指定している。また、3番目の入力データにはgetInformationの3番目の入力データと同じ指定としている。同様にして、5番目の入力データにはoutput1の20番目の出力データを指定している。
このようにしてサンプルのソースコードを生成することにより、アプリケーション開発におけるコーディングの効率化と共に、記述間違いの可能性を減少させることでアプリケーションの品質を向上させる可能性がある。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
本発明に係る好適な実施形態の一例を示す全体概念図である。 本発明の好適な実施形態の一例に係るコンピュータの構成を示すブロック図である。 本発明の好適な実施形態の一例に係る、テストツールが備えるテスト手段の実装構成を示すブロック図である。 本発明の好適な実施形態の一例に係るテスト手段のメイン処理を示すフロー図である。 本発明の好適な実施形態の一例に係るテスト手段のメイン処理を示すフロー図である。 本発明の好適な実施形態の一例に係るテスト手段の終了時登録処理を示すフロー図である。 本発明の好適な実施形態の一例に係るテスト手段の実行時登録処理を示すフロー図である。 本発明の好適な実施形態の一例に係るテスト手段のエラーパターン登録処理を示すフロー図である。 本発明の好適な実施形態の一例に係るテスト手段の実行前エラーパターン確認処理を示すフロー図である。 本発明の好適な実施形態の一例に係るテスト手段のコード生成処理を示すフロー図である。 本発明の好適な実施形態の一例に係るAPI登録テーブルを示す図である。 本発明の好適な実施形態の一例に係るパラメータ関連テーブルを示す図である。 本発明の好適な実施形態の一例に係るエラーパターンテーブルを示す図である。 本発明の好適な実施形態の一例に係るテスト手段のメイン処理の概要を示す図である。 本発明の好適な実施形態の一例に係るテスト手段の実行時登録処理の画面例を示す図である。 本発明の好適な実施形態の一例に係るテスト手段のエラーパターン登録処理及び実行前エラーパターン確認処理の概要を示す図である。 本発明の好適な実施形態の一例に係るテスト手段のコード生成例を示す図である。
符号の説明
10 テストツール
11 制御部
12 記憶部
13 入力部
14 表示部
15 通信制御部
16 バス
20 被検証ソフトウェア
30 コンピュータ
40 API登録テーブル
50 パラメータ関連テーブル
60 エラーパターンテーブル
110 テスト情報データベース
120 APIテスト制御部
130 API構文解析部
135 テストケース管理部
140 API実行部
150 API順序登録部
155 関連性登録部
160 エラーパターン登録部
170 コード生成部
180 ユーザインタフェース部

Claims (3)

  1. 複数のアプリケーション・プログラム・インターフェース(API)を順次実行するシナリオの候補を提示する方法であって、
    次の実行候補となるAPIのリストを表示するステップと、
    前記APIのリストの中から、次に実行させるAPIの選択を受け付けるステップと、
    選択されたAPIへの入力データを受け付けるステップと、
    前記選択されたAPIを実行するステップと、
    実行された複数のAPIの実行順序を表す順序データを記憶するステップと、
    前記実行された複数のAPIにおける入出力データの相互の関連を表す関連データを記憶するステップと、を繰り返し
    前記APIを順次選択して新たなシナリオをテストする際に、
    前記次の実行候補となるAPIのリストを表示するステップにおいて、直前に実行したAPIに関する前記順序データが既に記憶されていた場合には、前記順序データに基づいて次に実行する候補APIを表示し、
    前記選択されたAPIの入力データを受け付けるステップにおいて、当該選択されたAPIに関する前記関連データが既に記憶されていた場合には、当該関連データに基づいて前記入力データを表示する、
    方法。
  2. 複数のアプリケーション・プログラム・インターフェース(API)を順次実行するシナリオの候補を提示する装置であって、
    次の実行候補となるAPIのリストを表示する表示部と、
    前記APIのリストの中から、次に実行させるAPIの選択を受け付けるAPI選択部と、
    選択されたAPIへの入力データを受け付ける入力部と、
    前記選択されたAPIを実行するAPI実行部と、
    実行された複数のAPIの実行順序を表す順序データ、及び前記実行された複数のAPIにおける入出力データの相互の関連を表す関連データを記憶する記憶部と、を備え、
    前記APIを順次選択して新たなシナリオをテストする際に、
    前記表示部は、前記次の実行候補となるAPIのリストを表示するときに、直前に実行したAPIに関する前記順序データが既に記憶されていた場合には、前記順序データに基づいて次に実行する候補APIを表示し、
    前記入力部が前記選択されたAPIの入力データを受け付けるときに、当該選択されたAPIに関する前記関連データが既に記憶されていた場合には、当該関連データに基づいて前記入力データを表示する、
    装置。
  3. 複数のアプリケーション・プログラム・インターフェース(API)を順次実行するシナリオの候補を提示するコンピュータ・プログラムであって、コンピュータに、
    次の実行候補となるAPIのリストを表示するステップと、
    前記APIのリストの中から、次に実行させるAPIの選択を受け付けるステップと、
    選択されたAPIへの入力データを受け付けるステップと、
    前記選択されたAPIを実行するステップと、
    実行された複数のAPIの実行順序を表す順序データを記憶するステップと、
    実行された複数のAPIにおける入出力データの相互の関連を表す関連データを記憶するステップと、を繰り返し実行させ、
    前記APIを順次選択して新たなシナリオをテストする際に、
    前記次の実行候補となるAPIのリストを表示するステップにおいて、直前に実行したAPIに関する前記順序データが既に記憶されていた場合には、前記順序データに基づいて次に実行する候補APIを表示させ、
    前記選択されたAPIの入力データを受け付けるステップにおいて、当該選択されたAPIに関する前記関連データが既に記憶されていた場合には、当該関連データに基づいて前記入力データを表示させる、
    コンピュータ・プログラム。
JP2006063759A 2006-03-09 2006-03-09 シナリオをテストする方法、装置、及びプログラム Expired - Fee Related JP4218766B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006063759A JP4218766B2 (ja) 2006-03-09 2006-03-09 シナリオをテストする方法、装置、及びプログラム
US11/681,823 US7676794B2 (en) 2006-03-09 2007-03-05 Testing scenarios that sequentially execute a plurality of application program interfaces
CNB2007100861960A CN100478913C (zh) 2006-03-09 2007-03-06 用于测试方案的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006063759A JP4218766B2 (ja) 2006-03-09 2006-03-09 シナリオをテストする方法、装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2007241697A JP2007241697A (ja) 2007-09-20
JP4218766B2 true JP4218766B2 (ja) 2009-02-04

Family

ID=38587175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006063759A Expired - Fee Related JP4218766B2 (ja) 2006-03-09 2006-03-09 シナリオをテストする方法、装置、及びプログラム

Country Status (3)

Country Link
US (1) US7676794B2 (ja)
JP (1) JP4218766B2 (ja)
CN (1) CN100478913C (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8473915B2 (en) * 2007-08-03 2013-06-25 International Business Machines Corporation Coverage analysis tool for testing database-aware software applications
JP4958734B2 (ja) * 2007-10-31 2012-06-20 京セラドキュメントソリュ−ションズ株式会社 電気機器、障害防止方法及び障害防止プログラム
JP5374146B2 (ja) * 2008-12-26 2013-12-25 キヤノン株式会社 ソフトウエア評価方法及びそれを実現する情報処理装置
JP5102823B2 (ja) 2009-12-21 2012-12-19 インターナショナル・ビジネス・マシーンズ・コーポレーション 総テスト時間を最小にするようにテストシナリオを最適化するテスト支援装置、テスト装置、テスト支援方法及びコンピュータプログラム
US8543932B2 (en) 2010-04-23 2013-09-24 Datacert, Inc. Generation and testing of graphical user interface for matter management workflow with collaboration
CN102629227B (zh) * 2012-02-28 2015-07-22 中科开元信息技术(北京)有限公司 一种辅助嵌入式系统接口功能验证方法
US9552266B2 (en) * 2012-04-09 2017-01-24 Genrocket, Inc. Systems and methods for data generation
US9275377B2 (en) 2012-06-15 2016-03-01 Nvidia Corporation System, method, and computer program product for determining a monotonic set of presets
US10509658B2 (en) 2012-07-06 2019-12-17 Nvidia Corporation System, method, and computer program product for simultaneously determining settings for a plurality of parameter variations
US10668386B2 (en) 2012-07-06 2020-06-02 Nvidia Corporation System, method, and computer program product for simultaneously determining settings for a plurality of parameter variations
US9092573B2 (en) 2012-07-06 2015-07-28 Nvidia Corporation System, method, and computer program product for testing device parameters
US9201670B2 (en) 2012-07-06 2015-12-01 Nvidia Corporation System, method, and computer program product for determining whether parameter configurations meet predetermined criteria
US9286247B2 (en) 2012-07-06 2016-03-15 Nvidia Corporation System, method, and computer program product for determining settings for a device by utilizing a directed acyclic graph containing a plurality of directed nodes each with an associated speed and image quality
US9250931B2 (en) 2012-07-06 2016-02-02 Nvidia Corporation System, method, and computer program product for calculating settings for a device, utilizing one or more constraints
JP5962779B2 (ja) * 2013-01-21 2016-08-03 日産自動車株式会社 フラグアクセス不具合検査装置、フラグアクセス不具合検査方法、フラグアクセス不具合検査プログラム
CN103488533A (zh) * 2013-09-06 2014-01-01 乐视致新电子科技(天津)有限公司 一种程序执行方法、设备及系统
GB2533117A (en) * 2014-12-10 2016-06-15 Ibm Software test automation
CN104572452B (zh) * 2014-12-25 2018-03-30 曙光信息产业(北京)有限公司 前端的测试方法和装置
CN104850476A (zh) * 2015-06-03 2015-08-19 东方网力科技股份有限公司 跨平台接口自动化测试方法及系统
CN105260392B (zh) * 2015-09-15 2019-05-17 歌尔股份有限公司 测试数据的存储方法及系统
CN106547684A (zh) * 2015-09-22 2017-03-29 腾讯科技(深圳)有限公司 一种应用程序的测试方法、测试装置及移动终端
US9892019B2 (en) * 2015-10-16 2018-02-13 Successfactors Inc. Use case driven stepping component automation framework
CN107145436A (zh) * 2016-03-01 2017-09-08 阿里巴巴集团控股有限公司 软件功能验证方法及装置
US10417060B2 (en) * 2016-06-27 2019-09-17 Verizon Patent And Licensing Inc. Automated API publication for Internet of Things platform
US10169206B2 (en) * 2016-11-15 2019-01-01 Accenture Global Solutions Limited Simultaneous multi-platform testing
JP6684233B2 (ja) * 2017-01-12 2020-04-22 株式会社日立製作所 テスト入力情報検索装置及び方法
US10990516B1 (en) * 2017-06-08 2021-04-27 Liberty Mutual Insurance Company Method, apparatus, and computer program product for predictive API test suite selection
CN108305055B (zh) * 2017-10-20 2021-03-12 掌合天下(北京)信息技术有限公司 支付测试方法及装置
CN107608902A (zh) * 2017-10-23 2018-01-19 中国联合网络通信集团有限公司 程序接口测试方法及装置
CN107861870B (zh) * 2017-11-02 2020-07-24 平安科技(深圳)有限公司 接口测试及测试数据生成方法、装置、终端和存储介质
CN109298999B (zh) * 2018-08-21 2021-08-31 杭州群核信息技术有限公司 一种基于数据分布特征的核心化软件测试方法和装置
US10656973B2 (en) * 2018-08-23 2020-05-19 Fujitsu Limited Automated API evaluation based on API parameter resolution
CN109558311A (zh) * 2018-10-26 2019-04-02 深圳点猫科技有限公司 一种教育系统的自动化接口校验方法及电子设备
CN112583651B (zh) * 2019-09-27 2022-08-23 腾讯科技(深圳)有限公司 一种用于对小程序通信接口进行测试的方法、装置及介质
CN110928765B (zh) * 2019-10-11 2021-08-03 京东数字科技控股有限公司 一种链路测试方法及装置
EP4099159A4 (en) * 2020-01-30 2023-02-08 Fujitsu Limited ENTRY ASSISTANCE DEVICE, METHOD AND PROGRAM
CN112367220B (zh) * 2020-10-27 2022-11-29 深圳市优必选科技股份有限公司 一种接口测试方法、装置、存储介质及电子设备
CN112817650B (zh) * 2020-12-28 2022-04-26 浙江中控技术股份有限公司 一种实验室管理系统中的任务创建方法、装置及系统
US11340968B1 (en) * 2021-04-21 2022-05-24 EMC IP Holding Company LLC Executing repetitive custom workflows through API recording and playback
CN117667031A (zh) * 2022-08-25 2024-03-08 中兴通讯股份有限公司 应用程序编程接口api间的参数适配方法及装置
CN115686984B (zh) * 2022-12-29 2023-04-07 江西萤火虫微电子科技有限公司 板卡功能测试方法、装置、计算机及可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219810A (ja) 1994-02-04 1995-08-18 Canon Inc モジュールテスト方法および装置
US5701408A (en) * 1995-07-10 1997-12-23 International Business Machines Corporation Method for testing computer operating or application programming interfaces
JP3126916B2 (ja) 1996-03-25 2001-01-22 株式会社日立製作所 アプリケーションプログラムの構成作成支援方法
US6279124B1 (en) * 1996-06-17 2001-08-21 Qwest Communications International Inc. Method and system for testing hardware and/or software applications
JP3712482B2 (ja) 1996-11-25 2005-11-02 株式会社東芝 操作支援装置、操作支援方法
JPH1185489A (ja) 1997-09-09 1999-03-30 Casio Comput Co Ltd プログラム構築支援装置及び記憶媒体
US6026238A (en) * 1997-08-18 2000-02-15 Microsoft Corporatrion Interface conversion modules based upon generalized templates for multiple platform computer systems
JPH11175329A (ja) 1997-12-08 1999-07-02 Hitachi Ltd アプリケーション連携方法及び装置
JPH11353168A (ja) 1998-06-10 1999-12-24 Nippon Telegr & Teleph Corp <Ntt> インタフェースマッチング方法およびインタフェースマッチングプログラムを記録した記録媒体
JP2000215082A (ja) 1999-01-26 2000-08-04 Hitachi Ltd 分散オブジェクト環境のプレイバックテスト方式
JP2000235485A (ja) 1999-02-15 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> シナリオ作成方法及び装置及びシナリオ作成プログラムを格納した記憶媒体
JP2001216142A (ja) 2000-02-04 2001-08-10 Hitachi Ltd プログラム作成支援装置
JP2001236215A (ja) 2000-02-24 2001-08-31 Hitachi Ltd システム制御方法およびそれを実施した情報処理システム並びにその処理プログラムを格納した記録媒体
US7055067B2 (en) * 2002-02-21 2006-05-30 Siemens Medical Solutions Health Services Corporation System for creating, storing, and using customizable software test procedures
US7089534B2 (en) * 2002-05-01 2006-08-08 International Business Machines Corporation Model based test generation for validation of parallel and concurrent software
WO2004061652A1 (ja) 2002-12-27 2004-07-22 Fujitsu Limited 統合サービス提供サーバ、統合サービス提供システム、統合サービス提供方法、統合サービス提供プログラム
US7237231B2 (en) * 2003-03-10 2007-06-26 Microsoft Corporation Automatic identification of input values that expose output failures in a software object
JP2005038253A (ja) * 2003-07-16 2005-02-10 Nec Electronics Corp テスト方法、テストシステム、及び、プログラム
US7493597B2 (en) * 2005-02-23 2009-02-17 Microsoft Corporation System and method for model based generation of application programming interface test code
US7526680B2 (en) * 2005-06-15 2009-04-28 International Business Machines Corporation Stress testing a website having a backend application
CN1955945A (zh) * 2005-10-25 2007-05-02 国际商业机器公司 为软件测试过程自动生成测试执行序列的方法和装置

Also Published As

Publication number Publication date
CN101034371A (zh) 2007-09-12
CN100478913C (zh) 2009-04-15
US20080040732A1 (en) 2008-02-14
JP2007241697A (ja) 2007-09-20
US7676794B2 (en) 2010-03-09

Similar Documents

Publication Publication Date Title
JP4218766B2 (ja) シナリオをテストする方法、装置、及びプログラム
JP3779665B2 (ja) テスト支援プログラム
US20120330598A1 (en) Method, program, and system for generating test cases
US8898635B2 (en) System and method for automatic impact variable analysis and field expansion in mainframe systems
US20040078802A1 (en) Auto-generated task sequence
EP1376144A2 (en) Test data analysis system
CN111459460B (zh) 一种业务数据处理方法及系统
JP2003208501A (ja) ビジネスプロセス定義表示方法およびプログラム
US20090254896A1 (en) Simplifying Bundling Of Fixes Used To Resolve Errors In Pre-Installed Software
CN115391194A (zh) 一种产品测试处理方法及装置
WO2021234019A1 (en) Database management methods and associated apparatus
US20080195453A1 (en) Organisational Representational System
CN113239064A (zh) 一种数据库更新方法、装置、电子设备及存储介质
JP2011209971A (ja) テスト支援装置、テスト支援システム、制御方法、プログラム、及び記録媒体
CN111399830A (zh) 一种应用程序容量监控方法、装置、电子设备及存储介质
JP2007115155A (ja) プログラム構造管理装置及びプログラム構造管理プログラム
US20230409956A1 (en) Machine learning prediction of additional steps of a computerized workflow
JP2002157144A (ja) ソフトウェア自動試験方式
CN105493072A (zh) 对用户界面进行比较
CN117609102B (zh) 一种建筑产业互联网造数平台系统测试方法
CN110765020B (zh) 基于领域知识的测试用例生成方法
CN115827480B (zh) 用于船舶性能预报app的自动化测试方法、装置及系统
US20230385026A1 (en) Automatic flow implementation from text input
CN111143221B (zh) 一种测试方法及装置
CN116166162A (zh) 一种数据库的可视化操作方法、装置及计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071205

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20071217

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20071225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080430

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20081022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081104

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees