JPH10275094A - Program evaluation system - Google Patents

Program evaluation system

Info

Publication number
JPH10275094A
JPH10275094A JP9080486A JP8048697A JPH10275094A JP H10275094 A JPH10275094 A JP H10275094A JP 9080486 A JP9080486 A JP 9080486A JP 8048697 A JP8048697 A JP 8048697A JP H10275094 A JPH10275094 A JP H10275094A
Authority
JP
Japan
Prior art keywords
test
evaluation
program
information
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9080486A
Other languages
Japanese (ja)
Other versions
JP3357567B2 (en
Inventor
Yuzo Bessho
Kazuhiro Hirota
雄三 別所
和洋 広田
Original Assignee
Mitsubishi Denki Syst Lsi Design Kk
Mitsubishi Electric Corp
三菱電機システムエル・エス・アイ・デザイン株式会社
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Syst Lsi Design Kk, Mitsubishi Electric Corp, 三菱電機システムエル・エス・アイ・デザイン株式会社, 三菱電機株式会社 filed Critical Mitsubishi Denki Syst Lsi Design Kk
Priority to JP08048697A priority Critical patent/JP3357567B2/en
Publication of JPH10275094A publication Critical patent/JPH10275094A/en
Application granted granted Critical
Publication of JP3357567B2 publication Critical patent/JP3357567B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To restart an evaluation test at a time when the test is once interrupted without executing the test items again from the first one in a second test mode after the test is discontinued by loading the execution information on the test into a test device when the second test is executed.
SOLUTION: When a test discontinuation instruction is given from an input means 1 by some reason, an execution situation acquisition part 22 of a retesting execution part 21 acquires the program execution situation from an emulation memory part 28. Then an execution situation store part 24 of the part 21 stores the acquired data in a storage means 25 as the execution information. When a retesting execution instruction is given from the means 1, an execution situation loading part 23 of the part 21 reads the program execution situation out of the means 25 and loads it into the part 28. A host computer 4 controls a test device 26 to execute a program to be evaluated and starts again a test at a time when the test is once interrupted.
COPYRIGHT: (C)1998,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】この発明は、機器制御を行うマイクロコンピュータの組み込み型プログラムの評価を行うプログラム評価システムに関するものである。 TECHNICAL FIELD The present invention relates to a program evaluation system to evaluate the microcomputer embedded program for performing device control. 特に、評価対象プログラムが使用するメモリ上の入力情報及び出力情報に着目した評価試験の実施方法と評価試験の自動実行可能なプログラム評価システムに関するものである。 In particular, it relates to evaluation object program input information and program evaluation system automatic executable evaluation tests as in the method of evaluation tests focusing on the output information in the memory to be used.

【0002】 [0002]

【従来の技術】従来のプログラム評価システムについて説明する。 BACKGROUND OF THE INVENTION the related art will be described in the program evaluation system. 例えば、特開平6−161824号公報では、マイクロコンピュータのピンに対する入出力信号を発生、及びトレースする専用の評価システムを用いて、 For example, Japanese Laid-6-161824, JP-generating input and output signals for the pin of the microcomputer, and by using a dedicated evaluation system to trace,
入力デバイスを操作した時に生じる信号パターンを評価システム本体で発生させ、その結果として生じる出力信号をトレースして、期待値と比較することにより、実際に周辺デバイスを操作又は目視による動作確認を行うことなく試験を自動的に実行している。 A signal pattern occurring when operating the input device is generated by the evaluation system body traces the output signal occurring as a result, by comparing the expected value, actually performing the operation confirmation by manipulation or visual peripheral devices It is automatically executed without any test.

【0003】このような従来のプログラム評価システムは、プログラムの開始から終了までの一連の動作を確認する試験(複数の試験項目からなる試験)などを行う場合、試験を中断した際には試験項目の初めからやり直すことにより再試験を実行していた。 Such a conventional program rating systems, when performing such tests to confirm the sequence of operations from the start to the end of the program (test comprising a plurality of test items), test items when test was discontinued It was running a re-test by to start over from the beginning of.

【0004】また、特開昭64−58027号公報では、中断時のレジスタ内容をメモリに記憶、表示する機能により中断時の実行状態の確認のみが行われていた。 [0004] In JP-A-64-58027, the storage register contents at the time of suspension in the memory, only the confirmation of the execution state at the time of suspension by the function of displaying has been performed.

【0005】さらに、評価対象プログラムの変数値を評価するだけでなく、その変数値の範囲を評価するプログラム評価システムとしては、特開平6−148283号公報に示すように、メモリ評価パターンのアドレススキャン範囲を指定し、指定された範囲のデータを表示するメモリテスタによって実現し、評価試験実施者は表示されたデータを目視により評価していた。 [0005] Further, evaluation not only to evaluate the variable value of the target program, as the program evaluation system for evaluating the extent of the variable value, as shown in JP-A-6-148283, the address scan of the memory test pattern specify a range, realized by a memory tester for displaying the data in the specified range, evaluation trialists were visually evaluated the displayed data.

【0006】 [0006]

【発明が解決しようとする課題】上述したような従来のプログラム評価システムでは、プログラムの開始から終了までの試験を行うような複数の試験項目から構成されるテストシーケンスなどの試験を中断した場合、中断した以降の試験項目を行うには、再びテスト項目の初めから実施しなければならないため、無駄な評価時間が発生してしまうという問題点があった。 [SUMMARY OF THE INVENTION] In conventional program rating system as described above, if the test was discontinued, such as composed test sequence of a plurality of test items such as testing the beginning and the end of the program, to perform the test item after it left off, because that must be implemented from the beginning of the test item again, wasteful evaluation time there has been a problem that occurs.

【0007】また、他の従来のプログラム評価システムは、試験中断時のレジスタ内容をメモリに記憶し、表示する機能は持っているが、この情報を試験の再実行に利用することができないという問題点があった。 [0007] Other conventional program rating systems, the register contents during the test interruption stored in the memory, but has the ability to display, the problem of not being able to use this information to re-run the test there was a point.

【0008】さらに、他の従来のプログラム評価システムは、試験の期待値として評価対象プログラムの変数値を評価することができるが、変数値の範囲の評価についてはデータ表示機能により目視によってのみ行われているため、評価ミスが発生しやすいという問題点があった。 Furthermore, other conventional program rating systems, but it can be evaluated variable value of the evaluation object program as the expected value of the test for the evaluation of the range of variable values ​​is done only visually by the data display function and for that, evaluation mistakes there has been a problem that tends to occur.

【0009】この発明は、前述した問題点を解決するためになされたもので、試験を途中で中止した後の再試験実行において、試験項目を初めから行うのではなく、試験中断時点以降からの試験を行うことができるプログラム評価システムを得ることを目的とする。 [0009] The present invention has been made to solve the above problems, in the re-test performed after the test was stopped in the middle, instead of performing a test item from the beginning, from the test point of interruption after it is tested for its object to obtain a program evaluation system capable.

【0010】また、この発明は、評価対象プログラムの変数値の評価だけでなく、変数値の範囲の評価を行うことができるプログラム評価システムを得ることを目的とする。 Further, the present invention is not only evaluation of variable values ​​of the evaluation target program, and to obtain a program evaluation system can be evaluated in the range of variable values.

【0011】 [0011]

【課題を解決するための手段】この発明に係るプログラム評価システムは、ホストコンピュータからの疑似的な入力情報に基づいて、試験装置に格納された評価対象プログラムのエミュレーション動作を実行し、結果を出力情報として取得することによりプログラムの評価試験を行うプログラム評価システムにおいて、前記ホストコンピュータは、評価試験を実行するための疑似的な入出力情報を記述したテストケースを複数記述したテストケース群から指定されたテストケースを解析するテストケース解析部と、前記指定されたテストケースの疑似的な入出力情報を受け取り前記試験装置を制御する試験装置制御部と、評価試験中断時にその中断時の実行情報を取得し、評価試験再実行時に前記中断時の実行情報を前記試験装置にロードす Means for Solving the Problems] program evaluation system according to the present invention, based on the pseudo-input information from a host computer, executes the emulation operation of the evaluation object program stored in the test apparatus, it outputs the result in the program evaluation system for evaluating the test program by acquiring as the information, the host computer is specified test cases that describe pseudo-input information to perform an evaluation test of a plurality the described test case group and a test case analyzer for analyzing a test case, the test device controller for controlling receiving the test device pseudo input and output information of the designated test case, the execution information at the time of the interruption in the evaluation test interrupted get and load execution information at the time of the interruption to the test device at the time evaluation test rerun 再試験実行部とを備えたものである。 It is obtained by a re-test execution unit.

【0012】また、この発明に係るプログラム評価システムは、前記再試験実行部が、評価試験中断時にその中断時の実行情報を取得する実行状況取得部と、前記実行情報を実行情報記憶手段に格納する実行状況格納部と、 Further, the program evaluation system according to the present invention, stores the re-test execution unit, the execution status obtaining unit for obtaining execution information at the time of the interruption in the evaluation test interrupted, the execution information in the execution information storage means and execution status storage unit that,
評価試験再実行時に前記格納された中断時の実行情報を前記試験装置にロードする実行状況ロード部とを含み、 The execution information at the time of the stored interruption during evaluation test rerun and a execution state loading unit for loading to the test device,
評価試験再実行時には評価試験中断時以降の試験項目から行うものである。 The evaluation tests rerun is performed from test item since its interruption evaluation test.

【0013】また、この発明に係るプログラム評価システムは、前記試験装置が、前記ホストコンピュータと通信を行うホストコンピュータ通信I/Fと、前記評価対象プログラムを格納するエミュレーションメモリ部とを含むものである。 Further, the program evaluation system according to the present invention, the test device is intended to include a host computer communication I / F for communicating with the host computer, the emulation memory unit for storing said evaluation object program.

【0014】また、この発明に係るプログラム評価システムは、前記試験装置を、対象とするマイクロコンピュータのICEとしたものである。 Further, the program evaluation system according to the present invention, the test device is obtained by a microcomputer of ICE in question.

【0015】また、この発明に係るプログラム評価システムは、前記ホストコンピュータが、さらに、前記試験装置を制御して取得した出力情報の範囲と前記指定されたテストケースに記述された期待値の範囲とを比較して評価試験の合否を判定する試験結果範囲判定部を備えたものである。 Further, the program evaluation system according to the present invention, the host computer further, and the scope and the written to the specified test cases expected value of the output information acquired by controlling the test device those having a test result range determining unit determines acceptance of evaluation test by comparing the.

【0016】また、この発明に係るプログラム評価システムは、前記ホストコンピュータが、さらに、前記指定されたテストケースに記述されたトレースタイミングに基づいて割込みを発生し、その時のトレース情報を取得してレポートするデータトレース部を備えたものである。 Further, the program evaluation system according to the present invention, the host computer is further configured to generate an interrupt based on the description traces timing to the specified test cases, the report obtains the trace information at that time those having a data trace section for.

【0017】また、この発明に係るプログラム評価システムは、前記データトレース部が、前記指定されたテストケースに記述された出力情報のトレースタイミングに基づいて割込みを発生する割込み制御部と、割込み発生時にトレースしたデータを取得するデータ取得部と、前記トレースしたデータをトレース情報としてトレース情報記憶手段に格納するデータ格納部と、前記格納されたトレース情報をレポートするデータレポート部とを含むものである。 Further, the program evaluation system according to the present invention, the data trace unit, an interrupt controller to generate an interrupt based on the trace timing of the output information described in the specified test cases, when an interrupt occurs a data acquisition unit that acquires the trace data, is intended to include a data storage unit for storing the data the trace in the trace information storage section as trace information, and a data report unit for reporting the stored trace information.

【0018】また、この発明に係るプログラム評価システムは、前記ホストコンピュータが、さらに、前記試験装置を制御して取得した出力情報と前記指定されたテストケースに記述された期待値とを比較して評価試験を行う試験結果判定部と、前記評価試験の結果を試験履歴として作成蓄積し、この蓄積した試験履歴を必要に応じてレポートする試験履歴情報生成部とを備えたものである。 Further, the program evaluation system according to the present invention, the host computer further compares the expected value described in the output information obtained test device control to said specified test cases a test result determination unit for performing an evaluation test, the evaluation results of the test to create accumulated as test history, in which a test history information generating unit that reports as necessary the accumulated test history.

【0019】さらに、この発明に係るプログラム評価システムは、前記試験履歴情報生成部が、前記評価試験の結果を試験履歴として作成する試験履歴作成部と、前記作成した試験履歴を格納する試験履歴格納部と、前記格納した試験履歴をレポートする試験履歴レポート部とを含むものである。 Furthermore, the program evaluation system according to the present invention, the test history information generating unit, and the evaluation test history creation section for creating the results of the test as a test history, stored test history storing test history of the created parts and is intended to include a test history report unit for reporting the test history of the storage.

【0020】 [0020]

【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION

実施の形態1. The first embodiment. この発明の実施の形態1に係るプログラム評価システムの構成について図1を参照しながら説明する。 The configuration of the program evaluation system according to a first embodiment of the present invention will be described with reference to FIG. 図1は、この発明の実施の形態1の構成を示すブロック図である。 Figure 1 is a block diagram showing the configuration of a first embodiment of the present invention. なお、各図中、同一符号は同一又は相当部分を示す。 In the drawings, the same reference numerals denote the same or corresponding parts.

【0021】図1において、1は入力手段、2は表示手段、3はプリンタである。 [0021] In FIG. 1, 1 is an input means, the second display unit, 3 denotes a printer. 入力手段1は、入力情報の変更タイミングや変更アドレス、変更値、出力情報の取得タイミング、参照アドレス、期待値、メモリサイズが記述された後述するテストケース群や実行すべきテストケースの組合せと実行回数を入力する。 Input means 1, the execution timing of change or modify the address of the input information, the changed value, acquisition timing of the output information, reference address, the expected value, and the combination of test cases to run test case group and which will be described below in which a memory size is described to enter a number of times. また、表示手段2 In addition, the display means 2
は、後述するホストコンピュータから評価試験の実行結果を表示する。 Displays the execution result of the evaluation test from a host computer to be described later. さらに、プリンタ3は、評価試験の結果に関する情報を出力する。 Further, the printer 3 outputs information about the results of the evaluation test.

【0022】また、同図において、4はホストコンピュータ、5はテストケース群、6はテストケース解析部、 Further, reference numeral 4 is a host computer, 5 test case group, 6 test case analyzer,
7は試験結果判定部、8は試験結果範囲判定部である。 7 test result determination unit, 8 is a test result range determination unit.
テストケース群5は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報の取得タイミングと参照アドレス、期待値の組、メモリサイズからなるテストケースを複数記述したものである。 Test case group 5, the memory change timing of the input information corresponding to the input of the evaluation tests, modified address and change values, acquisition timing and a reference address of the output data corresponding to the output generated by the input, the expected value of the set, the memory is that a test case consisting of a size and multiple description. テストケース解析部6は、テストケース群5から指定されたテストケースを解析し、評価試験の実行を制御する。 Test case analyzer 6 analyzes the test cases specified by the test case group 5, to control the execution of the evaluation test. また、試験結果判定部7は、後述する評価対象機器のメモリから、後述する試験装置を制御して取得した出力情報と、テストケースに記述された期待値を受け取り、両者を比較することによってテストの合否を判定する。 Further, the test result determination unit 7, tested by the memory of the evaluation device to be described later, receives the output information acquired by controlling the test apparatus described below, the expected values ​​described in the test case, and compares the two determine the pass or fail. さらに、試験結果範囲判定部8は、評価値だけでなく結果データの値の範囲を判定する。 Further, the test results range determination unit 8 determines the range of values ​​of the result data as well evaluation value.

【0023】また、同図において、9は試験履歴情報生成部、10は試験履歴作成部、11は試験履歴格納部、 Further, reference numeral 9 is the test history information generating unit, 10 is the test history creation unit, 11 test history storage unit,
12は試験履歴レポート部である。 12 is a test history report part. 試験履歴作成部10 Test history creation unit 10
は、試験結果判定部7または試験結果範囲判定部8によって判定された結果を取得し、試験実施日時や試験結果をまとめた試験履歴情報として作成する。 Acquires a result determined by the test result determination unit 7 or the test result range determining unit 8, to create a test history information summarizing the test execution time and test results. また、試験履歴格納部11は、作成した試験履歴情報を格納する。 Also, the test history storage unit 11 stores the test history information generated. さらに、試験履歴レポート部12は、蓄積された試験履歴情報からバグの収束レポートや過去の試験履歴の表示を行う。 Furthermore, the test history report unit 12 performs display of convergence reports and previous studies history bugs from the stored test history information.

【0024】また、同図において、13は記憶手段、1 Further, reference numeral 13 is a storage unit, 1
4は試験装置制御部である。 4 is a test device controller. 記憶手段13は、試験履歴格納部11により試験履歴情報を蓄積する。 Storage means 13 stores the test history information by the test history storage unit 11. 試験装置制御部14は、テストケース解析部6から、入力情報変更のためのタイミング、アドレス、変更値、出力情報取得のためのタイミングとアドレス、期待値、メモリサイズを受け取り、後述する試験装置を制御する。 Test apparatus control unit 14, the test case analyzer 6, the timing for the input information changes, address, change value, timing and address for the output data acquisition, the expected value, receives a memory size, a test apparatus described later Control.

【0025】また、同図において、15はデータトレース部、16は割込み制御部、17はデータ取得部、18 Further, reference numeral 15 is a data trace section, 16 an interrupt controller, 17 a data acquisition unit, 18
はデータレポート部、19はデータ格納部、20は記憶手段である。 Data Report section 19 data storage unit 20 is a storage means. 割込み制御部16は、指定した評価対象プログラムの変数やラベルを一定時間毎にトレースする。 The interrupt control unit 16, to trace a variable or label evaluated program specified at regular intervals.
データ取得部17は、割込み発生時にトレース情報を取得する。 Data acquisition unit 17 acquires the trace information when an interrupt occurs. また、データレポート部18は、取得したトレース情報から平均値や最大値、最小値などをレポートする。 The data reporting unit 18, the average value and maximum value from the acquired trace information, to report such minimum. データ格納部19は、取得したトレース情報を格納する。 Data storage unit 19 stores the acquired trace information. さらに、記憶手段20は、トレース情報を格納する。 Furthermore, the storage unit 20 stores the trace information.

【0026】また、同図において、21は再試験実行部、22は実行状況取得部、23は実行状況ロード部、 Further, reference numeral 21 is re-test execution unit 22 is acquiring unit execution status, 23 execution status load unit,
24は実行状況格納部、25は記憶手段である。 24 execution status storage unit 25 is a storage means. 実行状況取得部22は、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持する。 Execution status acquisition unit 22 holds the execution status at the time of suspension (contents of memory or registers) in a test interruption. また、実行状況ロード部23は、試験再実行時に試験中断時の情報を後述するエミュレーションメモリ部にロードする。 The execution status loading unit 23 loads the information at the time of the test terminated when the test rerun the emulation memory unit to be described later. 実行状況格納部24は、実行状況を格納する。 Execution status storage unit 24 stores the execution status. さらに、記憶手段2 Further, the storage means 2
5は、実行状況を実行情報として格納する。 5 stores the execution status as the execution information.

【0027】また、同図において、26は後述する評価対象機器に接続された試験装置、27はホストコンピュータ通信I/F、28はエミュレーションメモリ部である。 Further, reference numeral 26 is the test device connected to the evaluation device to be described later, 27 the host computer communication I / F, 28 is a emulation memory unit. ホストコンピュータ通信I/F27は、ホストコンピュータ4と通信を行う。 Host computer communication I / F 27 communicates with the host computer 4. エミュレーションメモリ部2 Emulation memory unit 2
8は、後述する評価対象機器中にある評価対象プログラムとそのプログラムが使用する変数などを格納するメモリをエミュレーションする。 8 emulation memory which stores a variable used by the evaluation object program and the program that is in the evaluation target device to be described later.

【0028】また、同図において、29は入力情報、3 [0028] In addition, in the figure, 29 is input information, 3
0は出力情報、31は評価対象プログラム、32は入力ドライバ部、33はプログラム本体部、34は出力ドライバ部である。 0 Output information, 31 evaluation target program 32 is input driver unit, 33 is a program main body, 34 is an output driver unit. 入力ドライバ部32は、後述する入力デバイスからの信号をプログラム本体部33で使用できる入力情報29に変換してメモリ上に配置する。 Input driver unit 32 converts the input information 29 can use the signals from the input device to be described later in the program main body portion 33 is disposed on the memory. また、プログラム本体部33は、プログラムの機能の本質(仕様部分)を実現する。 The program main body 33 realizes the essence (specification part) of the functions of the program. さらに、出力ドライバ部34は、プログラム本体部33の処理結果としてメモリ上に配置された出力情報を後述する出力デバイスに出力するための信号に変換する。 Furthermore, the output driver unit 34 converts the signal for outputting the processing result output information placed in the memory to the output device to be described later as a program main body 33.

【0029】さらに、同図において、35は評価対象機器、36はマイクロコンピュータ、37は入力デバイス、38は出力デバイスである。 Furthermore, reference numeral 35 is evaluated equipment, 36 microcomputer, 37 is an input device, 38 is an output device.

【0030】つぎに、この実施の形態1に係るプログラム評価システムにおける作業の動作手順について図2を参照しながら説明する。 Next, it will be described with reference to FIG. 2, the operation procedure of the work in the program evaluation system according to the first embodiment. 図2は、この発明の実施の形態1における評価試験実行の再試験実行に関する動作手順を示すフローチャートである。 Figure 2 is a flowchart showing the operation procedure for re-test execution of evaluation tests performed in the first embodiment of the present invention.

【0031】まず、ステップS101において、評価試験実施者は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報の取得タイミングと参照アドレス、期待値の組、メモリサイズからなるテストケース群5を、ホストコンピュータ4の入力手段1 [0031] First, in step S101, the evaluation test practitioner memory change timing of the input information corresponding to the input of the evaluation tests, modified address and change values, and obtains timing of the output information corresponding to the output generated by the input reference address, a set of expected values, the test case group 5 consisting of memory size, the input means of the host computer 4 1
から入力する。 Input from.

【0032】次に、ステップS102において、ホストコンピュータ4は、入力されたテストケース群5を解析する。 Next, in step S102, the host computer 4 analyzes the test case group 5 entered.

【0033】次に、ステップS103において、ホストコンピュータ4は、テストケースに基づき試験装置26 Next, in step S103, the host computer 4 based on the test case the test apparatus 26
を制御してメモリ中の入力情報29の変更や出力情報3 Control to the changes and output information 3 of input information 29 in the memory
0の照合を行い、評価試験を実行する。 It performs a collation of 0, to perform the evaluation test.

【0034】次に、ステップS104において、ホストコンピュータ4は、何らかの事情により入力手段1から試験中止の指示が出されたか否かを判断する。 Next, in step S104, the host computer 4 determines whether or not an instruction of the test stop from the input unit 1 is issued for any reason. 試験中止の指示が出されない場合は処理を終了し、試験中止の指示が出された場合には次のステップへ進む。 When the instruction of the test stop is not issued terminates the processing proceeds to the next step when the instruction of the discontinuation test was issued.

【0035】次に、ステップS105において、ホストコンピュータ4の再試験実行部21内の実行状況取得部22は、もし、何らかの事情により入力手段1から試験中止の指示が出された場合には、指定されたメモリサイズに基づき、プログラムの実行状況をエミュレーションメモリ部28から取得する。 Next, in step S105, if the execution status acquisition unit 22 of the re-test execution unit 21 of the host computer 4, if an instruction for test stop from the input unit 1 is issued by some reason, designated based on the memory size, and acquires the execution status of the program from the emulation memory unit 28.

【0036】次に、ステップS106において、ホストコンピュータ4の再試験実行部21内の実行状況格納部24は、取得したデータ(実行状況)をハードディスクなどの2次記憶装置(記憶手段)25に実行情報として格納する。 Next, in step S106, execution status storage unit 24 of the re-test execution unit 21 of the host computer 4 executes the acquired data (execution state) in the secondary memory (storage means) 25 such as a hard disk stored as information.

【0037】次に、ステップS107において、ホストコンピュータ4は、入力手段1から試験再実行の指示が出されたか否かを判断する。 Next, in step S107, the host computer 4 instructs the test re-execution from the input unit 1 determines whether or not issued. 試験再実行の指示が出されない場合は処理を終了し、試験再実行の指示が出された場合には次のステップへ進む。 When the instruction of the test re-execution is not issued terminates the processing proceeds to the next step when the instruction re-execution is issued tested.

【0038】次に、ステップS108において、ホストコンピュータ4の再試験実行部21内の実行状況ロード部23は、入力手段1から試験再実行の指示が出された場合には、プログラムの実行状況を記憶手段25から読み出し、エミュレーションメモリ部28上にロードする。 Next, in step S108, execution status loading portion 23 of the re-test execution unit 21 of the host computer 4, when the instruction of the test re-execution from the input means 1 is issued, the execution status of the program reading from the storage means 25, for loading onto the emulation memory unit 28.

【0039】最後に、ステップS109において、ホストコンピュータ4は、試験装置26を制御して、評価対象プログラムを実行し、再試験を開始する。 [0039] Finally, in step S109, the host computer 4 controls the test apparatus 26, executes the evaluation object program starts retested.

【0040】この実施の形態1に係るプログラム評価システムは、入力デバイス37からの信号を処理し、結果を出力デバイス38に出力して機器制御を行うために、 The program evaluation system according to the first embodiment, processes the signal from the input device 37, the result in order to perform a device control by outputting to the output device 38,
メモリ内容の参照タイミングと変更タイミングに基づいて試験装置26に対しメモリ内容の変更と参照を指示するホストコンピュータ4と、試験装置26とから構成されている。 To test device 26 based on the change timing and the reference timing of the memory contents to the host computer 4 to indicate the reference and change the memory contents, and a test apparatus 26..

【0041】ホストコンピュータ4は、評価試験の入力に相当する入力情報であるメモリ変更タイミング、変更アドレス、変更値、該入力情報からの出力である出力情報のメモリ参照タイミングと参照アドレス、及び期待値の組、メモリサイズを記述したテストケース群5を解析するテストケース解析部6と、試験装置26を制御する試験装置制御部14等とを備え、試験装置26は、ホストコンピュータ4との通信を行うホストコンピュータ通信I/F27と、エミュレーションメモリ部28とを備える。 [0041] The host computer 4, a memory change timing is input information corresponding to the input of the evaluation tests, modified address, change value, memory reference timing and the reference address of the output data that is output from the input information, and expectation set, the test case analyzer 6 for analyzing the test case group 5 that describes the memory size, and a test device controller 14 for controlling the test apparatus 26, test apparatus 26, the communication with the host computer 4 the host computer communication I / F 27 which performs, and a emulation memory unit 28.

【0042】エミュレーションメモリ部28は、ホストコンピュータ通信I/F27を介して評価対象プログラム間で入出力される入出力情報29、30と、マイクロコンピュータ機器(評価対象機器35)の入力デバイス37からの信号をプログラム本体部33で識別可能な入力情報に変換してメモリ上に配置する入力ドライバ部3 The emulation memory unit 28, the input and output information 29 and 30 are input and output between the evaluation object program via the host computer communication I / F 27, from the input device 37 of the microcomputer devices (evaluation equipment 35) input driver unit 3 to arrange on the memory and converts the signal into identifiable input information in the program main body portion 33
2と、プログラム本体部33による処理結果を出力デバイス38において出力制御するための信号に変換する出力ドライバ部34と、評価対象となるマイクロコンピュータ機器のプログラム本体部33とを含む。 Including 2, an output driver section 34 which converts the signal for output control in the output device 38 the processing result by the program main body portion 33, and a program body portion 33 of the microcomputer device to be evaluated.

【0043】また、ホストコンピュータ4は、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持するための実行状況取得部22と、実行状況を格納するための実行状況格納部24と、試験再実行時に試験中断時の実行情報をエミュレーションメモリ部28にロードするための実行状況ロード部23とを含む再試験実行部21をさらに備える。 [0043] The host computer 4, an execution status acquisition unit 22 for holding the execution state at the time of suspension (the contents of the memory or register) at study interruption, the execution status storage unit 24 for storing the execution status further comprising a re-test execution unit 21 and an execution status loading unit 23 for loading the execution information at the time of the test interrupted the emulation memory unit 28 when the test again.

【0044】すなわち、この実施の形態1は、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持し、再試験の実行時に先に保持しておいた実行状態をエミュレーションメモリ部28にロードすることにより、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験が可能になり、評価時間を短縮することができる。 [0044] That is, the first embodiment holds the execution status at the time of suspension (the contents of the memory or register) at study interruption emulate execution state had been held previously during the re-test execution memory section 28 in the loading, it is not necessary to perform from the beginning of the test item at retest embodiment enables testing of the test items of the test point of interruption, it is possible to shorten the evaluation time.

【0045】実施の形態2. [0045] Embodiment 2. この発明の実施の形態2に係るプログラム評価システムは、上記実施の形態1の試験装置26をICE(In Circuit Emulator)に代えたものである。 Program evaluation system according to a second embodiment of the present invention is obtained by replacing the test apparatus 26 of the first embodiment in ICE (In Circuit Emulator).

【0046】この場合、ホストコンピュータ4は、入力されたテストケース群5を解析し、ICEを制御してメモリ中の入力情報の変更や出力情報の照合を行い、評価試験を実行する。 [0046] In this case, the host computer 4 analyzes the test case group 5 which is input, and controls the ICE collates change or output information of the input information in the memory and executes the evaluation test. これにより、評価対象機器35の操作及び動作確認試験を市販のツールによっても実施することができる。 Thus, the operation and the operation confirmation test of the evaluation device 35 may be implemented by a commercially available tools.

【0047】この実施の形態2は、試験装置26として対象とするマイクロコンピュータのICEを使用し、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持し、再試験の実行時に先に保持しておいた実行状態をエミュレーションメモリ部28にロードすることにより、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験が可能になる。 The second embodiment uses the ICE microcomputer of interest as the test device 26 holds the execution status at the time of suspension (the contents of the memory or register) at study interruption, previously when the retest execution by loading the execution state which had been held in the emulation memory unit 28, there is no need to run from the beginning of the test item at retest embodiment, it is possible to test from the test items of the test point of interruption.

【0048】この実施の形態2によれば、試験装置26 [0048] According to the second embodiment, test device 26
の代わりにICEを使用することにより、入手が容易な既存ツールによっても、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持し、再試験実行時に試験中断時の情報をエミュレーションメモリ部28にロードすることにより、試験中断時点からの評価試験を行うことができる。 The use of ICE in place of, obtained even by easy existing tools, the emulation memory holds the execution status at the time of suspension (contents of memory or registers), information at the time of study interruption during execution retested during testing interrupted by loading the part 28, it is possible to perform the evaluation test from the test point of interruption. このため、柔軟性のあるプログラム評価システムを構築することができる。 Therefore, it is possible to construct a program evaluation system flexible.

【0049】実施の形態3. [0049] Embodiment 3. この発明の実施の形態3に係るプログラム評価システムについて図3を参照しながら説明する。 For program evaluation system according to the third embodiment of the present invention will be described with reference to FIG. 図3は、この発明の実施の形態3における評価試験実行の変数値の範囲についての評価に関する動作手順を示すフローチャートである。 Figure 3 is a flowchart showing an operation procedure for measurement of the range of variable values ​​of an evaluation test performed in the third embodiment of the present invention. なお、構成は上記実施の形態1と同様である。 Note that the configuration is the same as in the first embodiment.

【0050】まず、ステップS201において、評価試験実施者は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報の取得タイミングと参照アドレス、期待値の範囲などから構成されたテストケースを複数記述したテストケース群5を、ホストコンピュータ4の入力手段1から入力する。 [0050] First, in step S201, the evaluation test practitioner memory change timing of the input information corresponding to the input of the evaluation tests, modified address and change values, and obtains timing of the output information corresponding to the output generated by the input reference address, the test case group 5 in which a plurality describe test cases constructed from such a range of expected values, and inputs from the input means 1 of the host computer 4.

【0051】次に、ステップS202において、ホストコンピュータ4は、入力されたテストケース群5を解析する。 Next, in step S202, the host computer 4 analyzes the test case group 5 entered.

【0052】次に、ステップS203において、ホストコンピュータ4は、テストケース群5に基づき試験装置26を制御してメモリ中の入力情報29の変更を行い、 Next, in step S203, the host computer 4, to change the input information 29 in the memory by controlling the test device 26 based on the test case group 5,
評価対象プログラムを実行する。 To run the evaluation program.

【0053】次に、ステップS204において、ホストコンピュータ4の試験装置制御部14は、入力により発生した出力情報を取得タイミングと参照アドレスに基づいて試験装置26を制御することにより取得する。 Next, in step S204, the test apparatus control unit 14 of the host computer 4 is obtained by controlling the test apparatus 26 on the basis of the output information generated by the input to the acquisition timing and the reference address.

【0054】次に、ステップS205において、ホストコンピュータ4の試験結果範囲判定部8は、取得したデータと期待値の範囲を比較することにより評価を行う。 Next, in step S205, the test result range determining unit 8 of host computer 4, it is evaluated by comparing the range of the expected value acquired data.

【0055】ここで行う評価としては、期待値として1 [0055] as an evaluation made here, 1 as the expected value
つ、または2つの値を指定し、その値の範囲と実行結果を比較することによって行う。 One or specify two values, performed by comparing the execution results and range of values. 例えば、期待値をAとB For example, the expected value A and B
の範囲内として指定したとすると、評価試験の入力によって発生した出力情報が、この範囲内なら試験合格、そうでなければ試験不合格として判定される。 When specified as the range of the output information generated by the input of the evaluation test, if within this range exam, is determined as a test fail otherwise.

【0056】評価内容としては他に、範囲内の指定以外にAとBの範囲外、Aより小さい、Aより小さいかまたは等しい、Aと等しい、Aより大きいかまたは等しい、 [0056] Other as evaluation content, out of range of the A and B other than the specified range, A smaller, A less than or equal to, equal to A, A is greater than or equal to,
Aより大きい、Aに等しくない、などの範囲指定ができる。 Greater than A, not equal to A, it is the range specification such.

【0057】このように、評価試験を変数値の範囲を指定することにより、評価対象プログラム実行時に指定した変数値の範囲である上限値や下限値についての評価を行うことができる。 [0057] Thus, by specifying a range of variable values ​​evaluation test, it is possible to evaluate the upper limit value and the lower limit value in the range of a specified variable values ​​during the evaluation target program execution.

【0058】この実施の形態3は、評価試験を評価対象プログラムの変数値の範囲を指定することにより、評価対象プログラム実行時に指定した変数値の範囲を検証する試験結果範囲判定部8をホストコンピュータ4に備えたものである。 [0058] Embodiment 3 is evaluated by specifying the range of variable values ​​of the test evaluation object program evaluation to verify the range of variable values ​​specified when the target program execution test result range judging unit 8 a host computer it is those provided in the 4.

【0059】この実施の形態3によれば、評価試験を変数値の範囲を指定することにより、評価対象プログラムの指定した変数値の範囲である上限値や下限値についての評価を行うことができる。 [0059] According to the third embodiment, by specifying a range of variable values ​​evaluation test, it is possible to evaluate the upper limit value and the lower limit value in the range of the specified variable value of the evaluation object program .

【0060】実施の形態4. [0060] Embodiment 4. この発明の実施の形態4に係るプログラム評価システムについて図4を参照しながら説明する。 For program evaluation system according to a fourth embodiment of the present invention will be described with reference to FIG. 図4は、この発明の実施の形態4における評価試験実行のプログラムの変数やラベルを一定時間毎にトレースする評価に関する動作手順を示すフローチャートである。 Figure 4 is a flowchart showing an operation procedure on the evaluation of trace variables and labels program evaluation tests performed in the fourth embodiment of the present invention at predetermined time intervals. なお、構成は上記実施の形態1と同様である。 Note that the configuration is the same as in the first embodiment.

【0061】まず、ステップS301において、評価試験実施者は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報をトレースするタイミングとトレースするアドレスなどから構成されたテストケースを複数記述したテストケース群5を、ホストコンピュータ4の入力手段1から入力する。 [0061] First, in step S301, the evaluation test practitioner memory change timing of the input information corresponding to the input of the evaluation tests, modified address and change values, the timing of tracing output information corresponding to the output generated by the input the test case group 5 in which a plurality describe test cases constructed from such address to trace the inputs from the input means 1 of the host computer 4.

【0062】次に、ステップS302において、ホストコンピュータ4は、入力されたテストケース群5を解析する。 Next, in step S302, the host computer 4 analyzes the test case group 5 entered.

【0063】次に、ステップS303において、ホストコンピュータ4は、テストケース群5に基づき試験装置26を制御してメモリ中の入力情報29の変更を行い、 Next, in step S303, the host computer 4, to change the input information 29 in the memory by controlling the test device 26 based on the test case group 5,
評価対象プログラムを実行する。 To run the evaluation program.

【0064】次に、ステップS304において、ホストコンピュータ4のデータトレース部15内の割込み制御部16は、テストケース群5で記述された出力情報のトレースタイミングに基づいて割り込みを発生する。 Next, in step S304, the interrupt controller 16 of the data trace section 15 of the host computer 4 generates an interrupt based on the trace timing of the output information described in the test case group 5.

【0065】次に、ステップS305において、ホストコンピュータ4のデータトレース部15内のデータ取得部17は、トレースするデータを取得する。 Next, in step S305, the data acquisition unit 17 of the data trace section 15 of the host computer 4 obtains the data to be traced.

【0066】トレースするタイミングとしては、時間単位または取得する変数が評価対象プログラムによりアクセスされる毎にトレースする単位の指定を行うことができる。 [0066] As the trace timing, it is possible to designate a unit that traces each time the time unit or acquisition variables are accessed by the evaluation target program.

【0067】次に、ステップS306において、ホストコンピュータ4のデータトレース部15内のデータ格納部19は、トレースしたデータをハードディスクなどの2次記憶装置(記憶手段)20にトレース情報として格納する。 Next, in step S306, the data storage unit 19 of the data trace section 15 of the host computer 4 stores the trace data as the trace information in the secondary memory (storage means) 20 such as a hard disk.

【0068】そして、ステップS307において、ホストコンピュータ4のデータトレース部15内のデータレポート部18は、記憶手段20に格納されたトレース情報を、表示手段2またはプリンタ3からトレースした値、平均値、最大値、最小値の表示、印刷を行う。 [0068] Then, in step S307, the data reporting unit 18 in the data trace section 15 of the host computer 4, the trace information stored in the storage unit 20, and trace display means 2 or printer 3 value, average value, maximum value, display of the minimum value, and performs printing.

【0069】この実施の形態4は、指定した評価対象プログラムの変数やラベルを一定時間毎にトレースするための割込み制御部16と、割込み発生時にデータを取得するデータ取得部17と、取得したデータを格納するためのデータ格納部19と、取得したトレース情報をレポートするデータレポート部18とを含むデータトレース部15をホストコンピュータ4に備えたものである。 [0069] In the fourth embodiment, the interrupt control unit 16 for tracing the variables and labels evaluated program specified at regular intervals, a data acquisition unit 17 for acquiring data when an interrupt occurs, the acquired data a data storage unit 19 for storing, which data trace section 15 and a data report unit 18 to report the acquired trace information which was provided to the host computer 4.

【0070】この実施の形態4によれば、指定した評価対象プログラムの変数やラベルの値を一定時間毎にトレースすることにより、トレースした値の平均値や最大値、最小値をレポートすることができる。 [0070] According to the fourth embodiment, by tracing the values ​​of variables and labels evaluated program specified at regular intervals, be reported average value and the maximum value of the trace values, the minimum value it can.

【0071】実施の形態5. [0071] Embodiment 5. この発明の実施の形態5に係るプログラム評価システムについて図5を参照しながら説明する。 For program evaluation system according to a fifth embodiment of the present invention will be described with reference to FIG. 図5は、この発明の実施の形態5における評価試験実行の試験履歴作成に関する動作手順を示すフローチャートである。 Figure 5 is a flowchart showing an operation procedure for creating a test history evaluation test performed in a fifth embodiment of the present invention. なお、構成は上記実施の形態1と同様である。 Note that the configuration is the same as in the first embodiment.

【0072】まず、ステップS401において、評価試験実施者は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報の取得タイミングと参照アドレス、期待値の組などから構成されたテストケースを複数記述したテストケース群5を、ホストコンピュータ4の入力手段1から入力する。 [0072] First, in step S401, the evaluation test practitioner memory change timing of the input information corresponding to the input of the evaluation tests, modified address and change values, and obtains timing of the output information corresponding to the output generated by the input reference address, the test case group 5 in which a plurality describe test cases constructed from such a set of expected values, and inputs from the input means 1 of the host computer 4.

【0073】次に、ステップS402において、ホストコンピュータ4は、入力されたテストケース群5を解析する。 Next, in step S402, the host computer 4 analyzes the test case group 5 entered.

【0074】次に、ステップS403において、ホストコンピュータ4は、テストケース群5に基づき試験装置26を制御してメモリ中の入力情報29の変更を行い、 Next, in step S403, the host computer 4, to change the input information 29 in the memory by controlling the test device 26 based on the test case group 5,
評価対象プログラムを実行する。 To run the evaluation program.

【0075】次に、ステップS404において、ホストコンピュータ4の試験装置制御部14は、入力の結果発生した出力情報をテストケース群5に記述されている取得タイミングと参照アドレスに基づいて取得し、試験結果判定部7又は試験結果範囲判定部8によって、テストケース群5に記述された期待値と取得された出力情報とを比較することにより評価試験を実行する。 Next, in step S404, the test apparatus control unit 14 of the host computer 4 obtains based the results generated acquisition timing that is described output information to the test case group 5 inputs the reference address, test the result judging unit 7 or the test result range determination unit 8 performs the evaluation test by comparing the output information acquired with an expected value described in the test case group 5.

【0076】次に、ステップS405において、ホストコンピュータ4の試験履歴情報生成部9内の試験履歴作成部10は、試験結果を試験履歴として作成する。 Next, in step S405, the test history creating unit 10 of the test history information in generator 9 of the host computer 4 generates a test result as a test history.

【0077】上記試験履歴は、試験実施日時や試験合否情報、試験内容、エラー情報(期待値、結果)が記述された情報であり、試験実行毎に試験履歴情報13が更新(追加)され、過去に実施した試験履歴が蓄積される。 [0077] The test history, test execution time and test acceptability information, test contents, error information (expected values, the result) and information described is, tests history information 13 is updated (added) for each test run, test history of in the past are accumulated.

【0078】次に、ステップS406において、ホストコンピュータ4の試験履歴情報生成部9内の試験履歴格納部11は、作成された試験履歴をハードディスクなどの2次記憶装置(記憶手段)13に試験履歴情報として格納する。 Next, in step S406, the test history storage unit 11 of the test history information in generator 9 of the host computer 4, the test history test history created in the secondary memory (storage means) 13 such as a hard disk stored as information.

【0079】次に、ステップS407において、ホストコンピュータ4の試験履歴情報生成部9内の試験履歴レポート部12は、格納された試験履歴情報を表示手段2 Next, in step S407, the test history report portion 12 of test history information in generator 9 of the host computer 4, displays the stored test history information unit 2
あるいはプリンタ3により表示あるいは印刷する。 Or displaying or printing by the printer 3.

【0080】従って、ステップS408〜S409において、評価試験実施者は、表示あるいは印刷された試験結果がOKか否かを判断する。 [0080] Thus, in step S408~S409, evaluation tests practitioner displayed or printed test results to determine OK or not. すなわち、評価試験実施者は、試験結果を見ることにより、プログラムが正常に動作しているかを確認することができる。 That is, the evaluation test practitioner, by viewing the test results, it is possible to check whether the program is operating correctly. もし、出力情報が期待するものと異なっていた場合には評価対象プログラムを修正する。 If, we modify the evaluation program when the output information was different from what you expect.

【0081】このような手順を複数の試験項目に対して繰り返して行うことでプログラムの評価試験を実行する。 [0081] To perform the evaluation test of the program by repeatedly performing such procedures on a plurality of test items. また、ここで、作成した試験実施日時を蓄積することによってバグの収束レポートや試験成績書などのドキュメント作成に利用することができる。 In addition, here, it can be used to document the creation of such convergence reports and test report of the bug by accumulating test implementation date and time that you have created.

【0082】この実施の形態5は、試験実行結果を試験履歴として作成する試験履歴作成部10と、作成した試験履歴を格納する試験履歴格納部11と、蓄積した試験履歴情報からバグの収束レポートや過去の試験履歴の出力を行う試験履歴レポート部12とを含む試験履歴情報生成部9を備えたものである。 [0082] the fifth embodiment, the test history creation unit 10 for creating a test execution result as a test history, and the test history storage unit 11 for storing the test history created, bug convergence report from accumulated tested history information and those having a test history information generating unit 9 including the test history report unit 12 for outputting the past testing history.

【0083】この実施の形態5によれば、試験実行結果を試験履歴として作成し、試験履歴情報を蓄積することにより、評価対象プログラムのバグの収束レポートや過去の試験履歴の出力(表示、印刷)を行うことができる。 [0083] According to the fifth embodiment, to prepare a test execution result as a test history by storing test history information, the output of the bug convergence reports and previous studies history of the evaluation object program (displayed, printed )It can be performed. また、試験履歴出力により試験履歴情報を試験成績書などのドキュメント作成に利用することができる。 In addition, it is possible to use the test history information to document creation, such as a test report by the test history output.

【0084】 [0084]

【発明の効果】この発明に係るプログラム評価システムは、以上説明したとおり、ホストコンピュータからの疑似的な入力情報に基づいて、試験装置に格納された評価対象プログラムのエミュレーション動作を実行し、結果を出力情報として取得することによりプログラムの評価試験を行うプログラム評価システムにおいて、前記ホストコンピュータは、評価試験を実行するための疑似的な入出力情報を記述したテストケースを複数記述したテストケース群から指定されたテストケースを解析するテストケース解析部と、前記指定されたテストケースの疑似的な入出力情報を受け取り前記試験装置を制御する試験装置制御部と、評価試験中断時にその中断時の実行情報を取得し、評価試験再実行時に前記中断時の実行情報を前記試験装置にロ [Effect of the Invention] program evaluation system according to the present invention, as described above, based on the pseudo-input information from a host computer, executes the emulation operation of the evaluation object program stored in the test apparatus, the results in the program evaluation system for evaluating the test program by acquiring as output information, the host computer, specifies a test case that describes a pseudo-input information to perform an evaluation test of a plurality the described test case group a test case analyzer for analyzing the test cases, a test device controller for controlling receiving the test device pseudo input and output information of the designated test case, execution information at the time of the interruption in the evaluation test interrupted acquires, b execution information at the time of the interruption in the evaluation test rerun the test device ドする再試験実行部とを備えたので、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験ができ、評価時間を短縮することができるという効果を奏する。 Since a sul retest execution unit, it is unnecessary to run from the beginning of the test item at retest embodiment, it is tested from the test items of the test point of interruption, the effect that it is possible to shorten the evaluation time unlikely to.

【0085】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記再試験実行部が、評価試験中断時にその中断時の実行情報を取得する実行状況取得部と、前記実行情報を実行情報記憶手段に格納する実行状況格納部と、評価試験再実行時に前記格納された中断時の実行情報を前記試験装置にロードする実行状況ロード部とを含み、評価試験再実行時には評価試験中断時以降の試験項目から行うので、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験ができ、評価時間を短縮することができるという効果を奏する。 [0085] The program evaluation system according to the present invention, or as described, the re-test execution unit, executes the execution status obtaining unit for obtaining execution information at the time of the interruption in the evaluation test interrupted, the execution information and execution status storage unit for storing in the information storage unit, the execution information at the time of suspension said stored during evaluation test rerun loaded into the test apparatus and a execution state load unit, when suspended evaluation test at the time of evaluation test rerun is performed from the following test items, it is not necessary to perform from the beginning of the test item at retest embodiment, it is tested from the test items of the test point of interruption, an effect that it is possible to shorten the evaluation time.

【0086】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記試験装置が、前記ホストコンピュータと通信を行うホストコンピュータ通信I/Fと、前記評価対象プログラムを格納するエミュレーションメモリ部とを含むので、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験ができ、評価時間を短縮することができるという効果を奏する。 [0086] The program evaluation system according to the present invention, or as described, the test apparatus, the communication with the host computer communication I / F for performing a host computer, and the emulation memory unit for storing said evaluation object program because they contain, it is not necessary to perform from the beginning of the test item at retest embodiment, it is tested from the test items of the test point of interruption, an effect that it is possible to shorten the evaluation time.

【0087】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記試験装置を、対象とするマイクロコンピュータのICEとしたので、柔軟性のあるシステムを構築することができるという効果を奏する。 [0087] The program evaluation system according to the present invention, as described above, the test apparatus, since the ICE microcomputer of interest, an effect that it is possible to construct a flexible system .

【0088】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記ホストコンピュータが、さらに、前記試験装置を制御して取得した出力情報の範囲と前記指定されたテストケースに記述された期待値の範囲とを比較して評価試験の合否を判定する試験結果範囲判定部を備えたので、評価対象プログラムの変数値の範囲について上限値や下限値の評価を行うことができるという効果を奏する。 [0088] The program evaluation system according to the present invention, as described above, wherein the host computer is further described in a range between the designated test case output information acquired by controlling the test device since determining test results acceptability of an evaluation test by comparing the range of the expected values ​​with a range determination unit, an effect that the range of the variable value of the evaluation object program can evaluate the upper limit value and the lower limit value unlikely to.

【0089】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記ホストコンピュータが、さらに、前記指定されたテストケースに記述されたトレースタイミングに基づいて割込みを発生し、その時のトレース情報を取得してレポートするデータトレース部を備えたので、トレースした変数の値、平均値、最大値、最小値等をレポートすることができるという効果を奏する。 [0089] The program evaluation system according to the present invention, as described above, wherein the host computer further, the interrupt was generated based on the trace timing described in the given test cases, the trace information at that time since a data trace section that reports to obtain the achieves the value of the trace variables average value, maximum value, the effect that it is possible to report the minimum value or the like.

【0090】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記データトレース部が、前記指定されたテストケースに記述された出力情報のトレースタイミングに基づいて割込みを発生する割込み制御部と、割込み発生時にトレースしたデータを取得するデータ取得部と、前記トレースしたデータをトレース情報としてトレース情報記憶手段に格納するデータ格納部と、前記格納されたトレース情報をレポートするデータレポート部とを含むので、トレースした変数の値、 [0090] The program evaluation system according to the present invention, as described above, the data trace unit, an interrupt controller to generate an interrupt based on the trace timing of the output information described in the specified test cases When a data acquisition unit for acquiring the data trace when an interrupt occurs, a data storage unit for storing the data the trace in the trace information storage section as trace information, and a data report section that reports the trace information said stored because it contains, it traces the variable value,
平均値、最大値、最小値等をレポートすることができるという効果を奏する。 An effect that it is possible to report the average value, maximum value, minimum value, and the like.

【0091】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記ホストコンピュータが、さらに、前記試験装置を制御して取得した出力情報と前記指定されたテストケースに記述された期待値とを比較して評価試験を行う試験結果判定部と、前記評価試験の結果を試験履歴として作成蓄積し、この蓄積した試験履歴を必要に応じてレポートする試験履歴情報生成部とを備えたので、評価対象プログラムのバグの収束レポートや過去の試験履歴の表示を行うことができ、また、 [0091] The program evaluation system according to the present invention, as described above, wherein the host computer further, wherein the output information obtained test apparatus control to the specified test cases to the described expectations Doo and test result determination unit for performing an evaluation test by comparing the evaluated results of the test to create accumulated as test history, since a test history information generating unit that reports as necessary the accumulated test history , it is possible to perform the display of bug convergence reports and previous studies the history of the evaluation program, also,
試験成績書などのドキュメント作成に利用することができるという効果を奏する。 To document creation, such as a test report is an effect that can be used.

【0092】さらに、この発明に係るプログラム評価システムは、以上説明したとおり、前記試験履歴情報生成部が、前記評価試験の結果を試験履歴として作成する試験履歴作成部と、前記作成した試験履歴を格納する試験履歴格納部と、前記格納した試験履歴をレポートする試験履歴レポート部とを含むので、評価対象プログラムのバグの収束レポートや過去の試験履歴の表示を行うことができ、また、試験成績書などのドキュメント作成に利用することができるという効果を奏する。 [0092] Furthermore, the program evaluation system according to the present invention, as described above, the test history information generating unit, and the evaluation test history creation section for creating the results of the test as a test history, the test history of the created and test history storage unit for storing, because it includes a test history report unit which reports the test history of the store, it is possible to perform the display of bug convergence reports and previous studies the history of the evaluation program, also, test results there is an effect that can be used to document creation, such as writing.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】 この発明の実施の形態1に係るプログラム評価システムの構成を示す図である。 1 is a diagram showing a configuration of a program evaluation system according to the first embodiment of the present invention.

【図2】 この発明の実施の形態1の評価試験実施の作業手順を示すフローチャートである。 2 is a flowchart showing the operation procedure of the evaluation test Embodiment 1 of the present invention.

【図3】 この発明の実施の形態3の評価試験実施の作業手順を示すフローチャートである。 3 is a flowchart showing the operation procedure of the evaluation test Embodiment 3 of the present invention.

【図4】 この発明の実施の形態4の評価試験実施の作業手順を示すフローチャートである。 4 is a flowchart showing the operation procedure of the evaluation test Embodiment 4 of the present invention.

【図5】 この発明の実施の形態5の評価試験実施の作業手順を示すフローチャートである。 5 is a flowchart showing the operation procedure of the evaluation tests embodiment 5 of the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 入力手段、2 表示手段、3 プリンタ、4 ホストコンピュータ、5テストケース群、6 テストケース解析部、7 試験結果判定部、8 試験結果範囲判定部、9 試験履歴情報生成部、10 試験履歴作成部、 1 the input means, second display means, 3 printers, 4 host computer, 5 test case group, 6 test case analyzer, 7 test result determination unit, 8 test result range determination unit, 9 test history information generating unit, creating 10 test history Department,
11 試験履歴格納部、12 試験履歴レポート部、1 11 test history storage unit, 12 test history report unit, 1
3 記憶手段(試験履歴情報)、14試験装置制御部、 Third storage means (test history information), 14 test apparatus control unit,
15 データトレース部、16 割込み制御部、17 15 data trace unit, 16 an interrupt controller, 17
データ取得部、18 データレポート部、19 データ格納部、20 記憶手段(トレース情報)、21 再試験実行部、22 実行状況取得部、23 実行状況ロード部、24 実行状況格納部、25 記憶手段(実行情報)、26 試験装置、27 ホストコンピュータ通信I/F、28 エミュレーションメモリ部、29入力情報、30 出力情報、31 評価対象プログラム、32 Data acquisition unit, 18 data reporting unit, 19 data storage unit, 20 storage means (trace information), 21 re-test execution unit 22 execution status acquisition unit, 23 execution status loading unit, 24 execution status storage unit, 25 storage means ( execution information), 26 test apparatus, 27 the host computer communication I / F, 28 emulation memory unit, 29 input information 30 output information, 31 evaluation program, 32
入力ドライバ部、33 プログラム本体部、34 出力ドライバ部、35 評価対象機器、36 マイクロコンピュータ、37 入力デバイス、38 出力デバイス。 Input driver unit, 33 a program main body, 34 an output driver unit, 35 evaluation device, 36 microcomputer, 37 input device, 38 an output device.

Claims (9)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 ホストコンピュータからの疑似的な入力情報に基づいて、試験装置に格納された評価対象プログラムのエミュレーション動作を実行し、結果を出力情報として取得することによりプログラムの評価試験を行うプログラム評価システムにおいて、 前記ホストコンピュータは、 評価試験を実行するための疑似的な入出力情報を記述したテストケースを複数記述したテストケース群から指定されたテストケースを解析するテストケース解析部と、 前記指定されたテストケースの疑似的な入出力情報を受け取り前記試験装置を制御する試験装置制御部と、 評価試験中断時にその中断時の実行情報を取得し、評価試験再実行時に前記中断時の実行情報を前記試験装置にロードする再試験実行部とを備えたことを特徴とするプログラム評 1. A based on the pseudo-input information from a host computer, executes the emulation operation of the evaluation object program stored in the test apparatus, the evaluation test of the program by obtaining the result as output information program in the evaluation system, the host computer, the test case analyzer for analyzing the test cases specified test cases that describe pseudo input and output information from a plurality description test cases for executing an evaluation test, the get a test device controller for controlling receiving the test device pseudo-input information for the specified test cases, the execution information at the time of the interruption in the evaluation test interruption, execution during the interruption in the evaluation test rerun program Review, characterized in that the information and a re-test execution unit for loading to the test device システム。 System.
  2. 【請求項2】 前記再試験実行部は、 評価試験中断時にその中断時の実行情報を取得する実行状況取得部と、 前記実行情報を実行情報記憶手段に格納する実行状況格納部と、 評価試験再実行時に前記格納された中断時の実行情報を前記試験装置にロードする実行状況ロード部とを含み、 評価試験再実行時には評価試験中断時以降の試験項目から行うことを特徴とする請求項1記載のプログラム評価システム。 Wherein said retesting execution unit, the execution status acquisition unit that acquires execution information at the time of the interruption in the evaluation test interrupted, and the execution state storage unit for storing the execution information in the execution information storage unit, the evaluation test claim the execution information at the time of suspension, which are the stored at rerun and a execution state loading unit for loading to the test device, at the time of evaluation test re-execution and carrying out the test item after the time of suspension evaluation test 1 program evaluation system described.
  3. 【請求項3】 前記試験装置は、 前記ホストコンピュータと通信を行うホストコンピュータ通信I/Fと、 前記評価対象プログラムを格納するエミュレーションメモリ部とを含むことを特徴とする請求項2記載のプログラム評価システム。 Wherein the test apparatus, the communication with the host computer communication I / F for performing a host computer, program evaluation according to claim 2, characterized in that it comprises an emulation memory for storing said evaluation object program system.
  4. 【請求項4】 前記試験装置は、対象とするマイクロコンピュータのICEであることを特徴とする請求項1記載のプログラム評価システム。 Wherein said test apparatus, program evaluation system according to claim 1, characterized in that the ICE microcomputer of interest.
  5. 【請求項5】 前記ホストコンピュータは、さらに、 前記試験装置を制御して取得した出力情報の範囲と前記指定されたテストケースに記述された期待値の範囲とを比較して評価試験の合否を判定する試験結果範囲判定部を備えたことを特徴とする請求項1又は4記載のプログラム評価システム。 Wherein said host computer further, the acceptance of the evaluation test by comparing the scope and the written to the specified test cases expected value of the output information acquired by controlling the test device claim 1 or 4 program evaluation system according to comprising the determining test result range determination unit.
  6. 【請求項6】 前記ホストコンピュータは、さらに、 前記指定されたテストケースに記述されたトレースタイミングに基づいて割込みを発生し、その時のトレース情報を取得してレポートするデータトレース部を備えたことを特徴とする請求項1又は4記載のプログラム評価システム。 Wherein said host computer further, that the interrupt was generated based on the trace timing described in the given test cases, with data trace section that reports to obtain the trace information at that time claim 1 or 4 program evaluation system wherein.
  7. 【請求項7】 前記データトレース部は、 前記指定されたテストケースに記述された出力情報のトレースタイミングに基づいて割込みを発生する割込み制御部と、 割込み発生時にトレースしたデータを取得するデータ取得部と、 前記トレースしたデータをトレース情報としてトレース情報記憶手段に格納するデータ格納部と、 前記格納されたトレース情報をレポートするデータレポート部とを含むことを特徴とする請求項6記載のプログラム評価システム。 Wherein said data trace unit, an interrupt controller to generate an interrupt based on the trace timing of the output information described in the specified test cases, the data acquisition unit for acquiring trace data when an interrupt occurs When, the program evaluation system according to claim 6, characterized in that it comprises a data storage for storing data said trace in the trace information storage section as trace information, and a data report section that reports the trace information said stored .
  8. 【請求項8】 前記ホストコンピュータは、さらに、 前記試験装置を制御して取得した出力情報と前記指定されたテストケースに記述された期待値とを比較して評価試験を行う試験結果判定部と、 前記評価試験の結果を試験履歴として作成蓄積し、この蓄積した試験履歴を必要に応じてレポートする試験履歴情報生成部とを備えたことを特徴とする請求項1又は4 Wherein said host computer further comprises: a test result determination unit for performing an evaluation test by comparing an expected value that is written to the output information obtained test device control to said specified test cases the evaluation results of the test to create accumulated as test history, according to claim 1 or 4, characterized in that a test history information generating unit that reports as necessary the accumulated test history
    記載のプログラム評価システム。 Program evaluation system described.
  9. 【請求項9】 前記試験履歴情報生成部は、 前記評価試験の結果を試験履歴として作成する試験履歴作成部と、 前記作成した試験履歴を格納する試験履歴格納部と、 前記格納した試験履歴をレポートする試験履歴レポート部とを含むことを特徴とする請求項8記載のプログラム評価システム。 Wherein said test history information generating unit includes: the evaluation test history creation section for creating the results of the test as a test history, and the test history storage unit for storing a test history of the created, a test history of the stored program evaluation system according to claim 8, characterized in that it comprises a test history report unit to report.
JP08048697A 1997-03-31 1997-03-31 Program evaluation system Expired - Fee Related JP3357567B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08048697A JP3357567B2 (en) 1997-03-31 1997-03-31 Program evaluation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08048697A JP3357567B2 (en) 1997-03-31 1997-03-31 Program evaluation system

Publications (2)

Publication Number Publication Date
JPH10275094A true JPH10275094A (en) 1998-10-13
JP3357567B2 JP3357567B2 (en) 2002-12-16

Family

ID=13719630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08048697A Expired - Fee Related JP3357567B2 (en) 1997-03-31 1997-03-31 Program evaluation system

Country Status (1)

Country Link
JP (1) JP3357567B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013097580A (en) * 2011-10-31 2013-05-20 Mitsubishi Electric Corp Dynamic analysis device, dynamic analysis system, dynamic analysis method and program
US8914675B2 (en) 2011-08-22 2014-12-16 International Business Machines Corporation Creating data for playing back transactions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8914675B2 (en) 2011-08-22 2014-12-16 International Business Machines Corporation Creating data for playing back transactions
JP2013097580A (en) * 2011-10-31 2013-05-20 Mitsubishi Electric Corp Dynamic analysis device, dynamic analysis system, dynamic analysis method and program

Also Published As

Publication number Publication date
JP3357567B2 (en) 2002-12-16

Similar Documents

Publication Publication Date Title
US5136705A (en) Method of generating instruction sequences for controlling data flow processes
US5920490A (en) Integrated circuit test stimulus verification and vector extraction system
JP4972244B2 (en) Low cost, easy to use software for automated test systems
US7134049B2 (en) System and method for sequencing and performing very high speed software downloads concurrent with system testing in an automated production environment
US6842865B2 (en) Method and system for testing microprocessor based boards in a manufacturing environment
US5022028A (en) Software verification apparatus
US20050097515A1 (en) Data empowered laborsaving test architecture
EP0887733B1 (en) Model-based diagnostic system with automated procedures for next test selection
US4348761A (en) Portable field test unit for computer data and program storage disc drive
EP0135864A2 (en) System and method for automatically testing integrated circuit memory arrays on different memory array testers
US9535823B2 (en) Method and apparatus for detecting software bugs
EP0471924A2 (en) Automated function testing of application programs
US20030200483A1 (en) Electronic test program that can distinguish results
US5552984A (en) Diagnostic system for complex systems using virtual components
EP0307075A2 (en) Method and apparatus for measuring program execution
DE4313594C2 (en) microprocessor
US7100152B1 (en) Software analysis system having an apparatus for selectively collecting analysis data from a target system executing software instrumented with tag statements and method for use thereof
Harrold et al. An approach to analyzing and testing component-based systems
US6820192B2 (en) Central processing unit for easily testing and debugging programs
DE69828800T2 (en) Manufacturing interface for an integrated circuit probe system
EP0492973A2 (en) Dump analysis in data processing systems
DE10010043C2 (en) Semiconductor device simulation device and associated semiconductor test program debugging device
EP1117044B1 (en) System model determination for failure detection and isolation in particular in computer systems
US4802164A (en) Method and apparatus for testing a multi-processor system
KR101269549B1 (en) System and method for testing software reliability using fault injection

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees