KR20020029918A

KR20020029918A - 자동 평가 방법 및 자동 평가 시스템 및 자동 평가프로그램을 기억한 기억 매체

Info

Publication number: KR20020029918A
Application number: KR1020027001845A
Authority: KR
Inventors: 가즈요시 다께다
Original assignee: 구사마 사부로; 세이코 엡슨 가부시키가이샤
Priority date: 2000-06-14
Filing date: 2001-06-14
Publication date: 2002-04-20
Also published as: US20020026301A1; AU6428801A; WO2001097035A1; CN1383508A

Abstract

입력 이벤트마다, 이 입력 이벤트를 취할 수 있는 출력 화면의 상태 수(입력 이벤트가 반영되어 갱신되는 출력 화면의 종류)를 횟수 데이터로서 설정하고, 하나의 입력 이벤트에 대하여 그 횟수만큼 평가를 반복함으로써, 평가 정밀도를 향상시킨다. 임의의 입력 이벤트에 대한 시뮬레이션 결과로서, 출력 화면을 참조함으로써, 타깃 시스템 상에서 동작하는 프로그램을 자동 평가하는 자동 평가 시스템에 있어서, 시뮬레이터 본체(31)는 시뮬레이션을 행하고, 출력 화면 참조부(112)는, 입력 이벤트가 반영되어 갱신되는 출력 화면 상태에 따른 횟수만큼 그 출력 화면을 참조하고, 평가 시스템 본체(111)는 이 참조 결과와 사전에 작성된 상기 횟수 상당의 기준 데이터를 순차적으로 비교함으로써 자동 평가를 행한다.

Description

자동 평가 방법 및 자동 평가 시스템 및 자동 평가 프로그램을 기억한 기억 매체{AUTOMATIC EVALUATION METHOD AND AUTOMATIC EVALUATION SYSTEM AND STORAGE MEDIUM STORING AUTOMATIC EVALUATION PROGRAM}

최근, 마이크로 컴퓨터는 가전 제품 등의 다양한 장치에 설치되어, 널리 이용되고 있다. 마이크로 컴퓨터를 설치할 제품의 사양이나 주변 장치 등에 대응하여 동작시키기 위해서, 어플리케이션 프로그램이 내장 ROM(Read Only Memory)에 기입되어 있다. 또한, 액정 표시 장치(Liquid Crystal Display; 이하 LCD라 표기함)도 가전 제품 등의 다양한 장치에 설치되어 있다. 그 때문에, 마이크로 컴퓨터는, 사용자에 의한 키 입력 등의 입력 이벤트가 입력되면, 어플리케이션 프로그램에 의해 이 입력 이벤트에 대한 출력 화면을 LCD로 출력시킨다. 그래서, 마이크로 컴퓨터의 어플리케이션 프로그램에 의한 동작을 인식하는 경우, 마이크로 컴퓨터는, 설치할 제품의 장치 사양에 대응한 다수의 입력 이벤트에 대한 출력 결과를 인식해두지 않으면 안 된다.

그 때문에, 마이크로 컴퓨터의 개발에서는, 하드웨어의 개발과 함께, 어플리케이션 프로그램의 개발도 중요해진다. 어플리케이션 프로그램의 개발에는 인 서킷 에뮬레이터(In Circuit Emulator; 이하 ICE라 표기함) 등이 이용되고 있다. ICE는 타깃 보드 상에서 어플리케이션 프로그램에 의한 동작을 에뮬레이션할 수 있다. 상기한 바와 같이, 어플리케이션 프로그램의 동작 확인은, 확인하지 않으면 안 되는 입력 이벤트가 다수 있다. 그 때문에, ICE를 이용하여 직접 작업자가 입력 이벤트를 입력하는 경우, 입력에 장시간 요함과 함께, 작업자가 입력을 미스할 가능성도 있다.

또한, 입력 이벤트와 에뮬레이션 결과를 화면 출력 등에 의해 작업자가 확인하는 경우, 장시간을 요함과 함께, 작업자가 확인을 미스할 가능성이 있다. 또한, 이 동작 확인에 의한 어플리케이션 프로그램의 평가에서는, 평가 제도를 향상시키기 위해 동일한 입력 이벤트에 대한 평가를 반복하여 행하고 있다. 그래서, 어플리케이션 프로그램의 동작 확인을 고정밀도로 효율적으로 행하기 위해, 다수의 입력 이벤트를 반복하여 자동적으로 입력할 수 있음과 함께, 이 입력 이벤트에 대한 출력 결과를 자동 평가하는 자동 평가 시스템이 이용되고 있다.

상기한 자동 평가 시스템에 따르면, 타깃 시스템 상에서 동작하는 어플리케이션 프로그램을, 시뮬레이션 장치에 의한 시뮬레이션 결과를 이용하여 자동 평가할 수 있다. 이 때문에, 자동 평가 시스템과 시뮬레이션 장치가 공통으로 액세스할 수 있는 메모리를 갖게 할 필요가 있으며, 이것에 의해 자동 평가 시스템과 시뮬레이션 장치 사이에서의 액세스가 가능해진다. 이 때, 시뮬레이션 장치는, 입력 이벤트에 대하여 시뮬레이션을 행하고, 그 시뮬레이션 결과를 출력하는 통상의 처리를 행한다. 따라서, 어플리케이션 프로그램에 자동 평가의 수속을 위한 어떠한 절차도 포함시킬 필요가 없다.

상기한 자동 평가 시스템에서는, 사전에 입력 이벤트 파일을 작성하고, 그 입력 이벤트 파일에 대응한 기준 데이터를 작성해 둘 필요가 있다. 그리고, 입력 이벤트를 순차적으로 시뮬레이터로 송신하고, 시뮬레이션 결과가 반영되는 표시 화면(디스플레이 메모리)을 참조함으로써 결과 데이터를 수신하여, 그 결과와 사전에 작성된 기준 데이터를 비교함으로써 자동 평가를 행한다.

그런데, 실제의 입력 데이터 중에는, 실제로 키 입력이 이루어지지 않더라도 표시 화면을 변경하는 것이 있다. 즉, 블링크 커서, 혹은 화면 상을 돌아다니는 캐릭터의 일종으로서, 이것은 키 입력 이외의 입력 이벤트이다. 예를 들면, 블링크 커서의 경우는, 타깃 프로그램 상에서 동작하는 어플리케이션 프로그램에 따라 정전(正轉) 패턴과 반전(反轉) 패턴의 2종류의 화면 내용으로 전환되기 때문에, 이것을 자동 평가 시스템이 적당한 타이밍에서 판독한 경우에는 정확한 자동 평가를 할 수 없게 된다.

따라서, 신뢰성이 높은 평가를 얻기 위해서는 시뮬레이션 결과가 확정되고, 화면 변경이 완료된 타이밍에서 표시 화면 데이터를 판독할 필요가 있다. 이 때문에 종래에는 블링크 커서에 대응하는 부분의 데이터에 대해서는 마스크 처리를 행하는 등에 의해 평가의 대상으로는 하지 않았다. 또한, 타깃 시스템 상에서 동작하는 프로그램을 수정하여 블링크를 멈추게 하는 등에 의한 방법을 취하고 있었다.

이 때문에, 전자(前者)는 평가 시스템으로서의 정밀도가 저하되고, 후자(後者)는 프로그램의 품질이 악화된다.

본 발명은 상기 사정을 감안하여 이루어진 것으로, 입력 이벤트 등, 이 입력 이벤트를 취할 수 있는 출력 화면의 상태 수(입력 이벤트가 반영되어 갱신되는 출력 화면의 종류)를 횟수 데이터로서 설정하고, 하나의 입력 이벤트에 대하여 그 횟수만큼 평가를 반복함으로써, 평가 정밀도를 향상시킨 자동 평가 방법 및 자동 평가 시스템과 자동 평가 프로그램을 기억한 기억 매체를 제공하는 것을 과제로 한다.

본 발명은, 키 입력 등의 입력 이벤트와 이 입력 이벤트에 대한 출력 화면 등의 참조 출력 결과에 의해, 타깃 시스템 상에서 동작하는 프로그램을 자동 평가할 수 있는 자동 평가 방법 및 자동 평가 시스템과 자동 평가 프로그램을 기억한 기억 매체에 관한 것이다.

도 1은 본 실시예에 따른 자동 평가 시스템을 동작시키는 퍼스널 컴퓨터의 구성도.

도 2는 본 실시예에 따른 자동 평가 시스템과 시뮬레이터 사이의 액세스 방법을 설명하기 위해 인용한 도면.

도 3은 입력 이벤트와 참조 출력 결과의 일례를 나타내는 도면으로서, 도 3의 (a)는 키 입력, (b)는 (a)에서의 키 입력 전의 LCD의 참조 출력 화면, (c)는 (a)의 키 입력에 대한 LCD의 참조 출력 화면.

도 4는 본 실시예에 따른 자동 평가 방법을 실현하는 자동 평가 시스템에서의 퍼스널 컴퓨터의 기능 전개도.

도 5는 본 실시예에 따른 자동 평가 방법의 흐름도.

상기한 과제를 해결하기 위해 청구항 1에 기재된 자동 평가 방법은, 임의의 입력 이벤트에 대한 시뮬레이션 결과로서, 출력 화면을 참조함으로써, 타깃 시스템 상에서 동작하는 프로그램을 자동 평가하는 자동 평가 방법에 있어서, 상기 시뮬레이션을 행하고, 상기 입력 이벤트가 반영되어 갱신되는 출력 화면의 상태 수에 따른 횟수만큼 상기 출력 화면을 참조하고, 이 참조 결과와 사전에 작성된 상기 횟수 상당의 기준 데이터를 순차적으로 비교함으로써 자동 평가를 행하는 것으로 하였다.

이 자동 평가 방법에 따르면, 하나의 입력 이벤트에 대하여 출력 화면의 상태가 변하더라도, 마스크 처리를 실시하지 않고, 또한, 타깃 시스템 상에서 동작하는 프로그램을 수정할 필요도 없게 되기 때문에, 프로그래머의 부담이 경감된다.

또한, 하나의 입력 이벤트에 대하여 1회 이상의 평가를 행하게 되어, 결과적으로 평가 정밀도의 향상을 도모할 수 있다.

또한, 청구항 2에 기재된 자동 평가 방법은, 청구항 1에 기재된 자동 평가 방법에 있어서, 상기 횟수는, 상기 입력 이벤트의 데이터와 함께 설정되는 것으로 하였다.

이 자동 평가 방법에 따르면, 입력 이벤트마다, 출력 화면을 갱신하는 상태가 존재하는지를 횟수 데이터로서 설정하고, 하나의 입력 이벤트에 대하여 그 횟수만큼 평가를 반복할 수 있어, 그 때문에 평가 정밀도를 향상시킬 수 있다.

상기한 과제를 해결하기 위해 청구항 3에 기재된 자동 평가 시스템은, 임의의 입력 이벤트에 대한 시뮬레이션 결과로서, 출력 화면을 참조함으로써, 타깃 시스템 상에서 동작하는 프로그램을 자동 평가하는 자동 평가 시스템에 있어서, 상기 시뮬레이션을 행하고, 상기 입력 이벤트가 반영되어 갱신되는 출력 화면의 상태 수에 따른 횟수만큼 상기 출력 화면을 참조하는 출력 화면 참조 수단과, 이 참조 결과와 사전에 작성된 상기 횟수 상당의 기준 데이터를 순차 비교함으로써 자동 평가를 행하는 평가 수단을 포함하는 것으로 하였다.

이 자동 평가 시스템에 따르면, 출력 화면 참조 수단은, 하나의 입력 이벤트를 취할 수 있는 출력 화면 상태의 횟수분만큼 상기 출력 화면을 참조하고, 평가 수단은 그 상태에 따른 횟수만큼 평가를 반복하는 것으로 된다. 이 때문에, 하나의 입력 이벤트에 대하여 출력 화면 상태가 변하더라도, 마스크 처리를 실시하지 않고, 또한, 타깃 시스템 상에서 동작하는 프로그램을 수정할 필요도 없게 되기 때문에, 프로그래머의 부담이 경감된다. 또한, 하나의 입력 이벤트에 대하여 1회 이상의 평가를 행하게 되어, 평가 정밀도의 향상이 도모되고, 이것에 의해 고성능의 자동 평가 시스템을 구축할 수 있다.

또한, 청구항 4에 기재된 자동 평가 시스템은, 청구항 3에 기재된 자동 평가시스템에 있어서, 시뮬레이션을 행하는 외에, 상기 횟수에 따른 출력 화면의 갱신을 행할 때마다, 표시 변경 완료 이벤트를 통지하는 시뮬레이션 장치를 더 구비하는 것으로 하였다.

이 자동 평가 시스템에 따르면, 출력 화면 참조 수단은, 시뮬레이션 장치로부터 표시 변경 완료 이벤트의 통지를 받을 때마다 출력 화면의 참조를 반복하고, 평가 수단에 그 기준 데이터를 송신한다. 이 때문에, 평가 수단은 그 상태에 따른 횟수만큼 평가를 반복하게 되어, 따라서 평가 정밀도의 향상이 도모된다.

상기한 과제를 해결하기 위해 청구항 5에 기재된 자동 평가 프로그램을 기억한 기억 매체는, 임의의 입력 이벤트에 대한 시뮬레이션 결과로서, 출력 화면을 참조함으로써, 타깃 시스템 상에서 동작하는 프로그램을 자동 평가하기 위한 자동 평가 프로그램을 기억한 기억 매체에 있어서, 상기 자동 평가 프로그램은, 입력 이벤트 및 상기 입력 이벤트마다 사전에 작성되는 기준 데이터를 판독하는 단계와, 상기 판독된 입력 이벤트를 순차적으로 송신하고, 시뮬레이션 실행을 재촉하는 단계와, 시뮬레이션이 실행되고, 상기 입력 이벤트가 반영되어 갱신되는 상기 출력 화면의 상태 수에 따른 횟수만큼 상기 출력 화면을 참조하는 단계와, 이 참조 결과와 사전에 작성된 상기 횟수 상당의 기준 데이터를 순차적으로 비교함으로써 자동 평가를 행하는 단계를 포함하는 것으로 하였다.

이 자동 평가 프로그램을 기억한 기억 매체에 따르면, 시뮬레이터의 입력 이벤트에 대한 시뮬레이션 결과를 이용하여 자동 평가할 수 있다. 또한, 하나의 입력 이벤트에 대하여 출력 화면 상태가 변하더라도, 마스크 처리를 실시하지 않고, 또한, 타깃 시스템 상에서 동작하는 프로그램을 수정할 필요도 없게 되기 때문에, 프로그래머의 부담이 경감된다. 또한, 하나의 입력 이벤트에 대하여 1회 이상의 평가를 행하게 되어, 평가 정밀도의 향상이 도모된다.

또한, 청구항 6에 기재된 기억 매체는, 청구항 5에 기재된 자동 평가 프로그램을 기억한 기억 매체에 있어서, 상기 자동 평가 프로그램은, 시뮬레이터로부터 표시 변경 완료 이벤트를 수신할 때마다 상기 출력 화면의 참조를 행하고, 상기 자동 평가를 반복하는 단계를 더 포함하는 것으로 하였다.

이 자동 평가 프로그램을 기억한 기억 매체에 따르면, 자동 평가 시스템은, 표시 변경 완료 이벤트를 수신함으로써, 어떠한 상태에 있더라도 시뮬레이션 결과가 확정된 타이밍에서만 시뮬레이션 결과 데이터를 캡쳐할 수 있다. 따라서 안정된 참조 데이터를 얻을 수 있어, 이것에 의해 신뢰성이 높은 평가가 가능해진다.

이하에, 도면을 참조하여, 본 발명에 따른 자동 평가 방법 및 자동 평가 시스템 및 자동 평가 프로그램을 기억한 기억 매체의 실시예를 설명한다. 도 1은 자동 평가 시스템 및 시뮬레이터가 동작하는 퍼스널 컴퓨터의 구성도, 도 2는 자동 평가 시스템과 시뮬레이터 사이의 액세스 형태를 설명하기 위해서 인용한 도면, 도 3은 입력 이벤트와 참조 출력 결과의 일례로서, 도 3의 (a)는 키 입력, 도 3의 (b)는 도 3의 (a)에서의 키 입력 전의 LCD의 참조 출력 화면, 도 3의 (c)는 도 3의 (a)의 키 입력에 대한 LCD의 참조 출력 화면이다.

본 발명에 따른 자동 평가 시스템 및 자동 평가 방법은, 타깃 시스템 상에서 동작하는 어플리케이션 프로그램을, 시뮬레이터에 의한 시뮬레이션 결과를 이용하여 자동 평가할 수 있다. 이 때, 시뮬레이터는, 입력 이벤트에 대하여 시뮬레이션을 행하고, 그 시뮬레이션 결과를 출력하는 통상의 처리를 행한다. 그 때문에, 어플리케이션 프로그램에는, 자동 평가용의 기능을 설치할 필요가 없다. 또한, 이 자동 평가 시스템 및 자동 평가 방법은, 하나의 입력 이벤트를 취할 수 있는 출력화면 상태의 횟수만큼 출력 화면을 참조하고, 그 상태에 따른 횟수만큼 자동 평가를 반복한다. 또한, 본 발명에 따른 자동 평가 프로그램을 기억한 기억 매체는, 전자 계산기 내에 이 기억 매체를 통해 자동 평가 프로그램이 로드되어 실행됨으로써, 본 발명에 따른 자동 평가 시스템을 구성할 수가 있고, 또한 본 발명에 따른 자동 평가 방법에 의한 자동 평가를 실현할 수 있다.

또, 타깃 시스템은, 어플리케이션 프로그램에 기초하여 동작하는, 예를 들면, 마이크로 컴퓨터 등이다. 또한, 입력 이벤트는, 타깃 시스템을 설치할 제품에서의 장치 사양에 대응하여 설정하고, 설치할 제품의 장치의 입력 수단에 의해 대상이 되는 입력 이벤트가 다르다. 대상이 되는 입력 이벤트로서는, 예를 들면, 키 입력, 음성 입력 등이다. 참조 출력 결과는, 입력 이벤트에 대한 타깃 시스템의 정상적인 출력으로서, 타깃 시스템을 설치할 제품에서의 장치 사양에 대응하여 설정하고, 설치할 제품의 장치의 출력 수단에 의해 대상이 되는 참조 출력 결과가 다르다. 대상이 되는 참조 출력 결과는, 예를 들면, 화면 출력, 음성 출력 등이다.

본 발명의 실시예에서는, 자동 평가 시스템을, 자동 평가 프로그램을 기억한 기억 매체를 통해 퍼스널 컴퓨터 내에 자동 평가 프로그램을 로드하고, 이 자동 평가 프로그램에 의한 동작을 퍼스널 컴퓨터로 실행시켜 자동 평가를 행하는 자동 평가 시스템으로서 구성하였다. 또한, 이 자동 평가 시스템은, 입력 이벤트 및 참조 출력 결과를 도입하기 위해, 퍼스널 컴퓨터에 접속한 디스크 장치를 이용한다. 또한, 본 발명의 실시예에서는, 시뮬레이터를, 시뮬레이션 프로그램을 기억한 기억 매체를 통해 퍼스널 컴퓨터 내에 시뮬레이션 프로그램을 로드하고, 이 시뮬레이션프로그램에 의한 동작을 퍼스널 컴퓨터로 실행시켜 시뮬레이션을 행하는 시뮬레이션 장치로서 구성하였다. 또한, 자동 평가 시스템과 시뮬레이터는, 동일한 퍼스널 컴퓨터 내에 구성한다. 또한, 본 발명 실시예에서는, 타깃 시스템을 마이크로 컴퓨터로 한다. 또한, 본 발명 실시예에서는, 마이크로 컴퓨터는, 설치할 제품으로서 게임, 시계, 데이터 뱅크 등, 외부로부터의 키(버튼) 입력이 가능하며, LCD로 화면 출력하는 장치에 설치되는 것으로 한다.

우선, 도 1을 참조하여, 자동 평가 시스템(1) 및 시뮬레이터(3)의 전체 구성에 대하여 설명한다. 자동 평가 시스템(1)은, 퍼스널 컴퓨터 PC의 디스크 장치 DU에 의해 자동 평가 프로그램을 기억한 기억 매체로부터 자동 평가 프로그램이 판독되며, 또한 주기억 장치에 자동 평가 프로그램이 로드되고, 그리고 중앙 처리 장치 CP(주기억 장치를 포함함)로 실행되어 자동 평가를 행한다. 또, 디스크 장치 DU는, 플로피 디스크나 광 디스크 등의 기억 매체에 대응하여 기입 및 판독할 수 있는 장치로 한다. 또한, 자동 평가 시스템(1)은, 디스크 장치 DU로부터 입력 이벤트 파일 IF에 저장된 입력 이벤트를 판독하고, 이 입력 이벤트를 시뮬레이터(3)로 송신한다. 또한, 자동 평가 시스템(1)은, 디스크 장치 DU로부터 기준 출력 파일 OF에 저장된 참조 출력 결과를 판독하고, 시뮬레이터(3)의 입력 이벤트에 대한 시뮬레이션 결과와 비교하여 자동 평가한다.

또, 자동 평가 시스템(1)은, 평가 결과를 디스크 장치 DU에 결과 로그 파일로서 저장하거나, 혹은, 디스플레이 DP로 화면 출력한다.

시뮬레이터(3)는, 퍼스널 컴퓨터 PC의 디스크 장치 DU에 의해 시뮬레이션 프로그램을 기억한 기억 매체로부터 시뮬레이션 프로그램이 판독되며, 또한 주기억 장치에 시뮬레이션 프로그램이 로드되고, 그리고 중앙 처리 장치 CP 상에서 실행되어 시뮬레이션을 행한다. 또한, 시뮬레이터(3)는, 디스크 장치 DU로부터 마이크로 컴퓨터의 어플리케이션 프로그램 AP를 판독하고, 이 어플리케이션 프로그램 AP에 의한 동작을 시뮬레이션한다.

또, 시뮬레이터(3)는 자동 평가 시스템(1)으로부터 입력 이벤트가 송신되면 이 입력 이벤트에 기초하여 어플리케이션 프로그램 AP에 의한 동작을 시뮬레이션한다. 그리고, 시뮬레이터(3)는, 이 시뮬레이션 결과를, 퍼스널 컴퓨터 PC의 주기억 장치의 일부에, 본 발명의 자동 평가 시스템(1)과 시뮬레이터(3)에 의해 액세스되는 공유 메모리로서 할당되는 RAM(Random Access Memory: 10)에 기억시킨다 (도 2 참조).

또한, 시뮬레이터(3)는, 설치된 장치의 키 입력에 대응하여 키보드 KB에 의해 외부로부터의 조작이 가능하며, 설치된 장치의 LCD의 화면 출력에 대응하여 디스플레이 DP에 LCD 화면을 출력한다.

또, 여기서는, 시뮬레이션을 행하면서 어플리케이션 프로그램 AP의 디버그를 행하기 위하여, 시뮬레이터(3)는 디버거(2)에 접속된다. 디버거(2)는, 퍼스널 컴퓨터 PC의 디스크 장치 DU에 의해 디버그 프로그램을 기억한 기억 매체로부터 디버그 프로그램이 판독되며, 주기억 장치에 로드되고, 그리고, 중앙 처리 장치 CP에서 실행되어 디버그를 행한다. 디버거(2)는, 시뮬레이터(3)의 기동/정지, 시뮬레이터(3) 상에서의 데이터의 참조나 데이터의 변경 등을 행할 수 있다. 또한, 디버거(2)는 어플리케이션 프로그램 AP를 단계마다 실행시키거나, 브레이크할 수 있다.

여기서, 입력 이벤트 파일 IF와 기준 출력 파일 OF에 대하여 설명한다. 입력 이벤트 파일 IF 및 기준 출력 파일 OF는, 자동 평가 시스템(1)의 입력 이벤트 데이터 작성 기능 및 기준 데이터 작성 기능을 이용하여 작성하거나, 혹은 사전에 에디터에 의해 작성한다.

입력 이벤트 파일 IF를 자동 평가 시스템(1)에서 작성하는 경우에 대하여 설명한다. 우선, 마이크로 컴퓨터가 설치된 장치의 각 키를, 자동 평가 시스템(1)에 의해 키보드 KB의 각 키에 할당한다. 그리고, 사용자가, 설치된 장치 사양에 대응하여 다수의 입력 이벤트를 준비하고, 키를 하나 하나 입력한다. 이것에 의해, 자동 평가 시스템(1)이, 하나의 입력 이벤트마다 키의 종류와 입력 순서를 입력 이벤트 데이터로서 확정한다. 또한, 하나의 입력 이벤트에 대하여 마이크로 컴퓨터가 설치된 장치의 LCD의 출력 화면이 변경되는 경우, 그 갱신되는 출력 화면의 상태 수에 따른 횟수를 입력 이벤트 데이터로 한다. 마지막으로, 자동 평가 시스템(1)이, 모든 입력 이벤트에 대한 입력 이벤트 데이터를 입력 이벤트 파일 IF에 저장한다.

또, 입력 이벤트 파일 IF는, 임의의 파일명이 붙여져서 기억 매체에 기억되고, 디스크 장치 DU로부터 판독 가능한 상태로 세트된다. 다시 말하면, 입력 이벤트 파일 IF는, 마이크로 컴퓨터의 사양 변경, 설치된 장치의 사양 변경, 평가 내용의 변경 등에 대응하여, 변경 가능하다. 예를 들면, 도 3의 (a)에 도시한 바와 같이, 하나의 입력 이벤트(20)로서 [A]키 누름, [B]키 누름, [C]키 누름의 순서로 키 조작이 행해졌다고 하자. 이 경우, 입력 이벤트(20)는, 입력 이벤트 데이터로서, A, B, C 키의 종류와 이 키의 입력 순서가 입력 이벤트 데이터로서 입력 이벤트 파일 IF에 저장된다. 또한, 블링크 커서의 경우, 이 입력 이벤트에 대하여 출력 화면 상태가 2개 있으므로, 출력 화면의 상태 수에 따른 횟수가 입력 이벤트 파일 IF에 저장된다.

다음에, 기준 출력 파일 OF를 자동 평가 시스템(1)에서 작성하는 경우에 대하여 설명한다. 기준 출력 파일 OF는, 하나의 입력 이벤트에 대하여 하나 또는 복수개의 참조 출력 결과를 대응시킨 기준 데이터가 저장되기 때문에, 입력 이벤트 파일 IF의 작성에 대응하여 작성한다. 여기서는 하나의 입력 이벤트마다 이 입력 이벤트가 반영되어 갱신되는 출력 화면 상태가 복수개 있는 경우, 이 복수개의 출력 화면 상태에 따라 참조 출력 결과를 각각 설정한다.

예를 들면, 블링크 커서의 경우, 2개의 참조 출력 결과가 설정된다.

사용자가 키 입력을 포함한 이벤트를 입력할 때마다, 자동 평가 시스템(1)이, 예를 들면 키 입력을 입력 이벤트로서 시뮬레이터(3)로 송신한다. 그리고, 시뮬레이터(3)가, 이 키 입력에 대하여 시뮬레이션을 행하고, 시뮬레이션 결과를 디스플레이 DP에 표시한다. 표시 후, 사용자가, 디스플레이 DP의 표시 내용을 확인하여, 올바르면 참조 출력 결과로서 확정된다. 다시 말하면, 본 발명 실시예에 의하면, 설치된 장치의 출력 수단이 LCD이기 때문에, 이 참조 출력 결과(기준 데이터)는 LCD의 표시용 화상 데이터와 LCD에 표시할 때의 위치 데이터이다.

또, 어플리케이션 프로그램 AP가 개발 도중인 경우에는, 어플리케이션 프로그램 AP의 버전 업에 대응하여 기준 출력 파일 OF를 작성한다. 이 때, 기준 출력 파일 OF는 어플리케이션 프로그램 AP의 버그 수정 개소나 사양 변경 개소 등을 자동 평가의 항목에 추가하고, 어플리케이션 프로그램 AP의 변경 개소를 포함시킨 자동 평가를 행할 수 있는 것으로 한다. 혹은, 사용자가, 하나의 입력 이벤트의 키를 입력한 후, 자동 평가 시스템(1)의 기준 데이터 작성용 에디터에 의해, LCD의 표시용 화상 데이터를 참조 출력 결과로서 작성하여도 된다.

마지막으로, 자동 평가 시스템(1)이, 모든 참조 출력 결과에 대한 기준 데이터를 기준 출력 파일 OF에 저장한다. 또, 기준 출력 파일 OF는, 임의의 파일명이 붙여져 기억 매체에 기억되며, 디스크 장치 DU로부터 판독 가능한 상태로 세트된다. 그리고, 기준 출력 파일 OF는 입력 이벤트 파일 IF 내에 그 파일명이 기술되고, 입력 이벤트 파일 IF에 따라 판독된다. 따라서, 기준 출력 파일 OF는 입력 이벤트 파일 IF에 대응하여 변경한다. 예를 들면, 도 3의 (b)에 도시한 바와 같이, 입력 이벤트(20)가 입력되기 전에는, LCD의 참조 출력 화면(21)에서, 좌측 상단에 [_]가 표시되어 있다고 하자. 그리고, 입력 이벤트(20)로서 도 3의 (a)의 키 입력이 행해지면, 도 3의 (c)에 도시한 바와 같이, LCD의 참조 출력 화면(22)에서, 좌측 상단으로부터 우측에 [ABC_]가 참조 출력 결과(23)로서 표시된다. 또, [_]가 블링크 커서인 경우에는 정전 패턴으로서 [ABC_] 및 반전 패턴으로서 [ABC ]가 참조 출력 결과(23)로서 표시된다. 이 경우, 참조 출력 결과인 참조 번호(23)는 기준 데이터로서, [ABC_]와 [ABC ]의 LCD의 표시용 화상 데이터와 LCD 화면 상에서의표시 위치 데이터가 기준 출력 파일 OF에 저장된다.

다음에, 도 2를 참조하여, 자동 평가 시스템(1)과 시뮬레이터(3)의 자동 평가를 행할 때의 동작에 대하여 설명한다.

자동 평가 시스템(1)은, 사용자에 의해 기동되면, 디스크 장치 DU로부터 입력 이벤트 파일 IF에 저장된 입력 이벤트 데이터 ID를 퍼스널 컴퓨터 PC 내에 로드한다. 또, 입력 이벤트 파일 IF는, 사용자에 의해 파일명으로 지정된다. 입력 이벤트 데이터 ID가 로드되면, 자동 평가 시스템(1)은, 입력 이벤트 파일 IF에 기술되어 있는 파일명의 기준 출력 파일 OF에 저장되어 있는 기준 데이터 RD를 퍼스널 컴퓨터 PC 내에 로드한다.

그리고, 자동 평가 시스템(1)은, 입력 이벤트 데이터 ID로부터 하나의 입력 이벤트를 시뮬레이터(3)로 송신한다. 입력 이벤트의 송신에는, 퍼스널 컴퓨터의 OS(0perating System)의 API(Application Programming Interface) 커맨드를 이용한다. 예를 들면, OS가 Windows98인 경우, API 커맨드의 FindWindow를 사용하여, 시뮬레이터(3)의 윈도우 핸들을 취득한다.

그리고, API 커맨드의 포스트 메시지(Post Message)를 사용하여 입력 이벤트 데이터 ID 중의 하나의 입력 이벤트를 윈도우 핸들로 송신한다. 즉, 자동 평가 시스템(1)과 시뮬레이터(3) 사이에서는, API 커맨드에 따라서 입력 이벤트의 송신이 가능해진다. 다시 말하면, 자동 평가 시스템(1) 및 시뮬레이터(3)는, API 커맨드 등의 OS에 구비되는 기능을 사용하기 때문에, 입력 이벤트를 송신하기 위해 특별히 기능을 추가하지 않아도 된다.

입력 이벤트가 송신될 때마다, 시뮬레이터(3)는, 이 입력 이벤트에 기초하여 어플리케이션 프로그램 AP에 의한 동작을 시뮬레이션한다. 그리고, 시뮬레이터(3)는, 디스플레이 DP에 표시하기 위해서, 시뮬레이션 결과로서 LCD의 표시용의 화상 데이터 및 위치 데이터를 RAM(10)에 일시 기억한다. 또, 입력 이벤트 데이터 ID에 출력 화면의 상태 수에 따른 횟수가 복수 횟수 설정되어 있는 경우에는 이 횟수에 따른 시뮬레이션 결과를 일시적으로 기억한다. 다시 말하면, 시뮬레이터(3)는, 이 RAM(10)에 기억되어 있는 LCD의 표시용의 화상 데이터를 디스플레이 DP에 표시도 행한다. 다시 말하면, 여기서 행해지는 시뮬레이터(3)의 처리는, 통상 어플리케이션 프로그램 AP에 의한 동작을 시뮬레이션하는 처리와 마찬가지이며, 자동 평가를 행하기 위해 특별한 처리를 행하지 않는다. 따라서, 어플리케이션 프로그램 AP는, 실제로 마이크로 컴퓨터에 탑재되는 어플리케이션 프로그램과 동일한 것을 사용할 수 있다. 또, RAM(10)은, 퍼스널 컴퓨터 PC의 주기억 장치로서, 자동 평가 시스템(1)과 시뮬레이터(3)에서 공유 가능한 RAM으로 구성된다. 따라서, RAM(10)은 자동 평가 시스템(1) 및 시뮬레이터(3)로부터 액세스 가능하다. 즉, 자동 평가 시스템(1)과 시뮬레이터(3) 사이에서는, RAM(10)을 통해 시뮬레이션 결과에 대한 교환이 가능해진다. 다시 말하면, 자동 평가 시스템(1) 및 시뮬레이터(3)는, 퍼스널 컴퓨터 PC의 RAM(10)을 이용하기 때문에, 시뮬레이션 결과를 참조하기 위해 특별한 기능을 추가하지 않아도 된다. 또, RAM(10)은, 퍼스널 컴퓨터가 갖는 VRAM(Video RAM)이여도 된다.

시뮬레이션 후, 자동 평가 시스템(1)은, RAM(10)에 기억되어 있는 시뮬레이션 결과를 참조한다. 그리고, 자동 평가 시스템(1)은 이 시뮬레이션 결과와 로드되어 있는 기준 데이터 RD 중의 시뮬레이터(3)에 송신한 입력 이벤트에 대응하는 참조 출력 결과인 기준 데이터(LCD의 표시용 화상 데이터 및 위치 데이터)를 비교한다. 자동 평가 시스템(1)은, 양 결과가 일치하는지의 여부로 판정하여, 입력 이벤트에 대한 어플리케이션 프로그램 AP의 동작을 평가한다. 또한, 자동 평가 시스템(1)은, 이 판정 결과를 결과 로그 파일에 저장한다. 결과 로그 파일에는, 판정 결과를 전부 저장하여도 되고, 시뮬레이션 결과와 참조 출력 결과가 다른 경우에만 판정 결과를 저장하여도 된다.

또, 자동 평가 시스템(1)은, 시뮬레이션 결과와 참조 출력 결과를 배열하여 디스플레이 DP에 표시하고, 사용자에게 확인 가능한 상태로 하여도 된다. 또한, 자동 평가 시스템(1)은, 판정 결과를 디스플레이 DP에 표시하여도 된다.

그리고, 하나의 입력 이벤트에 대한 평가가 종료 할 때마다, 자동 평가 시스템(1)은, 입력 이벤트 데이터 ID에 저장되어 있는 다음의 입력 이벤트에 대하여, 상기한 처리를 반복하여 자동 평가를 행한다. 그리고, 입력 이벤트 데이터 ID의 모든 입력 이벤트에 대한 평가가 종료하면, 자동 평가 시스템(1)은, 사용자 지시에 따라 결과 로그 파일을 하드디스크 등의 기억 매체에 기억하고, 자동 평가를 종료한다.

이제, 자동 평가 시스템(1)에서의 하나의 입력 이벤트에 대하여 출력 화면 상태가 복수개 있는 경우의 자동 평가에 대하여 상세히 설명한다. 도 4에 자동 평가 방법을 실현하는 자동 평가 시스템으로서의 퍼스널 컴퓨터의 기능 전개도가, 도5에 그 동작 수순의 흐름도로 도시되어 있다. 도면 중, 도 1과 동일 번호가 붙여진 블록은 도 1의 해당 블록과 동일한 것으로 한다.

도 4에서, 본 실시예의 자동 평가 시스템(1)은, 자동 평가 장치(11)와 시뮬레이션 장치(30)로 기능적으로 대별된다. 시뮬레이션 장치(30)는 시뮬레이터 본체(31)를 설치하고, 이 시뮬레이터 본체(31)에 의해 타깃 시스템 상에서 동작하는 프로그램(어플리케이션 프로그램 AP)에 의한 동작의 시뮬레이션을 행함과 함께, 후술하는 바와 같이, 그 결과가 반영되는 출력 화면의 데이터 갱신이 확정되는 타이밍을 감시하여, 표시 변경 이벤트 통지부(32)를 통해 자동 평가 장치(11)에 공급한다.

자동 평가 장치(11)는, 평가 시스템 본체(111)와, 출력 화면 참조부(112)로 구성된다. 출력 화면 참조부(112)는, 후술하는 바와 같이, 시뮬레이션 장치(30)로부터 출력 화면의 데이터 갱신이 확정되는 타이밍 정보(표시 변경 완료 이벤트)를 얻을 때마다, 그 타이밍에서 출력 화면을 참조하고, 평가 시스템 본체(111)에 그 기준 데이터를 공급한다. 평가 시스템 본체(111)는, 이 참조 결과(시뮬레이션 결과)와 사전에 작성된 기준 데이터를, 입력 이벤트가 반영되어 갱신되는 화면 출력 상태의 수에 따른 횟수분만큼 비교함으로써 자동 평가를 실행한다.

시뮬레이션 장치(30)는, 시뮬레이션을 행하는 시뮬레이터 본체(31)와, 표시 변경 완료를 체크하고, 표시 변경 완료 이벤트를 생성 출력하는 표시 변경 완료 이벤트 통지부(32)로 구성된다. 또, 참조 번호(113)는 입력 이벤트 파일, 참조 번호(114)는 기준 파일, 참조 번호(115)는 로그 파일이다.

이하, 도 5에 도시한 흐름도를 참조하면서 자동 평가 방법에 대하여 상세히 설명한다.

자동 평가 장치(11)는, 우선 준비한 입력 이벤트 파일(113)로부터 입력 이벤트 데이터 ID를 디스크 장치 DU로부터 판독한다 (단계 S51). 또, 입력 이벤트 데이터 ID에는, 상기한 바와 같이, 하나의 입력 이벤트에 대한 갱신되는 출력 화면의 상태 수에 따른 횟수 데이터(n)도 설정되어 있다.

다음에, 자동 평가 장치(11)는, 캡쳐된 입력 이벤트에 관하여, API 커맨드에 의해 시뮬레이션 장치(30)가 갖는 시뮬레이터 본체(31)로 송신한다 (단계 S52). 그렇게 하면, 시뮬레이터 본체(31)는 입력 이벤트에 응답하여 (단계 S53), 시뮬레이션을 개시한다.

다음에, 시뮬레이터 본체(31)는, 시뮬레이션에 의해 표시 데이터(결과 데이터)를 생성하고, RAM(10)의 내용을 갱신한다 (단계 S54). 그리고, 시뮬레이션 장치(30)는, 시뮬레이션 결과 데이터의 기입이 완료하였는지의 여부를 체크한다 (단계 S55). 여기서, 시뮬레이션 장치(30)는 기입이 완료할 때까지 체크를 계속한다. 또, 시뮬레이션 장치(30)는, 시뮬레이션 결과 데이터의 변경을, RAM(10)에의 어플리케이션 프로그램 AP로부터의 기입이 일정 시간 또는 사이클 시간 없을 때 완료라고 판단한다. 또한, 시뮬레이션 장치(30)는, 시뮬레이션 결과 데이터(표시 데이터)를 변경 완료 후, 표시 변경 이벤트 통지부(32)로부터 표시 변경 완료 이벤트를 송신하고, 시뮬레이션을 정지한다 (단계 S56). 계속해서, 자동 평가 장치(11)는 표시 변경 완료 이벤트 수신 후, 시뮬레이션 결과 데이터를 캡쳐한다 (단계 S57).캡쳐 완료 후, 자동 평가 장치(11)는, 화면 데이터 판독 완료 통지를 시뮬레이션 장치(30)로 송신한다. 그렇게 하면, 화면 데이터 판독 완료 통지를 수신 후, 시뮬레이션 장치(30)가 시뮬레이션을 재개한다 (단계 S58).

다음에, 자동 평가 장치(11)는, 상태 수 n을 카운트한다 (단계 S59). 그리고, 상태 수 n이 0 이외의 경우에는, 자동 평가 장치(11)는 상태 수 n을 1 감산하여 시뮬레이션 결과 데이터의 캡쳐를 계속함과 함께, 시뮬레이터 본체(31)가 단계 S54의 처리를 실행한다. 한편, 상태 수 n이 0인 경우에는, 자동 평가 장치(11)는 기준 파일(114)로부터 기준 데이터 RD를 판독한다 (단계 S60). 계속해서, 자동 평가 장치(11)의 평가 시스템 본체(111)는, 기준 데이터 RD와 시뮬레이션 결과 데이터를 비교한다 (단계 S61). 그리고, 평가 시스템 본체(111)는, 시뮬레이션 결과 데이터가 기준 데이터 RD와 일치하는지의 여부를 판정하여, 입력 이벤트에 대한 어플리케이션 프로그램 AP의 동작을 평가한다 (단계 S62). 또, 이 평가에서, 평가 시스템 본체(111)는, 시뮬레이션 결과 데이터가 상태 수 n개만큼 캡쳐되어 있으므로, n개의 시뮬레이션 결과 데이터와 기준 데이터 RD를 각각 비교하여 판정한다. 그 결과, 자동 평가 장치(11)는, n개의 시뮬레이션 결과 데이터와 기준 데이터 RD가 전부 일치한 경우에는 처리를 종료하고, 일치하지 않은 경우에는 에러 로그를 로그 파일(115)에 저장하여 처리를 종료한다 (단계 S63).

또, 시뮬레이션 장치(30)가 갖는 표시 변경 이벤트 통지부(32)는, 시뮬레이션 본체(31)에 의한 결과 데이터의 생성과 동시에 그 결과 데이터의 기입 사이클의 감시를 행하고, 여기서는 사전에 소정 시간 타임 카운트함으로써 시뮬레이션 결과데이터의 확정을 체크하여 표시 변경 완료 이벤트를 발행한다 (단계 S56). 자동 평가 장치(11)의 출력 화면 참조부(112)는, 표시 변경 완료 이벤트 통지부(32)로부터의 이벤트의 도착을 대기하고, 그 때의 시뮬레이션 결과 데이터를 캡쳐한다 (단계 S57). 또한, 자동 평가 장치(11)는, 상태 수 n의 카운트를 행하고 (단계 S59), 카운트 값이 0 이외의 경우에는 시뮬레이션 결과 데이터의 캡쳐를 계속하고, 카운트 값이 0으로 되면 시뮬레이션 결과 데이터에 대응하는 기준 데이터 RD를 평가 시스템 본체(111)에서 판독한다 (단계 S60). 그리고, 평가 시스템 본체(111)는, 시뮬레이션 결과 데이터와 기준 데이터 RD를 비교하여, 평가한다 (단계 S61, S62). 이 평가에서, 자동 평가 장치(11)는, n개의 시뮬레이션 결과 데이터와 기준 데이터 RD가 일치하는지의 여부로 판정하여, 입력 이벤트에 대한 어플리케이션 프로그램 AP의 동작을 평가하고 (단계 S62), 이 판정 결과를 로그 파일(115)에 기억한다 (단계 S63) .

이상 설명한 바와 같이, 이 자동 평가 시스템(1)에 의하면, 자동 평가 시스템(1)과 시뮬레이터(3) 사이의 액세스가 API 커맨드나 RAM(10)을 액세스함으로써 가능해진다. 그 때문에, 자동 평가 시스템(1)으로부터 시뮬레이터(3)로 입력 이벤트를 송신 및 시뮬레이터(3)의 시뮬레이션 결과를 자동 평가 시스템(1)에서 참조하기 때문에, 자동 평가 시스템(1) 및 시뮬레이터(3)에 특별한 기능을 추가하지 않아도 된다. 또한, 어플리케이션 프로그램 AP도, 자동 평가용의 기능을 설치할 필요는 없으며, 실제로 마이크로 컴퓨터에 탑재하는 어플리케이션 프로그램과 동일한 것이어도 된다. 또한, 이 자동 평가 시스템(1)에 의하면, 하나의 입력 이벤트에대하여 출력 화면 상태가 복수개 존재하여도 이 각 출력 화면에 대한 자동 평가를 행할 수 있다.

이상, 본 발명은, 상기한 실제의 형태에 한정되지 않고, 다양한 형태로 실시된다.

예를 들면, 자동 평가 시스템(1)과 시뮬레이터(3) 사이에서 교신하기 위해 API 커맨드나 RAM을 이용하였지만, 이들 수단에 한정되지 않고, 다른 수단을 이용하여도 된다.

또한, 자동 평가 시스템(1) 및 시뮬레이터(3)를 동일한 퍼스널 컴퓨터 상에 구성하였지만, 워크스테이션 등의 다른 전자 계산기로 구성하여도 된다.

또한, 다른 컴퓨터 상에 보존된 자동 평가 프로그램을, 네트워크를 통해 자동 평가 시스템이나 시뮬레이터를 구성하는 퍼스널 컴퓨터 상에 다운로드하여 실행하는 구성이어도 된다.

본 발명의 자동 평가 방법에 의하면, 시뮬레이션을 행하고, 입력 이벤트가 반영되어 갱신되는 출력 화면의 상태 수에 따른 횟수만큼 출력 화면을 참조하고, 이 참조 결과와 사전에 작성된 횟수 상당의 기준 데이터를 순차적으로 비교함으로써 자동 평가를 행하기 때문에, 하나의 입력 이벤트에 대하여 출력 화면 상태가 변하는 경우에도, 마스크 처리를 실시하지 않고, 또한, 타깃 시스템 상에서 동작하는 프로그램을 수정할 필요도 없게 된다. 그 때문에, 프로그래머의 부담이 경감되고, 또한, 하나의 입력 이벤트에 대하여 1회 이상의 평가를 행하게 되어, 평가 정밀도의 향상을 도모할 수 있다.

또한, 본 발명의 자동 평가 방법에 의하면, 하나의 입력 이벤트마다, 출력 화면을 갱신하는 상태가 몇 종류 존재하는지를 횟수 데이터로서 설정하고 있기 때문에, 하나의 입력 이벤트에 대하여 그 횟수만큼 평가를 반복할 수 있어, 그 때문에 평가 정밀도를 향상시킬 수 있다.

본 발명의 자동 평가 시스템에 의하면, 출력 화면 참조 수단이 하나의 입력 이벤트가 갖는 복수의 상태분만큼 출력 화면을 참조하고, 평가 수단이 그 상태에 따른 횟수만큼 평가를 반복한다. 이 때문에, 하나의 입력 이벤트에 대하여 출력 화면 상태가 변하는 경우에도, 마스크 처리를 실시하지 않고, 또한, 타깃 시스템 상에서 동작하는 프로그램을 수정하는 필요도 없게 되기 때문에, 프로그래머의 부담이 경감된다. 또한, 하나의 입력 이벤트에 대하여 1회 이상의 평가를 행함으로써, 평가 정밀도의 향상이 도모되고, 이것에 의해 고성능인 자동 평가 시스템을 구축할 수 있다.

본 발명의 자동 평가 시스템에 의하면, 표시 변경 완료 이벤트에 의해, 어떠한 상태에 있더라도 시뮬레이션 결과가 확정된 타이밍에서만 시뮬레이션 결과 데이터를 캡쳐할 수 있다. 따라서 안정된 참조 데이터를 얻을 수 있어, 이것에 의해 신뢰성이 높은 평가가 가능해진다.

본 발명의 자동 평가 프로그램을 기억한 기억 매체에 의하면, 시뮬레이터의 입력 이벤트에 대한 시뮬레이션 결과를 이용하여 자동 평가할 수가 있어, 하나의 입력 이벤트에 대하여 출력 화면 상태가 변하는 경우에도, 마스크 처리를 실시하지 않고, 또한, 타깃 시스템 상에서 동작하는 프로그램을 수정할 필요도 없게 되기 때문에, 프로그래머의 부담이 경감된다. 또한, 하나의 입력 이벤트에 대하여 1회 이상의 평가를 행하게 되어, 평가 정밀도의 향상이 도모된다.

본 발명의 자동 평가 프로그램을 기억한 기억 매체에 의하면, 표시 변경 완료 이벤트를 수신함으로써, 어떠한 상태에 있더라도 시뮬레이션 결과가 확정된 타이밍에서만 시뮬레이션 결과 데이터를 캡쳐할 수 있다. 따라서 안정된 참조 데이터를 얻을 수 있어, 이것에 의해 신뢰성이 높은 평가가 가능해진다.

Claims

임의의 입력 이벤트에 대한 시뮬레이션 결과로서, 출력 화면을 참조함으로써, 타깃 시스템 상에서 동작하는 프로그램을 자동 평가하는 자동 평가 방법에 있어서,

상기 시뮬레이션을 행하고, 상기 입력 이벤트가 반영되어 갱신되는 출력 화면의 상태 수에 따른 횟수만큼 상기 출력 화면을 참조하고,

이 참조 결과와 사전에 작성된 상기 횟수 상당의 기준 데이터를 순차적으로 비교함으로써 자동 평가를 행하는 것을 특징으로 하는 자동 평가 방법.
제1항에 있어서,

상기 횟수는, 상기 입력 이벤트의 데이터와 함께 설정되는 것을 특징으로 하는 자동 평가 방법.
임의의 입력 이벤트에 대한 시뮬레이션 결과로서, 출력 화면을 참조함으로써, 타깃 시스템 상에서 동작하는 프로그램을 자동 평가하는 자동 평가 시스템에 있어서,

상기 시뮬레이션을 행하고, 상기 입력 이벤트가 반영되어 갱신되는 출력 화면의 상태 수에 따른 횟수만큼 상기 출력 화면을 참조하는 출력 화면 참조 수단과,

이 참조 결과와 사전에 작성된 상기 횟수 상당의 기준 데이터를 순차적으로비교함으로써 자동 평가를 행하는 평가 수단

을 포함하는 것을 특징으로 하는 자동 평가 시스템.
제3항에 있어서,

시뮬레이션을 행하는 외에, 상기 횟수에 따른 출력 화면의 갱신을 행할 때마다, 표시 변경 완료 이벤트를 통지하는 시뮬레이션 장치를 더 포함하는 것을 특징으로 하는 자동 평가 시스템.
임의의 입력 이벤트에 대한 시뮬레이션 결과로서, 출력 화면을 참조함으로써, 타깃 시스템 상에서 동작하는 프로그램을 자동 평가하기 위한 자동 평가 프로그램을 기억한 기억 매체에 있어서,

상기 자동 평가 프로그램은,

입력 이벤트 및 상기 입력 이벤트마다 사전에 작성되는 기준 데이터를 판독하는 단계와,

상기 판독된 입력 이벤트를 순차적으로 송신하고, 시뮬레이션 실행을 재촉하는 단계와,

시뮬레이션이 실행되고, 상기 입력 이벤트가 반영되어 갱신되는 출력 화면의 상태 수에 따른 횟수만큼 상기 출력 화면을 참조하는 단계와,

이 참조 결과와 사전에 작성된 상기 횟수 상당의 기준 데이터를 순차적으로 비교함으로써 자동 평가를 행하는 단계

를 포함하는 것을 특징으로 하는 자동 평가 프로그램을 기억한 기억 매체.
제5항에 있어서,

상기 자동 평가 프로그램은, 시뮬레이터로부터 표시 변경 완료 이벤트를 수신할 때마다 상기 출력 화면의 참조를 행하고, 상기 자동 평가를 반복하는 단계를 더 포함하는 것을 특징으로 하는 자동 평가 프로그램을 기억한 기억 매체.