KR101038877B1 - 테스트 절차 생성 시스템, 그 컴퓨터 구현 방법 및 컴퓨터 판독가능 기록 매체 - Google Patents

테스트 절차 생성 시스템, 그 컴퓨터 구현 방법 및 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR101038877B1
KR101038877B1 KR1020077005325A KR20077005325A KR101038877B1 KR 101038877 B1 KR101038877 B1 KR 101038877B1 KR 1020077005325 A KR1020077005325 A KR 1020077005325A KR 20077005325 A KR20077005325 A KR 20077005325A KR 101038877 B1 KR101038877 B1 KR 101038877B1
Authority
KR
South Korea
Prior art keywords
test
package
packages
computer
delete delete
Prior art date
Application number
KR1020077005325A
Other languages
English (en)
Other versions
KR20070040412A (ko
Inventor
존 웨슬리 워커
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20070040412A publication Critical patent/KR20070040412A/ko
Application granted granted Critical
Publication of KR101038877B1 publication Critical patent/KR101038877B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414—Workload generation, e.g. scripts, playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

패키지를 테스트하기 위한 시스템, 방법 및 데이터 구조가 설명되어 있다. 테스트는 테스트 패키지 사용자 인터페이스(301)에서 테스트 패키지에 조합되어, 개발자가 컴퓨터 시스템의 테스트를 용이하게 할 수 있도록 한다. 테스트 패키지는 테스트 패키지 사용자 인터페이스(301)로부터 컴퓨터 시스템에 적용될 수 있는 하나 이상의 테스트 절차의 세트일 수 있다. 테스트 패키지는 자신과 다른 테스트 패키지의 관계에 기초하여 정보를 상속받을 수 있다.
서버 환경, 테스트 패키지 사용자 인터페이스, 클라이언트 환경, 에이전트, 스크립트

Description

테스트 절차 생성 시스템, 그 컴퓨터 구현 방법 및 컴퓨터 판독가능 기록 매체{TESTING PROCEDURE}
본 발명의 양태는 컴퓨터 시스템에 관한 것이다. 특히, 본 발명의 양태는 컴퓨터 시스템의 테스트에 관한 것이다.
컴퓨터 시스템 개발자들은 버그프리(bug-free) 시스템 및/또는 애플리케이션을 배포하길 원한다. 하드웨어, 소프트웨어 또는 펌웨어이든지 간에, 모든 컴퓨터 제품들에는 소정 레벨의 테스트가 행해진다. 종래 테스트 시스템은 테스트 오퍼레이터가 시스템 상에서 행해질 각각의 테스트를 개별적으로 특정할 것을 요구한다. 테스트를 행하기 위해, 오퍼레이터는 테스트에 필요한 구성요소를 결정하고, 그 구성요소를 인스턴트화(instantiate)하거나 인에이블링(enable)시킨 후, 선택된 테스트를 행할 필요가 있다. 이 단계들의 조합은 이상적으로는 간단하지만 복잡한 소프트웨어 및/또는 하드웨어로 인해 매우 복잡해진다.
도 2는 테스트 프로세스의 리스트를 에이전트(agent; 202)에 제공하는 서버(201)를 포함하는 종래의 테스트 시스템을 도시한다. 프로세스 1-5(203-207)에 나타낸 바와 같이, 에이전트(202)에서 테스트 개발자는 행할 특정 테스트를 선택하고, 이들을 행한다. 실행될 1000개 이상의 테스트에 대해, 개발자는 각각의 개별적인 테스트를 특정할뿐만 아니라 각각의 테스트를 행하기 전에 각각의 테스트에 대한 요청사항들이 만족되었다는 것을 보증할 필요가 있다. 필요한 테스트 구성요소를 인에이블링 또는 인스턴트화하지 못하는 실수로 인해, 예상한 테스트를 완료할 수 없기 때문에 실행되는 테스트의 손실을 바로 가져온다.
본 발명의 양태는 전술된 문제점 중 하나 이상을 처리함으로써, 개발자에게 개선된 테스트 방법 및 시스템을 제공한다.
본 발명의 양태는 예로서 나타낸 것이며, 동일 참조번호가 동일 구성요소를 나타내는 첨부된 도면에 한정되는 것은 아니다.
도 1은 본 발명의 양태에 따른 범용 컴퓨팅 환경을 나타내는 도면.
도 2는 종래의 테스팅 시스템을 나타내는 도면.
도 3은 본 발명의 양태에 따라 테스트 패키지를 어셈블링 및/또는 배치하기 위한 프로세스를 나타내는 도면.
도 4는 본 발명의 양태에 따른 예시적인 사용자 인터페이스를 나타내는 도면.
도 5는 본 발명의 양태에 따라 테스트 패키지를 어셈블링 및/또는 배치하기 위한 다양한 대안적인 프로세스를 나타내는 도면.
도 6은 본 발명의 양태에 따라 테스트 패키지를 어셈블링 및/또는 배치하기 위한 또 다른 프로세스를 나타내는 도면.
도 7은 본 발명의 양태에 따른, 테스트 패키지와 관련 컴포넌트 간의 관계의 예시적인 일례를 나타내는 도면.
본 발명의 양태는 컴퓨터 개발자가 컴퓨터 시스템(하드웨어, 소프트웨어, 펌웨어 등)의 테스트를 용이하게 할 수 있도록 테스트 패키지를 정의 및/또는 배치하는 것에 관한 것이다.
다음의 설명은 범용 컴퓨팅 환경, 자동 및 수동 테스트, 테스트 패키지 및 테스트 패키지 관계의 섹션들로 나뉘어진다.
범용 컴퓨팅 환경
도 1을 참조하면, 본 발명을 구현하기 위한 예시적인 시스템은 컴퓨팅 장치(100) 등의 컴퓨팅 장치를 포함한다. 가장 기본적인 구성에서, 컴퓨팅 장치(100)는 전형적으로 적어도 하나의 처리 유닛(102) 및 메모리(104)를 포함한다. 컴퓨팅 장치의 정확한 구성 및 유형에 따라, 메모리(104)는 휘발성(RAM 등), 비휘발성(ROM, 플래시 메모리 등) 또는 그 둘의 소정의 조합일 수 있다. 이 가장 기본적인 구성은 도 1에서 점선(106)으로 예시되어 있다. 이외에, 장치(100)는 또한 추가적인 특징/기능을 가질 수 있다. 예를 들어, 장치(100)는 또한 자기 또는 광학 디스크 또는 테이프를 포함하는(이에만 한정되는 것은 아님) 추가적인 저장장치(분리형 및/또는 비분리형)도 포함할 수 있다. 이러한 추가적인 저장장치는 도 1에서 분리형 저장장치(108) 및 비분리형 저장장치(110)로 예시되어 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보의 저장을 위한 임의의 방법 및 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 메모리(104), 분리형 저장장치(108) 및 비분리형 저장장치(110)는 모두 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 기타 광학 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는데 이용될 수 있고 장치(100)에 의해 액세스될 수 있는 임의의 기타 매체를 포함하지만, 이에만 한정되는 것은 아니다. 임의의 이러한 컴퓨터 저장 매체는 장치(100)의 일부일 수 있다.
장치(100)는 또한 장치가 다른 장치들과 통신할 수 있게 허용하는 통신 접속(들)(112)도 포함할 수 있다. 통신 접속(들)(112)은 통신 매체의 일례이다. 통신 매체는 전형적으로 반송파 또는 기타 전송 메커니즘 등의 변조된 데이터 신호에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"란 용어는 신호 내의 정보를 인코드하는 등의 방식으로 자신의 특징들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예를 들어, 제한하는 것은 아니지만, 통신 매체는 유선 네트워크 또는 직접-유선 접속 등의 유선 매체 및 음향, RF, 적외선 및 기타 무선 매체 등의 무선 매체를 포함한다. 본원에 이용된 컴퓨터 판독가능 매체란 용어는 저장 매체 및 통신 매체 모두를 포함한다.
장치(100)는 또한 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등의 입력 장치(들)(114)를 포함할 수 있다. 디스플레이, 스피커, 프린터 등의 출력 장치(들)(116)도 또한 포함될 수 있다. 모든 이들 장치는 당해 기술분야에 잘 알려져 있으므로, 여기서는 길게 설명될 필요가 없다.
자동 및 수동 테스트
컴퓨터 시스템의 테스트는 시간 소모적이고 지루한 프로세스일 수 있다. 자동 테스트 및 수동 테스트의 2가지 유형의 테스트가 존재한다. 자동 테스트는 테스트 기기 상에서의 애플리케이션의 실행을 필요로 한다. 테스트 애플리케이션 및 임의의 종속성(dependency)은 테스트가 실행되기 전에 테스트 기기 상에 사전 구성되어 있어야만 한다. 이들 종속성은 파일, 환경 변수 설정, 등록 설정 및 커맨드를 포함한다. 상당히 많은 종속성이 존재할 수 있으며, 그 종속성 중 하나를 인에이블하지 못하는 것은 테스트 실행의 타당성을 위태롭게 할 것이다.
수동 테스트는 또 다른 일반적으로 이용되는 테스트 시스템이다. 수동 테스트는 사용자가 원하는 조건에 접근하도록 물리적으로 시스템을 제어한 후, 조건을 모니터링하는 것을 포함한다. 예를 들어, 이는, 원하는 포인트에 도달한 후 게임의 성능 또는 렌더링을 평가하도록 게임을 제어하는 게임 개발자를 포함할 수 있다. 환경의 변형 때문에 동일한 미리 정의된 위치에 일관적으로 도달할 수 있는 것이 위태로워질 수 있으므로, 일관적인 테스트가 어렵게 된다.
변형된 버전의 자동 및 수동 테스트도 또한 이용될 수 있다. 여기서는, "반자동 테스트"를 이용하여 테스트 프로세스(예를 들어, 시스템 구성)의 소정의 일부 를 자동화할 수 있고, 그 다음에, 개발자에 의한 수동 검증 및 로깅(logging)을 행할 수 있다.
테스트 패키지
테스트를 용이하게 하기 위해, 배치에 대한 테스트를 정의, 조직화 및/또는사전 구성하는 것을 돕도록, 테스트 패키지를 이용할 수 있다. 본 발명의 적어도 몇몇 양태에서, 서로로부터 속성을 상속받을 수 있는 관련 테스트 패키지가 조합될 수 있다. 다수의 테스트가 임의의 하나의 패키지로부터 상속받을 수 있다. 각각의 테스트는 상속가능한 정보를 포함하는 패키지에 연관될 수 있다.
테스트들을 함께 패키징하는 것의 하나의 장점은 종속성 기술(dependency description)이 테스트들 간에 관련될 수 있다는 것이다. 여기서, 하나의 패키지는 다른 패키지들 상에 생성될 수 있다. 하나의 패키지 내에서의 변형은 모든 종속 패키지 및 연관된 테스트를 통해 캐스케이드(cascade)되고 이들을 그 프로세스 내에서 갱신시킬 수 있다.
컴퓨터 스크립트는 미리 또는 필요한 때에 생성될 수 있다. 저스트-인-타임 기반(just-in-time basis)으로 컴퓨터 스크립트를 생성하는 것의 하나의 장점은 관리 오버헤드의 감소이다.
도 3은 테스트 패키지를 생성 및 배치하기 위한 프로세스를 나타낸다. 개발자는 테스트 패키지 사용자 인터페이스(301)를 이용하여, 서버(302)와 다수의 동작을 수행한다. 개발자는 다음의 동작들을 수행할 수 있다:
a. 테스트 패키지 정의
b. 테스트 케이스 정의
c. 테스트 케이스를 패키지와 연관시킴
d. 테스트 통과 정의
e. 패키지 배치
다음으로, 클라이언트 환경에서, 테스트 기기 상의 에이전트(303)는 테스트 케이스에 연관된 패키지에 대하여 서버(302)에게 질의한다. 그 다음에, 서버는 최상위 패키지에서부터 시작하여 패키지 상속 체인을 따라 나아가다가 에이전트(303)에 콘텐츠를 반환할 수 있다. 그 다음에, 에이전트(303)는 상자(306) 내에 나타낸 종속성 기술을 이용하여 스크립트를 생성한다. 다음으로, 에이전트(303)는 생성된 스크립트를 실행하거나 스크립트를 저장 또는 (로컬 또는 원격으로) 추후 실행을 위해 저장되게 할 수 있다.
그 다음에, 스크립트는 에이전트(303)에 의해 호출되어 테스트 기기를 사전구성한다. 스크립트는 환경 변수 설정, 등록 엔트리 설정, 임의의 필요한 파일 복사, 관련 애플리케이션 모니터링 및 임의의 클린업(cleanup) 스케줄링을 포함하는 다수의 다른 동작을 수행할 수 있다.
그 다음에, 패키지 특정 프로세스(304-306)는 하나 이상의 테스트 기기 상에서 동작될 수 있다. 예를 들어, 패키지 특정 프로세스(304)가 제1 테스트 기기 상에서 동작하는 동안 패키지 특정 프로세스(306)는 제2 테스트 기기 상에서 동작할 수 있다.
스크립트는 각각의 테스트가 완료된 후 또는 테스트의 집합 세트가 완성됐을 때 단순한 클린업 동작을 수행할 수도 있고 아닐 수도 있다.
도 4는 본 발명의 양태에 따라 테스트 패키지를 구성하기 위한 예시적인 사용자 인터페이스를 나타낸다. 대안적인 사용자 인터페이스는 다수의 인터페이스에 걸쳐 얼마간의 섹션 또는 스팬을 포함할 수 있다.
도 4는 사용자 인터페이스(401)를 포함한다. 사용자 인터페이스는 개발자에게 패키지를 정의하고 이를 패키지 계층구조 내에 위치 지정하는 능력을 제공한다. 다양한 패키지가 영역(402) 내에 나타나 있다. 여기서, 최상위 레벨 패키지는 "Main"이다. 하위 패키지는 UIMain, UI1(하위 패키지 UI1A 및 UI1B를 가짐), UI2, UI3, UI4 및 UI5를 포함한다. TextBoxMain은 하위 패키지 TextBox 1, TextBox 2 및 TextBox3(하위 패키지 TextBox 3A 및 TextBox 3B를 가짐)을 포함한다. 다른 패키지들도 또한 포함될 수 있다. 여러 추가 및 삭제 버튼들을 이용하여, 파일/환경 변수, 커맨드 라인, 등록 엔트리 및 테스트 패키지에 연관될 수 있는 것 등을 증가 및 감소시킬 수 있다.
영역(402)에 나타낸 바와 같이, 테스트 패키지 UIMain이 선택되었다. 테스트 패키지 UIMain에 관련된 정보가 도 4의 영역(403-407)에 나타나 있다. 영역(403)은 테스트 패키지 UIMain에 의해 참조되는 파일 및/또는 파일들(파일명, 소스, 목적지 및 파일이 등록될 필요가 있는지의 여부(예를 들어, COM/DLL)를 포함할 수 있음)을 나타낸다. 다른 파일 Text.vbs도 나타나 있다. 영역(404)은 테스트 패키지 UIMain에 관련된 환경 변수(환경 변수에 연관된 명칭 및 그 설정을 포함할 수 있음)를 나타낸다. 영역(405)은 Test.vbs에 연관된 커맨드 라인 또는 라인들 (커맨드 라인뿐만 아니라 커맨드 라인이 클린업 동안 호출되어야 하는지의 여부에 대한 표시를 포함)을 나타낸다. 영역(406)은 등록 엔트리(루트 등록 엔트리, 경로, 등록 유형 및 등록 엔트리에 연관된 데이터를 포함)를 나타낸다. 영역(407)은 관련 패키지의 리스트를 나타낸다. 여기서, 예를 들어, 패키지 UIMain은 글로벌 패키지(_Global로 참조됨) 및 OS_Main_IP에 관련되며 이로부터 도출된다. 종속 패키지는 UIMain로부터 도출된다. 이들 종속 패키지는 작업공간, 파싱(Parsing), 스타일러스 입력(Stylus Input), 텍스트 상자 자동화, 마우스 입력 및 키보드 입력 테스트 패키지를 포함한다. 영역(407)은 또한 패키지에 대한 새로운 종속성을 특정하고 패키지 종속성(예를 들어, 그들이 실행될 수 있는 순서)을 재순서화하는 것을 허용하는 영역을 포함한다.
다음의 의사-코드(pseudo-code) 예는 에이전트(303)가 서버(302)로부터 패키지를 검색한 후, 테스트 기기 상에서 동작하는 에이전트(303)에 의해 생성될 수 있는 스크립트를 나타낸다. 다음 스크립트 예는 관련 종속성을 이용하여 테스트 기기를 구성한 후 테스트 애플리케이션을 실행시킨다.
Figure 112011020989307-pct00001
본 예에서, 테스트 절차(testing procedure)의 클린업은 선택적임을 명심하자. 클린업은, 각각의 테스트가 수행된 후에, 몇몇의 테스트만이 수행된 후에 또는 모든 테스트가 수행된 후에도, 일어날 수 있다.
도 5는 테스트 패키지를 배치하는데 이용될 수 있는 여러 프로세스를 나타낸다. 단계(501)에서, 테스트 패키지가 정의된다. 이전에, 이후에 또는 이와 동시에, 단계(502)에서 테스트 케이스가 정의될 수 있다. 몇몇의 상황에서는, 테스트 케이스가 테스트를 테스트 패키지와 연관시키기 훨씬 전에 정의될 수 있다. 단계(503)에서, 테스트 케이스 또는 케이스들은 패키지 또는 패키지들과 연관될 수 있다. 단계(504)에서, 테스트 통과가 정의된다. 단계(505)에서, 테스트 패키지 또는 패키지들이 배치된다. 단계(506)는 자동화된 결과 보고를 나타낸다.
일례에서, 자동 테스트를 수동 테스트와 조합하여, 일관적으로 도달하는 것이 번거로울 수 있는 컴퓨터 시스템의 양태를 시각적으로 검사하는데 필요한 개발자에게 지워지는 부담을 경감시킬 수 있다. 이는 반자동 테스트로 지칭될 수 있다. 단계(507)는 반자동 결과 보고를 나타낸다.
단계(508)는 테스트 통과에 연관되어 이루어진 수동 검증에 연관된 수동 결과의 선택적 로깅을 나타낸다.
도 6은 테스트 패키지의 수동 구현을 나타낸다. 단계(601)에서, 테스트 케이스가 정의된다. 단계(602)에서, 테스트 통과 또는 테스트 통과들이 정의된다. 단계(601) 또는 단계(602) 중 하나가 우선 일어날 수 있다. 대안적으로, 두 단계 모두가 동시에 일어날 수 있다. 단계(603)에서, 사용자는 테스트 시스템의 실행으 로부터 수동 결과를 로그한다. 테스트 패키지의 이용은 개발자가 컴퓨터 시스템의 실행 동안 테스트 환경에 보다 빨리 도달하는 것을 허용할 수 있다.
테스트 패키지 관계
도 7은 객체들 간의 다양한 관계를 나타내는 것으로, 이에 따라 테스트 및 테스트 패키지의 계층구조가 생성된다. 테스트 패키지(701)는 패키지 ID(identification), 패키지 명칭 및 패키지 소유자의 표시를 포함한다. 테스트 패키지(701)는 패키지 종속성(702)에 연관된다. 패키지 종속성(702)은 호스트 패키지 ID, 게스트 패키지 ID 및 패키지 종속성 순서를 포함한다. 패키지 종속성(702)으로부터 패키지(701)에의 2개의 참조가 나타나 있다. 첫 번째 것은 호스트 패키지 ID(패키지 자신을 명명함)에 관련되고, 두 번째 것은 게스트 패키지 ID(호스트 패키지가 상속받는 패키지)에 관련된다.
또한 패키지(701)는 환경 엔트리(703)에 관련된다. 환경 엔트리(703)는 환경 엔트리 ID, 패키지 ID, 환경 변수 명칭 및 설정을 포함한다.
또한 패키지(701)는 등록 엔트리(704)에 관련된다. 등록 엔트리(704)는 등록 엔트리 ID, 패키지 ID, 등록 엔트리에 대한 루트 표시, 경로, 유형 및 데이터 필드를 포함한다.
패키지(701)는 또한 파일(705)에도 관련된다. 파일(705)은 파일 ID, 패키지 ID, 서버 위치, 파일명, 로컬 타깃, 파일이 등록될 필요가 있는지 여부에 대한 표시(COM 실행가능 또는 DLL 파일을 포함하지만 이에만 한정되는 것은 아님)를 포함한다.
최종적으로, 패키지(701)는 커맨드 라인(706)의 표시를 포함한다. 커맨드 라인(706)은 커맨드 라인 ID, 패키지 ID, 클린업 동작 및 커맨드 텍스트를 포함한다.
다음은 도 7의 패키지(701)와 관련 객체에 관련하여 이용될 수 있는 샘플 엔트리를 제공한다.
a. 샘플 환경 엔트리
Figure 112007018445227-pct00002
b. 샘플 커맨드 라인:
Figure 112007018445227-pct00003
c. 샘플 파일 엔트리(적용가능하다면, 서버 위치, 로컬 타깃 및 파일명을 포함함)
Figure 112007018445227-pct00004
d. 샘플 등록 엔트리(루트 경로, 유형 및 데이터를 포함함)
본 발명은 바람직하고 예시적인 실시예에 관련하여 설명되었다. 첨부된 청구항의 영역 및 취지 내의 수많은 다른 실시예, 변형물 및 변화물은 본 개시의 관점으로부터 당업자에게서 일어날 것이다.

Claims (22)

  1. 테스트 절차(testing procedure)를 생성하기 위한 시스템으로서,
    2개 이상의 테스트 프로그램을 테스트 패키지에 링크하는 명령어들을 수신하는 사용자 인터페이스;
    상기 테스트 패키지와 상기 2개 이상의 테스트 프로그램 간의 연관성을 수신하는 저장장치; 및
    컴퓨터 시스템에 대한 테스트 절차를 생성하는 컴퓨터 - 상기 테스트 절차는 상기 테스트 패키지가 종속하는 패키지들의 리스트를 검색하도록 구성되고, 상기 리스트는 종속성이 가장 낮은(least dependent) 패키지부터 종속성이 가장 높은(most dependent) 패키지로 정렬됨 -
    를 포함하는, 테스트 절차 생성 시스템.
  2. 제1항에 있어서, 상기 컴퓨터는 상기 테스트 패키지로부터 상기 테스트 절차를 동적으로 생성하는 테스트 절차 생성 시스템.
  3. 테스트 절차를 생성하기 위한 컴퓨터 구현 방법으로서,
    테스트 패키지를 정의하는 단계;
    테스트 케이스들을 정의하는 단계;
    테스트 케이스들을 상기 테스트 패키지와 연관시키는 단계;
    테스트 통과(test pass)를 정의하는 단계;
    상기 테스트 패키지를 저장장치에 배치(deploy)하는 단계; 및
    컴퓨터 시스템에 대한 테스트 절차를 생성하는 단계 - 상기 테스트 절차는 상기 테스트 패키지가 종속하는 패키지들의 리스트를 검색하도록 구성되고, 상기 리스트는 종속성이 가장 낮은 패키지부터 종속성이 가장 높은 패키지로 정렬됨 -
    를 포함하는, 테스트 절차를 생성하기 위한 컴퓨터 구현 방법.
  4. 삭제
  5. 제3항에 있어서, 컴퓨터 시스템을 테스트하기 위하여 상기 테스트 패키지로부터 생성된 상기 테스트 절차를 실행하는 단계를 더 포함하는, 테스트 절차를 생성하기 위한 컴퓨터 구현 방법.
  6. 제5항에 있어서, 수동 결과들을 로깅(logging)하는 단계를 더 포함하는, 테스트 절차를 생성하기 위한 컴퓨터 구현 방법.
  7. 제3항, 제5항 또는 제6항의 방법을 수행하기 위한 컴퓨터 실행가능 명령들을 포함하는 프로그램을 저장한 컴퓨터 판독가능 기록 매체.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 컴퓨팅 시스템에서, 테스트 패키지들의 사용자 지정들을 수신하기 위한 사용자 인터페이스를 구현하기 위한 방법을 수행하기 위한 컴퓨터 실행가능 명령들을 포함하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체로서, 상기 방법은,
    테스트 패키지들을 디스플레이하는 제1 영역을 제공하는 단계; 및
    사용자가 패키지들 간의 관계들을 수정하는 것을 허용하는 제2 영역을 제공하는 단계
    을 포함하고,
    상기 컴퓨팅 시스템에 의해 상기 사용자 인터페이스로부터 획득된 정보는 상기 테스트 패키지들 중 하나의 테스트 패키지가 종속하는 패키지들의 리스트를 생성하도록 사용되고, 상기 패키지들의 리스트는 종속성이 가장 낮은 패키지부터 종속성이 가장 높은 패키지로 정렬되는, 컴퓨터 판독가능 기록 매체.
  12. 제11항에 있어서, 상기 방법은, 상기 테스트 패키지들 중 하나와 연관되는 파일들을 리스팅하는 제3 영역을 제공하는 단계를 더 포함하는 컴퓨터 판독가능 기록 매체.
  13. 제11항에 있어서, 상기 방법은, 상기 테스트 패키지들 중 하나와 연관되는 파일과 연관된 환경 변수들을 리스팅하는 제3 영역을 제공하는 단계를 더 포함하는 컴퓨터 판독가능 기록 매체.
  14. 제11항에 있어서, 상기 방법은, 상기 테스트 패키지들 중 하나와 연관되는 파일과 연관된 등록 설정들을 리스팅하는 제3 영역을 제공하는 단계를 더 포함하는 컴퓨터 판독가능 기록 매체.
  15. 제11항에 있어서, 상기 방법은, 상기 테스트 패키지들 중 하나와 연관되는 파일과 연관된 클린업 설정(cleanup setting)들을 리스팅하는 제3 영역을 제공하는 단계를 더 포함하는 컴퓨터 판독가능 기록 매체.
  16. 제11항에 있어서, 상기 방법은, 새로운 테스트 패키지 또는 파일을 추가할 수 있는 능력을 상기 사용자에게 제공하는 제3 영역을 제공하는 단계를 더 포함하는 컴퓨터 판독가능 기록 매체.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
KR1020077005325A 2004-08-06 2004-08-06 테스트 절차 생성 시스템, 그 컴퓨터 구현 방법 및 컴퓨터 판독가능 기록 매체 KR101038877B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2004/025184 WO2006022681A1 (en) 2004-08-06 2004-08-06 Testing packages

Publications (2)

Publication Number Publication Date
KR20070040412A KR20070040412A (ko) 2007-04-16
KR101038877B1 true KR101038877B1 (ko) 2011-06-02

Family

ID=35967774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077005325A KR101038877B1 (ko) 2004-08-06 2004-08-06 테스트 절차 생성 시스템, 그 컴퓨터 구현 방법 및 컴퓨터 판독가능 기록 매체

Country Status (5)

Country Link
EP (1) EP1782196A4 (ko)
JP (1) JP2008509472A (ko)
KR (1) KR101038877B1 (ko)
CN (1) CN101019103A (ko)
WO (1) WO2006022681A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300118B (zh) * 2011-09-06 2015-03-25 博威科技(深圳)有限公司 一种监控系统的测试系统及测试方法
WO2014117387A1 (en) 2013-02-01 2014-08-07 Hewlett-Packard Development Company, L.P. Test script creation based on abstract test user controls

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662217B1 (en) * 1999-01-19 2003-12-09 Microsoft Corporation Distributed and automated test administration system for administering automated tests on server computers over the internet
US20040073662A1 (en) 2001-01-26 2004-04-15 Falkenthros Henrik Bo System for providing services and virtual programming interface
US20040148590A1 (en) 2003-01-27 2004-07-29 Sun Microsystems, Inc., A Delaware Corporation Hierarchical test suite

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751941A (en) * 1996-04-04 1998-05-12 Hewlett-Packard Company Object oriented framework for testing software
US7228541B2 (en) * 2003-01-17 2007-06-05 National Instruments Corporation Creation of application system installer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662217B1 (en) * 1999-01-19 2003-12-09 Microsoft Corporation Distributed and automated test administration system for administering automated tests on server computers over the internet
US20040073662A1 (en) 2001-01-26 2004-04-15 Falkenthros Henrik Bo System for providing services and virtual programming interface
US20040148590A1 (en) 2003-01-27 2004-07-29 Sun Microsystems, Inc., A Delaware Corporation Hierarchical test suite

Also Published As

Publication number Publication date
KR20070040412A (ko) 2007-04-16
EP1782196A4 (en) 2010-08-25
WO2006022681A1 (en) 2006-03-02
JP2008509472A (ja) 2008-03-27
EP1782196A1 (en) 2007-05-09
CN101019103A (zh) 2007-08-15

Similar Documents

Publication Publication Date Title
Gallaba et al. Use and misuse of continuous integration features: An empirical study of projects that (mis) use Travis CI
US9268672B1 (en) Automated test case generation for applications
US10318263B2 (en) Virtual software application deployment configurations
US7653893B2 (en) Methods and apparatus for implementing checkin policies in source code control systems
US9703553B2 (en) Assertions based on recently changed code
US6067639A (en) Method for integrating automated software testing with software development
AU2019202251A1 (en) Automated program code analysis and reporting
US8578336B1 (en) Systems and methods for providing a test automation framework having a unified user interface
US7926038B2 (en) Method, system and computer program for testing a command line interface of a software product
KR101153028B1 (ko) 재생가능한 테스트 자동화를 위한 테스트 케이스 실행비해비어 선택 시스템 및 방법
US9720657B2 (en) Managed assertions in an integrated development environment
US9733903B2 (en) Optimizing program performance with assertion management
US20060212857A1 (en) Automated process for generating a build of a software application without human intervention
US20130298110A1 (en) Software Visualization Using Code Coverage Information
CN110096424B (zh) 测试的处理方法、装置、电子设备及存储介质
US20090125874A1 (en) Method and system for creating projects in a rational application developer workspace
WO2006115937A2 (en) System review toolset and method
EP4246332A1 (en) System and method for serverless application testing
US11422917B2 (en) Deriving software application dependency trees for white-box testing
US20180365132A1 (en) Adaptive software testing
US9009666B1 (en) Systems and methods for testing software and for storing and tracking test assets with the software
KR101038877B1 (ko) 테스트 절차 생성 시스템, 그 컴퓨터 구현 방법 및 컴퓨터 판독가능 기록 매체
US20090094583A1 (en) System and method for testing computer programs
US8234485B2 (en) Method relating to rule-regulated software configuration
US20050278694A1 (en) Describing Runtime Components of a Solution for a Computer System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee