KR101330141B1 - 테스트 케이스 자동 생성 시스템의 노드 선택 방법 - Google Patents

테스트 케이스 자동 생성 시스템의 노드 선택 방법 Download PDF

Info

Publication number
KR101330141B1
KR101330141B1 KR1020130036732A KR20130036732A KR101330141B1 KR 101330141 B1 KR101330141 B1 KR 101330141B1 KR 1020130036732 A KR1020130036732 A KR 1020130036732A KR 20130036732 A KR20130036732 A KR 20130036732A KR 101330141 B1 KR101330141 B1 KR 101330141B1
Authority
KR
South Korea
Prior art keywords
node
parameter
coverage
test case
model
Prior art date
Application number
KR1020130036732A
Other languages
English (en)
Inventor
유기원
김장복
이수호
박기순
Original Assignee
비티에스테크놀로지스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비티에스테크놀로지스(주) filed Critical 비티에스테크놀로지스(주)
Priority to KR1020130036732A priority Critical patent/KR101330141B1/ko
Application granted granted Critical
Publication of KR101330141B1 publication Critical patent/KR101330141B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3676—Test management for coverage analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명은 테스트 케이스 자동 생성 시스템에서 테스트 케이스를 자동으로 생성하는데 필요한 트리를 구성하는 노드를 선택하는 테스트 케이스 자동 생성 시스템의 노드 선택 방법에 관한 것이다. 본 발명의 방법은 테스트 케이스 자동 생성 시스템의 노드 선택 방법에 있어서, 노드를 선택하는 과정은 모든 노드들의 제 1 파라메터(Parameter-α)를 연산하는 제 1 단계; 모든 노드들의 가중치(W)를 연산하는 제 2 단계; 가중치(W)에 따라 노드를 선택하는 제 3 단계; 선택된 노드에서 다양한 입력들을 생성하여 시뮬레이션하는 제 4 단계; 시뮬레이션을 실행한 결과, 새롭게 커버하는 커버리지가 있으면 자식 노드를 생성하고, 없으면 선택된 노드에서 제 2 파라메터(Parameter-Γ)를 연산하는 제 5 단계; 및 시뮬레이션을 실행한 결과, 새로운 모델의 상태값을 가지면 자식 노드를 생성하는 제 6 단계를 포함하고, 자식 노드를 생성하는 과정은 모델분석을 통해 실행 가능한 트랜지션과 커버 가능한 커버리지를 확보하는 제 7 단계; 생성한 노드의 파라메터를 초기화하는 제 8 단계; 생성된 노드의 제 3 파라메터(Parameter-β)를 연산하는 제 9 단계; 및 시뮬레이션을 실행한 결과, 새롭게 커버하는 커버리지가 없으면 생성된 노드의 제 4 파라메터(Parameter-Δ)를 연산하는 제 10 단계를 포함하는 것을 특징으로 한다.

Description

테스트 케이스 자동 생성 시스템의 노드 선택 방법{METHOD OF SELECTING NODES IN TEST CASE GENERATING SYSTEM}
본 발명은 시스템 모델링 정보로부터 테스트 케이스를 자동으로 생성하는 기술에 관한 것으로, 더욱 상세하게는 테스트 케이스 자동 생성 시스템에서 테스트 케이스를 자동으로 생성하는데 필요한 트리를 구성하는 노드를 선택하는 테스트 케이스 자동 생성 시스템의 노드 선택 방법에 관한 것이다.
일반적으로, 자동차, 중공업 장비, 가전제품 등과 같은 다양한 전장품(임베디드 시스템)을 개발하는 프로세스에서, 테스트 단계는 제품의 품질을 보장하기 위해서 필수적으로 요구되는 프로세스이다. 이러한 테스트 단계는 여러 단계를 걸쳐서 이루어지는데, 보통 4 단계 정도 걸쳐서 이루어진다. 먼저, 제 1 단계는 소프트웨어와 하드웨어 개발시 단위 테스트 등을 수행하는 것으로, 전장품의 특성상 하드웨어와 소프트웨어를 동시에 개발하며, 각 개발 부서에서 소프트웨어 자체 및 하드웨어 자체에 대한 테스트를 수행하는 것이다. 제 2 단계는 전장품 단위 테스트로서, 하드웨어에 소프트웨어를 설치하여, 전장 단위로 테스트를 수행한다. 이때 테스트를 위한 입/출력은 하드웨어 입/출력 포트를 이용한다. 제 3 단계는 통합 테스트로서 자동차나 중공업 장비 등은 여러 전장품과 기계장비가 개별적으로 개발되어, 조립되어 하나의 완성품이 만들어지므로, 이러한 여러 부품들을 조립하여 테스트하는 단계이다. 따라서 개발 전장품이 전체적으로 합쳐졌을 때 정상적인 기능을 수행하는지 테스트한다. 제 4 단계는 전수 테스트로서, 전수 테스트는 보통, 제품 생산 단계에서 수행하는 테스트로서, 아주 기본적인 기능들을 살펴봄으로써, 조립이나 컴포넌트 오류로 인한 품질 문제를 찾기 위해서 수행한다.
한편, 테스트를 수행하기 위해서는, 각 단계별 목적에 맞는 테스트 케이스를 생성하는 것이 중요하다. 특히, 총 4단계 중, 해당 기술과 가장 적합한 테스트 단계는 제 2 단계이며, 제 3 단계 역시 활용 가능하다. 전장품 단위 테스트에서는 반드시 해당 전장품이 처음 기획한 요구사항 대로 구현되었는지 확인하여야 한다.
종래에 알려진 자동 테스트 케이스 생성 방법으로는 등록번호 제10-0709964호로 등록된 자동 테스트 케이스 생성 방법 및 시스템이 있는데, 종래의 자동 케이스 생성 시스템은 변환규칙에 따라 판독 가능한 데이터로 표준 SDL을 변환하는 SDL 변환모듈과, 변환된 SDL을 분석하고 검증하여 그 커버리지를 계산하는 커버리지 분석모듈과, 커버리지 분석모듈의 분석 및 검증결과에 따라 변환된 SDL에 대응하는 표 결합 표기법 형식의 테스트 케이스를 생성하는 테스트 케이스 생성모듈로 이루어져 통신시스템에 사용되는 테스트 케이스를 생성하였다.
여기서, 테스트 케이스라는 것은 입력과 그에 상응하는 예상 출력을 시간 순서대로 나열한 것을 나타낸다. 따라서 테스트 케이스는 테이블 형태로 표현할 수 있다. 예를 들면, 다음 표1과 같이 세로축(열)은 시간을, 가로축(칼럼)은 입력 변수와 출력 변수로 표현하고, 그에 상응하는 값을 표현하는 식으로 나타난다. 전장품 단위 테스트는 보통 블랙박스 형태로 수행하므로 입력과 출력 변수는 실제 ECU의 입/출력에 대응되는 것으로서, 요구사항 모델에만 사용되는 내부 변수들은 사용할 수 없다.
Time(msec) I1 I2 I3 O1
0 0 0 0 0
100 1 0 0
1100 1 1 0
2000 1 1 0 1
3000 1 1 1 1
3100 1 1 1 0
전장품 단위 테스트에서 수행하여야 하는 테스트 케이스는 테스트 성공을 결정하는 주요한 요소이므로, 테스트 케이스를 표준화된 방법으로 목적에 맞게 정교하게 만들 수 있어야만 한다. 특히 전장품 단위 테스트에서 사용되는 테스트 케이스는 다음의 항목을 만족해야 한다. 첫째, 전장품 단위 테스트에서는 기본적으로 요구사항에 기술되어 있는 항목들이 정확하게 구현되었는지를 모두 확인하여야 하기 때문에, 요구사항을 기초로 테스트 케이스를 생성해야 한다. 둘째, 테스트 케이스는 정형화되고, 표준화된 방법으로 만든 테스트 케이스 뿐만 아니라, 엔지니어의 경험에 의한 테스트 케이스가 동시에 필요하다. 셋째, 표준화된 방법으로 만든 테스트 케이스는 정량화가 가능하여야 테스트 결과의 신뢰성이 높아진다.
한편, 시스템 모델로부터 테스트 케이스를 자동으로 생성하는 방법 중에는 모델의 최대한 많은 커버리지를 커버할 수 있는 테스트 케이스들을 만드는 방법이 있다. 분석된 커버리지를 커버하는 입력을 생성할 때마다 또는 모델의 시뮬레이션 상태가 새로운 값을 가질 때마다 노드를 생성하는 방법으로 테스트 케이스 자동 생성 방법이 구현된다. 이러한 노드들은 도 1에 도시된 바와 같이 트리 형태로 구성된다.
도 1을 참조하면, 테스트 케이스 자동 생성에 필요한 트리를 확장해가는 과정은 다음과 같이 6 단계로 이루어진다. 제 1 단계에서는 선택 트리를 확장시킬 수 있는 노드를 무작위로 선택하고, 제 2 단계에서는 선택된 노드에서 다양한 입력들의 조합을 생성하며, 제 3 단계에서는 다양한 입력들의 조합에 대해서 각각 시뮬레이션을 실행하고, 제 4 단계에서는 각각의 시뮬레이션 이 후 새로 찾은 커버리지가 있는지 검사하여 커버리지를 업데이트하고, 제 5 단계에서는 각각의 시뮬레이션 이 후 새로운 모델 상태 값을 가지는지 검사하며, 제 6 단계에서는 선택된 노드에서 새로 찾은 커버리지가 있거나 새로운 모델의 상태 값을 갖는다면 자식 노드를 생성한다.
커버리지 기반의 테스트 케이스 자동 생성을 빠른 시간 안에 효율적으로 하기 위해서는 새로운 커버리지를 찾을 수 있고, 더 다양한 모델의 상태를 가지는 노드를 확보할 수 있는 노드를 선택해야 한다. 종래와 같이 무작위로 노드를 선택하여 트리를 확장시키려 하면 새로운 커버리지도 찾지 못하고 시뮬레이션 오버헤드로 인해 많은 시간과 리소스를 소모하게 된다.
본 발명은 상기와 같은 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 더 많은 새로운 커버리지를 찾을 수 있는 노드에 가중치를 주어 그 값에 따라 노드를 선택할 수 있는 테스트 케이스 자동 생성 시스템의 노드 선택 방법을 제공하는 것이다.
즉, 본 발명에 따르면 더 많은 커버리지를 찾을 수 있는 노드에는 가중치를 주고 새로운 커버리지를 찾지 못한 노드에는 패널티를 주어 노드 선택의 Starvation을 막는다. 본 발명에서는 크게 노드를 생성할 때와 노드를 선택할 때로 나누어 가중치 파라미터 또는 패널티 파라미터 값을 노드에 부여한다.
상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 사용자가 선택한 커버리지 기준에 따라 요구사항 모델로부터 커버리지 목표를 생성하고, 테스트 케이스 생성 과정에서 커버리지 목표 달성 여부를 확인하는 커버리지 목표 관리부와, 요구사항 모델의 내부 상태 변수 및 내부 상태 값을 이용하여 상태를 정의하되, 요구사항 모델의 초기 상태로부터 입력 값을 인가함에 따라 요구사항 모델의 상태를 하나의 노드로 정의하고, 생성된 노드들을 트리로 관리하는 모델 상태 트리 관리부와, 테스트 케이스 생성 알고리즘에서 커버리지 목표를 찾아가려고 할 때 필요한 요구사항 모델의 말단 포트별로 인가해야 하는 값을 생성하는 입력 생성부와, 정형 요구사항 모델을 변경하지 않고, 블랙박스 테스트용 테스트 케이스를 입력하기 위하여 다이나믹 데이터 분석 기법을 사용하여 요구사항 모델에서 찾아낸 테스트 케이스 입력을 인가하고, 인가한 입력에 의해 실제 커버리지 목표가 달성되었는지 확인하거나 시스템 상태를 살펴보거나 예상 출력 값을 얻어내기 위한 모델 시뮬레이터와, 테스트 케이스 DB와, 상기 커버리지 목표를 만족시키기 위한 테스트 케이스를 생성하여 생성된 테스트 케이스를 상기 테스트 케이스 DB에 저장하는 테스트 케이스 생성 도구를 구비하는 테스트 케이스 자동 생성 시스템에 있어서,
노드를 선택하는 과정은 모든 노드들의 제 1 파라메터(Parameter-α)를 연산하는 제 1 단계; 모든 노드들의 가중치(W)를 연산하는 제 2 단계; 가중치(W)에 따라 노드를 선택하는 제 3 단계; 선택된 노드에서 다양한 입력들을 생성하여 시뮬레이션하는 제 4 단계; 시뮬레이션을 실행한 결과, 새롭게 커버하는 커버리지가 있으면 자식 노드를 생성하고, 없으면 선택된 노드에서 제 2 파라메터(Parameter-Γ)를 연산하는 제 5 단계; 및 시뮬레이션을 실행한 결과, 새로운 모델의 상태값을 가지면 자식 노드를 생성하는 제 6 단계를 포함하고,
자식 노드를 생성하는 과정은 모델분석을 통해 실행 가능한 트랜지션과 커버 가능한 커버리지를 확보하는 제 7 단계; 생성한 노드의 파라메터를 초기화하는 제 8 단계; 생성된 노드의 제 3 파라메터(Parameter-β)를 연산하는 제 9 단계; 및 시뮬레이션을 실행한 결과, 새롭게 커버하는 커버리지가 없으면 생성된 노드의 제 4 파라메터(Parameter-Δ)를 연산하는 제 10 단계를 포함하는 것을 특징으로 한다.
상기 제 1 파라메터는 수학식
Figure 112013029356081-pat00001
에 따라 산출하고,
상기 가중치는 수학식
Figure 112013029356081-pat00002
에 따라 산출하며,
상기 제 3 파라메터는 수학식
Figure 112013029356081-pat00003
에 따라 산출하는 것을 특징으로 한다.
본 발명에 따른 테스트 케이스 자동 생성 시스템의 노드 선택 방법에 따르면, 더 많은 커버리지를 찾을 수 있는 노드에는 가중치를 주고 새로운 커버리지를 찾지 못한 노드에는 패널티를 주어 노드 선택의 스타베이션(Starvation)을 예방할 수 있고, 시뮬레이션 오버헤드로 인한 시간과 자원의 낭비를 방지할 수 있다.
도 1은 테스트 케이스 자동 생성 시스템에서 통상적으로 사용되는 노드 트리의 예,
도 2는 본 발명에 따른 전장품 단위 테스트 절차를 나타낸 순서도,
도 3은 본 발명에 따라 정형적인 요구사항 모델로부터 테스트 케이스를 생성하는 것을 설명하기 위한 예,
도 4는 본 발명에 따른 요구사항 모델 기반 테스트 케이스 자동 생성 시스템을 도시한 구성 블럭도,
도 5는 본 발명에 따른 테스트 케이스 생성 시스템의 테스트 케이스 생성 절차를 도시한 순서도,
도 6은 본 발명에 따라 노드를 선택하는 절차를 도시한 순서도,
도 7은 본 발명에 따라 노드를 생성하는 절차를 도시한 순서도이다.
본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시 예들에 의하여 보다 명확해질 것이다. 다음의 실시 예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.
도 2는 본 발명에 따른 전장품 단위 테스트 절차를 도시한 도면으로서, 테스트 케이스 생성 도구가 정형적으로 표현된 요구사항 모델을 입력받아 전장품 테스트용 테스트 케이스 세트를 생성하고(S1~S3), 블랙박스 테스트 실행 도구가 전장품 테스트용 테스트 케이스 세트를 입력받아 테스트 대상 시스템을 블랙박스 테스팅한다(S4,S5).
도 2를 참조하면, 테스트 케이스 생성 도구(S2)는 정형적으로 표현된 요구사항 모델로부터 표준화된 방법으로 테스트 케이스를 생성하고, 생성된 테스트 케이스는 테스트 실행 도구(S4)를 이용하여 블랙박스 테스팅을 진행한다.
이와 같이 본 발명에 따라 요구사항 기반으로 테스트 케이스를 정량화할 수 있는 표준화된 테스트 케이스 생성 방법은 커버리지 기준을 이용한 테스트 케이스 생성 방법을 사용하는데, 널리 사용되어지는 커버리지 기준들은 다음과 같다.
문장 커버리지(Statement Coverage)는 요구사항의 조건이나 행동이 문장으로 표현된다고 할 때, 문장을 한번씩 검사하거나 행해보아야 한다는 조건이다.
조건 커버리지(Condition Coverage)는 생성한 테스트 케이스가 모든 조건들을 검사해보았을 때, 해당 테스트 케이스는 조건 커버리지(Condition Coverage)를 만족하는 테스트 케이스 세트라고 부른다. 여기서, 조건이라는 것은 조건 문장에서 사용되어지는 논리적인 최소 입력 변수를 일컫는다. 예를 들어, "C1∧C2"문장이 있을 때, 해당 문장에는 총 2개의 조건이 C1과 C2가 존재한다. 따라서, 테스트 케이스는 반드시 각 컨디션의 모든 값을 검사해보아야 한다. 즉, C1이 'True'일때와 'False'일 때, C2가 'True' 일 때와 'False'일 때를 확인할 수 있는 테스트 케이스가 필요하다.
결정 커버리지(Decision Coverage)는 생성된 테스트 케이스가 모든 결정을 검사해보았을 때, 해당 테스트 케이스 세트는 결정 커버리지(Decision Coverage)를 만족하였다고 말한다. 여기서, 결정이라는 것은 조건 문장에서의 결과 값이다. 예를 들어, "D=C1∧C2" 문장이 있을 때, D값이 'True'이고 'False'인 것을 확인해보아야 한다는 것이다.
변형된 조건 및 결정 커버리지(Modified Condition and Decision Coverage (MC/DC))는 모든 테스트 케이스가 결정 커버리지와 조건 커버리지를 만족하고, 추가적으로 다른 조건의 값이 고정된 상태에서 하나의 조건의 변화로 결정이 변화하는 것을 보아야 한다는 제한 사항이 추가된 것이다. 예를 들어, "D=C1∧C2" 문장이 있을 때 MC/DC는 다음 표2의 진리표(Truth Table)를 만족하여야 한다.
No. C1 C2 D=C1 ∧C2
1 T T T
2 T F F
3 F T F
위 테이블에서 볼 수 있듯이, C1이 고정되었을 때, C2의 변화에 따라 결정(Decision)값이 변화하고 있으며, C2가 고정되었을 때, C1의 변화에 따라 결정(Decision)값이 변화하고 있음을 알 수 있다.
상태 커버리지(State Coverage)는 상태 다이어그램에서 상태를 모두 한 번씩 방문해보아야 하는 것을 말한다. 상태 전이 커버리지(Transition Coverage)는 상태 다이어그램에서 상태와 상태 사이의 모든 전이를 한 번씩은 방문해보아야 한다는 것을 말한다.
정형적(Formal)으로 기술된 요구사항 모델, 특히 Matlab Simulink/Stateflow 또는 도형화된 시스템 요구사항 표현 기법으로 작성된 정형 요구사항으로부터, 여러 커버리지 기준에 따라 블랙박스 테스팅을 위한 테스트 케이스를 쉽게 생성할 수 없는 이유는 다음과 같다. 첫째, 정형 요구사항 모델에 사용된 내부 변수들이나 데이터 항목들이 실제 전장품 개발시에 그대로 반영되어 지지 않는다. 실제 전장품과 동일한 데이터 항목 또는 변수는 입/출력뿐이다. 둘째, 커버리지 기준은 요구사항 모델 내부 로직들로부터 만들어진다. 그리고 그러한 로직들은 수많은 모델에서 임시로 사용하는 내부 변수 등으로 구성되어져 있다. 따라서 테스트 커버리지 항목을 뽑아낸다고 해서, 그것을 바로 개발된 전장품에 입력으로서 인가하거나 데이터 값을 볼 수 있는 것을 불가능하다. 뿐만 아니라 테스트하고자 하는 대상 전장품은 보통 외부 입/출력만을 제어하여 테스트하길 선호하고, 내부 변수를 제어하기 위한 인터페이스가 나와 있더라고 모든 항목들을 적용할 수 없다.
도 3은 정형적인 요구사항 모델로부터 테스트 케이스를 생성하는 것을 나타내기 위한 예제이다. 도 3에서, 요구사항은 n개의 입력이 I1, I2, .... In-1, In 정의되어 있으며, m개의 출력 O1, O2,.... Om-1, Om이 정의된다. 이러한 입/출력에 따라 요구사항 로직을 상태 다이어그램이나 기타 다른 방법을 이용하여 표현할 수 있다. 이때, 내부 상태를 표현하기 위한 내부 변수 "From"과 "To"라는 변수를 이용한다. 그리고 테스트 커버리지는 이러한 내부 변수를 이용하여 표현된다. 예를 들어, "To==T&&From==F"라는 전이 조건을 위해서는 다음의 조건이 만족하면 MC/DC가 만족한다.
To==T From==F To==T&&From==F
T T T
T F F
F T F
그러나 실제 구현된 전장품(ECU)에서는 To라는 변수와 From이라는 변수를 직접적으로 제어할 수 없기 때문에, 전장품의 입력 I1,....In을 시간순서에 따라 적절하게 변화시켜서 "From"과 "To" 값을 만들어 내야 한다.
도 4는 본 발명에 따른 요구사항 모델 기반 테스트 케이스 자동 생성 시스템을 도시한 구성 블럭도이다.
본 발명에 따른 테스트 케이스 자동 생성시스템(100)은 도 4에 도시된 바와 같이 테스트 케이스 생성도구(110), 커버리지 목표 관리부(120), 모델상태 트리 관리부(130), 입력 생성부(140), 모델 시뮬레이터(150), 테스트 케이스 데이터베이스(160)로 구성되어 정형적 요구사항으로부터 커버리지 기준을 적용하여 자동으로 입력 순서를 시간 순으로 생성하고, 해당 입력 순서에 따라 예상되는 출력 값을 생성한다.
도 4를 참조하면, 테스트 케이스 생성도구(110)는 후술하는 바와 같이 테스트 케이스 생성 알고리즘에 따라 커버리지 목표 관리부(120), 모델 상태 트리 관리부(130), 입력 생성부(140), 모델 시뮬레이터(150)를 이용하여 테스트 케이스를 생성한다.
커버리지 목표 관리부(120)는 사용자가 선택한 커버리지 기준에 따라, 모델로부터 커버리지 목표를 생성하고, 테스트 케이스 생성 과정에서 커버리지 목표 달성 여부를 확인하는 역할을 수행한다. 커버리지 목표(Coverage Target)라 함은, 커버리지 기준에 따라서, 만족해야만 하는 항목을 커버리지 목표라고 한다. 테스트 케이스 생성 도구(110)는 이러한 커버리지 목표를 만족시키기 위한 테스트 케이스, 즉 시간에 따른 입력 인가 순서를 생성한다.
모델 상태 트리 관리부(130)는 요구사항 모델의 구석구석을 방문하기 위하여 상태 트리를 만들고 관리하는 역할을 수행한다. 높은 커버리지를 만족하는 테스트 케이스를 생성하기 위해서는 요구사항의 많은 조건들을 확인하여야 한다. 따라서 요구사항 모델의 구석구석을 뒤져야 하는데, 이를 위하여 먼저 요구사항 모델의 내부 상태 변수 및 내부 상태 값을 이용하여 상태를 정의한다. 모델은 시스템(요구사항 모델)의 초기 상태로부터 입력 값을 인가함에 따라 시스템(요구사항 모델)의 상태가 계속해서 새로이 정의된다. 이러한 상태를 하나의 노드로 정의하고, 이러한 노드들을 도 1에서와 같이 트리로 관리한다.
입력 생성부(140)는 테스트 케이스 생성 알고리즘에서, 커버리지 목표를 찾아가려고 할 때 필요한, 시스템의 말단 포트별로 인가해야 하는 값을 생성하는 역할을 수행한다. 입력 생성부(140)는 모델을 정적분석하여 값을 생성하거나, 때에 따라 무작위로 생성하거나, 특정 선도에 따라 생성하거나, 통계적인 분포에 따라 값을 생성한다.
모델 시뮬레이터(150)는 다이나믹 데이터 분석 기법을 사용하기 위하여 모델을 시뮬레이션 한다. 정형 요구사항 모델을 변경하지 않고, 블랙박스 테스트용 테스트 케이스를 입력하기 위하여 정적 분석 기법뿐만 아니라, 다이나믹 데이터 분석 기법을 사용한다. 모델 시뮬레이터(150)를 이용하여 모델에 찾아낸 테스트 케이스 입력을 인가하고, 인가한 입력에 의해 실제 커버리지 목표가 달성되었는지 확인하거나 시스템 상태를 살펴보거나 예상 출력값을 얻어내기 위한 목적으로 사용된다.
테스트 케이스 DB(160)는 생성된 테스트 케이스를 저장하기 위한 저장 장소이다.
도 5는 본 발명에 따른 테스트 케이스 생성 시스템의 테스트 케이스 생성 절차를 도시한 순서도이다.
도 5를 참조하면, 제1 단계(S101)는 사용자 설정에 따른 커버리지 목표를 생성하는 단계이다. 커버리지 목표는 커버리지 목표 관리부(120)에서 담당하며, 해당 모듈에서 목표를 생성한다.
제2 단계(S102)는 트리 확장을 위한 상태 노드를 선택하는 단계로서, 특정 노드에서 시간이나 입력 값의 변화에 따라 새로운 노드가 생성된다. 트리가 확장을 시작하는 노드를 모델 상태 트리 관리부(130)를 이용하여 선택한다.
제3 단계(S103)는 입력 생성단계로서, 새로운 커버리지 목표를 만족하기 위하여 입력을 생성하는 단계이다. 해당 단계는 입력 생성부(140)에서 담당한다.
제4 단계(S104)는 모델 시뮬레이터(150)에 입력을 인가하여 시뮬레이션 하는 단계로서, 생성한 입력을 시뮬레이션 한다.
제5 단계(S105)는 새로 달성한 커버리지 목표를 검색하는 단계로서, 모델 시뮬레이터(150)를 이용하여 시뮬레이션 하는 동안 커버리지 목표가 달성되는지를 커버리지 목표 관리부(120)를 이용하여 확인하고 기록한다.
제6 단계(S106)는 입력 순서 및 예상 출력이 포함된 테스트 케이스 등록 단계로서, 시뮬레이션이 종료되고, 새로 달성한 커버리지 목표가 존재한다면, 생성한 입력은 테스트 케이스로서 유효한 것이므로, 테스트 케이스 DB(160)에 테스트 케이스를 저장한다.
제7 단계(S107)는 커버리지 목표를 모두 만족하는지 검사하는 단계로서, 만약 커버리지 목표 관리부(120)에 아직 만족하지 않은 커버리지 목표가 있다면, 다시 커버리지 목표를 찾기 위해서 입력 생성 파트로 이동하며, 그렇지 않은 경우 테스트 케이스 생성을 종료한다.
다시 도 4를 참조하면, 커버리지 목표 관리부(120)는 다음의 기능을 담당한다. 사용자가 지정한 커버리지 기준에 요구사항 모델을 분석하여 커버리지 목표를 생성한다. 본 발명의 실시예에서는 다음 표 4와 같은 커버리지 기준을 지원한다.
Statement Coverage Criteria
Condition Coverage Criteria
Decision Coverage Criteria
Modified Condition and Decision Coverage(MC/DC) Criteria
State Coverage Criteria
Transition Coverage Criteria
Boundary Coverage Criteria
또한 커버리지 목표 관리부(120)는 전체 커버리지 목표를 관리하고, 테스트 케이스가 생성됨에 따라 달성한 커버리지 목표와 달성하지 못한 커버리지 목표를 분류하여 관리하며, 통계 자료를 보여주는 역할을 수행하고, 모델 시뮬레이터(150)로부터 시스템 모델의 상태를 얻어 와서, 만족하지 못한 커버리지 목표들 중 새로이 달성한 커버리지 목표를 찾아내는 기능을 수행한다. 커버리지 목표는 정형 요구사항의 내부 데이터 변수들의 조건 수식으로 표현된다. 예를 들어, 상태 커버리지(State Coverage)의 경우에 상태(State)를 표현하는 변수 v_state라는 변수가 존재한다고 가정할 때, v_state=="state_off"와 같은 형태로 표현한다.
그러나 실제 도구를 구현하는데 있어서는 위의 포멧이 Post-fix형 수식으로 표현되어져, 다이나믹 요구사항 모델로부터 커버리지 목표 달성을 검사할 때 빠르게 검사가 가능하도록 한다.
모델 상태 관리부(130)는 요구사항 모델의 내부 상태 변수 및 상태 다이어그램의 상태 값을 이용하여 모델 상태를 정의한다. 즉, 내부 변수와 상태 다이어그램의 상태 값을 이용하여 모델의 상태를 다음 수학식1과 같이 고유하게(Unique) 정의할 수 있게 된다.
Figure 112013029356081-pat00004
여기서, ValueOf(Vk)은 내부 변수 또는 상태 변수 Vk의 값을 의미한다.
그리고 이러한 모델 상태를 트리로 관리하기 위하여 하나의 모델 상태를 트리의 노드로 정의한다.
입력 생성부(140)는 시스템의 말단 입력 변수에 어떠한 값을 넣어야 할지를 결정하는 모듈이다. 해당 모듈에서는 새로운 커버리지 목표를 달성하기 위하여 입력을 다음의 방식으로 생성한다. 먼저, 원하는 내부 상태로 도달하기 위하여 입력과의 상관관계를 분석하여 그에 상응하는 입력을 넣는 방법과, 특정 선도에 따라 입력을 차례대로 생성하는 방법(이때 특정 선도라 함은 사용자가 그린 선도, 수식에 의한 선도 등을 포함한다)과, 수학적 통계 분포(Poisson Distribution, Exponential Distribution)를 이용하는 방법과, 입력 값에 가중치를 두고, 가중치에 따라 그 값을 생성하는 방법과, 무작위로 입력을 넣는 방법이 있다.
모델 시뮬레이터(150)는 입력에 따라 모델의 행동을 시뮬레이션 하는 역할을 담당한다. 모델 시뮬레이터(150)는 테스트 케이스 생성기에서 입력에 따라 모델을 시뮬레이션 하여 출력 값을 검토하기 위한 목적과, 입력에 따라 내부 변수 값이나 상태가 변화하는 것을 확인하기 위한 목적으로 사용된다. 이는 내부 변수 값이나 상태 변화를 확인하여야만 테스트 커버리지 목표가 달성되었는지 달성되지 않았는지 확인할 수 있기 때문이다.
이러한 모델 시뮬레이터(150)는 테스트 케이스 생성도구(110)에 다음의 기능을 제공한다. 즉, 시간에 따라 변화하는 입력에 대응하는 출력의 변화를 얻어올 수 있고, 시간에 따라 변화하는 입력에 대응하는 내부 변수나 상태 값을 얻어 올 수 있으며, 시뮬레이터의 상태를 저장하는 'Snapshot'기능과, 복구(Restore) 기능을 제공한다.
테스트 케이스 DB(160)는 테스트 커버리지 목표를 만족하는 입력 시퀀스를 저장하고 있다. 이때 저장되는 테스트 케이스는 시간에 따른 입력 시퀀스 뿐만 아니라 그에 상응하는 예상 출력 값도 모델로부터 얻어와 기록한다. 또한 해당 테스트 케이스가 달성한 테스트 커버리지 정보도 같이 저장한다.
도 6은 본 발명에 따라 노드를 선택하는 절차를 도시한 순서도이고, 도 7은 본 발명에 따라 노드를 생성하는 절차를 도시한 순서도이다.
본 발명에 따라 노드를 선택하는 절차는 도 6에 도시된 바와 같이, 모든 노드들의 제 1 파라메터(Parameter-α)를 연산하는 단계(S201)와, 모든 노드들의 종합 가중치(W)를 연산하는 단계(S202)와, 종합 가중치(W)에 따라 노드를 선택하는 단계(S203)와, 선택된 노드에서 다양한 입력들을 생성하여 시뮬레이션하는 단계(S204)와, 시뮬레이션을 실행한 결과 새롭게 커버하는 커버리지가 있으면 자식 노드를 생성하는 과정을 실행하고 없으면 선택된 노드에서 제 2 파라메터(Parameter-Γ)를 연산하는 단계(S205,S206)와, 시뮬레이션을 실행한 결과 새로운 모델의 상태값을 가지면 자식 노드를 생성하는 과정을 실행하는 단계(S207,S208)로 구성된다.
도 6을 참조하면, 이미 노드를 생성할 때 확보된 다음 틱(tick)에서 커버될 수 있는 새로운 커버리지들 가운데에는 이미 커버된 커버리지도 있고, 아직 커버되지 못한 커버리지도 존재하는데, 아직 만족되지 않은 커버리지가 많을수록 노드를 선택할 수 있는 가중치를 부여한다. 즉, 모든 노드들의 제 1 파라메터를 연산하는 단계(S201)에서는 다음 수학식 2와 같이 제 1 파라메터(α)를 산출한다.
Figure 112013029356081-pat00005
수학식 2에서 Cn은 다음 틱(tick)에서 커버될 수 있는 커버리지 총 개수이고, Cu는 아직 커버되지 못한 커버리지 개수이며, Cm은 모델의 모든 커버리지 개수이고, a, b는 상수이다.
종합 가중치(W값)를 연산하는 단계(S202)에서는 파라미터들 α, β, Γ, Δ와 작은 random 값을 이용하여 다음 수학식 3과 같이 종합 가중치(W)를 연산한다.
Figure 112013029356081-pat00006
종합 가중치(W)에 따라 노드를 선택하는 단계(S203)에서는 종합 가중치(W) 값이 큰 순서대로 노드를 선택한다.
입력 생성 및 시뮬레이션 단계(S204)에서는 선택된 노드에서 다양한 입력들을 생성하여 시뮬레이션을 실행한다.
커버리지 검사 단계(S205)에서는 시뮬레이션을 실행한 결과, 새롭게 커버하는 커버리지가 있으면 자식 노드를 생성한다.
제 2 파라메터(Parameter-Γ) 연산 단계(S206)에서는 선택된 노드에서 다양한 입력 생성의 조합을 통해서 새롭게 커버되는 커버리지가 없을 경우, 선택된 노드에 패널티를 부여한다. 선택된 노드의 제 2 파라메터(Γ) 값의 0.6을 곱하여 패널티를 부여한다.
모델의 상태 값 검사 단계(S207)에서는 시뮬레이션을 실행한 결과, 새로운 모델의 상태 값을 가지면 자식 노드를 생성한다.
본 발명에 따라 새로운 노드를 생성하는 절차는 도 7에 도시된 바와 같이, 모델분석을 통해 실행 가능한 트랜지션과 커버 가능한 커버리지를 확보하는 단계(S301)와, 생성한 노드의 파라메터를 초기화하는 단계(S302)와, 생성된 노드의 제 3 파라메터(Parameter-β)를 연산하는 단계(S303)와, 시뮬레이션을 실행한 결과 새롭게 커버하는 커버리지가 없으면 생성된 노드의 제 4 파라메터(Parameter-Δ)를 연산하는 단계로 구성된다(S304,S305).
도 7을 참조하면, 노드 생성 시 시뮬레이션 모델 분석 단계(S301)에서는 다음 틱(tick)에서 실행될 수 있는 스테이트플로우(Stateflow)의 트랜지션(transitions)을 확보하고, 커버될 수 있는 새로운 커버리지들도 확보한다.
파라메터(Parameters) 초기화 단계(S302)에서는 패널티와 관계된 제 2 파라메터(Parameter-Γ), 제 4 파라메터(Parameter-Δ) 값을 모두 1값으로 초기화 한다.
제 3 파라메터(Parameter-β) 연산 단계(S303)에서는 다음 수학식 4와 같이 단계 S301에서 확보한 트랜지션(transitions)의 비교 조건들(>, >=, <, <=, ==, !=)에 대해서 비교되는 대상 값들이 가까울수록 가중치를 부여한다.
Figure 112013029356081-pat00007
수학식 4에서
Figure 112013029356081-pat00008
이다.
커버리지 검사 단계(S304)에서 시뮬레이션을 실행한 결과, 새롭게 커버하는 커버리지가 없으면, 단계 S305에서 제 4 파라메터(Parameter-Δ)를 연산한다.
제 4 파라메터( Parameter-Δ) 연산 단계(S305)에서는 새로운 커버리지가 커버되지 않았을 경우, 트리가 한 쪽 방향으로만 확장되는 것을 막기 위해 선택된 노드의 제 4 파라메터(Δ)값의 0.8값을 새로 생성된 노드의 Δ값으로 설정하는 패널티를 부여한다.
이상에서 본 발명은 도면에 도시된 일부 실시 예를 참고로 설명되었으나, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
100: 테스트 케이스 생성 시스템 110: 테스트 케이스 생성도구
120: 커버리지 목표 관리부 130: 모델 상태 트리 관리부
140: 입력 생성부 150: 모델 시뮬레이터
160: 테스트 케이스 DB

Claims (7)

  1. 테스트 케이스 자동 생성 시스템의 노드 선택 방법에 있어서,
    노드를 선택하는 과정은
    모든 노드들의 제 1 파라메터(Parameter-α)를 연산하는 제 1 단계;
    모든 노드들의 종합 가중치(W)를 연산하는 제 2 단계;
    종합 가중치(W)에 따라 노드를 선택하는 제 3 단계;
    선택된 노드에서 다양한 입력들을 생성하여 시뮬레이션하는 제 4 단계;
    시뮬레이션을 실행한 결과, 새롭게 커버하는 커버리지가 있으면 자식 노드를 생성하고, 없으면 선택된 노드에서 제 2 파라메터(Parameter-Γ)를 연산하는 제 5 단계; 및
    시뮬레이션을 실행한 결과, 새로운 모델의 상태값을 가지면 자식 노드를 생성하는 제 6 단계를 포함하고,
    자식 노드를 생성하는 과정은
    모델분석을 통해 실행 가능한 트랜지션과 커버 가능한 커버리지를 확보하는 제 7 단계;
    생성한 노드의 파라메터를 초기화하는 제 8 단계;
    생성된 노드의 제 3 파라메터(Parameter-β)를 연산하는 제 9 단계; 및
    시뮬레이션을 실행한 결과, 새롭게 커버하는 커버리지가 없으면 생성된 노드의 제 4 파라메터(Parameter-Δ)를 연산하는 제 10 단계를 포함하며,
    상기 제 1 파라메터(α)는 노드 선택시, 아직 커버되지 못한 커버리지의 개수(Cu)를 다음 틱(tick)에서 커버될 수 있는 커버리지 총 개수(Cn)로 나눈값과 아직 커버되지 못한 커버리지 개수(Cu)를 모델의 모든 커버리지 개수( Cm)로 나눈값의 합으로 정해져 다음 틱(tick)에서 커버될 수 있는 새로운 커버리지들 가운데에서 아직 커버되지 못한 커버리지가 많을수록 가중치를 부여한 것이고,
    상기 제 2 파라메터(Γ)는 노드 선택시, 선택된 노드에서 다양한 입력 생성의 조합을 통해서 새롭게 커버되는 커버리지가 없을 경우 선택된 노드에 부여된 패널티이며,
    상기 제3 파라메터(β)는 노드 생성시, 모델분석을 통해 실행 가능한 트랜지션과 커버 가능한 커버리지를 확보하여 트랜지션(transitions)의 비교 조건들에 대해서 비교되는 대상 값들이 가까울수록 가중치를 부여한 것이고,
    상기 제4 파라메터(Δ)는 노드 생성시, 새로운 커버리지가 커버되지 않았을 경우, 트리가 한 쪽 방향으로만 확장되는 것을 막기 위해 선택된 노드에 부여된 패널티이며,
    상기 종합 가중치(W)는 제1 파라메터와 제3 파라메터의 가중치와, 제2 파라메터와 제4 파라메터의 패널티를 종합한 것인 것을 특징으로 하는 테스트 케이스 자동 생성 시스템의 노드 선택 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 종합 가중치(W)에 따라 노드를 선택하는 단계에서는 종합 가중치(W) 값이 큰 순서대로 노드를 선택하고,
    상기 파라메터(Parameters) 초기화 단계에서는 패널티와 관계된 제 2 파라메터(Parameter-Γ)와 제 4 파라메터(Parameter-Δ) 값을 모두 1값으로 초기화하는 것을 특징으로 하는 테스트 케이스 자동 생성 시스템의 노드 선택 방법.
KR1020130036732A 2013-04-04 2013-04-04 테스트 케이스 자동 생성 시스템의 노드 선택 방법 KR101330141B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130036732A KR101330141B1 (ko) 2013-04-04 2013-04-04 테스트 케이스 자동 생성 시스템의 노드 선택 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130036732A KR101330141B1 (ko) 2013-04-04 2013-04-04 테스트 케이스 자동 생성 시스템의 노드 선택 방법

Publications (1)

Publication Number Publication Date
KR101330141B1 true KR101330141B1 (ko) 2013-11-15

Family

ID=49857889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130036732A KR101330141B1 (ko) 2013-04-04 2013-04-04 테스트 케이스 자동 생성 시스템의 노드 선택 방법

Country Status (1)

Country Link
KR (1) KR101330141B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804634B1 (en) 2000-02-17 2004-10-12 Lucent Technologies Inc. Automatic generation and regeneration of a covering test case set from a model
US20060070048A1 (en) 2004-09-29 2006-03-30 Avaya Technology Corp. Code-coverage guided prioritized test generation
US20110184689A1 (en) 2008-05-19 2011-07-28 Johnson Controls Technology Company Method of automatically formulating test cases for verifying at least part of a piece of software

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804634B1 (en) 2000-02-17 2004-10-12 Lucent Technologies Inc. Automatic generation and regeneration of a covering test case set from a model
US20060070048A1 (en) 2004-09-29 2006-03-30 Avaya Technology Corp. Code-coverage guided prioritized test generation
US20110184689A1 (en) 2008-05-19 2011-07-28 Johnson Controls Technology Company Method of automatically formulating test cases for verifying at least part of a piece of software

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DRAFT(2011.05) *

Similar Documents

Publication Publication Date Title
CN108376221B (zh) 一种基于aadl模型扩展的软件系统安全性验证与评估方法
CN107066375B (zh) 安全关键软件自动化基于需求的测试实例生成系统和方法
US10241852B2 (en) Automated qualification of a safety critical system
US8983823B1 (en) Verification harness for automatically generating a text-based representation of a graphical model
US7788615B2 (en) Computer program product for verification using reachability overapproximation
US9904524B2 (en) Method and device for visually implementing software code
US20160170868A1 (en) Method and apparatus for the automated testing of a subsystem of a safety critical system
US9058427B2 (en) Iterative generation of symbolic test drivers for object-oriented languages
JP2022502790A (ja) 安全性に関連するデータストリームを検出する方法
KR101334806B1 (ko) 테스트 케이스 자동 생성 시스템에서 테스트 케이스를 구성하는 입력값의 집합을 자동으로 산출하는 방법
KR101291817B1 (ko) 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법
US7360187B2 (en) Mixed mode verifier
US6560571B1 (en) Method and apparatus for prioritizing the order in which checks are performed on a node in an integrated circuit
CN111580409B (zh) 面向实时嵌入式系统的故障仿真测试方法
CN111581101A (zh) 软件模型的测试方法、装置、设备和介质
KR101330141B1 (ko) 테스트 케이스 자동 생성 시스템의 노드 선택 방법
CN115248783B (zh) 软件测试方法、系统、可读存储介质及计算机设备
Allende et al. Statistical test coverage for Linux-based next-generation autonomous safety-related systems
US7031889B1 (en) Method and apparatus for evaluating the design quality of network nodes
Przigoda et al. Leveraging the analysis for invariant independence in formal system models
EP3572945A1 (en) System and method for safety-critical software automated requirements-based test case generation
US9633147B1 (en) Power state coverage metric and method for estimating the same
CN116841650B (zh) 样本构建方法、装置、设备以及存储介质
Sheakh Software reliability analysis-a new approach
Lano et al. Refinement of distributed object systems

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171211

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee