KR20230057711A - 테스트 커버리지 표시 장치 및 표시 방법 - Google Patents

테스트 커버리지 표시 장치 및 표시 방법 Download PDF

Info

Publication number
KR20230057711A
KR20230057711A KR1020210141791A KR20210141791A KR20230057711A KR 20230057711 A KR20230057711 A KR 20230057711A KR 1020210141791 A KR1020210141791 A KR 1020210141791A KR 20210141791 A KR20210141791 A KR 20210141791A KR 20230057711 A KR20230057711 A KR 20230057711A
Authority
KR
South Korea
Prior art keywords
code
coverage
step value
test
line
Prior art date
Application number
KR1020210141791A
Other languages
English (en)
Other versions
KR102603330B1 (ko
Inventor
권민혁
Original Assignee
슈어소프트테크주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 슈어소프트테크주식회사 filed Critical 슈어소프트테크주식회사
Priority to KR1020210141791A priority Critical patent/KR102603330B1/ko
Priority to PCT/KR2022/006552 priority patent/WO2023068467A1/ko
Publication of KR20230057711A publication Critical patent/KR20230057711A/ko
Application granted granted Critical
Publication of KR102603330B1 publication Critical patent/KR102603330B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3676—Test management for coverage analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G06F11/3624—Software debugging by performing operations on the source code, e.g. via a compiler
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명에 따른 테스트 커버리지 표시 장치는 소스 코드에 대한 코드 커버리지를 측정하는 테스트 수행부, 테스트 수행부에서 측정된 코드 커버리지에 기초하여, 각 코드 라인별 커버 횟수의 누적 합계를 계산하고, 상기 누적 합계에 대응하는 단계값을 각 코드 라인별로 계산하여 저장하는 저장부, 및 저장부에 저장된 단계값에 기초하여 각 코드 라인을 상이하게 표시하는 커버리지 표시부를 포함한다. 본 발명에 의하면, 코드 커버리지에 시각적인 차이를 즉각적으로 확인할 수 있기 때문에 사용자가 더욱 용이하게 테스트 품질을 확인할 수 있게 된다.

Description

테스트 커버리지 표시 장치 및 표시 방법{APPARATUS AND METHOD FOR DISPLAY THE TEST COVERAGE}
본 발명은 코드 커버리지에 시각적인 차이를 둠으로써 코드의 테스트량을 즉각적으로 확인할 수 있는 테스트 커버리지 표시 장치 및 표시 방법에 관한 것이다.
종래에는 사용자가 프로그램 개발 과정에서, 개발중인 프로그램의 검증을 위해 작성된 소스 코드에 대한 테스트 수행 정도를 확인하는 과정이 수행되었다. 예를 들어, 프로그램 설계의 실수나 미처 생각하지 못한 변수 등에 의해서 프로그램은 작성자의 의도와 다르게 또는 비효율적으로 동작할 가능성이 있다. 프로그램이 원하지 않는 결과를 내는 것을 버그(Bug) 또는 프로그램 오류(Error)라고 부른다. 이런 버그 또는 프로그램 오류를 막기 위해 프로그램 개발시 테스트 과정이 반드시 요구된다. 프로그램이 충분히 검증되었는지 수치로 확인하는 동적 테스트 장치는 코드 커버리지(Code Coverage)를 측정한다. 코드 커버리지는, 소프트웨어 테스트(software test)의 품질을 측정하기 위해 사용되는 하나의 척도(measure)가 되며, 어느 하나의 프로그램(program)의 소스 코드(source code)가 테스트된 비율을 의미한다. 따라서, 코드 커버리지는 일반적으로 백분율로 표시된다.
즉, 코드 커버리지는 테스트를 수행하면 얻어지는 결과물로, 해당 테스트가 어떤 코드를 수행했는지에 대한 정보를 나타낸다. 소프트웨어의 단위시험(unit test)을 진행할 때, 동일한 단위(보통 함수)에 테스트가 집중되는 경우가 있다. 기존에는 소스코드 편집기 상에 함수 단위로 관련된 테스트의 개수를 표시하거나, 별도의 윈도우를 두어 대상 함수별 테스트를 그룹화하는 방법을 사용해왔다. 하지만, 종래의 이러한 방식은 실제 테스트가 실행되기 전의 정적인 테스트 구성 상태만 고려하기 때문에, 실제로 코드의 어느 부분이 많이 테스트되었는지, 혹은, 어느 부분이 상대적으로 적게 테스트되었는지를 판단하기 어렵다는 문제점이 있었다.
한국 등록특허공보 제10-2165037호 (2020년10월06일 등록)
본 발명은 상술한 문제점을 감안하여 안출된 것으로, 본 발명의 목적은 코드 커버리지에 시각적인 차이를 둠으로써 사용자가 더욱 용이하게 테스트 품질을 확인할 수 있는 테스트 커버리지 표시 장치 및 표시 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 커버리지 표시 장치는, 소스 코드에 대한 코드 커버리지를 측정하는 테스트 수행부; 상기 테스트 수행부에서 측정된 코드 커버리지에 기초하여, 각 코드 라인별 커버 횟수의 누적 합계를 계산하고, 상기 누적 합계에 대응하는 단계값을 각 코드 라인별로 계산하여 저장하는 저장부; 및 상기 저장부에 저장된 단계값에 기초하여 각 코드 라인을 상이하게 표시하는 커버리지 표시부;를 포함한다.
또한, 상기 저장부는, 전체 코드를 대상으로 하는 기준과 함수 내 코드를 대상으로 하는 기준으로 구분하여 최대 누적횟수와 최소 누적횟수를 계산하고, 상기 최대 누적횟수와 최소 누적횟수에 기초하여 상기 단계값을 계산할 수 있다.
그리고, 상기 단계값은 아래 수식에 의하여 계산될 수 있다.
단계값=floor((N/최대 누적횟수)*해당 라인의 누적횟수) (여기서, N은 단계값의 총 개수)
또한, 상기 단계값은 총 N개의 단계를 포함하며, 상기 커버리지 표시부는 상기 N개의 단계 각각에 대하여 상이한 색상을 부여하고, 각각의 코드 라인의 단계값에 대응하는 색상을 상기 코드 라인에 표시할 수 있다.
그리고, 상기 단계값은 총 N개의 단계를 포함하며, 상기 커버리지 표시부는 상기 N개의 단계 각각에 대하여 상이한 아이콘을 부여하고, 각각의 코드 라인의 단계값에 대응하는 아이콘을 상기 코드 라인에 표시할 수 있다.
또한, 상기 단계값에 대응하는 색상 또는 아이콘을 사용자로부터 지정받기 위한 입력부;를 더 포함할 수 있다.
그리고, 커버리지 표시부는 상기 단계값이 기설정된 한계값 이상인 코드 라인에 대해서만 상이하게 표시할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 테스트 커버리지 표시 방법은, 소스 코드에 대한 코드 커버리지를 측정하는 테스트 수행 단계; 상기 테스트 수행부에서 측정된 코드 커버리지에 기초하여, 각 코드 라인별 커버 횟수의 누적 합계를 계산하고, 상기 누적 합계에 대응하는 단계값을 각 코드 라인별로 계산하여 저장하는 저장 단계; 및 상기 저장된 단계값에 기초하여 각 코드 라인을 상이하게 표시하는 커버리지 표시 단계;를 포함한다.
그리고, 상기 저장 단계는, 전체 코드를 대상으로 하는 기준과 함수 내 코드를 대상으로 하는 기준으로 구분하여 최대 누적횟수와 최소 누적횟수를 계산하고, 상기 최대 누적횟수와 최소 누적횟수에 기초하여 상기 단계값을 계산할 수 있다.
또한, 상기 단계값은 아래 수식에 의하여 계산될 수 있다.
단계값=floor((N/최대 누적횟수)*해당 라인의 누적횟수) (여기서, N은 단계값의 총 개수)
그리고, 상기 단계값은 총 N개의 단계를 포함하며, 상기 커버리지 표시 단계는 상기 N개의 단계 각각에 대하여 상이한 색상을 부여하고, 각각의 코드 라인의 단계값에 대응하는 색상을 상기 코드 라인에 표시할 수 있다.
또한, 상기 단계값은 총 N개의 단계를 포함하며, 상기 커버리지 표시 단계는 상기 N개의 단계 각각에 대하여 상이한 아이콘을 부여하고, 각각의 코드 라인의 단계값에 대응하는 아이콘을 상기 코드 라인에 표시할 수 있다.
그리고, 상기 단계값에 대응하는 색상 또는 아이콘을 사용자로부터 지정받는 입력 단계;를 더 포함할 수 있다.
또한, 상기 커버리지 표시 단계는 상기 단계값이 기설정된 한계값 이상인 코드 라인에 대해서만 상이하게 표시할 수 있다.
본 발명에 따른 테스트 커버리지 표시 장치 및 표시 방법에 의하면, 코드 커버리지에 시각적인 차이를 즉각적으로 확인할 수 있기 때문에 사용자가 더욱 용이하게 테스트 품질을 확인할 수 있게 된다.
도 1은 본 발명에 따른 테스트 커버리지 표시 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명에 따른 테스트 커버리지 표시 방법에서 단계값을 설정하는 과정을 설명하는 플로우차트이다.
도 3은 본 발명에 따른 테스트 커버리지 표시 방법에서 단계값을 설정하는 일 실시예를 설명하는 도면이다.
도 4 내지 6은 본 발명에 따른 테스트 커버리지 표시 방법에 있어서 다양한 실시예에 따른 표시 방법을 각각 도시한다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 형태를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시 형태는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 형태는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 형태에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시 형태로 구현될 수 있다. 또한, 각각의 개시된 실시 형태 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도 1은 본 발명에 따른 테스트 커버리지 표시 장치의 구성을 나타내는 블록도이다.
본 발명에 따른 테스트 커버리지 표시 장치(100)는 테스트 수행부(110), 커버리지 표시부(120) 및 저장부(130)를 포함한다.
테스트 수행부(110)는 소스 코드에 대한 코드 커버리지를 측정한다. 테스트 수행부(110)는 종래의 다양한 커버리지 측정 방식을 이용할 수 있다. 테스트 수행부(110)는 개발자 PC, 빌드 서버 또는 워크스테이션 등을 포함할 수 있다. 또한, 테스트 수행부(110)는 소정의 운영체제에 의해 구동되고, 소프트웨어의 설치 및 편집이 가능한 장치로서, 소정의 프로그램 모듈 또는 하드웨어들을 포함할 수 있다. 코드 커버리지(code coverage)는 소프트웨어의 테스트를 논할 때 얼마나 테스트가 충분한가를 나타내는 지표중 하나이다. 즉, 소프트웨어 테스트를 진행했을 때 코드 자체가 얼마나 실행되었냐는 것이다. 따라서, 테스트 진행 결과, 실행 부분과 미실행 부분을 포함할 수 있으며, 전체 코드 중에 실행 부분을 코드 커버리지로 정의할 수 있다.
테스트 수행부(110)는 코드 커버리지를 측정하기 위한 시스템의 전반적인 제어를 담당하며, 소스코드 분석부, 이진코드 분석부, 명령주소 분석부 등의 구성을 포함할 수 있지만, 이에 한정되지 않는다. 여기서, 소스코드 분석부는 소스코드 분석정보를 생성할 수 있다. 여기서 소스코드는 c, c++ 등의 프로그램 언어일 수 있으며, 소스코드 분석부는 파서(parser) 모듈을 포함하며, 소스코드를 구성하는 구성 요소별로 노드에 대한 클래스를 정의하고, 연산자와 피연산자의 자료 유형 정보를 추출하여 노드를 생성하며, 생성된 노드에 기초하여 추상 구문 트리(Abstract Syntax Tree, AST)를 생성할 수 있다. 따라서, 생성된 소스코드 분석정보는 추상 구문 트리 정보를포함할 수 있다.
이진코드 분석부는 소스코드를 빌드하여 생성된 이진코드에 대한 이진코드 분석정보를 생성할 수 있다. 구체적으로, 이진코드 분석부는 소스코드를 빌드(build) 또는 컴파일(compile)하여 이진코드를 생성할 수 있으며, 생성된 이진코드에 대한 이진코드 분석정보를 생성할 수 있다. 여기서 이진코드 분석정보는 소스코드의 위치(예, 코딩 라인) 에 대응하는 이진코드의 주소정보를 포함할 수 있다. 이진코드 분석정보는/home/pakjea/hw/demo/helloc 소스코드를 빌드하여 생성된 이진코드 주소정보와 명령어, 그리고 이진코드를 포함할 수 있다.
명령주소 분석부는 이진코드가 임베디드 보드로 카피되어 생성된 카피이진코드가 실행되어 이러한 카피이진코드에 대응하는 명령주소 및 명령주소 분석정보를 생성할 수 있다. 구체적으로, 임베디드 보드에서 실행된 카피이진코드는 명령주소 추출부에 의해 명령주소가 추출되며, 명령주소 분석부는 명령주소 추출부에 의해 추출된 명령주소를 수신하고, 수신한 명령주소에 대한 명령주소 분석정보를 생성할 수 있다. 카피이진코드는 임베디드 보드에서 실행되어 카피이진코드에 대응하는 명령주소가 생성되며, 임베디드 보드에서 생성된 명령주소가 명령주소 추출부에 의해 추출될 수 있다. 이후, 명령주소 추출부에 의해 추출된 명령주소를 명령주소 분석부에서 수신하여 명령주소 분석정보를 생성할 수 있다. 여기서 명령주소는 이진코드 주소정보에 매핑되는 정보이며, 명령주소 분석정보는 추출된 명령주소 기분석된 이진코드 분석정보 중 일부의 정보(예, 이진코드 및 명령어)와 매핑된 소정의 정보를 포함한 정보일 수 있다.
테스트 수행부(110)는 상기 소스코드 분석정보, 이진코드 분석정보 및 명령주소 분석정보를 이용하여 소스코드의 커버리지를 측정하게 된다. 테스트 수행부(110)는 소스코드 분석부에 의해 생성된 소스코드 분석정보, 이진코드 분석부에 의해 생성된 이진코드 분석정보, 및 명령주소 분석부에 의해 생성된 명령주소 분석정보를 이용하여 소스코드의 커버리지를 측정할 수 있다. 이러한 소스코드의 커버리지는 소스코드 전부 중 실행된 코드의 비율을 나타내는 정보인 전체 커버리지 정보 및 상기 소스코드의 변경된 변경 부분 중 실행된 코드의 비율을 나타내는 정보인 변경 커버리지 정보를 포함할 수 있다. 또한, 변경 커버리지 정보는 변경 함수 커버리지 및 변경 라인 커버리지 정보를 포함할 수 있다.
본 발명에 따른 커버리지 표시 장치(100)의 테스트 수행부(110)는 테스트케이스별로 커버리지를 누적시킨다. 즉, 동일한 코드 위치가 다른 테스트케이스에 의해 수행될 수 있으므로, 추후 커버리지 횟수의 누적 계산을 위하여, 각각의 독립된 테스트케이스의 결과는 독립적으로 관리되며, 누적된 형태로 결과를 산출할 수 있다면 테스트 수행부(110)는 어떠한 방식으로 동작되어도 무관하다. 즉, 위에서 설명한 테스트 수행부(110)의 구성 및 동작은 일 실시예일 뿐이며, 종래의 다양한 커버리지 측정 방법 및 구성을 이용하여 다양하게 응용, 변형될 수 있을 것이다.
저장부(120)는 테스트 수행부(110)에서 측정된 코드 커버리지에 기초하여, 각 코드 라인별 커버 횟수의 누적 합계를 계산하고, 상기 누적 합계에 대응하는 단계값을 각 코드 라인별로 계산하여 저장할 수 있다. 따라서, 저장부(120)는 최소한의 연산기능을 가질 수 있다. 다른 실시예에서는, 저장부(120)가 단계값을 계산하기 위한 소정의 연산부(미도시)를 포함할 수도 있다. 한편, 위에서는 단계값 계산이 저장부(120)에서 이루어지는 것으로 상정하여 설명했으나, 단계값 계산은 테스트 수행부(110) 혹은 별도의 연산부(미도시)에서 이루어지고, 저장부(120)는 계산된 단계값만 수신하여 저장할 수도 있다. 즉, 단계값 계산의 주체는 반드시 저장부(120)일 필요는 없고, 테스트 수행부(110) 혹은 별도의 모듈이어도 무방하다. 여기서는, 저장부(120)가 단계값을 계산하고 저장하는 것으로 상정하여 설명하기로 한다.
저장부(120)는, 전체 코드를 대상으로 하는 기준과 함수 내 코드를 대상으로 하는 기준으로 구분하여 최대 누적횟수와 최소 누적횟수를 계산하고, 최대 누적횟수와 최소 누적횟수에 기초하여 단계값을 계산한다.
이때, 단계값은 아래 [수식1]에 의하여 계산될 수 있다.
[수식 1]
단계값=floor((N/최대 누적횟수)*해당 라인의 누적횟수)
(여기서, N은 단계값의 총 개수)
커버리지 표시부(130)는 저장부(120)에 저장된 단계값에 기초하여 각 코드 라인을 상이하게 표시할 수 있다. 구체적으로, 단계값이 총 N개의 단계를 포함하는 경우, 커버리지 표시부(130)는 N개의 단계 각각에 대하여 상이한 색상을 부여하고, 각각의 코드 라인의 단계값에 대응하는 색상을 코드 라인에 표시한다.
다른 실시예에서, 커버리지 표시부(130)는 N개의 단계 각각에 대하여 상이한 아이콘을 부여하고, 각각의 코드 라인의 단계값에 대응하는 아이콘을 상기 코드 라인에 표시할 수도 있다. 이때, 단계값에 대응하는 색상이나 아이콘은 시스템에 미리 설정되어 있을 수도 있지만, 사용자 입력에 의하여 지정될 수도 있다. 이 경우에는 사용자 입력을 수신하기 위한 입력부(미도시)를 더 포함할 수 있다.
또 다른 실시예에서, 커버리지 표시부(130)는 상기 단계값이 기설정된 한계값 이상인 코드 라인에 대해서만 상이하게 표시할 수도 있다.
도 2는 본 발명에 따른 테스트 커버리지 표시 방법에서 단계값을 설정하는 과정을 설명하는 플로우차트이다. 구체적으로, 도 2의 플로우차트는 본 발명에 따른 커버리지 표시 장치(100)의 테스트 수행부(110) 및 저장부(120)에서 이루어지는 과정을 나타낸다.
테스트별로 커버리지를 분리하여 수집하기 위하여 각 테스트에 대한 반복 수행을 실시한다(S210). 각 테스트에 대한 반복 수행은, i번 테스트를 수행(S211)하고, i번 테스트의 커버리지를 수집(S212)한 뒤, i번 커버리지 결과를 저장(S213)하는 과정이 반복해서 이루어진다.
이후, 전체 테스트에 대한 코드 커버리지 획득되면, 각 코드 라인별로 커버 횟수에 대한 누적횟수를 계산한다. 이때, 계산된 누적횟수를 전체 코드를 대상으로 하는 제1기준과 함수 내 코드를 대상으로 하는 제2기준으로 구분하여, 최대 누적횟수와 최소 누적횟수를 계산한다.
마지막으로, 각 기준별로 라인의 단계값을 추출한 뒤 저장부(130)에 저장한다(S230).
도 2의 플로우차트에 도시하지는 않았으나, 단계값이 저장(230)되면, 이에 기초하여 각 코드 라인을 상이하게 표시하는 커버리지 표시 단계가 진행되며, 커버리지 표시 방법은 위의 커버리지 표시부(120)의 동작과 동일하므로 상세 설명은 생략한다.
도 3은 본 발명에 따른 테스트 커버리지 표시 방법에서 단계값을 설정하는 일 실시예를 설명하는 도면이다.
도 2의 플로우차트에서 누적횟수 계산 단계(S220)에 의하여 도출된 각 커버리지의 누적횟수, 전체코드기반 순위 및 함수내 코드기반 순위는 도 3에 도시된 바와 같다.
도 3에 도시된 바와 같이, 커버리지 누적횟수에 의하여 전체 코드를 기반으로 한 순위를 알 수 있고, 함수 내 코드를 기반으로 한 순위를 알 수 있다. 본 발명에 따른 커버리지 표시부(120)는 전체 코드를 기반으로 한 순위에 기초하여 각 코드 라인을 상이하게 표시할 수 있을 뿐만 아니라, 함수 내 코드를 기반으로 한 순위에 기초하여 각 코드 라인을 상이하게 표시할 수 있다.
물론, 전체 코드와 함수 내 코드 모두에 기초하여 각 코드라인을 식별 가능하게 표시할 수도 있다. 예를 들어, 전체 코드를 기반으로 한 순위에 기초하여 각 코드라인을 색상으로 식별시키는 동시에, 함수 내 코드를 기반으로 한 순위에 기초해서는 각 코드라인에 아이콘을 병기(부가, 표시)하는 방식을 이용할 수 있다. 또 다른 예로, 전체 코드를 기반으로 한 순위에 기초하여 각 코드라인을 아이콘으로 식별시키는 동시에, 함수 내 코드를 기반으로 한 순위에 기초해서는 상기 단계값이 기설정된 한계값 이상인 코드 라인에 대해서만 색상이나 폰트변형 등으로 상이하게 표시함으로써, 식별력을 향상시킬 수 있다.
사용자는 전체 코드를 기반으로 한 순위에 기초하여 커버리지를 표시할 것인지, 함수 내 코드를 기반으로 한 순위에 기초하여 커버리지를 표시할 것인지, 혹은, 양자 모두에 기초하여 커버리지를 표시할 것인지를 설정할 수 있다. 입력부(미도시)는 사용자 입력을 수신하여 커버리지 표시부(120)에 전달하고, 커버리지 표시부(120)는 사용자 입력에 기초하여 다양한 방식으로 커버리지를 표시할 수 있을 것이다.
도 4 내지 6은 본 발명에 따른 테스트 커버리지 표시 방법에 있어서 다양한 실시예에 따른 표시 방법을 각각 도시한다.
먼저, 도 4는 단계값에 따라 색상을 N단계로 구분하여 표시한 실시예를 도시한다. 도 4에 도시된 바와 같이, 커버리지 표시부(120)는 7단계로 색상을 구분해서 커버리지를 표시할 수도 있고, 10단계로 색상을 구분해서 커버리지를 표시할 수도 있다. 사용자는 커버리지에 표시된 색상에 기초하여 코드의 어느 부분이 더 많이 테스트되고 있는지를 즉각적으로 확인할 수 있다.
이때, 색상 종류나 색상 구분 단계는 기설정될 수도 있지만, 입력부(미도시)를 통한 사용자 입력을 통해 선택될 수도 있을 것이다.
도 5는 단계값에 따라 상이한 아이콘을 표시하는 방식을 도시한다. 도 5에서는 날씨와 관련된 아이콘을 각 라인의 일측에 표시하였으나, 날씨 외의 다른 아이콘으로 변경될 수 있을 것이다. 사용자는 각 라인의 일측에 표시된 아이콘에 기초하여 코드의 어느 부분이 더 많이 테스트되고 있는지를 즉각적으로 확인할 수 있다.
도 6은 특정값 이상의 테스트가 진행된 코드라인에 대해서만 식별가능하도록 표시하는 방식을 도시한다. 커버리지 표시부(120)는 단계값이 기설정된 한계값 이상인 코드 라인에 대해서만 상이한 방식으로 표시할 수 있다. 기설정된 한계값 이상인 코드 라인에 대해서는 도 6에서와 같이 점선이나 실선 등으로 표시할 수도 있으나, 위에서 언급한 바와 같이 색상이나 아이콘 등을 이용하여 표시하는 것도 가능하다.
도 4 내지 6에 도시된 다양한 표시 방법은, 전체 코드를 대상으로 한 순위 뿐만 아니라 함수 내 코드를 대상으로 한 순위에 대해서 개별적으로 적용될 수 있으며, 이에 따라 사용자는 전체 코드 및 함수 내 코드에 있어서 코드의 어느 부분이 더 많이 테스트되고 있는지, 일정 횟수(한계값) 이상 테스트된 코드 라인이 어디에 위치하는지를 즉각적으로 확인할 수 있다.
위에서 설명한 다양한 실시예에 따른 테스트 커버리지 표시 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상술한 다양한 실시예에 따른 테스트 커버리지 표시 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 테스트 커버리지 표시 장치
110: 테스트 수행부
120: 저장부
130: 커버리지 표시부

Claims (14)

  1. 소스 코드에 대한 코드 커버리지를 측정하는 테스트 수행부;
    상기 테스트 수행부에서 측정된 코드 커버리지에 기초하여, 각 코드 라인별 커버 횟수의 누적 합계를 계산하고, 상기 누적 합계에 대응하는 단계값을 각 코드 라인별로 계산하여 저장하는 저장부; 및
    상기 저장부에 저장된 단계값에 기초하여 각 코드 라인을 상이하게 표시하는 커버리지 표시부;를 포함하는 테스트 커버리지 표시 장치.
  2. 제1항에 있어서,
    상기 저장부는, 전체 코드를 대상으로 하는 기준과 함수 내 코드를 대상으로 하는 기준으로 구분하여 최대 누적횟수와 최소 누적횟수를 계산하고, 상기 최대 누적횟수와 최소 누적횟수에 기초하여 상기 단계값을 계산하는 테스트 커버리지 표시 장치.
  3. 제2항에 있어서,
    상기 단계값은 아래 수식에 의하여 계산되는 테스트 커버리지 표시 장치.
    단계값=floor((N/최대 누적횟수)*해당 라인의 누적횟수)
    (여기서, N은 단계값의 총 개수)
  4. 제1항에 있어서,
    상기 단계값은 총 N개의 단계를 포함하며,
    상기 커버리지 표시부는 상기 N개의 단계 각각에 대하여 상이한 색상을 부여하고, 각각의 코드 라인의 단계값에 대응하는 색상을 상기 코드 라인에 표시하는 테스트 커버리지 표시 장치.
  5. 제1항에 있어서,
    상기 단계값은 총 N개의 단계를 포함하며,
    상기 커버리지 표시부는 상기 N개의 단계 각각에 대하여 상이한 아이콘을 부여하고, 각각의 코드 라인의 단계값에 대응하는 아이콘을 상기 코드 라인에 표시하는 테스트 커버리지 표시 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 단계값에 대응하는 색상 또는 아이콘을 사용자로부터 지정받기 위한 입력부;를 더 포함하는 테스트 커버리지 표시 장치.
  7. 제1항에 있어서,
    상기 커버리지 표시부는 상기 단계값이 기설정된 한계값 이상인 코드 라인에 대해서만 상이하게 표시하는 테스트 커버리지 표시 장치.
  8. 소스 코드에 대한 코드 커버리지를 측정하는 테스트 수행 단계;
    상기 테스트 수행부에서 측정된 코드 커버리지에 기초하여, 각 코드 라인별 커버 횟수의 누적 합계를 계산하고, 상기 누적 합계에 대응하는 단계값을 각 코드 라인별로 계산하여 저장하는 저장 단계; 및
    상기 저장된 단계값에 기초하여 각 코드 라인을 상이하게 표시하는 커버리지 표시 단계;를 포함하는 테스트 커버리지 표시 방법.
  9. 제8항에 있어서,
    상기 저장 단계는, 전체 코드를 대상으로 하는 기준과 함수 내 코드를 대상으로 하는 기준으로 구분하여 최대 누적횟수와 최소 누적횟수를 계산하고, 상기 최대 누적횟수와 최소 누적횟수에 기초하여 상기 단계값을 계산하는 테스트 커버리지 표시 방법.
  10. 제9항에 있어서,
    상기 단계값은 아래 수식에 의하여 계산되는 테스트 커버리지 표시 방법.
    단계값=floor((N/최대 누적횟수)*해당 라인의 누적횟수)
    (여기서, N은 단계값의 총 개수)
  11. 제8항에 있어서,
    상기 단계값은 총 N개의 단계를 포함하며,
    상기 커버리지 표시 단계는 상기 N개의 단계 각각에 대하여 상이한 색상을 부여하고, 각각의 코드 라인의 단계값에 대응하는 색상을 상기 코드 라인에 표시하는 테스트 커버리지 표시 방법.
  12. 제8항에 있어서,
    상기 단계값은 총 N개의 단계를 포함하며,
    상기 커버리지 표시 단계는 상기 N개의 단계 각각에 대하여 상이한 아이콘을 부여하고, 각각의 코드 라인의 단계값에 대응하는 아이콘을 상기 코드 라인에 표시하는 테스트 커버리지 표시 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 단계값에 대응하는 색상 또는 아이콘을 사용자로부터 지정받는 입력 단계;를 더 포함하는 테스트 커버리지 표시 방법.
  14. 제8항에 있어서,
    상기 커버리지 표시 단계는 상기 단계값이 기설정된 한계값 이상인 코드 라인에 대해서만 상이하게 표시하는 테스트 커버리지 표시 방법.
KR1020210141791A 2021-10-22 2021-10-22 테스트 커버리지 표시 장치 및 표시 방법 KR102603330B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210141791A KR102603330B1 (ko) 2021-10-22 2021-10-22 테스트 커버리지 표시 장치 및 표시 방법
PCT/KR2022/006552 WO2023068467A1 (ko) 2021-10-22 2022-05-09 테스트 커버리지 표시 장치 및 표시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210141791A KR102603330B1 (ko) 2021-10-22 2021-10-22 테스트 커버리지 표시 장치 및 표시 방법

Publications (2)

Publication Number Publication Date
KR20230057711A true KR20230057711A (ko) 2023-05-02
KR102603330B1 KR102603330B1 (ko) 2023-11-17

Family

ID=86059244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210141791A KR102603330B1 (ko) 2021-10-22 2021-10-22 테스트 커버리지 표시 장치 및 표시 방법

Country Status (2)

Country Link
KR (1) KR102603330B1 (ko)
WO (1) WO2023068467A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102618417B1 (ko) * 2023-05-10 2023-12-28 쿠팡 주식회사 정보를 제공하는 전자 장치의 동작 방법 및 이를 지원하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069922A (ja) * 2007-09-11 2009-04-02 Renesas Technology Corp カバレッジ測定方法、コンピュータ読み取り可能な記録媒体、及びデータ処理システム
JP2012027911A (ja) * 2010-07-20 2012-02-09 General Electric Co <Ge> アプリケーション・コードの実行表示用のシステムおよび方法
US9292419B1 (en) * 2013-06-04 2016-03-22 The Mathworks, Inc. Code coverage and confidence determination
US20180232296A1 (en) * 2015-03-18 2018-08-16 New Iron Group, Inc. Diagnostic Tool and Method for Efficient Software Development
KR102165037B1 (ko) 2018-12-03 2020-10-13 슈어소프트테크주식회사 코드 커버리지 측정 장치, 코드 커버리지 측정 장치의 코드 커버리지 측정 방법, 및 코드 커버리지 측정 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8719789B2 (en) * 2011-03-07 2014-05-06 International Business Machines Corporation Measuring coupling between coverage tasks and use thereof
KR101519450B1 (ko) * 2013-07-12 2015-05-12 한국과학기술원 멀티스레드 프로그램에 대한 테스트 커버리지 정보를 이용한 자동 테스트 생성 장치, 방법 및 기록매체
US10956309B2 (en) * 2018-09-28 2021-03-23 Atlassian Pty Ltd. Source code management systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069922A (ja) * 2007-09-11 2009-04-02 Renesas Technology Corp カバレッジ測定方法、コンピュータ読み取り可能な記録媒体、及びデータ処理システム
JP2012027911A (ja) * 2010-07-20 2012-02-09 General Electric Co <Ge> アプリケーション・コードの実行表示用のシステムおよび方法
US9292419B1 (en) * 2013-06-04 2016-03-22 The Mathworks, Inc. Code coverage and confidence determination
US20180232296A1 (en) * 2015-03-18 2018-08-16 New Iron Group, Inc. Diagnostic Tool and Method for Efficient Software Development
KR102165037B1 (ko) 2018-12-03 2020-10-13 슈어소프트테크주식회사 코드 커버리지 측정 장치, 코드 커버리지 측정 장치의 코드 커버리지 측정 방법, 및 코드 커버리지 측정 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102618417B1 (ko) * 2023-05-10 2023-12-28 쿠팡 주식회사 정보를 제공하는 전자 장치의 동작 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
WO2023068467A1 (ko) 2023-04-27
KR102603330B1 (ko) 2023-11-17

Similar Documents

Publication Publication Date Title
US7100152B1 (en) Software analysis system having an apparatus for selectively collecting analysis data from a target system executing software instrumented with tag statements and method for use thereof
US8966449B2 (en) Test case pattern matching
US8676723B2 (en) Automated test system based on three-dimensional application software framework and a method thereof
US8627287B2 (en) Prioritizing quality improvements to source code
US8601436B2 (en) Simulation-based interface testing automation system and method for robot software components
US7681180B2 (en) Parameterized test driven development
US7503037B2 (en) System and method for identifying bugs in software source code, using information from code coverage tools and source control tools to determine bugs introduced within a time or edit interval
US9535823B2 (en) Method and apparatus for detecting software bugs
CN106776338B (zh) 一种测试方法、装置及服务器
KR20060045568A (ko) 프로그램 계측 동안의 프로브 최적화 방법 및 시스템
US10936474B2 (en) Software test program generation
CN110196801B (zh) 一种基于代码覆盖率的测试方法及装置
CN113626326B (zh) 一种基于图像识别的拖拽式的零代码前端自动化测试系统
GB2460407A (en) Using coverage data to choose software regression tests
KR102603330B1 (ko) 테스트 커버리지 표시 장치 및 표시 방법
US20090217259A1 (en) Building Operating System Images Based on Applications
US20080127061A1 (en) Method and system for editing code
KR102042996B1 (ko) 탐침을 이용하지 않는 코드 커버리지 측정 방법 및 장치, 그리고 이를 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
KR102117905B1 (ko) 신뢰성 테스트 결과 관리 데이터 자동 생성 방법 및 신뢰성 테스트 결과 관리 데이터 자동 생성 장치
US20060101418A1 (en) Apparatus and method for automatic generation of event profiles in an integrated development environment
KR101251792B1 (ko) 디버거를 이용한 임베디드 소프트웨어 단위 테스트 자동화 장치 및 방법
US7546589B2 (en) Semi-automated desk checking system and method
KR101160482B1 (ko) 테스트 스윗 생성 장치 및 방법
Bluemke et al. Dataflow testing of java programs with dfc
CN116932414B (zh) 界面测试用例的生成方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant