KR102226204B1 - 시험용 테스트 케이스 생성 장치 및 방법 - Google Patents

시험용 테스트 케이스 생성 장치 및 방법 Download PDF

Info

Publication number
KR102226204B1
KR102226204B1 KR1020190068926A KR20190068926A KR102226204B1 KR 102226204 B1 KR102226204 B1 KR 102226204B1 KR 1020190068926 A KR1020190068926 A KR 1020190068926A KR 20190068926 A KR20190068926 A KR 20190068926A KR 102226204 B1 KR102226204 B1 KR 102226204B1
Authority
KR
South Korea
Prior art keywords
test
signal
test case
machine learning
value
Prior art date
Application number
KR1020190068926A
Other languages
English (en)
Other versions
KR20200141853A (ko
Inventor
박재관
김택규
김장열
Original Assignee
한국원자력연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력연구원 filed Critical 한국원자력연구원
Priority to KR1020190068926A priority Critical patent/KR102226204B1/ko
Publication of KR20200141853A publication Critical patent/KR20200141853A/ko
Application granted granted Critical
Publication of KR102226204B1 publication Critical patent/KR102226204B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 기계학습 알고리즘의 시험용 테스트 케이스 생성 장치는, 복수의 테스트 케이스 중 하나를 선택하는 선택부와-상기 복수의 테스트 케이스의 각각은 복수의 신호들로 구성됨-, 상기 선택된 테스트 케이스의 제1 신호에 대해 변조를 수행하는 신호 변조부와, 상기 제1 신호에 대해 상기 변조가 수행된 테스트 케이스를 복수의 테스트용 기계학습 알고리즘에 각각 입력하여 상기 복수의 테스트용 기계학습 알고리즘 각각을 구성하는 뉴런의 활성화된 부분을 식별하고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값을 획득하는 테스트 수행부와, 상기 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하는 경우, 상기 변조된 제1 신호를 포함하는 테스트 케이스를 시험용 테스트 케이스로 결정하는 테스트 케이스 결정부를 포함할 수 있다.

Description

시험용 테스트 케이스 생성 장치 및 방법 {APPARATUS AND METHOD FOR GENERATING TEST CASE FOR ESTIMATION}
본 발명은 기계학습 알고리즘의 성능 평가를 위한 시험용 테스트 케이스 생성 장치 및 방법에 관한 것이다.
딥러닝(Deep Learning)과 같은 기계학습 알고리즘 분야의 기술이 발전함에 따라, 인공지능 비서, 자율주행자동차 등과 같은 다양한 산업분야에서 기계학습 알고리즘 분야의 기술이 활용되고 있다. 그러나 최근, 자율주행 자동차의 사고로 인한 사망사건이 발생하면서 기계학습 알고리즘의 안전성(또는 신뢰성)을 향상시키기 위한 방안에 대한 연구가 활발하게 진행되고 있다.
종래에는 소프트웨어의 로직의 제어 흐름(Control Flow)과 관련하여 모든 소스코드의 흐름을 탐색하는 방식으로 테스트를 수행하고 이를 통해 안전성을 확보하였다. 그러나, 기계학습 알고리즘의 경우 내부가 블랙박스처럼 되어 있어 제어 흐름을 인위적으로 구분할 수가 없어 종래의 방식을 이용하여서는 안전성 확보가 불안정하였다.
이러한 문제를 해소하기 위해, 자동차 분야에서는 기계학습 알고리즘의 안전성 평가를 위한 시험을 위해, 기계학습 알고리즘의 생성 당시 준비한 초기 이미지(image) 데이터들에 대해 이동, 회전, 확대/축소 등의 방법으로 다양한 테스트 케이스를 생성하고 이를 이용하여 기계학습 알고리즘에 대한 시험을 수행하고 있다.
그러나, 이와 같은 테스트 케이스의 생성은 기계학습 알고리즘에 대한 입력의 형태가 이미지인 경우에는 적용될 수 있으나, 그 이외의 입력, 예를 들면 신호의 경우에는 적용이 어렵다. 따라서, 기계학습 알고리즘의 입력의 형태가 신호인 경우에 시험을 수행하기 위한 테스트 케이스를 확보하기 위한 방안이 요구된다.
한국등록특허 제10-1825880호 (2018년 01월 30일 등록)
본 발명이 해결하고자 하는 과제는, 신호를 입력으로 하는 기계학습 알고리즘의 시험을 위해, 기계학습 알고리즘의 입력 형태를 고려하여 시험용 테스트 케이스를 생성하는 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 기계학습 알고리즘의 시험용 테스트 케이스 생성 장치는, 복수의 테스트 케이스 중 하나를 선택하는 선택부와-상기 복수의 테스트 케이스의 각각은 복수의 신호들로 구성됨-, 상기 선택된 테스트 케이스의 제1 신호에 대해 변조를 수행하는 신호 변조부와, 상기 제1 신호에 대해 상기 변조가 수행된 테스트 케이스를 복수의 테스트용 기계학습 알고리즘에 각각 입력하여 상기 복수의 테스트용 기계학습 알고리즘 각각을 구성하는 뉴런의 활성화된 부분을 식별하고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값을 획득하는 테스트 수행부와, 상기 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하는 경우, 상기 변조된 제1 신호를 포함하는 테스트 케이스를 시험용 테스트 케이스로 결정하는 테스트 케이스 결정부를 포함할 수 있다.
본 발명의 일 실시예에 따른 기계학습 알고리즘의 시험용 테스트 케이스 생성 방법은, 복수의 신호들로 각각 구성되는 복수의 테스트 케이스 중 하나를 선택하는 단계와, 상기 선택된 테스트 케이스의 제1 신호에 대해 변조를 수행하는 단계와, 상기 제1 신호에 대해 상기 변조가 수행된 상기 선택된 테스트 케이스를 복수의 테스트용 기계학습 알고리즘에 각각 입력하여 상기 복수의 테스트용 기계학습 알고리즘 각각을 구성하는 뉴런의 활성화된 부분을 식별하고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값을 획득하는 단계와, 상기 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하는 경우, 상기 변조된 제1 신호를 포함하는 상기 선택된 테스트 케이스를 시험용 테스트 케이스로 결정하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 시험용 테스트 케이스 생성 장치 및 방법은, 기계학습 알고리즘의 입력 형태를 고려하여 시험용 테스트 케이스를 생성함으로써, 기계학습 알고리즘의 입력이 신호 형태인 경우에도 시험을 수행하기 위한 테스트 케이스를 행성할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 방법의 흐름의 예를 개념적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 방법의 흐름의 다른 예를 개념적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 장치의 기능적 구성의 예를 도시한다.
도 4는 본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 방법의 각 단계의 흐름을 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 방법의 흐름의 예를 개념적으로 도시한다. 구체적으로, 도 1은 단일 신호, 즉 하나의 신호에 대해서 변조가 수행된 시험용 테스트 케이스를 생성하는 방법의 흐름을 나타낸다.
도 1을 참조하면, 시험하고자 하는 대상이 되는 기계학습 알고리즘의 형성 당시에 개발자에 의해 생성되었던 복수의 테스트 케이스가 존재할 수 있다(1). 테스트 케이스는, 기계학습 알고리즘의 자가 시험을 위한 것으로, 기계학습 알고리즘이 신호에 대한 것인 경우, 기지정된 복수의 신호의 집합일 수 있다.
여기서, 만약 기계학습 알고리즘이 특정 기기를 분석하기 위한 것인 경우, 복수의 신호는 특정 기기로부터 획득가능한 형태의 신호로, 특정 기기의 동작 상태 또는 계측 값을 나타내는 것일 수 있다.
이와 같이, 복수의 신호의 집합으로 구성되는 테스트 케이스는 복수개가 존재할 수 있으며, 각 테스트 케이스에 포함되는 신호의 적어도 일부는 서로 상이하도록 구성될 수 있다.
시험용 테스트 케이스의 생성을 위해서 복수의 테스트 케이스 중 하나의 테스트 케이스가 선택될 수 있다(2). 선택된 테스트 케이스는 상술한 바와 같이 복수의 신호를 포함할 수 있는데, 이 중에서 변조를 일으킬 대상 신호(이하, '제1 신호')가 선정될 수 있다(3).
선정된 제1 신호에 대해서는 기지정된 방식에 기초하여 변조가 수행될 수 있다(4). 구체적으로, 선정된 제1 신호에 대해 소정 값만큼 증가시키거나 감소시켜 제1 신호에 대한 변조를 수행할 수 있다. 예를 들어, 제1 신호가 1의 값을 가지고 소정 값이 0.2인 경우, 변조된 제1 신호는 0.8 또는 1.2의 값을 가지도록 나타날 수 있다.
제1 신호에 대해 변조가 수행되면, 변조가 수행된 제1 신호를 포함하는 테스트 케이스, 즉, 제1 신호에만 변조가 일어난 선택된 테스트 케이스가 테스트용 기계학습 알고리즘에 입력될 수 있다(5). 테스트용 기계학습 알고리즘은 도시된 바와 같이 복수개가 존재할 수 있다. 이러한 경우, 변조된 제1 신호를 포함하는 테스트 케이스는 테스트용 기계학습 알고리즘 각각에 모두 입력될 수 있다.
복수의 테스트용 기계학습 알고리즘은 각각은 서로 다른 복수의 알고리즘으로, 시험의 대상이 되는 기계학습 알고리즘과 동일한 목적을 가지되 시험의 대상이 되는 기계학습 알고리즘과는 상이한 구조를 가지도록 미리 형성된 것일 수 있다.
만약, 시험의 대상이 되는 기계학습 알고리즘이 DNN(deep neural network)인 경우, 복수의 테스트용 기계학습 알고리즘도 동일한 목적을 가지는 DNN일 수 있다.
복수의 테스트용 기계학습 알고리즘에 테스트 케이스가 입력됨에 기초하여 복수의 테스트용 기계학습 알고리즘 각각으로부터 출력값을 획득하고, 복수의 테스트용 기계학습 알고리즘 각각을 구성하는 뉴런 중 입력에 의해 활성화되는 뉴런을 식별할 수 있다(6).
구체적으로, 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 동일한지(또는 그 차이가 소정 범위 이내인지) 여부가 판별될 수 있다.
여기서, 뉴런의 활성화된 부분에 대한 값은 뉴런 커버리지에 대한 값을 의미할 수 있다. 예를 들어, 입력에 의해 새롭게 활성화된 뉴런이 몇 개인지 또는 입력에 의해 새롭게 활성화되는 뉴런의 영역의 범위를 나타내는 값일 수 있다.
만약, 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 동일한 경우, 변조된 제1 신호를 포함하는 테스트 케이스를 적합한 시험용 테스트 케이스로 결정하여 저장할 수 있다(7).
그 후 다시 대상 신호를 선정하는 과정(3)부터 테스트 케이스를 저장하는 과정(7)까지가 반복하여 수행될 수 있다. 반복하여 수행될 때 선정되는 대상 신호는 기선정된 대상 신호, 예를 들어 테스트 케이스에 포함되는 복수의 신호 중 제1 신호를 제외한 나머지 신호(예: 제2 신호) 중에서 선정될 수 있다.
한편, 제2 신호의 선정 후 그에 대해 변조를 수행하는 과정과는 별개로, 변조된 제1 신호에 대해 추가 변조를 수행(4)하고, 이를 다시 테스트용 기계학습 알고리즘에 입력(5)한 후 출력 및 뉴런 커버리지를 평가(6)하는 과정을 반복할 수 있다.
추가 변조는 예를 들어, 최초의 제1 신호 1에 대해 최초 변조된 제1 신호가 0.8인 경우, 추가 변조된 신호의 값은 동일한 만큼 신호 값을 증가시키거나 감소시킨 것, 즉, 0.6이 될 수 있다.
이러한 추가 변조는 제1 신호가 가질수 있는 범위를 벗어나기 전까지 수행될 수 있다. 즉, 제1 신호가 존재가능한 범위가 0 내지 1인 경우, 추가 변조는 최초 변조(0.8) 이후 4회 더 수행(0.6, 0.4, 0.2, 0)되어 제1 신호의 값이 0을 가지고 그에 대해 출력값 및 뉴런 커버리지가 평가될 때까지 수행될 수 있다.
또한, 대상 신호로 제2 신호가 선정된 후에는 제2 신호에 대해서도 제1 신호와 동일한 원리로 변조가 반복하여 수행되고 테스트 케이스의 적합여부가 평가될 수 있음을 물론이다.
이와 같은 변조에 기초하여, 테스트 케이스에 대해 무수히 많은 시험용 테스트 케이스가 획득될 수 있다. 예를 들어, 제1 신호에 대해 최초 변조 및 1회 추가 변조가 모두 적합한 테스트 케이스로 선정되면, 2개의 시험용 테스트 케이스가 확보될 수 있고, 제2 신호에 대해 최초 변조, 1회 추가 변조, 2회 추가 변조가 모두 시험용 테스트 케이스로 선정되면, 3개의 추가적인 시험용 테스트 케이스가 더 확보될 수 있다. 이러한 경우, 1개의 테스트 케이스에 대해 총 5개의 시험용 테스트 케이스가 확보될 수 있다.
도 2는 본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 방법의 흐름의 예를 개념적으로 도시한다. 구체적으로, 도 2는 다중 신호, 즉 적어도 2개 이상의 신호에 대해서 변조가 수행된 시험용 테스트 케이스를 생성하는 방법의 흐름을 나타낸다. 이하에서는 도 1과 중복되는 내용은 생략하겠다.
도 2를 참조하면, 다중 신호에 대한 시험용 테스트 케이스를 생성하기 위해 도 1의 과정을 통해 적합한 것으로 확정된 시험용 테스트 케이스를 이용할 수 있다(7). 즉, 단일 신호에 대한 시험용 테스트 케이스를 이용할 수 있다.
서로 다른 단일 신호에 대한 시험용 테스트 케이스 중 적어도 2개를 선정하여, 선정된 각각의 테스트 케이스에 포함되는 변조된 신호를 포함하는 테스트 케이스를 생성할 수 있다. 예를 들어, 1회 변조된 제1 신호에 대한 제1 테스트 케이스와 1회 변조된 제2 신호에 대한 제2 테스트 케이스를 선정한 경우, 1회 변조된 제1 신호와 1회 변조된 제2 신호를 포함하는 테스트 케이스를 생성할 수 있다. 이와 같이 변조된 2개 이상의 신호를 포함하는 테스트 케이스는 다중 신호에 대한 테스트 케이스로 지칭될 수 있다.
다중 신호에 대한 테스트 케이스에 대해서는 도 1에서 실시한 것과 같은 테스트용 기계학습 알고리즘에 테스트 케이스를 각각 입력(5)하여, 그 출력값과 뉴런 커버리지를 평가(6)할 수 있다.
평가에 의해 적합한 것으로 확인된 경우 적합한 테스트 케이스로서 다중 신호 테스트 케이스를 시험용 테스트 케이스로 확정하여 저장(9)할 수 있다. 즉, 출력값이 서로 동일(또는 그 차이가 소정 범위 이내)하거나 뉴런 커버리지에 대한 값이 소정 값 이상인 경우, 테스트 케이스가 적합한 것으로 평가될 수 있고, 이에 따라, 테스트용 기계학습 알고리즘에 입력한 테스트 케이스를 적합한 시험용 테스트 케이스로 확정할 수 있다.
도 3은 본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 장치의 기능적 구성의 예를 도시한다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 이하 도 3의 설명에서는 도 1 또는 도 2와 중복되는 내용은 생략될 수 있다.
도 3을 참조하면, 시험용 테스트 케이스 생성 장치(100)는 선택부(110), 신호 변조부(120), 테스트 수행부(130), 테스트 케이스 결정부(140)를 포함할 수 있다.
선택부(110)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 신호 변조부(120), 테스트 수행부(130), 테스트 케이스 결정부(140)에 있어서도 같다.
선택부(110)는 복수의 테스트 케이스 중 하나를 선택할 수 있다. 복수의 테스트 케이스는, 본 발명에서 평가하고자 하는 기계학습 알고리즘의 성능 평가와 관련하여 기계학습 알고리즘의 형성 단계에서 미리 생성된 데이터 및 기계학습 알고리즘의 학습을 위해 미리 생성된 데이터의 적어도 일부를 포함할 수 있다.
복수의 테스트 케이스 각각은 복수의 신호들로 구성될 수 있고, 기계학습 알고리즘이 특정 기기와 관련된 경우 복수의 신호는 특정 기기의 동작 상태 또는 특정 기기에 대해 계측한 값을 나타내는 신호일 수 있다.
신호 변조부(120)는 선택된 테스트 케이스의 제1 신호에 대해 변조를 수행할 수 있다. 신호 변조부(120)는 선택부(110)에 의해 선택된 테스트 케이스를 구성하는 복수의 신호 중 제1 신호를 선택할 수 있으며, 선택된 제1 신호에 대해 변조를 수행할 수 있다.
신호에 대한 변조는 다양한 방식으로 수행될 수 있다. 예를 들어, 신호는 특정 값을 가지는 형태로 나타나기 때문에, 신호가 나타내는 값을 음의 방향 또는 양의 방향으로 소정 값만큼 증가시키는 방식, 즉 소정 값만큼 증가시키거나 감소시키는 방식으로 변조를 수행할 수 있다.
다만, 이러한 변조는 변조가 수행될 신호(예: 제1 신호)가 가질 수 있는 범위 내에서 수행될 수 있다. 예를 들어, 제1 신호가 0이상 1이하의 값으로만 나타나는 신호인 경우, 변조를 위해 신호 값의 증가 또는 감소는 0이상 1이하의 범위 내에서만 수행될 수 있다.
이와 같은 변조에 기초하여 신호 변조부(120)는 선택된 제1 신호에 대해서 변조가 수행되고 복수의 신호 중 제1 신호를 제외한 나머지 신호는 원래의 값이 유지된 상태인 테스트 케이스를 형성될 수 있다.
경우에 따라, 최초의 변조 이후에도 추가적인 변조가 가능한 경우가 존재할 수 있다. 예를 들어, 제1 신호의 값(제1 신호가 가질수 있는 범위: 0이상 1이하)이 0.2이고, 신호를 변조시키기 위해 0.3만큼 증가 변조가 수행되어 제1 신호가 0.5의 값을 가지게 되는 경우, 0.3만큼 추가적으로 변조가 수행되어 제1 신호가 0.8의 값을 가지더라도 제1 신호는 가능 범위내에 존재할 수 있다. 이러한 경우에는, 제1 신호의 최초 변조에 대해 후술하는 테스트 수행부(130) 및 테스트 케이스 결정부(140)의 동작이 수행된 후 다시 신호 변조부(120)의 동작의 재수행 및 그 후의 동작들이 반복될 수 있다.
테스트 수행부(130)는 제1 신호에 대해 변조가 수행된 테스트 케이스를 복수의 테스트용 기계학습 알고리즘에 각각 입력하여 상기 복수의 테스트용 기계학습 알고리즘 각각을 구성하는 뉴런의 활성화된 부분을 식별하고 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값을 획득할 수 있다.
테스트용 기계학습 알고리즘 각각은, 기계학습 알고리즘의 학습에 이용된 데이터를 이용하여 학습이 수행됨에 기초하여 기계학습 알고리즘과 동일한 목적을 가지되 상이한 구조를 가지도록 형성되는 것일 수 있다.
구체적으로 설명하면, 테스트 수행부(130)는 제1 신호에 대해 변조가 수행된 테스트 케이스를 복수의 테스트용 기계학습 알고리즘 각각에 입력시킬 수 있다. 이에 따라, 테스트 수행부(130)는 테스트용 기계학습 알고리즘의 동작이 수행되며 활성화되는 뉴런에 대한 정보를 획득할 수 있고, 또한 테스트용 기계학습 알고리즘의 동작 수행에 따른 출력값을 획득할 수 있다.
테스트 케이스 결정부(140)는 테스트 수행부를 통해 획득되는 정보를 이용하여 변조된 제1 신호를 포함하는 테스트 케이스를 시험용 테스트 케이스로 선정하여 저장할지 여부를 결정할 수 있다.
구체적으로, 테스트 케이스 결정부(140)는 복수의 테스트용 기계학습 알고리즘 각각의 뉴런의 활성화된 부분에 대한 값이 소정 값 이상인지 여부와 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하는지 여부를 판별할 수 있다.
만약, 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하는 경우, 테스트 케이스 결정부(140)는 제1 신호를 포함하는 테스트 케이스를 시험용 테스트 케이스로 결정할 수 있다.
만약, 뉴런의 활성화된 부분에 대한 값이 소정 값 미만이거나 또는 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하지 않는 경우, 테스트 케이스 결정부(140)는 제1 신호를 포함하는 테스트 케이스를 시험용 테스트 케이스로 결정하지 않을 수 있다.
도시하지는 않았으나, 시험용 테스트 케이스 생성 장치(100)에는 데이터베이스가 포함되어 있을 수 있고, 시험용 테스트 케이스로 결정된 테스트 케이스는 이러한 데이터베이스에 저장될 수 있다. 이와 같이, 제1 신호에 대해서만 변조가 수행된 테스트 케이스는 단일 신호에 대한 테스트 케이스일 수 있다.
한편, 상술한 바와 같이, 제1 신호에 변조가 한 번의 변조가 수행되었음에도 불구하고, 또다시 변조의 수행이 가능한 경우에는 신호 변조부(120)에 의해 추가적으로 변조가 수행될 수 있다. 이러한 변조는 추가 변조로 지칭될 수 있다. 추가 변조는 제1 신호가 나타낼 수 있는 값의 범위(예: 0이상 1이하) 내에 변조된 신호 값이 존재하는 한 반복적으로 수행될 수 있다.
만약, 제1 신호에 대해 추가 변조가 2번 더 수행가능한 경우, 각각의 추가 변조가 수행될 때마다 테스트 수행부(130) 및 테스트 케이스 결정부(140)의 동작이 이루어질 수 있다.
경우에 따라, 신호 변조부(120)는 소정 값만큼의 추가적인 증가나 감소가 상기 제1 신호가 나타낼 수 있는 값의 범위를 초과하는 경우 상기 제1 신호의 변조를 종료할 수 있다. 그 후 신호 변조부(120)는 선택된 테스트 케이스의 제1 신호와는 다른 신호인 제2 신호에 대해 제2 신호가 나타낼 수 있는 값의 범위 내에서 변조를 수행함에 기초하여 테스트 수행부(130)의 동작과 테스트 케이스 결정부(140)의 동작이 수행되도록 할 수 있다.
즉, 선택부(110)에 의해 선택된 테스트 케이스에 포함되는 복수의 신호 각각에 대해 상술한 변조, 테스트용 기계학습 알고리즘을 통한 테스트 수행, 뉴런의 활성 정도와 출력값의 비교를 통한 테스트 케이스 결정, 추가 변조 등의 동작이 이루어질 수 있다. 이에 따라, 하나의 테스트 케이스에 대해 다양한 시험용 테스트 케이스가 확보될 수 있다.
도 4는 본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 방법의 각 단계의 흐름을 도시한다. 또한, 도 4에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
도 4를 참조하면, 선택부(110)는 복수의 신호들로 각각 구성되는 복수의 테스트 케이스 중 하나를 선택할 수 있다(S110). 즉, 선택된 테스트 케이스에는 복수의 신호, 예를 들면 제1 신호, 제2 신호, 제3 신호 등이 포함되어 있을 수 있다.
신호 변조부(120)는 선택된 테스트 케이스의 제1 신호에 대해 변조를 수행할 수 있다(S120). 제1 신호는 임의로 선택된 하나의 신호, 즉 단일 신호일 수 있다. 구체적으로, 신호 변조부(120)는 제1 신호의 값을 소정 값만큼 증가시키거나 감소시킴에 기초하여 변조를 수행할 수 있으며, 이 때 변조되는 신호의 값의 범위는 제1 신호가 나타낼 수 있는 값의 범위에 상응할 수 있다. 이에 따라, 제1 신호가 변조된 상태의 테스트 케이스가 확보될 수 있다
테스트 수행부(130)는 제1 신호에 대해 변조가 수행된 테스트 케이스를 복수의 테스트용 기계학습 알고리즘에 각각 입력하여 복수의 테스트용 기계학습 알고리즘 각각을 구성하는 뉴런의 활성화된 부분(뉴런 커버리지)을 식별하고 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값을 획득할 수 있다(S130).
예를 들어, 테스트 수행부(130)는 테스트 케이스의 입력에 의해 활성화되는 뉴런의 영역 또는 개수 등을 식별할 수 있으며, 또한 테스트 케이스의 입력에 의해 복수의 테스트용 기계학습 알고리즘 각각을 통해 출력값을 획득할 수 있다.
테스트 케이스 결정부(140)는 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하는 경우, 변조된 제1 신호를 포함하는 선택된 테스트 케이스를 시험용 테스트 케이스로 결정할 수 있다(S140).
경우에 따라, 제1 신호에 대해 추가 변조가 가능한 경우에는, 상술한 S120 내지 S140의 과정을 반복하여 수행할 수 있다. 만약, 제1 신호에 대해 소정 값만큼의 추가적인 증가나 감소가 제1 신호가 나타낼 수 있는 값의 범위를 초과하는 경우 제1 신호의 변조를 종료할 수 있다.
제1 신호의 변조가 종료되면, 선택된 테스트 케이스의 제2 신호에 대해서 제1 신호에 대한 것과 상응하는 동작을 수행하여 시험용 테스트 케이스를 결정할 수 있다(S150). 이와 같은 방식으로, 선택된 테스트 케이스에 포함된 복수의 신호 각각에 대해 테스트를 수행하여 시험용 테스트 케이스를 결정할 수 있다.
상술한 과정을 복수의 테스트 케이스 각각에 대해 수행하게 되면, 복수의 테스트 케이스에 포함되는 하나의 신호 별로 변조가 수행됨에 기초하여 생성된 무수히 많은 시험용 테스트 케이스가 생성될 수 있다. 이러한 시험용 테스트 케이스는 단일 신호에 대해 변조가 일어난, 단일 신호에 대한 시험용 테스트 케이스일 수 있다.
경우에 따라, 시험용 테스트 케이스 생성 장치(100)는 보다 많은 시험용 테스트 케이스의 생성을 위해 하나의 신호 별로 변조가 수행된 단일 신호에 대한 시험용 테스트 케이스뿐 아니라, 2개 이상의 신호, 즉, 다중 신호에 대해 변조가 수행된 시험용 테스트 케이스를 확보할 수도 있다.
구체적으로 설명하면, 시험용 테스트 케이스 생성 장치(100)는 변조 또는 추가변조가 일어난 제1 신호와 제2 신호를 포함하는 테스트 케이스를 생성하여 2개 이상의 신호에 대해 변조가 수행된 테스트 케이스를 생성하고, 뉴런의 활성화된 부분을 식별하고 출력값을 획득함에 기초하여 시험용 테스트 케이스 여부를 결정할 수 있다(S160). 즉, 이러한 테스트 케이스에 대해서도 상술한 S130, S140, S150과 같은 동작이 반복하여 수행됨으로써 시험용 테스트 케이스가 결정될 수 있다.
결과적으로, 복수의 테스트 케이스 각각 별로 단일 신호 및 다중 신호에 대한 다양한 시험용 테스트 케이스가 생성될 수 있다.
본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 장치(100) 및 방법은, 기존에 형성되어 있던 복수의 테스트 케이스 각각에 포함되는 신호의 적어도 일부를 변조하여 다양한 시험용 테스트 케이스를 생성할 수 있다. 이와 같이 다양한 시험용 테스트 케이스가 생성되면, 기계학습 알고리즘에 대해 많은 테스트를 수행할 수 있어 기계학습 알고리즘의 안전성(또는 신뢰성)을 확보할 수 있다.
본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 장치(100) 및 방법은, 변조된 신호를 포함하는 테스트 케이스를 테스트용 기계학습 알고리즘에 입력하여 뉴런의 활성도에 따라 적합한 시험용 테스트 케이스를 결정함으로써, 높은 뉴런 커버리지를 확보하기 위한 테스트 케이스를 생성할 수 있다. 즉, 생성된 테스트 케이스를 이용하여 기계학습 알고리즘을 평가하면, 보다 효과적으로 기계학습 알고리즘의 안전성(또는 신뢰성) 평가가 수행될 수 있다.
본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 장치(100) 및 방법은 변조된 신호를 포함하는 테스트 케이스를 복수의 테스트용 기계학습 알고리즘 각각에 입력하여 서로 다른 출력값이 나오면 이를 시험용 테스트 케이스에서 제외시킴에 기초하여 오류 발생이 가능한 테스트 케이스가 제외되도록 하여, 시험용 테스트 케이스의 정확성을 확보할 수 있다.
본 발명의 일 실시예에 따른 시험용 테스트 케이스 생성 장치(100) 및 방법은, 입력의 형태가 신호임을 고려하여 신호 값에 대한 변조를 수행하여 테스트 케이스를 생성함으로써, 신호를 입력으로 가지는 다양한 기계학습 알고리즘에 대해 시험용 테스트 케이스가 생성되도록 할 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 시험용 테스트 케이스 생성 장치
110: 선택부
120: 신호 변조부
130: 테스트 수행부
140: 테스트 케이스 결정부

Claims (10)

  1. 기계학습 알고리즘의 시험용 테스트 케이스 생성 장치에 있어서,
    복수의 테스트 케이스 중 하나를 선택하는 선택부-상기 복수의 테스트 케이스의 각각은 복수의 신호들로 구성됨-;
    상기 선택된 테스트 케이스의 제1 신호에 대해 변조를 수행하는 신호 변조부;
    상기 제1 신호에 대해 상기 변조가 수행된 테스트 케이스를 복수의 테스트용 기계학습 알고리즘에 각각 입력하여 상기 복수의 테스트용 기계학습 알고리즘 각각을 구성하는 뉴런의 활성화된 부분을 식별하고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값을 획득하는 테스트 수행부; 및
    상기 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하는 경우, 상기 변조된 제1 신호를 포함하는 테스트 케이스를 시험용 테스트 케이스로 결정하는 테스트 케이스 결정부를 포함하고,
    상기 신호 변조부는,
    상기 제1 신호가 나타낼 수 있는 값의 범위 내에서, 상기 제1 신호의 값을 소정 값만큼 증가시키거나 감소시킴에 기초하여 상기 변조를 수행하고,
    상기 변조된 제1 신호를 포함하는 테스트 케이스가 시험용 테스트 케이스로 결정되면, 상기 제1 신호가 나타낼 수 있는 값의 범위 내에서 상기 제1 신호의 값을 상기 소정 값만큼 추가적으로 증가시키거나 감소시켜 상기 변조된 제1 신호에 대해 추가 변조를 수행하는
    시험용 테스트 케이스 생성 장치.
  2. 제1항에 있어서,
    상기 기계학습 알고리즘은,
    특정 기기의 동작 상태 또는 상기 특정 기기에 대해 계측한 값을 나타내는 신호를 입력으로 받아 상기 특정 기기가 정상인지 여부 또는 상기 특정 기기를 포함하는 시설의 상태를 판별하도록 학습된 기계학습 알고리즘인
    시험용 테스트 케이스 생성 장치.
  3. 제2항에 있어서,
    상기 복수의 테스트용 기계학습 알고리즘 각각은,
    상기 기계학습 알고리즘의 학습에 이용된 데이터를 이용하여 학습이 수행됨에 기초하여, 상기 기계학습 알고리즘과 동일한 목적을 가지되 상이한 구조를 가지도록 형성되는
    시험용 테스트 케이스 생성 장치.
  4. 제1항에 있어서,
    상기 복수의 테스트 케이스는,
    상기 기계학습 알고리즘의 성능 평가와 관련하여 상기 기계학습 알고리즘의 형성 단계에서 미리 생성된 데이터 및 상기 기계학습 알고리즘의 학습을 위해 미리 생성된 데이터의 적어도 일부를 포함하는
    시험용 테스트 케이스 생성 장치.
  5. 제1항에 있어서,
    상기 테스트 케이스 결정부는,
    상기 복수의 기계학습 알고리즘 각각의 출력값 중 어느 하나가 상이한 경우 또는 상기 뉴런의 활성화된 부분이 소정 값 미만인 경우, 상기 변조된 제1 신호를 포함하는 상기 선택된 테스트 케이스를 상기 시험용 테스트 케이스에서 제외시키는
    시험용 테스트 케이스 생성 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 테스트 수행부 및 상기 테스트 케이스 결정부는,
    상기 추가 변조된 제1 신호를 포함하는 테스트 케이스에 대해 각각의 동작을 반복하여 수행하는
    시험용 테스트 케이스 생성 장치.
  8. 제7항에 있어서,
    상기 신호 변조부는,
    상기 소정 값만큼의 추가적인 증가나 감소가 상기 제1 신호가 나타낼 수 있는 값의 범위를 초과하는 경우 상기 제1 신호의 변조를 종료하고, 상기 선택된 테스트 케이스의 제2 신호에 대해 상기 제2 신호가 나타낼 수 있는 값의 범위 내에서 변조를 수행하고,
    상기 테스트 수행부 및 상기 테스트 케이스 결정부는,
    상기 제2 신호에 대해서 상기 제1 신호에 대해 수행했던 동작을 반복하여 수행하는
    시험용 테스트 케이스 생성 장치.
  9. 제8항에 있어서,
    상기 테스트 케이스 결정부는,
    상기 제1 신호 및 상기 제2 신호 각각에 대해 변조 또는 추가 변조가 수행되어 상기 시험용 테스트 케이스로 결정된 각각의 테스트 케이스를 결합하여, 상기 제1 신호와 상기 제2 신호가 모두 변조 또는 추가 변조된 테스트 케이스를 획득하고,
    상기 획득된 테스트 케이스는,
    상기 테스트 수행부의 상기 복수의 테스트용 기계학습 알고리즘에 입력되어 상기 테스트 수행부의 동작이 수행됨에 기초하여 상기 테스트 케이스 결정부에 의해 상기 시험용 테스트 케이스의 결정 여부가 결정되는
    시험용 테스트 케이스 생성 장치.
  10. 복수의 신호들로 각각 구성되는 복수의 테스트 케이스 중 하나를 선택하는 단계-상기 복수의 테스트 케이스의 각각은 복수의 신호들로 구성됨-;
    상기 선택된 테스트 케이스의 제1 신호에 대해 변조를 수행하는 단계;
    상기 제1 신호에 대해 상기 변조가 수행된 상기 선택된 테스트 케이스를 복수의 테스트용 기계학습 알고리즘에 각각 입력하여 상기 복수의 테스트용 기계학습 알고리즘 각각을 구성하는 뉴런의 활성화된 부분을 식별하고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값을 획득하는 단계; 및
    상기 뉴런의 활성화된 부분에 대한 값이 소정 값 이상이고 상기 복수의 테스트용 기계학습 알고리즘 각각에 대한 출력값이 서로 대응하는 경우, 상기 변조된 제1 신호를 포함하는 상기 선택된 테스트 케이스를 시험용 테스트 케이스로 결정하는 단계를 포함하고,
    상기 변조를 수행하는 단계는,
    상기 제1 신호가 나타낼 수 있는 값의 범위 내에서, 상기 제1 신호의 값을 소정 값만큼 증가시키거나 감소시킴에 기초하여 상기 변조를 수행하는 단계; 및
    상기 변조된 제1 신호를 포함하는 테스트 케이스가 시험용 테스트 케이스로 결정되면, 상기 제1 신호가 나타낼 수 있는 값의 범위 내에서 상기 제1 신호의 값을 상기 소정 값만큼 추가적으로 증가시키거나 감소시켜 상기 변조된 제1 신호에 대해 추가 변조를 수행하는 단계를 포함하는
    시험용 테스트 케이스 생성 방법.
KR1020190068926A 2019-06-11 2019-06-11 시험용 테스트 케이스 생성 장치 및 방법 KR102226204B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190068926A KR102226204B1 (ko) 2019-06-11 2019-06-11 시험용 테스트 케이스 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190068926A KR102226204B1 (ko) 2019-06-11 2019-06-11 시험용 테스트 케이스 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200141853A KR20200141853A (ko) 2020-12-21
KR102226204B1 true KR102226204B1 (ko) 2021-03-11

Family

ID=74090491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190068926A KR102226204B1 (ko) 2019-06-11 2019-06-11 시험용 테스트 케이스 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102226204B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672506B (zh) * 2021-08-06 2023-06-13 中国科学院软件研究所 基于机器学习的动态比例测试用例排序选择方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101864286B1 (ko) * 2017-11-10 2018-07-04 주식회사 한컴엠디에스 머신 러닝 알고리즘을 이용하는 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8217677B2 (en) * 2007-07-30 2012-07-10 Manta Test Systems Inc. System and method for modulating a power supply in a relay test system
CN102148648B (zh) * 2010-02-05 2015-04-01 中兴通讯股份有限公司 多天线系统中的空间射频性能测试方法及系统
KR20160122376A (ko) * 2015-04-14 2016-10-24 엘에스산전 주식회사 인버터 성능 검사 장치
KR101825880B1 (ko) 2017-06-01 2018-02-06 강원대학교산학협력단 소프트웨어 컴포넌트 기반 로봇 시스템을 위한 입/출력 기반 테스트 케이스 생성 방법 및 이를 수행하는 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101864286B1 (ko) * 2017-11-10 2018-07-04 주식회사 한컴엠디에스 머신 러닝 알고리즘을 이용하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김한진 외, ‘딥 LSTM 신경망을 이용한 전파신호의 변조 인식’, 한국정보과학회, 2018.12.*

Also Published As

Publication number Publication date
KR20200141853A (ko) 2020-12-21

Similar Documents

Publication Publication Date Title
Dam et al. Explainable software analytics
CN113590456A (zh) 用于检查技术系统的方法和设备
KR20210002018A (ko) 뉴럴 네트워크의 글로벌 불확실성을 추정하기 위한 방법
Braiek et al. Deepevolution: A search-based testing approach for deep neural networks
KR102226204B1 (ko) 시험용 테스트 케이스 생성 장치 및 방법
JP2021534498A (ja) 機械学習を使用してバイナリからソースコードを識別するためのシステム及び方法
Hond et al. Verifying artificial neural network classifier performance using dataset dissimilarity measures
CN111936976A (zh) 用于引导测试用例生成的启用人工智能的输出空间探索
Park et al. Unraveling the arc puzzle: Mimicking human solutions with object-centric decision transformer
JP6860943B2 (ja) コンボリューション演算の無欠性を検証するためにテストパターンを生成し、前記テストパターンの中から最適化テストパターンを選択して、極度の状況で欠陥許容能力及び揺れに強靭な性質を向上させる方法及び装置
Mori et al. Incremental estimation of project failure risk with Naive Bayes classifier
Rapos et al. Using fuzzy logic and symbolic execution to prioritize UML-RT test cases
US11416371B2 (en) Method and apparatus for evaluating and selecting signal comparison metrics
US20210342238A1 (en) Method and device for testing a technical system
Kocaoglu Characterization and learning of causal graphs with small conditioning sets
KR20210010769A (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
Ferreira Towards safety monitoring of ML-based perception tasks of autonomous systems
KR102631468B1 (ko) 동적 그래프 신경망 기반 전장 위협 분석 방법 및 장치
US20240020571A1 (en) Feature-aware open set multi-model for trajectory classification in mobile edge devices
Iliashov Synthesis of algorithms for recognition of vulnerabilities in web resources using signatures of fuzzy linguistic features
Borg Check for updates The AIQ Meta-Testbed: Pragmatically Bridging Academic AI Testing
CN116615764A (zh) 用于验证所实现的神经网络的方法
Pelc Analysis of Policy-Based Systems with AGILE Policies Using Petri Nets
KR20230082092A (ko) 딥러닝 적대적 예제의 신뢰성 검증 방법 및 장치
US20210026999A1 (en) Method and device for validating a simulation of a technical system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right