KR102102418B1 - 인공지능 솔루션을 테스트하는 장치 및 방법 - Google Patents

인공지능 솔루션을 테스트하는 장치 및 방법 Download PDF

Info

Publication number
KR102102418B1
KR102102418B1 KR1020180158398A KR20180158398A KR102102418B1 KR 102102418 B1 KR102102418 B1 KR 102102418B1 KR 1020180158398 A KR1020180158398 A KR 1020180158398A KR 20180158398 A KR20180158398 A KR 20180158398A KR 102102418 B1 KR102102418 B1 KR 102102418B1
Authority
KR
South Korea
Prior art keywords
algorithm
data
input data
output data
output
Prior art date
Application number
KR1020180158398A
Other languages
English (en)
Inventor
고재운
Original Assignee
주식회사 티포러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 티포러스 filed Critical 주식회사 티포러스
Priority to KR1020180158398A priority Critical patent/KR102102418B1/ko
Application granted granted Critical
Publication of KR102102418B1 publication Critical patent/KR102102418B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273—Test methods

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

인공지능 솔루션의 입력 데이터, 알고리즘 및 출력 데이터를 각각 테스트하고, 테스트 결과를 평가하는 장치가 개시된다. 본 발명의 장치는, 학습이 완료된 모델의 각 알고리즘을 저장하여 이식받고, 그룹별 상기 입력 데이터를 입력받고, 이식된 알고리즘의 처리에 의해 상기 출력 데이터를 출력하여 테스트 처리하는 처리부; 처리부로 입력 데이터를 입력하는 입력부; 상기 처리부로부터 상기 출력 데이터를 출력받는 출력부; 테스트 처리가 수행된 각 알고리즘별 상기 출력 데이터를 평가하여 최고 성능의 출력 데이터를 산출한 학습 데이터 그룹, 입력 데이터 그룹 및 알고리즘의 조합 정보를 생성하는 평가부를 포함한다.

Description

인공지능 솔루션을 테스트하는 장치 및 방법{Apparatus and method for testing artificail intelligence solution}
본 발명은 인공지능 솔루션의 테스트 기술로서, 인공지능 솔루션을 구성하는 입력 데이터, 인공지능 알고리즘 및 출력 데이터를 테스트하는 장치 및 방법에 관한 것이다.
인공지능 솔루션은 인식, 판단, 예측, 로봇 등 다양한 분야에 적용되고 있다. 인공지능 솔루션은 사람의 감각, 지식, 감정 등으로 감지, 판단, 행동하는 것을 기계화 모델링하는 것으로부터 출발한다. 기계화 모델링을 통해 인공지능 솔루션은 사람의 능력을 넘어선 초 방대한 데이터를 처리하여 최적의 결과를 출력할 수 있다.
인공지능 솔루션은 입력 데이터, 인공지능 알고리즘 및 출력 데이터를 포함하여 구성된다. 인공지능 알고리즘은 입력 데이터를 학습하여 완성된 학습 모델을 생성한다. 이후 인공지능 알고리즘의 완성된 학습 모델은 입력 데이터를 입력받고 인공지능 처리에 의해 출력 데이터를 출력한다.
여기서, 인공지능 알고리즘은 다양하며, 각 알고리즘의 특성에 따라 문제 해결 분야가 달라지고, 솔루션의 성능이 달라진다. 참고로, MNIST 숫자 이미지를 인식하는 솔루션이라 가정할 때, CNN(Convolutional Neural Network), GAN(Generative Adversarial Network), RNN(Recurrent Neural Network) 등의 다양한 인공지능 알고리즘이 적용될 수 있다.
인공지능 솔루션을 특정 문제 분야에 적용하기 위해서는 인공지능 솔루션의 학습 및 진화를 통해 최적화가 요구된다. 예를 들면, 다양한 인공지능 알고리즘 중에서 어떤 알고리즘으로 엔진을 구현할 것인지, 정해진 알고리즘에 특화된 학습을 위한 학습(입력) 데이터는 어떤 패턴을 가지며 얼마만큼 필요한 것인지, 정해진 학습 데이터 및 알고리즘에 대비하여 출력 데이터의 출력은 얼마나 효율적인 것인지 등의 최적화가 요구된다. 학습 및 진화가 수반되는 최적화 과정을 통해, 상기 문제 분야에서 최적의 입력 데이터, 인공지능 알고리즘 및 출력 데이터가 생성될 수 있다.
한국등록특허 10-1168896(2012.07.20)
본 발명은 상기와 같은 종래 기술에 착안되어 창출된 것으로서, 인공지능 솔루션의 입력 데이터, 인공지능 알고리즘 및 출력 데이터를 테스트하고, 테스트 진행시마다 이들의 관계를 평가하여 인공지능 솔루션의 장단점을 파악하고, 파악된 장단점에 의해 피드백을 받아 최적의 인공지능 솔루션으로 진화할 수 있게 하는 장치 및 방법을 제공하는 것을 목적으로 한다.
일 측면에 따른, 인공지능 솔루션의 입력 데이터, 알고리즘 및 출력 데이터를 테스트하는 장치는, 학습이 완료된 모델의 각 알고리즘을 저장하여 이식받고, 그룹별 상기 입력 데이터를 입력받아 상기 이식된 알고리즘의 처리에 의해 상기 출력 데이터를 출력하여 테스트 처리하는 처리부; 상기 처리부로 상기 입력 데이터를 입력하는 입력부; 상기 처리부로부터 상기 출력 데이터를 출력받는 출력부; 상기 테스트 처리가 수행된 각 알고리즘별 상기 출력 데이터를 평가하여 최고 성능의 출력 데이터를 산출한 학습 데이터 그룹, 입력 데이터 그룹 및 알고리즘의 조합 정보를 생성하는 평가부를 포함한다.
상기 평가부는, 상기 조합 정보의 결과가 반영되어 성능 개선된 각 알고리즘의 출력 데이터를 평가한다.
상기 평가부는, 개별 그룹의 입력 데이터에 대한 각 알고리즘별 출력 데이터를 평가하여 성능별 순위의 각 알고리즘의 평가 결과를 생성한다.
상기 최고 성능의 출력 데이터를 출력한 상기 알고리즘의 입력 데이터는 상기 알고리즘의 학습 데이터가 된다.
상기 장치는, 상기 출력 데이터를 입력받는 제어부; 및 상기 제어부로부터 제어 신호를 입력받아 동작되는 동작 장치를 더 포함한다.
상기 평가부는, 상기 동작 장치의 동작의 성능이 보장되는 각 알고리즘을 평가한다.
상기 평가부는, 상기 처리부의 처리 시간이 적을수록 또한 상기 동작 장치가 정확히 동작될수록 각 알고리즘을 고성능으로 평가한다.
다른 측면에 따른, 장치가 인공지능 솔루션의 입력 데이터, 알고리즘 및 출력 데이터를 테스트하는 방법은, 학습이 완료된 모델의 각 알고리즘을 저장하여 이식받는 단계; 이식된 알고리즘에 그룹별 상기 입력 데이터를 입력하는 단계; 테스트 처리를 위해, 상기 알고리즘의 처리에 의해 출력 데이터를 출력하는 단계; 및 테스트 처리된 각 알고리즘별 상기 출력 데이터를 평가하여 최고 성능의 출력 데이터를 산출한 학습 데이터 그룹, 입력 데이터 그룹 및 알고리즘의 조합 정보를 생성하여 평가하는 단계를 포함한다.
본 발명의 일 측면에 따르면, 학습 완료된 각 알고리즘의 학습 모델을 이식받아 입력 데이터에 대해 출력 데이터를 출력하고, 출력 결과를 평가하는 것으로 인공지능 솔루션의 최적의 학습 데이터, 입력 데이터, 알고리즘 및 출력 결과의 조합을 제공할 수 있다.
교육용의 테스트 장치로 이용될 경우, 각 입력 데이터의 그룹이 동일한 학습 모델에 대해 어떤 출력 결과를 내는지 학습할 수 있고, 동일 입력 데이터에 대해 서로 다른 알고리즘을 경쟁시켜 알고리즘별 출력 결과에 대해 학습할 수 있다.
산업용의 테스트 장치로 이용될 경우, 개발 단계에서 테스트 처리를 반복 진행함으로써 최적 조합의 학습 데이터, 입력 데이터, 알고리즘 및 출력 결과의 조합에 기반된 솔루션 설계가 가능하다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술한 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예에 따른 테스트 장치의 개략적인 구성도이다.
도 2는 도 1의 테스트 장치가 복수의 입력 데이터 그룹에 대해 복수의 알고리즘으로 테스트하는 개략적 예시도이다.
도 3은 도 1의 테스트 장치에서 각 알고리즘의 테스트 출력 결과가 학습 데이터 또는 알고리즘을 진화를 위해 피드백되는 예시도이다.
도 4는 도 1의 테스트 장치에서 각 알고리즘의 테스트 출력 결과로 동작 장치를 제어한 결과가 알고리즘 변경/선택을 위해 피드백되는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 테스트 방법의 개략적인 순서도이다.
도 6a 및 도 6b는 도 1의 테스트 장치가 8개의 제 1학습 데이터를 학습한 후 인식 결과를 출력하는 예시도이다.
도 7a 및 도 7b는 도 1의 테스트 장치가 29개의 제 2학습 데이터를 학습한 후 인식 결과를 출력하는 예시도이다.
도 8a 및 도 8c는 도 8a의 입력 데이터에 대해 도 6a 및 도 7a의 각 학습 모델로 인식 결과를 출력하는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시예에 따른 테스트 장치(100)의 개략적인 구성도이다.
본 발명의 일 실시예에 따른 테스트 장치(100)는 통신부(111), 입력부(121), 알고리즘 처리부(123), 출력부(125), 제어부(131), 동작 장치(133) 및 평가부(151)를 포함하여 구성된다.
테스트 장치(100)는 메모리와 프로세서로 구성된 적어도 하나 이상의 컴퓨팅 장치이다. 각 구성부(111~151)들은 독립된 컴퓨팅 장치로 구현될 수 있다. 또한, 각 구성부(131~137)들이 프로그램의 형태로 구현될 경우, 상기 프로그램은 메모리에 로딩되어 프로세서를 통해 실행될 수 있다.
상기 통신부(111)는 외부 컴퓨팅 장치와 유선 또는 무선 네트워크를 통해 데이터를 통신할 수 있다.
데이터 수신의 경우, 통신부(111)는 그룹별 입력 데이터를 수신하여 입력부(121)로 출력할 수 있다. 통신부(111)는 각 알고리즘을 수신하여 알고리즘 처리부(123)에 출력할 수 있다. 또한, 동작 장치(133)의 제어를 위한 각종 제어 정보를 수신하여 제어부(131)에 출력할 수 있다.
데이터 송신의 경우, 출력부(125)에 출력된 알고리즘 처리부(123)의 처리 결과를 송신할 수 있다. 또한, 평가부(151)가 평가한 알고리즘 처리부(124)의 평가 결과 및 동작 장치(133)의 동작 성능의 평가 결과를 송신할 수 있다.
상기 입력부(121)는 그룹별 입력 데이터를 알고리즘 처리부(123)로 입력한다. 상기 그룹은 알고리즘 처리부(123)에서 인공 지능 기반의 처리가 요구되는 입력 데이터의 특징, 패턴 등에 따라 구분될 수 있다.
상기 알고리즘 처리부(123)는 학습이 완료된 학습 모델의 각 알고리즘을 저장하여 이식받는다. 알고리즘 처리부(123)는 입력부(121)로부터 입력받은 입력 데이터를 학습 모델에 의해 처리하여 처리 결과를 출력한다. 물론, 알고리즘 처리부(123)는 인공 지능 기반의 지식이나 경험적 정보를 기반된 각 알고리즘의 학습 모델을 통해 판단, 구분, 예측 등의 처리를 수행하므로, 입력 데이터의 품질이 고 품질일수록 고 품질의 결과를 출력할 수 있다.
따라서, 테스트 장치(100)의 사용자는 각 그룹의 입력 데이터, 각 알고리즘에 대해 테스트 처리를 수행하여 최적의 출력 데이터를 산출하는 각 그룹의 입력 데이터, 각 알고리즘을 비교할 수 있다. 또한, 상기 사용자는 평가부(151)의 평가 결과를 피드백 정보로써 고려하여, 보다 상향된 출력 데이터의 출력을 위해 각 그룹의 입력 데이터 및 각 알고리즘을 변경하는 것으로 진화시킬 수 있다.
상기 출력부(125)는 알고리즘 처리부(123)의 알고리즘에 의해 처리된 결과를 알고리즘 처리부(123)로부터 입력받고, 그 처리 결과를 제어부(131)로 출력한다.
상기 제어부(131)는 출력부(125)를 통해 입력받은 알고리즘 처리부(123)의 처리 결과를 동작 장치(133)에 요구되는 제어 신호로 컨버팅 처리하고, 처리된 제어 신호를 동작 장치(133)로 출력한다.
상기 동작 장치(133)는 제어부(131)의 제어 신호를 입력받아 대응되는 동작을 수행한다. 동작 장치(133)는 영상 출력 동작, 스피커 출력 동작, 센서 제어 동작 등 다양할 수 있으며 특별한 제한을 두지 않는다. 만약, 로봇이 상기 제어 신호를 받아 동작하는 것이라 가정하면, 상기 로봇은 동작 장치(133)에 해당된다.
상기 평가부(121)는 입력부(121)의 입력 데이터 및 알고리즘 처리부(123)의 처리 주체인 알고리즘을 출력부(125)의 출력 데이터를 근거로 성능을 평가한다. 예를 들면, 출력 데이터의 성공률에 따라 테스트 처리된 각 알고리즘의 순위를 평가 정보로써 생성할 수 있다.
또한, 평가부(121)는 최고 성능의 출력 데이터의 출력률을 산출하는 학습 데이터 그룹, 입력 데이터 그룹 및 알고리즘의 조합 정보 및 이들의 매칭 관계를 평가 정보로 생성할 수 있다.
그러면, 사용자는 평가 결과를 해석하여 최고 성능의 출력 데이터의 매칭 관계에 따라 다음번 테스트에서 이전 테스트의 최고 성능보다 더 우수한 성능의 출력 데이터를 생성하기 위해 학습 데이터, 입력 데이터 및 알고리즘으로 변경할 수 있다. 테스트 과정에서 수반된 학습 데이터 및 입력 데이터는 각 알고리즘의 완성된 학습 모델을 위해 그 종류나 패턴별로 새롭게 학습 데이터로 분류되어 새롭게 학습될 수 있다. 새롭게 학습된 각 알고리즘의 학습 모델은 이전 학습된 학습 모델로부터 진화된 것이다. 즉, 테스트가 반복될수록 학습 데이터, 입력 데이터 및 알고리즘은 진화를 거듭하여 최적의 성능을 내는 인공지능 솔루션에 도달한다.
도 2는 도 1의 테스트 장치(100)가 복수의 입력 데이터 그룹(211 ~219)에 대해 복수의 알고리즘(231 ~ 239)으로 테스트하는 개략적 예시도이다.
입력부(121)가 할당된 각 그룹의 입력 데이터(211 ~ 219)를 알고리즘 처리부(1231)에 입력한다. 여기서, 알고리즘 처리부(123)는 각 알고리즘(231 ~ 239)이 할당된다. 알고리즘 처리부(123)는 할당된 각 입력 데이터(211 ~ 219)에 대해 각 알고리즘(231 ~239)으로 처리하여 처리 결과를 출력부(125)로 출력하면, 출력부(125)는 각 그룹의 출력 데이터(251 ~ 259)를 출력할 수 있다.
여기서, 1회 테스트의 인스턴스는 그룹 1 입력 데이터(211)에 대해 제 1알고리즘(231)의 학습 모델 엔진으로 처리하여 그룹 1 출력 데이터(251)를 출력하는 것이다.
도 3은 도 1의 테스트 장치에서 각 알고리즘의 테스트 출력 결과가 학습 데이터 또는 알고리즘을 진화를 위해 피드백되는 예시도이다.
입력 데이터와 알고리즘의 관계가 1 : N(N>=2)이라 가정하면, 평가부(151)는 동일한 입력 데이터에 대해 복수의 알고리즘이 경합하여 보다 나은 출력 데이터를 생성하는 N개 알고리즘을 평가한다. 즉, 출력 데이터의 평가가 수반되는 N회 테스트의 인스턴스가 반복된 후, 평가부(151)는 최고 성능의 출력 데이터를 생성하는 알고리즘의 순위 정보를 생성할 수 있다. 이후, 순위 정보 등과 같은 평가 정보는 피드백 정보가 된다. 장치(100)의 사용자는 N회 테스트의 평가 결과에 해당되는 상기 피드백 정보를 고려하여 입력 데이터의 변경을 통해 N+1회 테스트를 다시 시작하거나 알고리즘의 변경을 통해 N+1회 테스트를 다시 시작할 수 있다. 물론, 사용자는 피드백 정보를 고려할 때, 입력 데이터의 변경 및 알고리즘의 변경 중에서 적어도 하나 이상의 변경을 통해 N+1회 테스트를 다시 시작할 수 있다.
만약, 입력 데이터와 알고리즘의 상기 관계가 N : N이라 가정하면, 평가부(151)는 N X N회 테스트를 결과에 대응되는 피드백 정보를 이용하여 현재 결과의 최적 성능을 더욱 개선하기 위해 입력 데이터 변경 및 알고리즘의 변경을 고려할 수 있다.
도 4는 도 1의 테스트 장치(100)에서 각 알고리즘의 테스트 출력 결과로 동작 장치(133)를 제어한 결과가 알고리즘 변경/선택을 위해 피드백되는 예시도이다.
출력부(125)가 알고리즘 처리부(123)의 출력 데이터에 해당되는 처리 결과를 입력받고, 제어부(131)를 통해 동작 장치(133)를 제어할 수 있다. 동작 장치(133)는 LED(401), 모터(402) 및 센서(403) 등일 수 있으며 그 종류나 수량에 제한을 두지 않는다.
여기서, 평가부(151)는 동작 장치(133)의 동작 성능을 고려하여 각 알고리즘(231 ~ 239)을 평가할 수 있다. 동작 장치(133)는 동작의 정확성 및 입력부(121)의 입력 데이터가 입력된 후 알고리즘 처리부(123)가 처리 결과를 출력하는 처리 시간에 따라 성능이 평가된다. 그러면, 평가부(151)는 알고리즘 처리부(123)의 처리 시간이 적을수록 고성능의 인공지능 솔루션으로 평가할 수 있고, 동작 장치(133)의 정확성이 보장될수록 고성능의 인공지능 솔루션으로 평가할 수 있다.
평가부(151)가 동작 장치의 성능 대비 평가 결과를 생성하면, 그 평가 결과를 반영하여 최적 인공지능 솔루션의 알고리즘을 선택하거나 변경하는 것이 가능하다.
상기 선택의 경우, 반드시 최고 성능의 출력 데이터를 산출한 알고리즘이 최적의 알고리즘이 되는 것은 아니다. 예를 들면, 최고 성능의 알고리즘이 처리 시간이 길 경우, 동작 장치(133)의 동작 반응 속도를 길게 할 수 있기 때문이다. 따라서, 최적 성능은 동작 장치(133)의 동작 반응 속도 및 정확성을 보장하기 위해 최고 성능의 알고리즘보다 후순위 성능의 알고리즘이 선택되어야 한다.
또한, 상기 변경의 경우, 동작 반응 속도 및 정확성이 보다 개선 또는 보장되기 위해 각 알고리즘의 변경이 요구될 수 있다.
상기에서와 같이, 테스트 장치(121)는 테스트의 인스턴스를 거듭할수록 생성된 평가 결과가 피드백 정보로 반영되어 인공지능 솔루션을 진화시킬 수 있다. 따라서, 본 발명의 테스트 장치는 교육용 또는 산업용으로 이용될 수 있다.
상기 교육용으로 이용될 경우, 테스트 장치(100)에서 각 알고리즘의 테스트 출력 결과로 알고리즘의 특징 및 장, 단점이 파악되고, 파악된 단점을 제거하고 장점을 개선시키기 위해 사용자는 알고리즘을 새롭게 코딩하여 진화시킨다. 그러면, 사용자는 테스트 장치(100)를 교육 교재로 활용하여 학습 데이터, 입력 데이터, 알고리즘, 출력 데이터 및 동작 장치(133)의 동작 제어의 전 과정에 대해 교육용으로 시뮬레이션할 수 있다.
예를 들면, 알고리즘이 CNN, GNN, RNN의 3 종류가 가정하면, 사용자는 CNN 기반의 알고리즘을 테스트하여 이미지의 사물 인식 분야, 음성 인식 분야의 인공지능 솔루션을 체험 학습할 수 있다. 사용자는 GAN 기반의 알고리즘을 테스트하여 생성자와 감별자의 두 신경망 모델의 경쟁이 요구되는 인공지능 솔루션을 체험 학습할 수 있다. 또한, 사용자는 RNN 기반의 알고리즘을 테스트하여 순서대로 처리해야 하는 시퀀스 데이터의 학습에 기반된 음성 인식 및 자연어 처리 등의 인공지능 솔루션을 체험 학습할 수 있다.
또한, 산업용으로 이용될 경우, 테스트 장치(100)는 개발자들에 의해 해당 솔루션의 최적 솔루션을 설계하는데 이용될 수 있다. 개발자들이 해결하는 솔루션 분야에서 개발 중인 다양한 알고리즘을 테스트 장치(100)에서 테스트함으로써 최적의 학습 데이터, 입력 데이터, 알고리즘, 제어 장치(133)의 동작 제어가 최적의 솔루션 설계가 가능하다.
도 5는 본 발명의 일 실시예에 따른 테스트 방법의 개략적인 순서도이다.
테스트 장치(100)에 학습이 완료된 학습 모델의 알고리즘이 저장되어 이식된다(S501). 해당 문제 해결 분야에 특화된 학습 모델의 알고리즘 엔진은 입력 데이터에 대해 출력 데이터를 출력한다.
테스트 실행을 위해, 테스트 장치(100)는 입력 데이터를 학습 모델에 입력한다(S511). 학습 모델은 대응되는 알고리즘 엔진으로 입력 데이터를 처리하고 출력 데이터를 출력한다(S513). 테스트 장치는 학습 모델로부터 출력된 출력 데이터를 평가한다(S514). 평가 정보는 성공률로 정렬된 알고리즘 순위와 각 알고리즘에 매칭된 입력 데이터 그룹의 패턴 정보일 수 있다. 평가 정보는 보다 개선된 출력 데이터의 결과를 얻기 위해 피드백 정보로써 제공될지 여부가 판단된다(S515).
피드백 정보가 활용될 경우, 사용자는 학습 데이터 변경, 입력 데이터 변경, 알고리즘 변경 중에서 적어도 하나 이상을 수행하고, 새롭게 변경된 알고리즘의 이식을 위해 상기 단계(S501)가 재개된다.
반복된 테스트 결과의 평가에 의해 피드백 절차가 완료된 이후로, 테스트 장치(100)는 학습 모델의 출력 결과를 이용하여 동작 장치(133)의 제어를 테스트하고, 테스트 결과에 해당되는 동작 장치(133)의 성능을 평가한다(S521). 동작 장치의(133) 성능은 처리 시간 및 정확성으로 평가되고, 이 평가 결과에 의해 최적 인공지능 솔루션의 선택 또는 변경이 수반됨을 이미 위에서 설명한 바 있다.
이하에서는 숫자 인식의 솔루션이라 가정하여, 테스트 장치(100)의 처리 예시가 설명된다.
도 6a 및 도 6b는 도 1의 테스트 장치(100)가 8개의 제 1학습 데이터를 학습한 후 인식 결과를 출력하는 예시도이다.
도 6a를 참조하면, 숫자 "8"을 인식하는 솔루션을 위해, 학습 데이터 8개가 예시된다. 8개의 학습 데이터로 완료된 학습 모델이 테스트 장치(100)에 이식된다.
도 6b를 참조하면, 3개의 입력 데이터에 대해 3회 테스트가 처리되어 인식률 "62.93%", "70.66%" 및 "25.34%"의 평균에 해당되는 52.97%의 성공률(인식률)이 평가된다. 여기서, "25.34%"의 성공률을 가진 3번째 테스트는 "7"로 인식된 오류 "52.38%"의 해결이 요구된다는 피드백 정보를 테스트 장치(100)가 생성할 수 있다. 그러면, 생성된 피드백 정보에 의해 사용자는 이번 테스트에서 이 "52.38%"의 오류 해결을 위해, 학습 데이터의 변경이나 알고리즘의 변경이 필요함을 알게 된다.
도 7a 및 도 7b는 도 1의 테스트 장치(100)가 29개의 제 2학습 데이터를 학습한 후 인식 결과를 출력하는 예시도이다. 참고로, 도 6a 내지 도 7b의 알고리즘은 동일한 알고리즘이라 가정한다.
도 7a를 참조하면, 숫자 "8"을 인식하는 솔루션을 위해, 학습 데이터 29개가 예시된다. 29개의 학습 데이터로 완료된 학습 모델이 테스트 장치(100)에 이식된다. 그러면, 도 7a 및 도 7b의 알고리즘은 도 6a 및 도 6b의 알고리즘과 동일하지만, 도 7a 및 도 7b의 완성된 학습 모델은 도 6a 및 도 6b의 학습 모델과 상이하다.
도 6a 및 도 6b의 테스트의 입력 데이터와 동일한 입력 데이터가 도 7a 및 도 7b에서 입력되는 테스트에서, 인식률은 "89.83", "85.79%" 및 "46.70"의 평균에 해당되는 74.1%의 성공률이 평가된다. 이 74.1%의 성공률은 도 6a 및 도 6b의 테스트에서 발생된 피드백 정보를 기반으로 사용자가 학습 데이터를 변경하여 52.97%의 도 6a 및 도 6b의 평균 성공률로부터 개선된 성공률이다. 또한, 도 6a 및 도 6b에서 발생된 상기 "52.38%"의 오류가 제거됨을 알 수 있다.
도 8a 및 도 8c는 도 8a의 입력 데이터에 대해 도 6a 및 도 7a의 각 학습 모델로 인식 결과를 출력하는 예시도이다.
도 8a를 참조하면, 키보드 위에 하얀색 배경의 용지에 기재된 "8"의 입력 데이터가 예시된다.
도 8b를 참조하면, 도 8a의 입력 데이터가 도 6a 및 도 6b의 테스트의 학습 모델에 입력되어 성공률 "55.16%"가 예시된다.
도 8c를 참조하면, 도 8a의 입력 데이터가 도 7a 및 도 7b의 테스트의 학습 모델에 입력되어 성공률 "35.78%"가 예시된다.
테스트 장치(100)에서 각각 평가된 상기 "55.16%" 및 "35.78%"를 해석해 보면, 오히려 8개 학습 데이터를 가진 도 6a 및 도 6b의 학습 모델이 29개를 학습한 도 7a 및 도 7b의 학습 모델보다 성능이 우수함을 알 수 있다. 그 이유로써, 도 6a 및 도 6b에서 보다 다양한 배경을 갖는 8개 학습 데이터로 인해 성공률이 높아졌음을 알 수 있다.
이때, 사용자는 도 8a 및 도 8c의 테스트 결과에 대해, 학습 데이터를 변경하여 새롭게 학습된 학습 모델로 변경할 것인지 또는 다양한 배경의 인식을 위해 알고리즘의 새롭게 코딩하여 변경할 것인지를 선택할 수 있다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
100 : 테스트 장치 111 : 통신부
121 : 입력부 123 : 알고리즘 처리부
125 : 출력부 131 : 제어부
133 : 동작 장치 151 : 평가부

Claims (14)

  1. 인공지능 솔루션의 입력 데이터, 알고리즘 및 출력 데이터를 테스트하는 장치에 있어서,
    학습이 완료된 모델의 복수의 알고리즘을 저장하여 이식받고, 패턴에 따라 구분된 복수의 그룹의 입력 데이터를 입력받아 상기 이식된 복수의 알고리즘의 처리에 의해 상기 출력 데이터를 출력하여 테스트 처리하는 처리부;
    상기 처리부로 상기 복수의 그룹의 입력 데이터를 입력하는 입력부;
    상기 처리부로부터 상기 출력 데이터를 출력받는 출력부;
    상기 테스트 처리가 수행된 각 알고리즘별 상기 출력 데이터를 평가하여 최고 성능의 출력 데이터를 산출한 학습 데이터 그룹, 입력 데이터 그룹 및 알고리즘의 조합 정보를 생성하는 평가부를 포함하고,
    상기 처리부는, 각 알고리즘마다 상기 복수의 그룹의 입력 데이터를 처리하여 출력 데이터를 출력하고,
    상기 평가부는, 개별 그룹의 입력 데이터에 대한 각 알고리즘별 출력 데이터를 평가하여 성능별 순위의 각 알고리즘의 평가 결과를 생성하되, 평가 결과에 입력 데이터 그룹의 패턴 정보를 포함하며,
    각 알고리즘의 평가 후에 기존 학습 데이터와 상기 복수의 그룹의 입력 데이터는 패턴별로 새롭게 학습 데이터로 분류되어 각 알고리즘에 입력되어 학습되는 장치.
  2. 제 1항에 있어서,
    상기 평가부는,
    상기 조합 정보의 결과가 반영되어 성능 개선된 각 알고리즘의 출력 데이터를 평가하는 것을 특징으로 하는 장치.
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 출력 데이터를 입력받는 제어부; 및
    상기 제어부로부터 제어 신호를 입력받아 동작되는 동작 장치
    를 더 포함하는 것을 특징으로 하는 장치.
  6. 제 5항에 있어서,
    상기 평가부는,
    상기 동작 장치의 동작의 성능이 보장되는 각 알고리즘을 평가하는 것을 특징으로 하는 장치.
  7. 제 6항에 있어서,
    상기 평가부는,
    상기 처리부의 처리 시간이 적을수록 또한 상기 동작 장치가 정확히 동작될수록 각 알고리즘을 고성능으로 평가하는 것을 특징으로 하는 장치.
  8. 장치가 인공지능 솔루션의 입력 데이터, 알고리즘 및 출력 데이터를 테스트하는 방법에 있어서,
    학습이 완료된 모델의 복수의 알고리즘을 저장하여 이식받는 단계;
    이식된 복수의 알고리즘에, 패턴에 따라 구분된 복수의 그룹의 입력 데이터를 입력하는 단계;
    테스트 처리를 위해, 상기 복수의 알고리즘 각각의 처리에 의해 출력 데이터를 출력하는 단계; 및
    테스트 처리된 각 알고리즘별 상기 출력 데이터를 평가하여 최고 성능의 출력 데이터를 산출한 학습 데이터 그룹, 입력 데이터 그룹 및 알고리즘의 조합 정보를 생성하여 평가하는 단계를 포함하고,
    상기 출력하는 단계는, 각 알고리즘마다 상기 복수의 그룹의 입력 데이터를 처리하여 출력 데이터를 출력하고,
    상기 평가하는 단계는, 개별 그룹의 입력 데이터에 대한 각 알고리즘별 출력 데이터를 평가하여 성능별 순위의 각 알고리즘의 평가 결과를 생성하되, 평가 결과에 입력 데이터 그룹의 패턴 정보를 포함하고,
    각 알고리즘의 평가 후에 기존 학습 데이터와 상기 복수의 그룹의 입력 데이터는 패턴별로 새롭게 학습 데이터로 분류되어 각 알고리즘에 입력되어 학습되는 방법.
  9. 제 8항에 있어서,
    상기 평가하는 단계는,
    상기 조합 정보의 결과가 반영되어 성능 개선된 각 알고리즘의 출력 데이터를 평가하는 단계인 것을 특징으로 하는 방법.
  10. 삭제
  11. 삭제
  12. 제 8항에 있어서,
    출력하는 단계 이후로,
    상기 출력 데이터를 동작 장치의 제어를 위해 입력받는 단계; 및
    입력된 출력 데이터에 대응되는 제어 신호를 상기 동작 장치로 출력하여 동작시키는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  13. 제 12항에 있어서,
    상기 평가하는 단계는,
    상기 동작 장치의 동작의 성능이 보장되는 각 알고리즘을 평가하는 단계인 것을 특징으로 하는 방법.
  14. 제 13항에 있어서,
    상기 평가하는 단계는,
    상기 출력하는 단계의 처리 시간이 적을수록 또한 상기 동작 장치가 정확히 동작될수록 각 알고리즘을 고성능으로 평가하는 단계인 것을 특징으로 하는 방법.
KR1020180158398A 2018-12-10 2018-12-10 인공지능 솔루션을 테스트하는 장치 및 방법 KR102102418B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180158398A KR102102418B1 (ko) 2018-12-10 2018-12-10 인공지능 솔루션을 테스트하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180158398A KR102102418B1 (ko) 2018-12-10 2018-12-10 인공지능 솔루션을 테스트하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102102418B1 true KR102102418B1 (ko) 2020-04-20

Family

ID=70467234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180158398A KR102102418B1 (ko) 2018-12-10 2018-12-10 인공지능 솔루션을 테스트하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102102418B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102235690B1 (ko) * 2020-06-05 2021-04-02 주식회사 코딩로봇연구소 인공지능 기반의 프로그램 코드 평가 시스템 및 방법
KR20220048234A (ko) * 2020-10-12 2022-04-19 인투카오스 주식회사 Ai 알고리즘 내장 지능형 상황 인지, 학습 및 제어전략 수립과 예측이 가능한 무선검지 가스 차단장치 및 이의 운용 제어 방법
KR102631386B1 (ko) 2023-08-16 2024-01-31 메타빌드주식회사 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101168896B1 (ko) 2011-03-30 2012-08-06 홍익대학교 산학협력단 가상환경에서 로봇에 대한 모델링과 시뮬레이션 기반의 테스트 케이스 자동 생성 및 수행 방법
KR20160143512A (ko) * 2015-06-04 2016-12-14 더 보잉 컴파니 머신 러닝을 위한 진보된 분석 기반시설
JP2017049677A (ja) * 2015-08-31 2017-03-09 富士通株式会社 機械学習管理プログラム、機械学習管理装置および機械学習管理方法
JP2018514840A (ja) * 2015-03-02 2018-06-07 ブルヴェクター, インコーポレーテッドBluvector, Inc. 機械学習アプリケーション用のデジタルオブジェクトライブラリ管理システム
KR101864286B1 (ko) * 2017-11-10 2018-07-04 주식회사 한컴엠디에스 머신 러닝 알고리즘을 이용하는 방법 및 장치
JP2018173813A (ja) * 2017-03-31 2018-11-08 富士通株式会社 比較プログラム、比較方法および比較装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101168896B1 (ko) 2011-03-30 2012-08-06 홍익대학교 산학협력단 가상환경에서 로봇에 대한 모델링과 시뮬레이션 기반의 테스트 케이스 자동 생성 및 수행 방법
JP2018514840A (ja) * 2015-03-02 2018-06-07 ブルヴェクター, インコーポレーテッドBluvector, Inc. 機械学習アプリケーション用のデジタルオブジェクトライブラリ管理システム
KR20160143512A (ko) * 2015-06-04 2016-12-14 더 보잉 컴파니 머신 러닝을 위한 진보된 분석 기반시설
JP2017049677A (ja) * 2015-08-31 2017-03-09 富士通株式会社 機械学習管理プログラム、機械学習管理装置および機械学習管理方法
JP2018173813A (ja) * 2017-03-31 2018-11-08 富士通株式会社 比較プログラム、比較方法および比較装置
KR101864286B1 (ko) * 2017-11-10 2018-07-04 주식회사 한컴엠디에스 머신 러닝 알고리즘을 이용하는 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102235690B1 (ko) * 2020-06-05 2021-04-02 주식회사 코딩로봇연구소 인공지능 기반의 프로그램 코드 평가 시스템 및 방법
WO2021246742A1 (ko) * 2020-06-05 2021-12-09 주식회사 코딩로봇연구소 인공지능 기반의 프로그램 코드 평가 시스템 및 방법
KR20220048234A (ko) * 2020-10-12 2022-04-19 인투카오스 주식회사 Ai 알고리즘 내장 지능형 상황 인지, 학습 및 제어전략 수립과 예측이 가능한 무선검지 가스 차단장치 및 이의 운용 제어 방법
KR102431270B1 (ko) * 2020-10-12 2022-08-10 인투카오스 주식회사 Ai 알고리즘 내장 지능형 상황 인지, 학습 및 제어전략 수립과 예측이 가능한 무선검지 가스 차단장치 및 이의 운용 제어 방법
KR102631386B1 (ko) 2023-08-16 2024-01-31 메타빌드주식회사 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR102102418B1 (ko) 인공지능 솔루션을 테스트하는 장치 및 방법
US10922866B2 (en) Multi-dimensional puppet with photorealistic movement
CN108319599B (zh) 一种人机对话的方法和装置
CN106297789B (zh) 智能机器人的个性化交互方法及交互系统
US20180004729A1 (en) State machine based context-sensitive system for managing multi-round dialog
CN110019745A (zh) 具有自学习自然语言理解的对话系统
CN109754088A (zh) 具有训练生成式对抗网络的模块化基础结构的计算系统
CN110263324A (zh) 文本处理方法、模型训练方法和装置
CN109961780A (zh) 一种人机交互方法、装置、服务器和存储介质
CN108021705A (zh) 一种答案生成方法及装置
KR20200075071A (ko) 불확실성 예측을 위한 샘플링 모델 생성 장치 및 방법, 불확실성 예측 장치
US11458624B2 (en) Control server and method for controlling robot using artificial neural network, and robot implementing the same
Milutinovic et al. End-to-end training of differentiable pipelines across machine learning frameworks
CN112509392A (zh) 一种基于元学习的机器人行为示教方法
CN116956116A (zh) 文本的处理方法和装置、存储介质及电子设备
CN113726545B (zh) 基于知识增强生成对抗网络的网络流量生成方法及装置
CN112000793B (zh) 一种面向人机交互的对话目标规划方法
CN115712739A (zh) 舞蹈动作生成方法、计算机设备及存储介质
CN116361138A (zh) 测试方法及设备
KR102324634B1 (ko) 모바일 앱 사용자의 빅데이터 분석 모델 실시간 생성을 위한 딥러닝 오차 최소화 시스템 및 그 제어방법
US11169957B2 (en) Systems and methods for reconfigurable systolic arrays
Liu Deep spiking neural networks
Wu et al. Sensorimotor in space and time: Audition
Andersson et al. Sketch classification with neural networks: A comparative study of CNN and RNN on the Quick, Draw! data set
Liner et al. Improving neural network learning through dual variable learning rates

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant