KR102653745B1 - 최적화된 연산속도를 가지는 교육용 로봇제어기 - Google Patents

Abstract

본 출원 발명은 교육용 로봇과 같이 연산속도가 낮은 MCU를 사용하는 장치에 있어서, 딥럽닝과 같이 다층 신경망을 가지는 학습된 인공지능모델을 사용하는 경우 연산을 위한 연산 계수가 증가하고, 각각의 가중치 값 들이 복잡할수록 연산 속도가 느려지는 단점이 있다.
상기한 문제를 해결하기 위하여, 학습 완료된 다층 인공지능제어기모델을 사용하는 교육용로봇제어기; 및 상기 교육용로봇제어기에 연결되는 입력센서 및 상기 교육용로봇제어기에서 출력되는 출력 값 및 상기 출력 값에 따라 로봇을 구동하는 로봇구동부를 구비하고, 상기 다층 인공지능제어기모델의 연산부하를 낮추고 연산속도를 높이기 위하여, 상기 다층 인공지능제어기모델의 출력단과 가장 가까운 은닉층을 선택 은닉층으로 설정하여 선택 은닉층의 가중치를 반올림한 반올림 다층 인공지능제어기모델을 준비(S1)하고, 상기 다층 인공지능제어기모델의 출력단과 가장 가까운 은닉층을 선택 은닉층으로 설정하여 선택 은닉층의 가중치를 버림한 버림 다층 인공지능제어기모델을 준비(S2)한 후, 상기 학습 완료된 다층 인공지능제어기모델의 검증에 사용한 검증데이터를 이용하여, 학습 완료된 다층 인공지능제어기모델 및 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 검증 결과를 계산하고, 그 검증결과가 상기 학습완료된 다층 인공지능제어기모델과 ± 1% 이내에서 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델 중 오차가 적은 어느 하나를 선택하는 모델검증 및 선택단계를 수행(S3)하며, 상기 선택된 모델의 레이어를 상기 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 해당 레이어로 대체하는 레이어대체단계(S4)를 수행한 후 상기 설정 은닉층의 입력센서쪽에 인접한 은닉층을 다시 설정 은닉층으로 설명하여 s1단계부터 s4 단계를 반복수행하면서 학습 완료된 다층 인공지능제어기모델의 전체 은닉층의 가중치를 반올리 또는 버림하여 연산 자리수를 줄임으로써 연산속도를 높이는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.
본 출원 발명의 상기와 같은 발명의 구성에 의하여, 학습 완료된 다층 인공지능제어기모델의 성능을 떨어뜨리지 않으면서도 저사양의 MCU에서도 연산속도를 최적화할 수 있는 효과가 있는 발명이다. 한편 학습이 너무 많이 진행되어 오버피팅된 경우 은닉층의 값을 조절하는 효과가 있어, 학습되지 않는 데이터에 대하여 더욱 좋은 결과를 가지는 부가적인 효과도 있다.

Description

최적화된 연산속도를 가지는 교육용 로봇제어기{.}

본 출원 발명은 낮은 연산속도를 가지는 교육용 로봇제어기의 제어기술에 관한 것이다. 더욱 자세하게는 교육로봇 제어기의 인공지능 연산부하를 줄이기 위한 기술에 관한 것이다.

본 발명의 출원 이전의 선행기술로 메모리 제어기에서 연산 기능을 분담하는 인공지능 프로세서 시스템에 관한 기술이 개시되어 있다.

이 기술에서는 인공지능 연산기(AI processor)의 일부 기능을 메모리 제어기(memory subsystem) 내부로 옮겨서, 메모리 서브 시스템 내에서 데이터를 처리하도록 구성되는, 메모리 제어기에서 연산 기능을 분담하는 인공지능 프로세서 시스템에 관한 것으로서, 빅데이터를 저장하는 메모리; 빅데이터를 다수의 쓰레드로 분할하고, 분할된 쓰레드 데이터에 대한 연산을 수행하고, 각 쓰레드에서 처리된 데이터를 합성하여 최종 데이터를 출력하는 메인 연산기; 및, 상기 메인 연산기의 명령에 따라, 상기 메모리에 저장된 쓰레드 데이터의 처리를 수행하는 메모리 제어기를 포함하고, 상기 메인 연산기는 자신의 연산 기능을 나누어 연산 기능의 일부를 상기 메모리 제어기로 분담시키는 구성이 개시되어 있다.

또 다른 선행기술로 연산량에 따른 가변 데이터 동작 주파수 기반 인공지능 연산기 시스템에 관한 기술이 개시되어 있다 이 기술은 인공지능 연산기에서 반도체의 동작 주파수를 상황에 맞게 조절하되, 연산이 많이 진행될 때에는 동작주파수를 높이고, 연산이 없거나 적게 진행될 때에는 동작주파수를 낮추는, 연산량에 따른 가변 데이터 동작 주파수 기반 인공지능 연산기 시스템에 관한 것으로서, 데이터를 저장하는 메모리; 상기 메모리의 동작 주파수를 제어하는 데이터 클럭 발생기; 명령어를 분석하여 메모리에서의 데이터 전송량을 산출하고, 산출된 데이터 전송량에 따라 클럭 주파수를 설정하고, 설정된 클럭 주파수에 따라 상기 데이터 클럭 발생기를 제어하는 메인 연산기; 및, 상기 메인 연산기의 명령에 따라, 상기 메모리에 저장된 데이터의 전송을 수행하는 메모리 제어기를 포함하는 기술이 개시되어 있다.

공개특허공보 10-2021-0113750 공개특허공보 10-2021-0113762

본 출원 발명은 교육용 로봇과 같이 연산속도가 낮은 MCU를 사용하는 장치에 있어서, 딥럽닝과 같이 다층 신경망을 가지는 학습된 인공지능모델을 사용하는 경우 연산을 위한 연산 계수가 증가하고, 각각의 가중치 값 들이 복잡할수록 연산 속도가 느려지는 단점이 있다.

본 출원 발명은 상기 인공지능모델의 가중치를 연산 속도가 빨리 처리할 수 있도록 최적화하면서도 출력결과에는 영향이 없는 인공지능모델로 최적화하는 기술에 관한 것이다.

상기한 문제를 해결하기 위하여 다음의 과제해결 수단을 제공한다.

학습 완료된 다층 인공지능제어기모델을 사용하는 교육용로봇제어기; 및

상기 교육용로봇제어기에 연결되는 입력센서 및

상기 교육용로봇제어기에서 출력되는 출력 값 및

상기 출력 값에 따라 로봇을 구동하는 로봇구동부를 구비하고,

상기 다층 인공지능제어기모델의 연산부하를 낮추고 연산속도를 높이기 위하여,

상기 다층 인공지능제어기모델의 출력단과 가장 가까운 은닉층을 선택 은닉층으로 설정하여 선택 은닉층의 가중치를 반올림한 반올림 다층 인공지능제어기모델을 준비(S1)하고,

상기 다층 인공지능제어기모델의 출력단과 가장 가까운 은닉층을 선택 은닉층으로 설정하여 선택 은닉층의 가중치를 버림한 버림 다층 인공지능제어기모델을 준비(S2)한 후,

상기 학습 완료된 다층 인공지능제어기모델의 검증에 사용한 검증데이터를 이용하여, 학습 완료된 다층 인공지능제어기모델 및 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 검증 결과를 계산하고,

그 검증결과가 상기 학습완료된 다층 인공지능제어기모델과 ± 1% 이내에서 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델 중 오차가 적은 어느 하나를 선택하는 모델검증 및 선택단계를 수행(S3)하며, 상기 선택된 모델의 레이어를 상기 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 해당 레이어로 대체하는 레이어대체단계(S4)를 수행한 후

상기 설정 은닉층의 입력센서쪽에 인접한 은닉층을 다시 설정 은닉층으로 설명하여 s1단계부터 s4 단계를 반복수행하면서 학습 완료된 다층 인공지능제어기모델의 전체 은닉층의 가중치를 반올리 또는 버림하여 연산 자리수를 줄임으로써 연산속도를 높이는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.

상기 학습 완료된 다층 인공지능제어기모델은 최소 4개 이상의 은닉층으로 구성된 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.

상기 모델검증 및 선택단계를 수행(S3)에서 오차가 ± 1% 이상인 경우 (S4)단계에서 학습 완료된 다층 인공지능제어기모델의 해당 은닉층 가중치로 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 해당 은닉층 가중치를 되돌리는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.

상기 제1항 내지 제3항 중 어느 하나의 최적화된 연산속도를 가지는 교육용 로봇제어기에 의하여서도 연산속도의 향상이 없는 경우 상기 모델검증 및 선택단계를 수행(S3)에서 오차가 ± 1% 이상인 경우 검증오차를 ±3% 로 증가시키는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.

본 출원 발명의 상기와 같은 발명의 구성에 의하여, 학습 완료된 다층 인공지능제어기모델의 성능을 떨어뜨리지 않으면서도 연산속도를 최적화할 수 있는 효과가 있는 발명이다.

또한, 학습이 너무 많이 진행되어 오버피팅된 경우 은닉층의 값을 조절하는 효과가 있어, 학습되지 않는 데이터에 대하여 더욱 좋은 결과를 가지는 부가적인 효과도 기대해 볼 수 있다.

도 1은 본 발명의 인공지능 제어기가 사용되기 전의 제어부 구성도이다.
도 2는 본 발명의 인공지능 제어기의 가장 간단한 은닉층이 1개 뿐인 인공지능 제어기의 구성도이다.
도 3은 본 발명의 학습된 인공지능제어기의 사용 구성도이다.
도 4는 본 발명의 학습된 인공지능제어기의 연산속도를 최적화하기 위한 구체적인 실시 구성도이다.

인공지능은 여러 가지 방법으로 구현되어 있다. 그 중에서도 빅데이터를 이용하여 학습된 딥러닝과 같은 다층 신경망의 활용도가 매우 높다. 학습 시에는 많은 데이터와 이를 이용한 가중치의 계산과 업데이트로 엄청난 양의 연산부하가 방생한다. 학습이 완료된 후에는 상대적으로 적은양의 연산이 필요하다. 그러나, 소형 마이크로프로세서의 경우에는 줄어든 연산부하에도 불구하고, 입력층 및 출력층과 복수개의 은닉층으로 인하여 연산부하가 상당하다.

학습 과정에서 가중치의 미세한 변화로 가중치 값은 소수점을 포함하고, 있다. 소숫점 자리가 많을수록 MCU(마이크로 컨트롤 유닛)의 계산양과 시간은 늘어난다. 입력센서의 값 중에서 출력결과에 영향을 많이 주는 가중치의 값의 변화는 줄이면서, 출력결과에 상대적으로 적은 영향을 미치는 가중치는 계산이 쉬운 형태로 바꾸어 줌으로써 연산 속도를 높일 수 있다.

본 출원 발명은 이러한 문제를 가중치의 반올림과 버림을 적용한 학습완료된 인공지능제어기모델과 학습완료된 인공지능제어기모델의 성능을 비교하면서, 학습완료된 인공지능제어기모델과 성능의 차이가 ± 1~3% 이내의 오차를 가지면서 연산속도를 올릴 수 있는 제이기 모델을 검색하는 방법을 제공하고자 한다.

이를 위하여 본 출원 발명은 출력값을 출력하는 출력층에 바로 인접한 은닉층에서부터 역으로 입력층 쪽으로 은닉층의 가중치를 반올림한 결과와 올림한 결과를 비교하면서 추론 성능이 우수한 은닉층은 공유하고, 그Ž이 못한 은닉층은 상호대체함으로써 입력층 다음에 위치한 은닉층까지 역으로 가중치 값을 조절한다.

또 다른 방법으로 모든 가중치를 1개씩 반올림과 버림을 반복하면서 계산한 후 은닉층 단위로 가중치를 대체하여 입력층 다음에 위치한 은닉층까지 역으로 가중치 값을 조절한다.

또한, 은닉층에서 입력층 방향이 아니라, 입력층에서 은닉층 방향으로 동일하게 가중치 값을 변경하면서 학습된 인공지능제어기의 제어성능에 영향을 덜 주면서 연산속도를 높이는 연산속도 최적화를 수행할 수 있음은 당연하다.

도 1은 본 발명의 인공지능 제어기가 사용되기 전의 제어부 구성도이다. 입력된 센서의 값을 제어부에 설정된 로직을 통하여 계산하고, 그 로직에 따라 제어출력이 생성되고, 여기에 연결된 구동부 등이 구동한다.

도 2는 본 발명의 인공지능 제어기의 가장 간단한 은닉층이 1개 뿐인 인공지능 제어기의 구성도이다. 입력이 여러개일 수 있고, 출력도 1개 이상일 수도 있으며, 은닉층은 비선형성을 증가 시키기 위하여 입력의 개수도만 많은 노드를 가지고, 은닉층 역시 증가시키고 싶은 비선형성의 개수에 따라 1개 이상 사용할 수 있다. 최근 좋은 성능을 나타내고 있는 딥러닝의 경우 9개의 층으로 구성되는 것이 일반적이지만 더 많이, 또는 적게 사용하는 것이 동작시스템에 따라 필요하다.

한편 이렇게 은닉층의 개수와 노드의 개수가 늘어남에 따라 가중치의 개수가 많아지게되고, 가중치를 필요한 만큼의 정확도로 학습시키기 위해서는 많은 데이터 개수가 필요하다.

도 3은 본 발명의 학습된 인공지능제어기의 사용 구성도이다. 인공지능 학습완료된 제어기는 도3에 도시된 것과 같이 기존의 제어부 위치에 사용된다. 그러나, 교육용로봇과 같이 연산속도가 빠르지 않고, 병렬연산 기능이 없는 MCU의 경우 기존의 제어기와 비교하여 많은 연산부하가 발생하기 때문에 출력 속도저하 등의 문제가 발생할 수 있다. 즉. 기존의 제어기를 사용할 수 없는 문제가 발생한다. 더 성능이 높고 우수한 MCU 또는 멀티 코어 MCU를 사용해야 하는 문제가 있다.

본 출원 발명은 이러한 연산부하가 크게 발생하는 문제점을 학습완료 후에 가중치 값의 반올림 및/ 또는 버림을 통한 최적화를 통하여 연산을 부하를 낮추고자하는 것이다.

도 4는 본 발명의 학습된 인공지능제어기의 연산속도를 최적화하기 위한 구체적인 실시 구성도이다. 더 많은 비교 방법을 이용하여 가중치 값을 최적화할 수도 있을 것이나, 우선, 가중치 값의 소수점 이하 자리수를 줄이기 위하여 반올림 또는 버림을 사용한다. 사용하는 시스템의 성능과 기능에 따라 소수점 첫째 짜리에서 소수점 10 째짜리에서 반올림이 이루어질 수 있다. 한편으로는 소수점 첫째짜리에서 최적화를 시행하여보고, 성능에 차이가 있는 경우 소수점 자리수를 낮추면서 반올림을 수행하여 하는 탐색기법을 사용할 수 있다.

연산 최적화를 이용하여 사용하는 연산검증데이터의 경우 학습된 인공지능 신경망의 학습데이터, 학습된 결과를 중간중간 점검하는 검증데이터 및 학습에 사용되지 않는 데이터로 학습된 인공지능 신경망의 순수 검증데이터를 이용한다. 학습에 사용되지 않은 검증데이터이기 때문에 학습완료된 인공신경망모델도 동일하게 오차가 발생할 수 있기 때문에 이를 이용하여, 학습되지 않는 입력이 입력되는 경우에도 연산에 최적화된 인공지능학습모델의 경우에 어떠한 출력결과가 나타날지 함께 비교해볼 수 있기 때문이다.

기존의 학습 완료된 인공지능제어기모델을 사용하는 이유는 많는 시간과 노력을 들어 학습한 결과물에서 너무 많은 가중치를 바꾸면 학습이 의미가 없기 때문에 기존의 학습 완료된 결과물의 성능을 해치지 않는 범위 내에서 가중치 값의 소수점 이하 자리를 정리함으로써 연산속도를 높이고자 하는 것이다.

상기와 같은 발명의 작용효과를 달성하기 위한 발명의 구성은 다음과 같다.

학습 완료된 다층 인공지능제어기모델을 사용하는 교육용로봇제어기; 및

상기 교육용로봇제어기에 연결되는 입력센서 및

상기 교육용로봇제어기에서 출력되는 출력 값 및

상기 출력 값에 따라 로봇을 구동하는 로봇구동부를 구비하고,

상기 다층 인공지능제어기모델의 연산부하를 낮추고 연산속도를 높이기 위하여,

상기 다층 인공지능제어기모델의 출력단과 가장 가까운 은닉층을 선택 은닉층으로 설정하여 선택 은닉층의 가중치를 반올림한 반올림 다층 인공지능제어기모델을 준비(S1)하고,

상기 다층 인공지능제어기모델의 출력단과 가장 가까운 은닉층을 선택 은닉층으로 설정하여 선택 은닉층의 가중치를 버림한 버림 다층 인공지능제어기모델을 준비(S2)한 후,

상기 학습 완료된 다층 인공지능제어기모델의 검증에 사용한 검증데이터를 이용하여, 학습 완료된 다층 인공지능제어기모델 및 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 검증 결과를 계산하고,

그 검증결과가 상기 학습완료된 다층 인공지능제어기모델과 ± 1% 이내에서 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델 중 오차가 적은 어느 하나를 선택하는 모델검증 및 선택단계를 수행(S3)하며, 상기 선택된 모델의 레이어를 상기 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 해당 레이어로 대체하는 레이어대체단계(S4)를 수행한 후

상기 설정 은닉층의 입력센서쪽에 인접한 은닉층을 다시 설정 은닉층으로 설명하여 s1단계부터 s4 단계를 반복수행하면서 학습 완료된 다층 인공지능제어기모델의 전체 은닉층의 가중치를 반올리 또는 버림하여 연산 자리수를 줄임으로써 연산속도를 높이는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.

상기 학습 완료된 다층 인공지능제어기모델은 최소 4개 이상의 은닉층으로 구성된 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.

상기 모델검증 및 선택단계를 수행(S3)에서 오차가 ± 1% 이상인 경우 (S4)단계에서 학습 완료된 다층 인공지능제어기모델의 해당 은닉층 가중치로 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 해당 은닉층 가중치를 되돌리는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.

상기 제1항 내지 제3항 중 어느 하나의 최적화된 연산속도를 가지는 교육용 로봇제어기에 의하여서도 연산속도의 향상이 없는 경우 상기 모델검증 및 선택단계를 수행(S3)에서 오차가 ± 1% 이상인 경우 검증오차를 ±3% 로 증가시키는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기를 제공한다.

Claims (4)

1. 학습 완료된 다층 인공지능제어기모델을 사용하는 교육용로봇제어기; 및
   상기 교육용로봇제어기에 연결되는 입력센서 및
   상기 교육용로봇제어기에서 출력되는 출력 값 및
   상기 출력 값에 따라 로봇을 구동하는 로봇구동부를 구비하고,
   상기 다층 인공지능제어기모델의 연산부하를 낮추고 연산속도를 높이기 위하여,
   상기 다층 인공지능제어기모델의 출력단과 가장 가까운 은닉층을 선택 은닉층으로 설정하여 선택 은닉층의 가중치를 반올림한 반올림 다층 인공지능제어기모델을 준비(S1)하고,
   상기 다층 인공지능제어기모델의 출력단과 가장 가까운 은닉층을 선택 은닉층으로 설정하여 선택 은닉층의 가중치를 버림한 버림 다층 인공지능제어기모델을 준비(S2)한 후,
   상기 학습 완료된 다층 인공지능제어기모델의 검증에 사용한 검증데이터를 이용하여, 학습 완료된 다층 인공지능제어기모델 및 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 검증 결과를 계산하고,
   그 검증결과가 상기 학습완료된 다층 인공지능제어기모델과 ± 1% 이내에서 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델 중 오차가 적은 어느 하나를 선택하는 모델검증 및 선택단계를 수행(S3)하며, 상기 선택된 모델의 레이어를 상기 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 해당 레이어로 대체하는 레이어대체단계(S4)를 수행한 후
   상기 설정 은닉층의 입력센서쪽에 인접한 은닉층을 다시 설정 은닉층으로 설명하여 s1단계부터 s4 단계를 반복수행하면서 학습 완료된 다층 인공지능제어기모델의 전체 은닉층의 가중치를 반올리 또는 버림하여 연산 자리수를 줄임으로써 연산속도를 높이는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기.
2. 제1항에 있어서,
   상기 학습 완료된 다층 인공지능제어기모델은 최소 4개 이상의 은닉층으로 구성된 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기.
3. 제2항에 있어서,
   상기 모델검증 및 선택단계를 수행(S3)에서 오차가 ± 1% 이상인 경우 (S4)단계에서 학습 완료된 다층 인공지능제어기모델의 해당 은닉층 가중치로 반올림 다층 인공지능제어기모델 및 버림 다층 인공지능제어기모델의 해당 은닉층 가중치를 되돌리는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기.
4. 제3항에 있어서,
   상기 제1항 내지 제3항 중 어느 하나의 최적화된 연산속도를 가지는 교육용 로봇제어기에 의하여서도 연산속도의 향상이 없는 경우 상기 모델검증 및 선택단계를 수행(S3)에서 오차가 ± 1% 이상인 경우 검증오차를 ±3% 로 증가시키는 것을 특징으로 하는 최적화된 연산속도를 가지는 교육용 로봇제어기.