KR20220067732A

KR20220067732A - 재학습 가능한 모바일 딥러닝 하드웨어 장치

Info

Publication number: KR20220067732A
Application number: KR1020200154273A
Authority: KR
Inventors: 이상설; 장성준; 박종희
Original assignee: 한국전자기술연구원
Priority date: 2020-11-18
Filing date: 2020-11-18
Publication date: 2022-05-25
Also published as: WO2022107910A1

Abstract

재학습 가능한 모바일 딥러닝 하드웨어 장치가 제공된다. 본 발명의 실시예에 따른 인공지능 모델 재학습 방법은, 학습된 인공지능 모델로 데이터를 처리하고, 학습된 인공지능 모델을 재학습할 학습 데이터를 선별하며, 선별된 학습 데이터를 이용하여 학습된 인공지능 모델을 재학습시킨다. 이에 의해, 모든 데이터를 이용한 재학습이 아닌 특정 데이터만을 이용하여 재학습을 진행할 수 있어, 학습 과정에서 사용되는 하드웨어 리소스 감소 및 저전력화가 가능하여, 모바일 딥러닝 하드웨어 장치가 직접 재학습을 수행할 수 있게 된다.

Description

재학습 가능한 모바일 딥러닝 하드웨어 장치{Mobile deep learning hardware device for retraining}

본 발명은 인공지능 관련 기술 및 이를 적용한 SoC(System on Chip)에 관한 것으로, 더욱 상세하게는 학습이 완료된 딥러닝 모델에 대해 모바일 디바이스에서 추가 학습 또는 재학습이 가능한 딥러닝 하드웨어 장치에 관한 것이다.

학습이 완료된 모델에서 신규 객체를 추가하기 위해서는, 학습에 사용된 모든 데이터 및 테스트에 사용된 모든 데이터에 추가된 신규 객체 데이터베이스를 추가하여 재학습을 수행하여 최종 DB를 생성한 후 최종 어플리케이션에 업데이트 하여야 한다.

위 기술의 문제점은 추가가 필요한 경우, 사용자가 직접 모든 데이터를 이용하여 개발하는 것은 불가능하며, 모바일 단말의 딥러닝 하드웨어 장치가 이를 수행할 리소스가 부족하다는 점이다.

나아가 재학습을 진행한다 하더라도 개인정보 관리가 취약하다는 문제가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 학습 과정에서 사용되는 하드웨어 리소스 감소 및 저전력화를 위한 방안으로, 모든 데이터를 이용한 재학습이 아닌 특정 데이터만을 이용하여 재학습을 진행할 수 있는 모바일 딥러닝 하드웨어 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 인공지능 모델 재학습 방법은, 학습된 인공지능 모델로 데이터를 처리하는 단계; 학습된 인공지능 모델을 재학습할 학습 데이터를 선별하는 단계; 선별된 학습 데이터를 이용하여 학습된 인공지능 모델을 재학습시키는 단계;를 포함한다.

선별 단계는, 객체를 인식할 확률이 설정 범위 이내인 학습 데이터를 선별할 수 있다. 선별 단계는, 객체를 인식할 확률이 기준 미만인 학습 데이터를 배제할 수 있다. 선별 단계는, 객체를 인식할 확률이 기준 초과인 학습 데이터를 배제할 수 있다. 기준은, 사용자가 설정가능하다.

선별 단계는, 사용자가 지정한 객체를 인식하기 위한 학습 데이터를 배제할 수 있다.

본 발명의 실시예에 따른 인공지능 모델 재학습 방법은, 선별된 학습 데이터를 암호화된 압축 파일로 수신하는 단계; 수신된 압축 파일을 복호화하고 복원하는 단계;를 더 포함하고, 재학습 단계는, 복원한 학습 데이터로 학습된 인공지능 모델을 재학습시킬 수 있다.

한편, 본 발명의 다른 실시예에 따른, 모바일 인공지능 모델 처리 장치는, 학습된 인공지능 모델로 데이터를 처리하는 연산기; 및 학습된 인공지능 모델을 재학습할 학습 데이터가 저장되는 메모리;를 포함하고, 재학습할 학습 데이터는, 전체 학습 데이터 셋에서 선별된 일부의 학습 데이터이다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 모든 데이터를 이용한 재학습이 아닌 특정 데이터만을 이용하여 재학습을 진행할 수 있어, 학습 과정에서 사용되는 하드웨어 리소스 감소 및 저전력화가 가능하여, 모바일 딥러닝 하드웨어 장치가 직접 재학습을 수행할 수 있게 된다.

또한, 본 발명의 실시예들에 따르면, 사용자가 불필요한 학습 데이터 셋을 배제할 수 있어 재학습을 위한 리소스 확보 차원에서 유리하고, 보안을 강화시킬 수 있게 된다.

도 1은 추론 과정의 개념도,
도 2는 학습 과정의 개념도,
도 3은 Weight 업데이트의 개념도,
도 4는 본 발명이 적용가능한 모바일 딥러닝 하드웨어 장치의 구성을 도시한 도면,
도 5는 학습 데이터 선별 방법의 부연 설명에 제공되는 도면, 그리고,
도 6은 본 발명의 다른 실시예에 따른 모바일 딥러닝 모델 재학습 방법의 설명에 제공되는 흐름도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

현재 대부분의 딥러닝 알고리즘은 다수의 고성능 GPU와 많은 양의 메모리를 보유하고 있는 서버에서 학습을 진행하기 때문에 컴퓨팅 리소스가 풍부하다. 하지만 모바일 디바이스의 경우 리소스 및 파워가 제한적이기 때문에, 필요한 연산량과 메모리 사용량을 줄이는 방법으로 하드웨어 개발이 진행된다.

모바일 다바이스를 위한 학습 전용 ASIC 및 FPGA 플랫폼에서 대량의 원본 학습 데이터를 이용한 학습은 불가능하게 히기 때문에 이를 보완하기 위한 기술이 필요하다.

또한, 클라우드 기반 인공지능 학습은 개인 데이터의 유출 문제와 통신 데이터량의 막대한 사용이 필요하므로, 사용자의 개별 환경에 최적화된 온-디바이스 학습 기술을 필요로 하는 어플리케이션도 다수 존재한다.

학습은 크게 추론(Inference) 과정과 Weight를 역으로 전파(Back-propagation)하는 과정으로 구성된다. 추론 및 학습 과정 개념도를 도 1 및 도 2에 제시하였다.

학습을 위해서는 현재 Weight를 기반으로 추론 과정을 거친 후에, Error 값을 연산하여 이전 Weight 값에 업데이트 하는 과정을 거치는데 도 3에 제시된 바와 같은 수식으로 설명이 가능하다.

도 4는 본 발명이 적용가능한 모바일 딥러닝 하드웨어 장치의 구성을 도시한 도면이다. 본 발명이 적용가능한 모바일 딥러닝 하드웨어 장치는, 도시된 바와 같이, 외부 통신 인터페이스(110), 외부 메모리(120), DMA 엔진(130), 연산기(140) 및 내부 메모리(150)를 포함하여 구성된다.

도 4에 도시된 바와 같은 모바일 딥러닝 하드웨어 장치는 외부 통신 인터페이스(110)를 통해 모든 데이터 셋을 제공받아 외부 메모리(120)에 저장하는 것이 불가능하거나 부적합하므로, 새로운 방식으로 학습 데이터 셋을 적용하여 재학습하는 것이 필요하다.

특히, 모든 학습 데이터 셋을 저장하기에 메모리 자원이 한정되어 있기 때문에, 학습 데이터를 저장하는 방법이 중요한 이슈가 된다. 본 발명의 실시예에서는 이를 위해 학습 데이터를 선별하는 방법을 제시한다.

DMA 엔진(130)은 연산기(140)와 내부 메모리(150)의 DMA를 지원하기 위한 구성이고, 연산기(140)는 학습된 딥러닝 모델로 입력 데이터를 처리하는 한편, 필요시 재학습을 수행한다.

재학습을 위해, 내부 메모리(150)는 Batch 단위로 데이터를 보관하는 Batch cache를 보유하고 있는데, Batch는 특정한 클래스의 데이터의 묶음이며, 클래스의 데이터는 학습 과정에서 큰 영향을 줄 수 있는 데이터로 선정된다.

구체적으로, 서버(미도시)에 저장된 학습 데이터들 중 딥러닝 모델을 재학습할 학습 데이터를 선별하고, 선별된 학습 데이터들만을 외부 통신 인터페이스(110)를 통해 수신하여 외부 메모리(120)에 저장한다.

학습 데이터 선별은 모바일 딥러닝 하드웨어 장치가 수행할 수도 있고, 별도의 사용자 단말이 수행할 수도 있다.

학습 데이터 선별시에는, 객체를 인식할 확률이 설정 범위 이내인 학습 데이터들만을 선별한다. 즉, 객체를 인식할 확률이 하한 기준 미만(이를 테면, 20% 미만)인 학습 데이터를 배제하고, 객체를 인식할 확률이 상한 기준 초과(이를 테면, 80% 초과)인 학습 데이터를 배제한다.

위에서 배제되는 학습 데이터들은 딥러닝 모델의 정확도를 향상시키는데 도움이 많이 되지 않기 때문이다. 다양한 데이터 셋(CIFAR-10, ImageNet 등)을 이용하여 측정해 본 결과 확률이 낮은 부분과 높은 부분을 제외하고 성능을 측정했을 경우, 이를 제외하지 않은 경우 대비 성능 열화가 거의 없음을 확인하였다.

도 5는 학습 데이터 셋들을 대상 객체 별로 정확도에 따라 배열한 것으로, 확률적으로 가우시안 분포와 유사한 형태로 결과가 나옴을 확인하여, 메모리 크기에 따라 설정 범위 α(하한 기준 확률)와 β(상한 기준 확률)를 변경하여 학습 데이터 셋의 양을 조절할 수 있다.

즉, 설정 범위, 즉 상한 기준과 하한 기준은 사용자가 원하는 값으로 설정할 수 있도록 한다.

또한, 필요 없는 학습 데이터 셋의 경우는 아예 학습 과정에서 배재할 경우 메모리 사용량을 더 줄일 수 있는 효과가 있으며, 해당 데이터 셋이 저장되어 있는 Batch를 새로운 데이터 셋으로 변경이 가능하다.

따라서, 학습 데이터 셋에서 사용자가 지정한 객체를 인식하기 위한 학습 데이터들은 모두 배제할 수 있다. 즉, 도 5에 나타난 바와 같이, Deer를 인식하기 위한 학습 데이터들을 모두 배제할 수 있는 것이다.

한편, 선별된 학습 데이터를 암호화된 압축 파일로 수신하여, 수신된 압축 파일을 복호화하고 복원한 후에 인공지능 모델을 재학습시킨다. 암호화를 위한 키값은 사용자가 설정할 수 있도록 한다.

도 6은 본 발명의 다른 실시예에 따른 모바일 딥러닝 모델 재학습 방법의 설명에 제공되는 흐름도이다.

모바일 딥러닝 하드웨어 장치의 딥러닝 모델에 대한 재학습의 필요가 발생하면(S210-Y), 먼저, 서버에 저장된 학습 데이터 셋에서 일부를 선별하기 위한 상한 기준과 하한 기준을 설정한다(S220).

이에, S220단계에서 설정된 기준에 따라 학습 데이터들 중 일부를 선별하는데, 구체적으로, 객체를 인식할 확률이 하한 기준(α) 미만인 학습 데이터들을 배제하고(S230), 객체를 인식할 확률이 상한 기준(β) 초과인 학습 데이터들을 배제한다(S240).

다음, 사용자가 지정한 객체를 인식하기 위한 학습 데이터들은 추가로 배제할 수 있다(S250).

이후, 선별된 학습 데이터 셋은 암호화된 압축 파일로 모바일 딥러닝 하드웨어 장치에 전달되는데(S260), 모바일 딥러닝 하드웨어 장치는 수신된 압축 파일을 복호화하고 복원한 후에(S270), 딥러닝 모델을 재학습시킨다(S280).

지금까지, 재학습 가능한 모바일 딥러닝 하드웨어 장치 및 이의 재학습 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

본 발명의 실시예에서는, 기존에 학습이 완료된 모델을 모바일 디바이스에서 추가 학습 및 재학습이 가능한 딥러닝 하드웨어 장치로써, 사용자 디바이스에서 직접 학습을 진행하는 형태의 하드웨어를 제시하였으며, 모바일 향 반도체에 적용 가능한 재학습 가능한 딥러닝 구조를 제안하였고, 데이터 관리 기술을 포함하는 형태로 보안 문제를 해결하였다.

모든 데이터를 이용한 재학습이 아닌 특정 데이터만을 이용하여 재학습을 진행함으로써, 학습 과정에서 사용되는 하드웨어 리소스 및 저 전력화 개발이 가능하며, 다양한 객체의 추가 및 객체의 변경을 쉽게 할 수 있어 다양한 환경에서 사용이 가능한 모델이며, 민감한 데이터를 개인이 처리할 수 있는 구조이다.

이에 의해, 사용자가 새로운 데이터 셋을 이용한 학습 진행이 가능한 보안이 강화된 하드웨어 구조를 통해, 기존 데이터 셋의 안전한 관리 및 복잡한 학습 과정을 거치지 않고 간단히 자신의 모바일 디바이스를 이용하여 지속적인 데이터 업데이트가 가능해진다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 외부 통신 인터페이스
120 : 외부 메모리
130 : DMA 엔진
140 : 연산기
150 : 내부 메모리

Claims

학습된 인공지능 모델로 데이터를 처리하는 단계;
학습된 인공지능 모델을 재학습할 학습 데이터를 선별하는 단계;
선별된 학습 데이터를 이용하여 학습된 인공지능 모델을 재학습시키는 단계;를 포함하는 것을 특징으로 하는 인공지능 모델 재학습 방법.
청구항 1에 있어서,
선별 단계는,
객체를 인식할 확률이 설정 범위 이내인 학습 데이터를 선별하는 것을 특징으로 하는 인공지능 모델 재학습 방법.
청구항 2에 있어서,
선별 단계는,
객체를 인식할 확률이 기준 미만인 학습 데이터를 배제하는 것을 특징으로 하는 인공지능 모델 재학습 방법.
청구항 3에 있어서,
선별 단계는,
객체를 인식할 확률이 기준 초과인 학습 데이터를 배제하는 것을 특징으로 하는 인공지능 모델 재학습 방법.
청구항 4에 있어서,
기준은,
사용자가 설정가능한 것을 특징으로 하는 인공지능 모델 재학습 방법.
청구항 1에 있어서,
선별 단계는,
사용자가 지정한 객체를 인식하기 위한 학습 데이터를 배제하는 것을 특징으로 하는 인공지능 모델 재학습 방법.
청구항 1에 있어서,
선별된 학습 데이터를 암호화된 압축 파일로 수신하는 단계;
수신된 압축 파일을 복호화하고 복원하는 단계;를 더 포함하고,
재학습 단계는,
복원한 학습 데이터로 학습된 인공지능 모델을 재학습시키는 것을 특징으로 하는 인공지능 모델 재학습 방법.
학습된 인공지능 모델로 데이터를 처리하는 연산기; 및
학습된 인공지능 모델을 재학습할 학습 데이터가 저장되는 메모리;를 포함하고,
재학습할 학습 데이터는,
전체 학습 데이터 셋에서 선별된 일부의 학습 데이터인 것을 특징으로 하는 모바일 인공지능 모델 처리 장치.