KR20230000686A - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

Abstract

전자 장치 및 전자 장치의 제어 방법이 개시된다. 본 개시에 따른 전자 장치는 신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수(real number)로 표현되는 제1 가중치 데이터를 포함하는 제1 모델 정보를 저장하는 메모리 및 제1 가중치 데이터에 대한 양자화 및 오차 데이터에 대한 양자화를 포함하는 재귀적 양자화(recursive quantization)를 수행하는 프로세서를 포함한다. 그리고, 프로세서는
제1 모델 정보를 바탕으로, 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별하고, 식별된 반복 횟수에 따라 재귀적 양자화를 수행하여, 제1 가중치 데이터 각각에 대응되며 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득하며, 제1 모델 정보, 식별된 반복 횟수에 대한 정보 및 제2 가중치 데이터에 대한 정보를 바탕으로 신경망 모델을 재구성하여, 재구성된 신경망 모델에 대한 제2 모델 정보를 획득한다.

Description

전자 장치 및 전자 장치의 제어 방법{ELECTRONIC DEVICE AND CONTROLLING METHOD OF ELECTRONIC DEVICE}

본 개시는 전자 장치 및 전자 장치의 제어 방법에 관한 것으로서, 구체적으로는 신경망 모델의 가중치 데이터에 대한 재귀적 양자화(recursive quantization)를 수행할 수 있는 전자 장치 및 전자 장치의 제어 방법에 관한 것이다.

근래에는 신경망 모델을 경량화하기 위한 기술이 발전하고 있으며, 이러한 기술은 특히 신경망 모델을 온 디바이스(on-device)의 형태로 효율적으로 구현하기 위한 시도가 계속됨에 따라 더욱 발전하고 있다. 특히, 정밀도(precision) 높은 단위로 표현된 신경망 모델의 가중치 데이터를 상대적으로 낮은 정밀도의 가중치 데이터로 양자화(quantization)하는 기술의 경우, 연산의 효율성을 향상시키면서도 신경망 모델이 요구하는 수준의 정밀도를 유지하는 것이 주요 과제로 부각되고 있다.

예를 들어, 32 비트의 부동 소수점(32-bit floating point, FP32) 방식으로 표현된 실수 가중치 데이터를 양자화하여 8 비트로 표현된 정수 가중치 데이터로 변환하는 경우, 양자화 전후의 가중치 데이터 사이에 양자화 오류(quantization error)가 발생될 수 있으며, 이는 신경망 모델의 정밀도 저하로 이어질 수 있다. 즉, 신경망 모델의 특정 레이어의 경우에는 8 비트로 표현된 정수 가중치 데이터를 기반으로 충분한 정밀도를 나타낼 수 있으나, 다른 레이어의 경우에는 8 비트로 표현된 정수 가중치 데이터를 기반으로 충분한 정밀도를 나타내기 어려운 경우가 있을 수 있다. 따라서, 신경망 모델에 포함된 레이어 각각에 대한 정밀도를 고려하여 가중치 데이터를 양자화하는 기술에 대한 필요성이 존재한다.

한편, 가중치 데이터의 양자화 기법에 대한 종래 기술로서, 단일 정밀도(single precision)를 기반으로 가중치 데이터에 대한 양자화 및 신경망 모델에 따른 연산을 수행하는 기술이 존재한다. 그런데, 단일 정밀도 기반의 기술에 따르면, 신경망 모델의 전체 레이어에 충분한 정도의 비트 범위(bit-width)를 부여하여 양자화 오류를 감소시킬 수는 있으나(즉, 위의 예에서 모든 레이어를 16 비트로 처리함), 이에 따르면 연산량이 크게 증가하며 메모리의 리소스 측면에서도 최적화에 한계가 있을 수 있다.

한편, 종래 기술로서, 혼합 정밀도(mixed-precision)를 기반으로 가중치 데이터에 대한 양자화 및 신경망 모델에 따른 연산을 수행하는 기술의 경우, 신경망 모델의 각 레이어 별로 최적의 비트 범위를 기반으로 양자화 및 연산을 수행하기 때문에 하드웨어의 리소스는 최소화할 수 있으나, 혼합 정밀도를 지원하는 별도의 하드웨어를 추가함에 따른 오버헤드가 수반될 수밖에 없다는 한계가 있다.

본 개시는 상술한 바와 같은 필요성에 따른 것으로서, 본 개시의 목적은 가중치 데이터의 양자화에 있어서 단일 정밀도를 지원하는 하드웨어에서도 혼합 정밀도를 지원하는 것과 같은 효과를 나타낼 수 있는 전자 장치 및 전자 장치의 제어 방법을 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수(real number)로 표현되는 제1 가중치 데이터를 포함하는 제1 모델 정보를 저장하는 메모리 및 상기 제1 가중치 데이터에 대한 양자화 및 오차 데이터에 대한 양자화를 포함하는 재귀적 양자화(recursive quantization)를 수행하는 프로세서를 포함하고, 상기 프로세서는 상기 제1 모델 정보를 바탕으로, 상기 복수의 레이어 별로 상기 오차 데이터에 대한 양자화의 반복 횟수를 식별하고, 상기 식별된 반복 횟수에 따라 상기 재귀적 양자화를 수행하여, 상기 제1 가중치 데이터 각각에 대응되며 상기 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득하며, 상기 제1 모델 정보, 상기 식별된 반복 횟수에 대한 정보 및 상기 제2 가중치 데이터에 대한 정보를 바탕으로 상기 신경망 모델을 재구성하여, 상기 재구성된 신경망 모델에 대한 제2 모델 정보를 획득하는 프로세서를 포함한다.

여기서, 상기 프로세서는 초기 값으로 설정된 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득하고, 상기 임시 가중치 데이터를 바탕으로 상기 신경망 모델의 순전파 과정 (feedforward)을 수행하여 제1 손실 값을 획득하며, 상기 임시 가중치 데이터를 바탕으로, 상기 신경망 모델을 구동하기 위한 하드웨어에 대한 시뮬레이션(simulation)을 수행하여 상기 하드웨어의 레이턴시(latency)에 대한 제2 손실 값을 획득하고, 상기 제1 손실 값과 상기 제2 손실 값이 결합된 제3 손실 값이 감소되도록 상기 반복 횟수 값을 업데이트하여, 상기 반복 횟수를 식별할 수 있다.

여기서, 상기 프로세서는 상기 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터에 대한 및 역양자화(inverse quantization)를 포함하는 제1 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터를 획득하며, 상기 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터 및 상기 제1 임시 가중치 데이터를 바탕으로 상기 제1 비트 범위의 실수로 표현되는 제1 오차 데이터를 획득하고, 상기 제1 비트 범위의 실수로 표현되는 상기 제1 오차 데이터에 대한 양자화 및 역양자화를 포함하는 제2 양자화를 수행하여, 상기 제2 비트 범위의 정수로 표현되는 오차 데이터를 획득하며, 상기 제1 임시 가중치 데이터, 상기 제1 오차 데이터 및 상기 제2 오차 데이터를 합산하여, 상기 제1 양자화 및 상기 제2 양자화의 결과가 반영된 제2 임시 가중치 데이터를 상기 임시 가중치 데이터로 결정할 수 있다.

여기서, 상기 프로세서는 상기 반복 횟수 값이 정수가 아니면, 상기 반복 횟수 값에 대한 내림을 취하여 획득된 제1 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 상기 제1 비트 범위의 실수로 표현되는 제3 임시 가중치 데이터를 획득하고, 상기 반복 횟수 값에 대한 올림을 취하여 획득된 제2 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 상기 제1 비트 범위의 실수로 표현되는 제4 임시 가중치 데이터를 획득하며, 상기 제3 임시 가중치 데이터 및 상기 제4 임시 가중치 데이터 중 서로 대응되는 가중치들을 보간(interpolation)하고, 상기 보간의 결과에 따라 획득된 임시 가중치 데이터를 상기 제2 임시 가중치 데이터로 결정할 수 있다.

한편, 상기 프로세서는 상기 식별된 반복 횟수에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득하고, 상기 임시 가중치 데이터를 바탕으로 상기 신경망 모델의 순전파 과정을 수행하여 손실 값을 획득하고, 상기 손실 값이 감소되도록 상기 제1 가중치 데이터를 업데이트하여, 상기 제2 가중치 데이터를 획득할 수 있다.

한편, 상기 양자화 정보는 상기 제2 가중치 데이터에 대한 정보, 상기 제2 가중치 데이터에 대응되는 제1 스케일 정보, 상기 제2 가중치 데이터에 대응되는 오차 데이터에 대한 정보, 상기 오차 데이터에 대응되는 제2 스케일 정보를 포함하고, 상기 프로세서는 상기 식별된 반복 횟수에 따라, 상기 복수의 레이어에 포함된 제1 연산자(operator)에 상기 오차 데이터를 반영하기 위한 복수의 제2 연산자를 결합시키고, 상기 제2 가중치 데이터에 대한 정보 및 상기 제1 스케일 정보를 상기 제1 연산자에 할당하며, 상기 오차 데이터에 대한 정보 및 상기 제2 스케일 정보를 상기 복수의 제2 연산자에 할당하여, 상기 제2 모델 정보를 획득할 수 있다.

한편, 상기　제1 가중치　데이터는　필터를　구성하는　가중치 값들의 총 합이 0이 되는 특성을 갖는 제로섬 필터를　통해　구현되고，상기　식별된　반복　횟수에　따라　상기　재귀적　양자화가　수행되면，　상기　가중치　값들　각각에　대한　양자화　결과에　상기　가중치　값들　각각에　대응되는　오차　값이　반영되어，　상기　제로섬　필터를　구성하는　가중치　값들의　총　합이　０에　수렴할 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수(real number)로 표현되는 제1 가중치 데이터를 포함하는 제1 모델 정보를 바탕으로, 상기 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별하는 단계, 상기 식별된 반복 횟수에 따라 상기 재귀적 양자화를 수행하여, 상기 제1 가중치 데이터 각각에 대응되며 상기 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득하는 단계 및 상기 제1 모델 정보, 상기 식별된 반복 횟수에 대한 정보 및 상기 제2 가중치 데이터에 대한 정보를 바탕으로 상기 신경망 모델을 재구성하여, 상기 재구성된 신경망 모델에 대한 제2 모델 정보를 획득하는 단계를 포함한다.

여기서, 상기 반복 횟수를 식별하는 단계는 초기 값으로 설정된 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득하는 단계, 상기 임시 가중치 데이터를 바탕으로 상기 신경망 모델의 순전파 과정 (feedforward)을 수행하여 제1 손실 값을 획득하는 단계, 상기 임시 가중치 데이터를 바탕으로, 상기 신경망 모델을 구동하기 위한 하드웨어에 대한 시뮬레이션(simulation)을 수행하여 상기 하드웨어의 레이턴시(latency)에 대한 제2 손실 값을 획득하는 단계, 및 상기 제1 손실 값과 상기 제2 손실 값이 결합된 제3 손실 값이 감소되도록 상기 반복 횟수 값을 업데이트하여, 상기 반복 횟수를 식별하는 단계를 포함할 수 있다.

여기서, 상기 임시 가중치 데이터를 획득하는 단계는 상기 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터에 대한 및 역양자화(inverse quantization)를 포함하는 제1 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터를 획득하는 단계, 상기 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터 및 상기 제1 임시 가중치 데이터를 바탕으로 상기 제1 비트 범위의 실수로 표현되는 제1 오차 데이터를 획득하는 단계, 상기 제1 비트 범위의 실수로 표현되는 상기 제1 오차 데이터에 대한 양자화 및 역양자화를 포함하는 제2 양자화를 수행하여, 상기 제2 비트 범위의 정수로 표현되는 오차 데이터를 획득하는 단계 및 상기 제1 임시 가중치 데이터, 상기 제1 오차 데이터 및 상기 제2 오차 데이터를 합산하여, 상기 제1 양자화 및 상기 제2 양자화의 결과가 반영된 제2 임시 가중치 데이터를 상기 임시 가중치 데이터로 결정하는 단계를 포함할 수 있다.

여기서, 상기 반복 횟수 값이 정수가 아니면, 상기 반복 횟수 값에 대한 내림을 취하여 획득된 제1 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 상기 제1 비트 범위의 실수로 표현되는 제3 임시 가중치 데이터를 획득하고, 상기 반복 횟수 값에 대한 올림을 취하여 획득된 제2 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 상기 제1 비트 범위의 실수로 표현되는 제4 임시 가중치 데이터를 획득하는 단계, 상기 제3 임시 가중치 데이터 및 상기 제4 임시 가중치 데이터 중 서로 대응되는 가중치들을 보간(interpolation)하는 단계 및 상기 보간의 결과에 따라 획득된 임시 가중치 데이터를 상기 제2 임시 가중치 데이터로 결정하는 단계를 더 포함할 수 있다.

한편, 상기 양자화 정보를 획득하는 단계는 상기 식별된 반복 횟수에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득하고, 상기 임시 가중치 데이터를 바탕으로 상기 신경망 모델의 순전파 과정을 수행하여 손실 값을 획득하고, 상기 손실 값이 감소되도록 상기 제1 가중치 데이터를 업데이트하여, 상기 제2 가중치 데이터를 획득하는 단계를 포함할 수 있다.

한편, 상기 양자화 정보는 상기 제2 가중치 데이터에 대한 정보, 상기 제2 가중치 데이터에 대응되는 제1 스케일 정보, 상기 제2 가중치 데이터에 대응되는 오차 데이터에 대한 정보, 상기 오차 데이터에 대응되는 제2 스케일 정보를 포함하고, 상기 제2 모델 정보를 획득하는 단계는 상기 식별된 반복 횟수에 따라, 상기 복수의 레이어에 포함된 제1 연산자(operator)에 상기 오차 데이터를 반영하기 위한 복수의 제2 연산자를 결합시키고, 상기 제2 가중치 데이터에 대한 정보 및 상기 제1 스케일 정보를 상기 제1 연산자에 할당하며, 상기 오차 데이터에 대한 정보 및 상기 제2 스케일 정보를 상기 복수의 제2 연산자에 할당하여, 상기 제2 모델 정보를 획득할 수 있다.

한편, 상기　제1 가중치　데이터는　필터를　구성하는　가중치 값들의 총 합이 0이 되는 특성을 갖는 제로섬 필터를　통해　구현되고，상기　식별된　반복　횟수에　따라　상기　재귀적　양자화가　수행되면，　상기　가중치　값들　각각에　대한　양자화　결과에　상기　가중치　값들　각각에　대응되는　오차　값이　반영되어，　상기　제로섬　필터를　구성하는　가중치　값들의　총　합이　０에　수렴할 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 상기 전자 장치의 제어 방법은 신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수(real number)로 표현되는 제1 가중치 데이터를 포함하는 제1 모델 정보를 바탕으로, 상기 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별하는 단계, 상기 식별된 반복 횟수에 따라 상기 재귀적 양자화를 수행하여, 상기 제1 가중치 데이터 각각에 대응되며 상기 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득하는 단계 및 상기 제1 모델 정보, 상기 식별된 반복 횟수에 대한 정보 및 상기 제2 가중치 데이터에 대한 정보를 바탕으로 상기 신경망 모델을 재구성하여, 상기 재구성된 신경망 모델에 대한 제2 모델 정보를 획득하는 단계를 포함한다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도,
도 2는 본 개시의 일 실시 예에 따른 반복 횟수의 식별 과정을 상세하게 나타내는 흐름도,
도 3은 본 개시의 일 실시 예에 따른 양자화 정보의 획득 과정을 상세하게 나타내는 흐름도,
도 4는 본 개시의 일 실시 예에 따른 신경망 모델의 재구성 과정을 설명하기 위한 도면,
도 5는 본 개시에 따른 재귀적 양자화를 수행하기 위한 하드웨어 구성에 대해 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따라 합성곱 연산을 수행하는 과정에 대해 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따라 윤곽선 검출을 위한 필터의 가중치에 대한 재귀적 양자화 과정을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 하드웨어 구성을 간략하게 나타내는 블록도, 그리고,
도 9는 본 개시의 일 실시 예에 따른 하드웨어 구성에 결합된 소프트웨어 모듈을 나타내는 블록도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.

대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.

이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다. 이하에서는 먼저 본 개시를 설명하기 위한 주요 용어에 대해 설명한 후, 도 1을 참조하여 본 개시의 일 실시 예에 따른 제어 방법의 각 단계에 대해 설명한다.

본 개시에 따른 '전자 장치'는 신경망 모델의 가중치 데이터에 대한 양자화(quantization) 및 신경망 모델의 재구성 과정을 수행할 수 있도록 구성된 장치를 말한다. 구체적으로, 전자 장치는 신경망 모델을 구성하는 가중치 데이터에 대한 양자화를 수행할 수 있으며, 양자화된 가중치 데이터를 바탕으로 신경망 모델을 재구성할 수 있다. 예를 들어, 전자 장치는 스마트 폰, 태블릿 PC 등으로 구현될 수 있으며, 다만 본 개시에 따른 전자 장치의 유형에 특별한 제한이 따르는 것은 아니다. 이하에서는 본 개시에 따른 전자 장치를 간략하게 '전자 장치(100)'으로 지칭한다.

본 개시에 따른 '신경망 모델(neural network model)'은 신경망(neural network)을 포함하는 인공 지능 모델(artificial intelligence model)을 말하며, 딥러닝(deep learning)에 의해 학습될 수 있다. 신경망 모델은 객체 인식 모델(object recognition model), 음성 인식 모델(automatic speech recognition model) 및 음성 합성 모델(speech synthesis model) 등과 같은 유형일 수 있으며, 다만, 본 개시에 따른 신경망 모델이 상술한 예에 국한되는 것은 아니다.

본 개시에 따른 신경망 모델에 포함되는 신경망의 유형 또한 특정 유형에 국한되지 않는다. 즉, 본 개시에 따른 신경망 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolution Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 및 생성적 적대 신경망(Generative Adversarial Networks, GAN) 등과 같은 다양한 유형의 신경망들을 포함할 수 있다. 또한, 본 개시에 따른 신경망 모델은 전자 장치(100)에 포함되어 온 디바이스(on-device)의 형태로 구현될 수 있을 뿐만 아니라, 전자 장치(100)와 연결된 외부 장치에 포함될 수도 있다.

'가중치 데이터에 대한 양자화'는 정밀도(precision) 높은 단위로 표현된 가중치 데이터를 상대적으로 낮은 정밀도의 가중치 데이터로 변환하는 과정을 말한다. 특히, 본 개시에 따른 가중치 데이터에 대한 양자화는, 제1 비트 범위의 실수(real number)로 표현되는 가중치 데이터를 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 가중치 데이터로 변환하는 과정을 말한다. 예를 들어, 가중치 데이터에 대한 양자화가 수행되면, 32 비트의 부동 소수점(32-bit floating point, FP32) 방식으로 표현된 실수 가중치 데이터가 8 비트 또는 16 비트로 표현된 정수 가중치 데이터로 변환될 수 있다.

'신경망 모델의 재구성'이라는 용어는 양자화된 가중치 데이터를 바탕으로 새로운 신경망 모델에 대한 정보를 획득하는 과정을 총칭하기 위한 용어이다. 구체적으로, 본 개시에 따른 전자 장치(100)는 모델 재구성 과정을 통해, 신경망 모델의 구조와 신경망 모델에 포함된 각 레이어의 파라미터들을 변경하여 새로운 신경망 모델에 대한 정보를 획득할 수 있다. 본 개시를 설명함에 있어서는, 모델 재구성 과정을 수행하기 전의 신경망 모델에 대한 정보를 총칭하기 위한 용어로 '제1 모델 정보'라는 용어를 사용하고, 모델 재구성 과정을 수행함에 따라 재구성된 신경망 모델에 대한 정보를 총칭하기 위한 용어로 '제2 모델 정보'라는 용어를 사용한다.

'가중치 데이터'는 복수의 가중치를 포함할 수 있으며, 벡터(vector), 행렬(matrix) 또는 텐서(tensor) 중 하나로 표현될 수 있다. 이하 본 개시를 설명함에 있어서, 양자화를 수행하기 전의 가중치 데이터인 제1 비트 범위의 실수 범위로 표현되는 가중치 데이터를 '제1 가중치 데이터'라고 지칭하고, 양자화를 수행함에 따라 양자화된 가중치 데이터인 제2 비트 범위의 정수로 표현되는 가중치 데이터를 '제2 가중치 데이터'라고 지칭한다. 특히, 제2 가중치 데이터라는 용어는 본 개시에 따른 양자화 과정을 수행한 결과 최종적으로 획득되는 가중치 데이터를 말하며, 양자화 과정 중에 임시적으로 획득되는 임시 가중치 데이터와는 구별되는 의미로 사용된다.

특히, 본 개시에 따른 전자 장치(100)는 소위 '재귀적 양자화(recursive quantization)'라고 지칭될 수 있는 양자화 과정을 수행할 수 있다. 재귀적 양자화는 제1 가중치 데이터에 대한 양자화 및 오차 데이터에 대한 양자화를 포함할 수 있다. 구체적으로, 제1 가중치 데이터에 대한 양자화가 수행되면, 양자화된 가중치 데이터와 제1 가중치 데이터 사이에는 오차가 발생될 수 있다. 이하에서는 제1 가중치 데이터와 양자화된 가중치 데이터에서 서로 대응되는 가중치 사이의 차이를 나타내는 데이터를 '오차 데이터'라고 지칭한다. 오차 데이터는 '양자화 오차(quantized error)' 등과 같은 용어로 지칭될 수 있다. 그리고, 오차 데이터는 복수의 오차 값을 포함할 수 있으며, 벡터, 행렬 또는 텐서 중 하나로 표현될 수 있다.

도 1을 참조하면, 본 개시에 따른 전자 장치(100)는 제1 모델 정보를 바탕으로, 신경망 모델에 포함된 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별할 수 있다(S110). 구체적으로, 전자 장치(100)는 제1 모델 정보에 포함된 신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터를 바탕으로, 복수의 레이어 별로 최적의 양자화된 가중치 데이터를 획득할 수 있는 오차 데이터에 대한 양자화의 반복 횟수를 식별할 수 있다.

'반복 횟수'는 가중치 데이터에 대한 양자화의 결과에 따라 발생되는 오차 데이터에 대한 양자화를 몇 번 수행할 것인지를 나타내는 척도를 말한다. 반복 횟수라는 용어는 본 개시에 따른 양자화의 방식이 재귀적 알고리즘에 따른 것이라는 점에서 '재귀 시간(recursion time)'이라고 지칭될 수도 있다. 본 개시에 따른 가중치 데이터에 대한 양자화는 1회 수행되며, 오차 데이터에 대한 양자화는 반복 횟수에 따라 1회 이상 수행될 수 있다. 즉, 반복 횟수는 1 보다 큰 자연수로 나타낼 수 있다.

구체적으로, 전자 장치(100)는 초기 값으로 설정된 반복 횟수 값에 따라 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득할 수 있다. '임시 가중치 데이터'라는 용어는 제1 가중치 데이터를 양자화하여 최종적으로 제2 가중치 데이터를 획득하기까지의 과정에서 산출되는 가중치 데이터를 총칭하기 위한 용어이다.

한편, 전술한 바와 같이 재귀적 양자화는 제1 가중치 데이터에 대한 양자화 및 오차 데이터에 대한 양자화를 포함하는바, 여기서 제1 가중치 데이터에 대한 양자화 및 오차 데이터에 대한 양자화 각각은, 양자화 후 다시 역양자화(inverse quantization, dequantization)를 수행하는 페이크 양자화(fake quantization) 기법에 따라 수행될 수 있다. 제1 양자화, 제2 양자화 및 제3 양자화의 과정 내에서 수행되는 페이크 양자화 과정에 대해서는 도 2를 참조하여 보다 구체적으로 설명한다.

임시 가중치 데이터가 획득되면, 전자 장치(100)는 임시 가중치 데이터를 바탕으로 신경망 모델의 순전파 과정(feedforward)을 수행하여 제1 손실 값을 획득할 수 있다. 즉, 전자 장치(100)는 학습 데이터에 포함된 입력 데이터를 신경망 모델에 입력하여, 임시 가중치 데이터를 바탕으로 입력 데이터에 대응되는 출력 데이터를 획득하고, 획득된 출력 데이터 및 학습 데이터에 포함된 정답 데이터 사이의 차이를 바탕으로 제1 손실 값을 획득할 수 있다.

한편, 전자 장치(100)는 임시 가중치 데이터를 바탕으로, 신경망 모델을 구동하기 위한 하드웨어에 대한 시뮬레이션(simulation)을 수행하여 하드웨어의 레이턴시(latency)에 대한 제2 손실 값을 획득할 수 있다. 구체적으로, 전자 장치(100)는 신경망 모델을 구동하기 위한 하드웨어의 리소스를 설정하고, 획득된 임시 가중치 데이터를 바탕으로 신경망 모델의 구동을 시뮬레이션함으로써, 설정된 하드웨어 리소스에 대응되는 레이턴시(latency)에 대한 정보 및 그에 따른 제2 손실 값을 획득할 수 있다.

제1 손실 값과 제2 손실 값이 획득되면, 전자 장치(100)는 제1 손실 값과 제2 손실 값이 결합된 제3 손실 값이 감소되도록 반복 횟수 값을 업데이트하여, 반복 횟수를 식별할 수 있다. 구체적으로, 전자 장치(100)는 제3 손실 값을 바탕으로 역전파(back propagation) 과정을 수행하여, 각 레이어 별 활성화 함수(activation function)의 그래디언트(gradient)를 감소시키는 경사 하강법(gradient descent)에 따라 반복 횟수 값을 업데이트할 수 있다. 반복 횟수 값이 특정 값에 수렴할 정도로 업데이트되면, 전자 장치(100)는 업데이트된 반복 횟수 값을 반올림하고, 반올림 결과에 따른 자연수를 본 개시에 따른 재귀적 양자화를 수행하기 위한 반복 횟수로 결정할 수 있다.

구체적으로, 본 개시에 따른 반복 횟수 값이 증가할수록 임시 가중치 데이터의 정밀도가 높아지기 때문에 순전파 과정에 따른 제1 손실 값은 감소하게 되지만, 다른 한편으로는 반복 횟수 값이 증가할수록 더 많은 하드웨어 리소스를 요구하게 되기 때문에 시뮬레이션 과정에 따른 제2 손실 값은 커지게 된다. 이는 양자화된 가중치 데이터를 이용한 신경망 모델의 연산 효율이 신경망 모델에 포함된 각 레이어 별 출력 값의 정밀도와 트레이드 오프(trade-off) 관계에 있기 때문이다. 결국, 본 개시에 따라 제1 손실 값과 제2 손실 값이 결합된 제3 손실 값이 감소되도록 반복 횟수 값을 업데이트하는 과정은, 가중치 데이터의 정밀도와 하드웨어 레이턴시 양자를 고려하여 최적의 반복 횟수를 결정하는 과정이라고 할 수 있다.

한편, 상술한 바와 같은 반복 횟수의 식별 과정은 신경망 모델에 포함된 복수의 레이어 각각에 대해 수행될 수 있다. 즉, 높은 연산 효율을 달성하면서도 정밀도 높은 출력 값을 획득할 수 있는 최적의 비트 범위는 신경망 모델에 포함된 복수의 레이어 별로 상이하기 때문에, 전자 장치(100)는 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별할 수 있으며, 식별된 반복 횟수에 따라 수행되는 이하의 과정 또한 복수의 레이어 별로 수행될 수 있다.

복수의 레이어 별로 반복 횟수가 식별되면, 전자 장치(100)는 식별된 반복 횟수에 따라 재귀적 양자화를 수행하여, 제1 가중치 데이터 각각에 대응되며 제1 비트보다 작은 제2 비트 범위의 정수로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득할 수 있다(S120).

여기서, '양자화 정보'는 본 개시에 따른 재귀적 양자화를 수행한 결과 획득된 정보들을 총칭하기 위한 용어이다. 특히, 양자화 정보는 제2 가중치 데이터에 대한 정보, 제2 가중치 데이터에 대응되는 제1 스케일 정보, 제2 가중치 데이터에 대응되는 오차 데이터에 대한 정보, 오차 데이터에 대응되는 제2 스케일 정보를 포함할 수 있다. 제2 가중치 데이터에 대한 정보, 제1 스케일 정보, 제2 가중치 데이터에 대응되는 오차 데이터에 대한 정보, 제2 스케일 정보를 바탕으로 신경망 모델을 재구성하는 방법에 대해서는 도 4를 참조하여 구체적으로 설명하고, 이하에서는 먼저 제2 가중치 데이터를 획득하는 방법에 대해 중점적으로 설명한다.

구체적으로, 전자 장치(100)는 식별된 반복 횟수에 따라 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득할 수 있다. 임시 가중치 데이터가 획득되면, 전자 장치(100)는 임시 가중치 데이터를 바탕으로 신경망 모델의 순전파 과정을 수행하여 제4 손실 값을 획득할 수 있다. 제4 손실 값이 획득되면, 전자 장치(100)는 제4 손실 값이 감소되도록 제1 가중치 데이터를 업데이트하여, 제2 가중치 데이터를 획득할 수 있다.

여기서, 식별된 반복 횟수에 따라 재귀적 양자화를 수행한다는 것은 제1 가중치 데이터에 대한 1회의 양자화를 수행한 후 오차 데이터에 대한 양자화를 식별된 반복 횟수만큼 반복적으로 수행한다는 것을 의미한다. 예를 들어, 식별된 반복 횟수가 3회이면, 전자 장치(100)는 제1 가중치 데이터에 대한 1회의 양자화를 수행한 후 오차 데이터에 대한 양자화를 2회 수행할 수 있다.

한편, 단계 S120에 따른 재귀적 양자화의 세부 과정 또한 단계 S110에서의 재귀적 양자화와 마찬가지로 양자화 후 다시 역양자화를 수행하는 페이크 양자화기법에 따라 수행될 수 있는바, 이에 대해서는 도 3을 참조하여 보다 구체적으로 설명한다.

상술한 바와 같이 제4 손실 값이 획득되면, 전자 장치(100)는 반복 횟수 값을 업데이트하는 과정과 마찬가지로 같은 역전파 과정을 수행할 수 있다. 즉, 전자 장치(100)는 제4 손실 값을 바탕으로 역전파 과정을 수행하여, 각 레이어 별 활성화 함수의 그래디언트를 감소시키는 경사 하강법에 따라 제1 가중치 데이터를 업데이트할 수 있다. 그리고, 제1 가중치 데이터에 포함된 가중치들이 수렴할 정도로 업데이트되면, 전자 장치(100)는 업데이트된 각 가중치들을 반올림하고, 그에 따라 제2 비트 범위의 정수로 표현되는 가중치들을 획득하며, 획득된 가중치들을 포함하는 제2 가중치 데이터를 획득할 수 있다.

양자화 정보가 획득되면, 전자 장치(100)는 제1 모델 정보, 식별된 반복 횟수에 대한 정보 및 양자화 정보를 바탕으로 신경망 모델을 재구성하여, 재구성된 신경망 모델에 대한 제2 모델 정보를 획득할 수 있다(S130).

제1 모델 정보는 전술한 바와 같이, 신경망 모델의 복수의 레이어에 대한 정보 및 제1 가중치 데이터를 포함할 수 있다. 그리고, 복수의 레이어에 대한 정보는 복수의 레이어의 구조에 대한 정보 및 복수의 레이어 각각에 포함된 적어도 하나의 연산자에 대한 정보 등을 포함할 수 있다.

한편, 양자화 정보는 전술한 바와 같이, 제2 가중치 데이터에 대한 정보, 제2 가중치 데이터에 대응되는 제1 스케일 정보, 제2 가중치 데이터에 대응되는 오차 데이터에 대한 정보, 오차 데이터에 대응되는 제2 스케일 정보를 포함할 수 있다.

전자 장치(100)는 복수의 레이어의 구조에 대한 정보 및 복수의 레이어 각각에 포함된 적어도 하나의 연산자에 대한 정보 등을 바탕으로, 복수의 레이어에 포함된 제1 연산자(operator)에 오차 데이터를 반영하기 위한 복수의 제2 연산자를 식별된 반복 횟수만큼 결합시킬 수 있다. 예를 들어, 식별된 반복 횟수가 2인 경우, 전자 장치(100)는 입력 데이터와 가중치 데이터 사이의 연산을 수행하기 위한 제1 연산자에 하나의 제2 연산자를 부가하고, 제1 연산자에 따른 연산 결과와 제2 연산자에 따른 연산 결과를 합산할 수 있도록 특정 레이어의 구성을 변경할 수 있다.

제1 연산자에 복수의 제2 연산자가 결합되면, 전자 장치(100)는 제2 가중치 데이터에 대한 정보 및 제1 스케일 정보를 제1 연산자에 할당하고, 오차 데이터에 대한 정보 및 제2 스케일 정보를 복수의 제2 연산자에 할당할 수 있다. 이에 따라, 전자 장치(100)는 재구성된 신경망 모델에 대한 정보인 제2 모델 정보를 획득할 수 있다. 신경망 모델을 재구성하여 제2 모델 정보를 획득하는 과정에 대해서는 도 4를 참조하여 보다 구체적으로 설명한다.

상술한 바와 같이 제2 모델 정보가 획득되면, 전자 장치(100)는 제2 모델 정보를 획득하는 과정에서 재구성된 신경망 모델을 이용하여 입력 데이터에 대한 출력 데이터를 획득할 수 있다. 또한, 전자 장치(100)는 획득된 제2 모델 정보를 서버, 엣지 컴퓨팅 디바이스 등을 포함하는 외부 장치로 전송할 수 있으며, 그에 따라 외부 장치에서 재구성된 신경망 모델을 이용할 수도 있다.

이상에서 상술한 바와 같은 실시 예에 따르면, 본 개시에 따른 전자 장치(100)는 최적의 반복 횟수에 따라 가중치 데이터에 대한 재귀적 양자화를 수행함으로써, 높은 연산 효율과 함께 높은 정밀도를 갖는 신경망 모델을 재구성할 수 있게 된다. 다시 말해, 전자 장치(100)는 한 가지의 높은 비트로 양자화를 수행하는 대신 낮는 비트의 베이스 비트(base bit)로 양자화를 수 차례 반복하는 재귀적 양자화 과정을 수행할 수 있으며, 이에 따라 단일 정밀도(single precision)를 지원하는 하드웨어에서도 혼합 정밀도(mixed-precision)를 지원하는 것과 같은 효과를 나타낼 수 있게 된다.

도 2는 본 개시의 일 실시 예에 따른 반복 횟수의 식별 과정을 상세하게 나타내는 흐름도이다. 즉, 도 2는 도 1의 단계 S110에 대해 보다 상세하게 설명하기 위한 도면이다.

전술한 바와 같이, 전자 장치(100)는 제1 모델 정보를 바탕으로, 신경망 모델에 포함된 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별할 수 있다. 구체적으로, 반복 횟수의 식별 과정은 초기 값으로 설정된 반복 횟수 값을 업데이트함으로써 수행될 수 있다. 반복 횟수 값의 초기 값은 임의의 정수 또는 실수 값으로 설정될 수 있다. 반복 횟수 값의 초기 값 설정은 개발자 또는 사용자에 의해 설정될 수 있을 뿐만 아니라, 전자 장치(100)에 의해 임의의 값으로 초기화됨에 따라 설정될 수도 있다. 한편, 반복 횟수의 식별 과정에서는 제1 모델 정보에 포함된 제1 가중치 데이터가 이용되는바, 제1 가중치 데이터는 전자 장치(100)에 기 저장된 상태임을 전제로 설명한다.

도 2를 참조하면, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터에 대한 양자화 및 역양자화를 수행하여, 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터 획득할 수 있다(S210). 제1 임시 가중치 데이터가 획득되면, 전자 장치(100)는 제1 가중치 데이터 및 제1 임시 가중치 데이터를 바탕으로 제1 비트 범위의 실수로 표현되는 오차 데이터를 획득할 수 있다(S220). 그리고, 오차 데이터가 획득되면, 전자 장치(100)는 오차 데이터에 대한 양자화 및 역양자화를 수행하여 추가 오차 데이터를 획득할 수 있다(S230).

즉, 제1 가중치 데이터에 대한 양자화 및 오차 데이터에 대한 양자화 각각은, 양자화 후 다시 역양자화(inverse quantization)를 수행하는 페이크 양자화(fake quantization) 기법에 따라 수행될 수 있다. 이하에서는 본 개시에 따라 순차적 수행되는 양자화 과정들을 순서에 따라 제1 양자화, 제2 양자화 및 제3 양자화 등으로 지칭하는 것을 전제로, 페이크 양자화 기법에 따라 수행되는 제1 양자화, 제2 양자화 및 제3 양자화의 과정에 대해 상술한다.

한편, 이하에서는 설명의 편의 상, 제1 가중치 데이터에 대한 양자화 및 역양자화 결과 획득되는 가중치 데이터 및 오차 데이터를 각각 제1 임시 가중치 데이터 및 제1 오차 데이터라고 지칭하고, 오차 데이터에 대한 반복 횟수만큼의 양자화 및 역양자화 결과 획득되는 추가 오차 데이터를 획득 순서에 따라 제2 오차 데이터, 제3 오차 데이터 등과 같이 지칭한다.

제1 양자화는 다음과 같은 과정을 거쳐 수행될 수 있다. 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터에 대한 양자화를 수행하여, 제2 비트 범위의 정수로 표현되는 가중치 데이터를 획득할 수 있다. 그 후, 전자 장치(100)는 제2 비트 범위의 정수로 표현되는 가중치 데이터에 대한 역양자화를 수행하여 제2 비트 범위의 정수로 표현되는 가중치 데이터를 다시 제1 비트 범위의 실수 값에 매핑함으로써, 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터를 획득할 수 있다. 이에 따라 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터와 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터 사이의 차이를 절대 값으로 나타낸 제1 오차 데이터를 획득할 수 있다. 이 때, 제1 오차 데이터는 제1 비트 범위의 실수로 표현된다.

제2 양자화는 다음과 같은 과정을 거쳐 수행될 수 있다. 제1 오차 데이터가 획득되면, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 오차 데이터에 대한 양자화를 수행하여, 제2 비트 범위의 정수로 표현되는 오차 데이터를 획득할 수 있다. 그 후, 전자 장치(100)는 제2 비트 범위의 정수로 표현되는 오차 데이터에 대한 역양자화를 수행하여 제2 비트 범위의 정수로 표현되는 오차 데이터를 다시 제1 비트 범위의 실수 값에 매핑함으로써, 제1 비트 범위의 실수로 표현되는 제2 오차 데이터를 획득할 수 있다. 이 때, 제2 오차 데이터는 제1 비트 범위의 실수로 표현된다.

상술한 바와 같이 페이크 양자화 기법에 따라 양자화를 수행한 후 다시 역양자화를 수행하는 것은, 양자화에 따라 획득되는 정수 데이터를 실수 데이터로 변환함으로써, 양자화 전후의 데이터 사이의 차이를 실수로 표현하기 위한 것이다. 이 때, 양자화 및 역양자화 결과에 따라 획득되는 데이터는 실수로 표현되지만, 양자화에 따라 정밀도는 감소된 바 있기 때문에 양자화 전후의 데이터 사이에는 차이가 발생할 수 있는 것이다.

상술한 바와 같이 제1 양자화 및 제2 양자화가 수행되면, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터, 제1 비트 범위의 실수로 표현되는 제1 오차 데이터 및 제1 비트 범위의 실수로 표현되는 제2 오차 데이터를 합산하여, 제1 양자화 및 제2 양자화의 결과가 반영된 제2 임시 가중치 데이터를 획득할 수 있다. 여기서, 제2 임시 가중치 데이터는 반복 횟수 값의 업데이트를 위해 신경망 모델에 적용되는 임시 가중치 데이터를 말하며, 반복 횟수 값이 업데이트될 때마다 변경될 수 있다.

한편, 오차 데이터에 대한 양자화 및 역양자화를 수행하여 추가 오차 데이터를 획득하는 과정은, 오차 데이터에 대한 양자화의 시행 횟수가 초기 값으로 설정된 반복 횟수 값에 도달하였는지에 따라 결정될 수 있다.

구체적으로, 도 2에 도시된 바와 같이, 오차 데이터에 대한 양자화의 시행 횟수가 초기 값으로 설정된 반복 횟수 값보다 작으면(S240-Y), 전자 장치(100)는 다시 오차 데이터에 대한 양자화 및 역양자화를 수행하여 추가 오차 데이터를 획득할 수 있다(S230).

예를 들어, 초기 값으로 설정된 반복 횟수 값이 2이면, 상술한 바와 같은 제1 양자화 및 제2 양자화 과정이 수행된 후, 다음과 같은 제3 양자화 과정이 추가적으로 수행될 수 있다. 구체적으로, 제2 오차 데이터가 획득되면, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제2 오차 데이터에 대한 양자화를 수행하여, 제2 비트 범위의 정수로 표현되는 오차 데이터를 획득할 수 있다. 그 후 전자 장치(100)는 제2 비트 범위의 정수로 표현되는 오차 데이터에 대한 역양자화를 수행하여 제2 비트 범위의 정수로 표현되는 오차 데이터를 다시 제1 비트 범위의 실수 값에 매핑함으로써, 제1 비트 범위의 실수로 표현되는 제3 오차 데이터를 획득할 수 있다. 이 때, 제3 오차 데이터는 제1 비트 범위의 실수로 표현된다.

상술한 바와 같이 제1 양자화, 제2 양자화 및 제3 양자화가 수행되면, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터, 제1 비트 범위의 실수로 표현되는 제1 오차 데이터, 제1 비트 범위의 실수로 표현되는 제2 오차 데이터 및 제1 비트 범위의 실수로 표현되는 제3 오차 데이터를 합산하여, 제1 양자화, 제2 양자화 및 제3 양자화의 결과가 반영된 제2 임시 가중치 데이터를 획득할 수 있다. 이상에서는 초기 값으로 설정된 반복 횟수 값이 3인 경우를 전제로 설명하였으나, 초기 값으로 설정된 반복 횟수가 3보다 크면 제1 양자화, 제2 양자화 및 제3 양자화 후 오차 데이터에 대한 제4 양자화 등의 과정이 추가적으로 수행될 수 있음은 물론이다.

한편, 오차 데이터에 대한 양자화의 시행 횟수가 초기 값으로 설정된 반복 횟수 값보다 크거나 같으면(S240-N), 전자 장치(100)는 오차 데이터에 대한 양자화 및 역양자화를 종료하고, 이 때까지 획득된 제1 임시 가중치 데이터, 오차 데이터 및 추가 오차 데이터를 합산하여, 제1 비트 범위의 실수로 표현되는 제2 임시 가중치 데이터를 획득할 수 있다(S250).

한편, 이상에서는 초기 값으로 설정된 반복 횟수 값이 정수인 경우를 전제로 그 반복 횟수 값만큼 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 제2 임시 가중치 데이터를 획득하는 과정에 대해 설명하였으나, 초기 값으로 설정된 반복 횟수 값이 정수가 아닐 수도 있다.

초기 값으로 설정된 반복 횟수 값이 정수가 아니면, 전자 장치(100)는 반복 횟수 값에 대한 내림을 취하여 획득된 제1 반복 횟수 값에 따라 상술한 바와 같은 재귀적 양자화를 수행하여 실수로 표현되는 제3 임시 가중치 데이터를 획득하고, 반복 횟수 값에 대한 올림을 취하여 획득된 제2 반복 횟수 값에 따라 상술한 바와 같은 재귀적 양자화를 수행하여 실수로 표현되는 제4 임시 가중치 데이터를 획득할 수 있다. 그리고, 전자 장치(100)는 제3 임시 가중치 데이터 및 제4 임시 가중치 데이터 중 서로 대응되는 가중치들을 보간(interpolation)하여 제2 임시 가중치 데이터를 획득할 수 있다. 즉, 전자 장치(100)는 보간 결과에 따른 임시 가중치 데이터를 본 개시에 따른 제2 임시 가중치 데이터로 결정할 수 있다.

예를 들어, 초기 값으로 설정된 반복 횟수 값이 2.5이면, 전자 장치(100)는 반복 횟수 값에 대한 내림을 취하여 획득된 제1 반복 횟수인 2회만큼 본 개시에 따른 재귀적 양자화를 수행하여 실수로 표현되는 제3 임시 가중치 데이터를 획득하고, 반복 횟수 값에 대한 올림을 취하여 획득된 제2 반복 횟수인 3회만큼 재귀적 양자화를 수행하여 실수로 표현되는 제4 임시 가중치 데이터를 획득할 수 있다. 그리고, 전자 장치(100)는 제3 임시 가중치 데이터 및 제4 임시 가중치 데이터 중 서로 대응되는 가중치들을 보간하여 제2 임시 가중치 데이터를 획득할 수 있다. 일 예로서, 가중치들의 보간은 선형 보간법(linear interpolation)을 통해 수행될 수 있으나, 본 개시에 따른 보간 방법에 특별한 제한이 있는 것은 아니다.

상술한 바와 같은 과정을 통해 제2 임시 가중치 데이터가 획득되면, 전자 장치(100)는 제2 임시 가중치 데이터를 바탕으로 신경망 모델의 순전파 과정(feedforward)을 수행하여 제1 손실 값을 획득할 수 있다. 즉, 전자 장치(100)는 학습 데이터에 포함된 입력 데이터를 신경망 모델에 입력하여, 제2 임시 가중치 데이터를 바탕으로 입력 데이터에 대응되는 출력 데이터를 획득하고, 획득된 출력 데이터 및 학습 데이터에 포함된 정답 데이터 사이의 차이를 바탕으로 제1 손실 값을 획득할 수 있다.

한편, 전자 장치(100)는 제2 임시 가중치 데이터를 바탕으로, 신경망 모델을 구동하기 위한 하드웨어에 대한 시뮬레이션(simulation)을 수행하여 하드웨어의 레이턴시(latency)에 대한 제2 손실 값을 획득할 수 있다. 구체적으로, 전자 장치(100)는 신경망 모델을 구동하기 위한 하드웨어의 리소스를 설정하고, 획득된 임시 가중치 데이터를 바탕으로 신경망 모델의 구동을 시뮬레이션함으로써, 설정된 하드웨어 리소스에 대응되는 레이턴시(latency)에 대한 정보 및 그에 따른 제2 손실 값을 획득할 수 있다. 일 예로서, 본 개시에 따른 전자 장치(100)를 이용하여 신경망 모델을 구동할 경우에는, 후술하는 바와 같은 메모리(110) 및 프로세서(120)의 하드웨어 리소스를 설정하여 상술한 바와 같은 시뮬레이션이 수행될 수 있다. 다만, 신경망 모델을 구동하기 위한 하드웨어가 본 개시에 따른 전자 장치(100)의 하드웨어에 국한되지 않음은 물론이다.

제1 손실 값과 제2 손실 값이 획득되면, 전자 장치(100)는 제1 손실 값과 제2 손실 값이 결합된 제3 손실 값이 감소되도록 반복 횟수 값을 업데이트하여, 반복 횟수를 식별할 수 있다. 전술한 바와 같이, 본 개시에 따라 제1 손실 값과 제2 손실 값이 결합된 제3 손실 값이 감소되도록 반복 횟수 값을 업데이트하는 과정은, 가중치 데이터의 정밀도와 하드웨어 레이턴시 양자를 고려하여 최적의 반복 횟수를 결정하는 과정이라고 할 수 있다.

구체적으로, 전자 장치(100)는 제3 손실 값을 바탕으로 역전파(back propagation) 과정을 수행하여, 각 레이어 별 활성화 함수(activation function)의 그래디언트(gradient)를 감소시키는 경사 하강법(gradient descent)에 따라 반복 횟수 값을 업데이트할 수 있다. 그리고, 반복 횟수 값이 새로운 반복 횟수 값으로 업데이트되면, 새로운 반복 횟수 값을 설정 값으로 하여 상술한 바와 같은 단계 S210, S220, S230, S240 및 S250을 반복함으로써 새로운 제2 임시 가중치 데이터를 획득할 수 있다. 나아가, 새로운 제2 임시 가중치 데이터가 획득되면, 상술한 바와 같은 단계 S260, S270 및 S280을 반복함으로써 다시 반복 횟수 값을 업데이트할 수 있다.

반복 횟수 값이 특정 값에 수렴할 정도로 업데이트되면, 전자 장치(100)는 업데이트된 반복 횟수 값을 본 개시에 따른 재귀적 양자화를 수행하기 위한 반복 횟수로 결정할 수 있다. 이 때, 업데이트된 반복 횟수 값을 정수로 표현하기 위한 반올림 과정이 추가적으로 수행될 수 있다.

도 3은 본 개시의 일 실시 예에 따른 양자화 정보의 획득 과정을 상세하게 나타내는 흐름도이다. 즉, 도 3은 도 1의 단계 S120에 대해 보다 상세하게 설명하기 위한 도면이다.

전술한 바와 같이, 복수의 레이어 별로 반복 횟수가 식별되면, 전자 장치(100)는 식별된 반복 횟수에 따라 재귀적 양자화를 수행하여, 제1 가중치 데이터 각각에 대응되며 제1 비트보다 작은 제2 비트 범위의 정수로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득할 수 있다.

구체적으로, 전자 장치(100)는 식별된 반복 횟수에 따라 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득할 수 있다. 임시 가중치 데이터가 획득되면, 전자 자치는 임시 가중치 데이터를 바탕으로 신경망 모델의 순전파 과정을 수행하여 손실 값을 획득할 수 있다. 손실 값이 획득되면, 전자 장치(100)는 손실 값이 감소되도록 제1 가중치 데이터를 업데이트하여, 제2 가중치 데이터를 획득할 수 있다.

특히, 임시 가중치 데이터를 획득하는 과정은 도 2를 참조하여 상술한 바와 같이 양자화 후 다시 역양자화를 수행하는 페이크 양자화 기법에 따라 수행될 수 있다. 이하에서는 도 2에 대한 설명에서 사용된 용어와의 구별을 위해, 제1 가중치 데이터에 대한 양자화 및 역양자화 결과 획득되는 가중치 데이터 및 오차 데이터를 각각 제5 임시 가중치 데이터 및 제4 오차 데이터라고 지칭하고, 오차 데이터에 대한 반복 횟수만큼의 양자화 및 역양자화 결과 획득되는 추가 오차 데이터를 획득 순서에 따라 제5 오차 데이터, 제6 오차 데이터 등과 같이 지칭한다.

도 3을 참조하면, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터에 대한 양자화 및 역양자화를 수행하여, 제1 비트 범위의 실수로 표현되는 제5 임시 가중치 데이터를 획득할 수 있다(S310).

구체적으로, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터에 대한 양자화를 수행하여, 제2 비트 범위의 정수로 표현되는 가중치 데이터를 획득할 수 있다. 그 후, 전자 장치(100)는 제2 비트 범위의 정수로 표현되는 가중치 데이터에 대한 역양자화를 수행하여 제2 비트 범위의 정수로 표현되는 가중치 데이터를 다시 제1 비트 범위의 실수 값에 매핑함으로써, 제1 비트 범위의 실수로 표현되는 제5 임시 가중치 데이터를 획득할 수 있다. 이에 따라 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터와 제1 비트 범위의 실수로 표현되는 제5 임시 가중치 데이터 사이의 차이를 절대 값으로 나타낸 제4 오차 데이터를 획득할 수 있다. 이 때, 제4 오차 데이터는 제1 비트 범위의 실수로 표현된다.

제5 임시 가중치 데이터가 획득되면, 전자 장치(100)는 오차 데이터에 대한 양자화 및 역양자화를 수행하여 추가 오차 데이터를 획득할 수 있다(S320).

구체적으로, 제4 오차 데이터가 획득되면, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제4 오차 데이터에 대한 양자화를 수행하여, 제2 비트 범위의 정수로 표현되는 오차 데이터를 획득할 수 있다. 그 후, 전자 장치(100)는 제2 비트 범위의 정수로 표현되는 오차 데이터에 대한 역양자화를 수행하여 제2 비트 범위의 정수로 표현되는 오차 데이터를 다시 제1 비트 범위의 실수 값에 매핑함으로써, 제1 비트 범위의 실수로 표현되는 제5 오차 데이터를 획득할 수 있다. 이 때, 제5 오차 데이터는 제1 비트 범위의 실수로 표현된다.

제5 오차 데이터가 획득되면, 전자 장치(100)는 제1 비트 범위의 실수로 표현되는 제5 임시 가중치 데이터, 제1 비트 범위의 실수로 표현되는 제4 오차 데이터 및 제1 비트 범위의 실수로 표현되는 제5 오차 데이터를 합산하여, 제6 임시 가중치 데이터를 획득할 수 있다. 여기서, 제6 임시 가중치 데이터는 제1 가중치 데이터의 업데이트를 위해 신경망 모델에 적용되는 임시 가중치 데이터를 말하며, 반복 횟수 값이 업데이트될 때마다 변경될 수 있다.

한편, 오차 데이터에 대한 양자화 및 역양자화를 수행하여 추가 오차 데이터를 획득하는 과정은, 오차 데이터에 대한 양자화의 시행 횟수가 식별된 반복 횟수 값에 도달하였는지에 따라 결정될 수 있다.

구체적으로, 도 3에 도시된 바와 같이, 오차 데이터에 대한 양자화의 시행 횟수가 식별된 설정된 반복 횟수 값보다 작으면(S330-Y), 전자 장치(100)는 다시 오차 데이터에 대한 양자화 및 역양자화를 수행하여 추가 오차 데이터를 획득할 수 있다(S320).

한편, 오차 데이터에 대한 양자화의 시행 횟수가 초기 값으로 설정된 반복 횟수 값보다 크거나 같으면(S330-N), 전자 장치(100)는 오차 데이터에 대한 양자화 및 역양자화를 종료하고, 제5 임시 가중치 데이터, 오차 데이터 및 추가 오차 데이터를 합산하여, 제1 비트 범위의 실수로 표현되는 제6 임시 가중치 데이터를 획득할 수 있다(S340).

상술한 바와 같은 과정을 통해 제6 임시 가중치 데이터가 획득되면, 전자 장치(100)는 제6 임시 가중치 데이터를 바탕으로 신경망 모델의 순전파 과정을 수행하여 제4 손실 값을 획득할 수 있다(S350). 여기서, 제4 손실 값이라는 용어는 앞서 정의한 바와 같은 제1 손실 값, 제2 손실 값 및 제4 손실 값과의 구별을 위한 것으로서, 순전파 과정을 수행함으로써 획득된 손실 값이라는 점에서 제1 손실 값과 그 성질이 동일하다고 할 수 있다.

제4 손실 값이 획득되면, 전자 장치(100)는 제4 손실 값이 감소되도록 제1 가중치 데이터를 업데이트하여, 제2 가중치 데이터를 획득할 수 있다(S360). 구체적으로, 전자 장치(100)는 제4 손실 값을 바탕으로 역전파 과정을 수행하여, 각 레이어 별 활성화 함수의 그래디언트를 감소시키는 경사 하강법에 따라 제1 가중치 데이터를 업데이트할 수 있다. 그리고, 제1 가중치 데이터가 새로운 가중치 데이터로 업데이트되면, 새로운 제1 가중치 데이터를 바탕으로 상술한 바와 같은 단계 S310, S320, S330 및 S340을 반복함으로써 새로운 제6 임시 가중치 데이터를 획득할 수 있다. 나아가, 새로운 제6 임시 가중치 데이터가 획득되면, 상술한 바와 같은 단계 S350 및 S360을 반복함으로써 다시 제1 가중치 데이터를 업데이트할 수 있다.

제1 가중치 데이터가 수렴할 정도로 업데이트되면, 전자 장치(100)는 업데이트된 제1 가중치 데이터를 본 개시에 따른 모델 재구성 과정을 수행하기 위한 가중치 데이터인 제2 가중치 데이터로 결정할 수 있다. 이 때, 업데이트된 제1 가중치 데이터를 정수로 표현하기 위한 반올림 과정이 추가적으로 수행될 수도 있다.

한편, 이상에서는 페이크 양자화 기법에 따른 재귀적 양자화 과정을 통해 제1 가중치 데이터를 업데이트하여 본 개시에 따른 모델 재구성 과정을 수행하기 위한 제2 가중치 데이터를 획득하는 과정에 대해 상술하였는바, 페이크 양자화 기법에 대한 보다 구체적인 내용에 대해서는 도 2를 참조하여 상술하였으므로 중복 설명은 생략하였다.

도 4는 본 개시의 일 실시 예에 따른 신경망 모델의 재구성 과정을 설명하기 위한 도면이다. 즉, 도 3은 도 1의 단계 S130에 대해 보다 상세하게 설명하기 위한 도면이다.

전술한 바와 같이, 제2 가중치 데이터가 획득되면, 전자 장치(100)는 제1 모델 정보, 식별된 반복 횟수에 대한 정보 및 양자화 정보를 바탕으로 신경망 모델을 재구성하여, 재구성된 신경망 모델에 대한 제2 모델 정보를 획득할 수 있다.

제1 모델 정보는 전술한 바와 같이, 신경망 모델의 복수의 레이어에 대한 정보 및 제1 가중치 데이터를 포함할 수 있다. 그리고, 복수의 레이어에 대한 정보는 복수의 레이어의 구조에 대한 정보 및 복수의 레이어 각각에 포함된 적어도 하나의 연산자에 대한 정보 등을 포함할 수 있다. 그리고, 양자화 정보는 전술한 바와 같이, 제2 가중치 데이터에 대한 정보, 제2 가중치 데이터에 대응되는 제1 스케일 정보, 제2 가중치 데이터에 대응되는 오차 데이터에 대한 정보 및 오차 데이터에 대응되는 제2 스케일 정보를 포함할 수 있다.

구체적으로, 전자 장치(100)는 제1 모델 정보에 포함된 복수의 레이어의 구성에 대한 정보 및 복수의 레이어에 포함된 연산자들에 대한 정보 등을 바탕으로, 신경망 모델의 레이어에 포함된 제1 연산자에, 오차 데이터를 반영하기 위한 복수의 제2 연산자를 식별된 반복 횟수에 대응되는 개수만큼 결합시킬 수 있다. 여기서, 제1 연산자는 입력 데이터와 가중치 데이터 사이의 연산을 수행하기 위한 연산자를 말하며, 제2 연산자는 가중치 데이터에 오차 데이터를 반영하기 위한 연산자를 말한다. 구체적으로, 복수의 제2 연산자는 오차 데이터와 제2 스케일 정보 사이의 연산을 수행하기 위한 연산자와 연산 결과들을 합산하기 위한 연산자를 포함할 수 있다.

도 4는 본 개시에 따라, 입력 데이터(x)와 가중치 데이터(

,

) 사이의 연산을 수행하기 위한 제1 연산자(411)에 오차 데이터(

와 제2 스케일 정보(

사이의 연산을 수행하기 위한 k개의 연산자(411, 412, 413)가 병렬적으로 부가되고, 나아가 연산 결과들을 합산하기 위한 k-1개의 연산자(421, 422, 423)가 부가될 수 있음을 나타낸다. 여기서,

는 출력 데이터를 나타내며, k는 식별된 반복 횟수에 대응되는 자연수이다.

상술한 바와 같이 레이어의 구성이 변경되면, 전자 장치(100)는 변경된 레이어의 각 연산자에 양자화된 파라미터들을 할당할 수 있다. 구체적으로, 복수의 제2 연산자가 전자 장치(100)는 제2 가중치 데이터에 대한 정보 및 제1 스케일 정보를 제1 연산자에 할당하고, 오차 데이터에 대한 정보 및 제2 스케일 정보를 복수의 제2 연산자에 할당할 수 있다. 이에 따라, 전자 장치(100)는 재구성된 신경망 모델에 대한 정보인 제2 모델 정보를 획득할 수 있다.

도 4를 참조하면, 전자 장치(100)는 제1 연산자의 제1 가중치 데이터(

)를 양자화된 제2 가중치 데이터(

)로 변경하고(즉,

), 제1 연산자(411)에 제1 스케일 정보(

)를 할당할 수 있다. 또한, 전자 장치(100)는 오차 데이터(

와 제2 스케일 정보(

사이의 연산을 수행하기 위한 k개의 연산자 각각(411, 412, 413)에 그에 대응되는 오차 데이터(

및 제2 스케일 정보(

를 할당할 수 있다.

다시 말해, 본 개시에 따른 신경망 모델의 재구성 과정이 수행되기 전에는, 입력 데이터가 제1 연산자를 포함하는 특정 레이어의 입력되면, 제1 연산자는 입력 데이터와 제1 가중치 데이터 사이의 연산을 수행하여 출력 데이터를 출력할 수 있다. 그러나, 본 개시에 따른 신경망 모델의 재구성 과정이 수행되면, 재구성된 신경망 모델에 포함된 레이어는 제1 연산자 및 복수의 제2 연산자를 통해, 할당된 파라미터들인 제2 가중치 데이터, 제1 스케일 정보, 오차 데이터 및 제2 스케일 정보를 바탕으로 입력 데이터에 대한 출력 데이터를 출력할 수 있게 된다.

한편, 재구성된 신경망 모델을 이용하여 입력 데이터에 대한 출력 데이터를 획득하는 과정은 하기의 수학식 1 내지 5에 기초한 연산 과정에 따라 수행될 수 있다.

수학식 1은 스케일 정보(s)의 정의와 제로 포인트(

)의 정의를 나타내는 식이다. 수학식 1에서

는 실수 가중치 데이터의 상한 값,

은 실수 가중치 데이터의 하한 값, 그리고

은 베이스 비트(base bit)를 나타낸다. 여기서, 베이스 비트란 신경망 모델이 표현할 수 있는 비트의 기본 단위를 말한다.

수학식 1을 참조하면, 스케일 정보는 상한 값과 하한 값으로 특정되는 실수 가중치 데이터의 범위를 베이스 비트에 따라 특정되는 정수 값의 개수로 나눈 값으로 정의된다. 그리고, 제로 포인트는 실수 가중치 데이터의 하한 값을 스케일 정보로 나눈 후 음수를 취한 값을 말한다.

수학식 2는 실수 값을 양자화하여 정수 값을 획득하는 경우, 실수 값(

)과 정수 값(

) 사이의 관계를 스케일 정보 및 제로 포인트를 이용하여 나타내는 식이다. 즉, 실수 값과 정수 값 사이에는 기울기를 s로 하고 절편을

로 하는 일차 함수의 관계가 성립할 수 있다.

수학식 3은 입력 데이터(

), 가중치 데이터(

) 및 출력 데이터(

) 사이의 관계를 나타내는 식이다. 여기서, 연산 기호(

)는 합성곱(convolution) 연산을 의미할 수 있으며, 다만 본 개시에 따른 연산의 종류에 특별한 제한이 따르는 것은 아니다.

수학식 4는 입력 데이터에 대한 스케일 정보, 가중치 데이터에 대한 스케일 정보 및 출력 데이터에 대한 스케일 정보 사이의 관계를 나타내는 식이다. 여기서, 아래 첨자

는 입력 데이터, 아래 첨자

는 출력 데이터, 그리고 아래 첨자

는 가중치 데이터에 관한 것임을 각각 나타낸다. 구체적으로, 수학식 2 및 수학식 3을 이용하면 수학식 4와 같은 관계식이 도출된다.

수학식 5는 양자화된 입력 데이터 및 양자화된 가중치 데이터를 바탕으로 양자화된 출력 데이터를 획득하는 과정을 나타내는 식이다. 구체적으로, 수학식 3 및 수학식 4를 이용하여, 양자화된 출력 데이터를 기준으로 정렬하면, 수학식 5와 같은 관계식이 도출된다.

결론적으로, 수학식 1 내지 5를 참조하여 설명한 바와 같은 연산 과정에 따르면, 양자화된 입력 데이터 및 양자화된 가중치 데이터를 바탕으로 양자화된 출력 데이터를 획득할 수 있다.

본 개시의 일 실시 예에 따르면, 특정 레이어의 출력 데이터가 다음 레이어로 전달될 때에는 실수로 표현되어 전달될 수 있다. 즉, 양자화된 출력 데이터는 역양자화된 후 다음 레이어로 전달될 수 있으며, 그 다음 레이어에서는 역양자화된 출력 데이터를 다시 양자화하여 입력 데이터로 이용할 수 있다.

다만, 특정 레이어의 출력 데이터가 다음 레이어로 전달될 때에 반드시 실수로 표현되어 전달되어야 하는 것은 아니다. 즉, 본 개시의 일 실시 예에 따르면, 특정 레이어의 양자화 출력값(즉, 다음 레이어의 입력값)과 출력 스케일(즉, 다음 레이어의 입력 스케일)이 같이 전달되어 다음 레이어에서 합성곱이나 선형연산 시 내부적으로 컴파운드 스케일 (

을 통해 반영할 수도 있다. 이처럼 중간에 역양자화 과정이 없이 End-to-End Integer 연산을 하게 되면, 하드웨어 Latency를 크게 줄일 수 있는 이점이 있다.

도 5는 본 개시에 따른 재귀적 양자화를 수행하기 위한 하드웨어 구성에 대해 설명하기 위한 도면이다.

도 5에 도시된 바와 같은 하드웨어 구조는 합성곱 연산을 수행하기 위한 통상적인 하드웨어 구성(component)들과 하드웨어 구성들의 구조(architecture)를 예시적으로 나타낸다.

도 5에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 하드웨어 구성은 복수의 합성곱 연산자(510, 520) 및 합산 연산자(530)를 포함할 수 있다. 여기서, 복수의 합성곱 연산자(510, 520) 각각은 도 5에 예시적으로 도시된 바와 같은 복수의 모듈을 통해 입력 데이터에 대한 부분합(partial sum)을 획득할 수 있으며, 합산 연산자(530)는 부분합들을 합하여 출력 데이터를 획득할 수 있다. 도 5에서는 복수의 합성곱 연산자(510, 520) 중 두 개의 연산자인 제1 합성곱 연산자(510) 및 제2 합성곱 연산자(520)를 도시하였으나, 이는 간략한 도시를 위한 것일 뿐, 입력 데이터의 크기에 따라 더 많은 합성곱 연산자가 병렬적으로 배치될 수 있음은 물론이다.

구체적으로, 입력 데이터가 제1 합성곱 연산자(510)에 입력되면, 제1 합성곱 연산자(510)는 MATMUL 모듈(matrix multiplication module)을 통해 입력 데이터를 나타내는 매트릭스와 가중치 데이터를 나타내는 매트릭스 사이의 곱 연산을 수행할 수 있으며, ACC 모듈(accumulation module)을 통해 곱 연산 결과들을 누적할 수 있다. 그리고, 제1 합성곱 연산자(510)는 Add Bias 모듈을 통해 곱 연산 결과들의 편차를 보정하고, Rescale 모듈을 통해 스케일을 조정하여 제1 중간 값을 획득할 수 있다.

제1 합성곱 연산자(510)를 통해 제1 중간 값을 획득하는 과정과 마찬가지로 제2 합성곱 연산자(520)를 통해 제2 중간 값이 획득되면, 합산 연산자(530)는 제1 중간 값 및 제2 중간 값이 합산된 결과 값을 획득할 수 있다. 한편, 도 5의 Sat_unit8은 결과 값을 8비트로 변환하여 출력하기 위한 연산자를 예시적으로 나타낸 것이다.

상술한 바와 같이, 합성곱 연산을 수행할 수 있는 하드웨어의 경우 병렬적인 복수의 합성곱 연산자(510, 520)를 포함하며, 또한 중간 값들에 대한 부분합을 수행할 수 있는 합산 연산자(530)를 포함한다. 따라서, 도 5에 도시된 바와 같은 하드웨어 구성 본 개시에 따른 재귀적 양자화에 이용될 수 있다.

구체적으로, 하드웨어 구성 내에서 병렬적으로 배치된 복수의 합성곱 연산자(510, 520)는 도 4에 도시된 바와 같은 제1 연산자(411) 및 복수의 제2 연산자 중 제1 연산자에 오차 데이터와 제2 스케일 정보 사이의 연산을 수행하기 위한 연산자(412, 413)에 대응되며, 하드웨어 구성 내에서 복수의 합성곱 연산자 사이에 배치된 합산 연산자(530)는 도 4에 도시된 바와 같은 연산 결과들을 합산하기 위한 연산자(421, 422, 423)에 대응될 수 있다.

다시 말해, 본 개시에 따른 재귀적 양자화를 수행하기 위한 연산자들은 도 5에 도시된 바와 같은 통상적인 컨볼루션 연산용 하드웨어의 구성을 이용하여 구현될 수 있다.

도 6은 본 개시의 일 실시 예에 따라 합성곱 연산을 수행하는 과정에 대해 설명하기 위한 도면이다.

도 6에 도시된 바와 같이, 합성곱 연산에 이용되는 입력 데이터(610)는 세로(H), 가로(W) 및 채널(C_in)에　따른　크기를 가지는　매트릭스로　정의될 수 있다. 그리고, 합성곱 연산에 이용되는 가중치 데이터(620, 630)는 세로(K_h), 가로(K_w) 및 입력 데이터의 채널(C_in)　및 출력 데이터의 채널(C_ｏｕｔ)에　따른　크기를 가지는　매트릭스로　정의될 수 있다.　또한，　출력　데이터(640)는　세로(H), 가로(W) 및 출력　데이터의　채널(C_ｏｕｔ)에　따른　크기를　가지는　매트릭스로　정의될　수　있다．본 개시에 있어서 '채널(channel)'이라는 용어는 '뎁스(depth)'라는 용어로 대체될 수도 있다.

본 개시의 일 실시 예에 따르면, 본 개시에 따른　가중치　데이터는 양자화된 가중치 데이터(620)와 양자화된 오차 데이터(630)가 결합된 형태의 통합　데이터로 구축될 수 있다. 구체적으로, 도 6에 도시된 바와 같이， 본 개시에 따른　가중치　데이터는 마치　하나의　가중치　데이터인　것과　같이，　양자화된 가중치 데이터(620)와 양자화된 오차 데이터(630)가　결합되어　입력 데이터의 채널(C_in)의　두　배　채널（２＊C_in）를　가지도록　구축될　수　있다．

이　경우，　전자 장치(100)는　하나의　연산자를　통해，　입력　데이터(610)와　통합　데이터　사이의　연산을　수행하여　출력　데이터(640)를　획득할　수　있다．　구체적으로，　전자 장치(100)는　하나의　연산자(60)를　통해，　통합　데이터　중　양자화된 가중치　데이터(

)와　입력　데이터()와의　연산을　수행한　후　그에　대응되는　스케일(

)을　곱하고，통합　데이터　중　양자화된 오차　데이터 (

)와　입력　데이터()와의　연산을　수행한　후　그에　대응되는　스케일(

)을　곱하고，곱　연산　결과들을　합산하여　하나의　출력　데이터를　획득할　수　있다．

특히，　통합　데이터　중　가중치　데이터와　입력　데이터와 사이의　연산을　수행하기　위한　하드웨어와　통합　데이터　중　오차　데이터와　입력　데이터 사이의　연산을　수행하기　위한　하드웨어가　별도로　구현되면，　도 6에 도시된 바와 같은 통합 데이터를 이용한 컨볼루션　연산의　속도와　효율성은　현저하게　향상될　수　있다．

도 7은 본 개시의 일 실시 예에 따라 윤곽선 검출을 위한 필터의 가중치에 대한 재귀적 양자화 과정을 설명하기 위한 도면이다.

본 개시에 따른 재귀적 양자화의 대상이 되는 가중치 데이터에 특별한 제한이 따르는 것은 아닌바, 예를 들어, 이미지에 포함된 윤곽선(edge)를 검출하기 위한 필터를 구성하는 가중치 데이터에 대해서도 본 개시에 따른 재귀적 양자화 과정이 수행될 수 있다.

먼저, 도 7의 첫번째 매트릭스는 본 개시에 따른 양자화 과정이 수행되기 전의 가중치 값들을 포함하는 필터를 도시한 것이다. 일 실시 예에 따르면, 필터는 필터를 구성하는 가중치 값들의 총 합이 0이 되는 특성을 갖는 제로섬 필터(zero-sum filter)일 수 있다. 예를 들어, 필터가 제로섬 필터의 일 예인 라플라시안 필터(Laplacian filter)인 경우, 도 7의 첫번째 매트릭스와 같이 가중치 값들 중 x 값들은 모두 -1이고 y값은 8일 수 있다.

그런데, 도 7의 첫번째 매트릭스의 가중치 값들을 포함하는 가중치 데이터에 대해 양자화가 수행되면, 그에 따라 양자화 전후의 가중치 값들 사이에 오차가 발생될 수 있다. 양자화 전후의 가중치 값들 사이에 오차가 발생되면, 양자화된 가중치 값들의 총 합이 0이 아니게 될 수 있으며, 그로써 양자화된 가중치 값들을 포함하는 필터는 제로섬 필터로서의 특성을 잃게 될 수 있다. 예를 들어, 양자화에 따른 오차에 말미암아 도 7의 두번째 매트릭스의 가중치 값들의 총합, 즉

는 0에 수렴하지 않을 수 있다.

그러나, 본 개시에 따른 재귀적 양자화 과정에 따라 오차 데이터에 대한 추가적인 양자화 과정이 수행되고 그에 따라 양자화된 가중치 값들에 오차 데이터가 반영되면, 양자화된 가중치 값들의 총 합이 0에 수렴할 수 있다. 즉, 도 7의 세번째 매트릭스에 도시된 바와 같이 양자화된 가중치 데이터에 대한 양자화가 식별된 반복 횟수만큼 수행되고 그 결과(

)가 양자화된 가중치 데이터에 반영되면, 양자화된 가중치 값들의 총 합이 0에 수렴할 수 있으며, 그에 따라 제로섬 필터로서의 특성이 유지될 수 있다.

도 8은 본 개시의 일 실시 예에 따른 하드웨어 구성을 간략하게 나타내는 블록도이고, 도 9는 본 개시의 일 실시 예에 따른 하드웨어 구성에 결합된 소프트웨어 모듈을 나타내는 블록도이다.

도 8에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 메모리 및 프로세서를 포함한다. 또한, 도 9에 도시된 바와 같이, 본 개시에 따른 프로세서는 반복 횟수 식별 모듈(iteration count identification module), 재귀적 양자화 모듈(recursive quantization module) 및 모델 재구성 모듈(model reconfiguration module)과 같은 소프트웨어 모듈들을 이용하여 본 개시에 따른 다양한 실시 예를 구현할 수 있다. 그러나, 도 8 및 도 9에 도시된 바와 같은 구성들은 예시적인 것에 불과할 뿐이며, 본 개시를 실시함에 있어 도 8 및 도 9에 도시된 바와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.

메모리에는 전자 장치(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.

구체적으로, 메모리에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서는 메모리에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리는 프로세서에 의해 액세스되며, 프로세서에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

한편, 본 개시에서 메모리라는 용어는 메모리, 프로세서 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 제1 가중치 데이터를 포함하는 제1 모델 정보, 제2 가중치 데이터를 포함하는 제2 모델 정보, 양자화 정보, 설정된 반복 횟수에 대한 정보, 본 개시에 따라 식별된 반복 횟수에 대한 정보, 순전파 과정에 따른 손실 값에 대한 정보 및 하드웨어에 대한 시뮬레이션 결과에 따른 손실 값에 대한 정보 등과 같은 다양한 정보가 저장될 수 있다.

그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리에 저장될 수 있으며, 메모리에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서는 메모리를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.

프로세서는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서는 반복 횟수 식별 모듈, 재귀적 양자화 모듈 및 모델 재구성 모듈과 같은 소프트웨어 모듈들을 이용하여 본 개시에 따른 다양한 실시 예를 구현할 수 있다.

프로세서는 반복 횟수 식별 모듈을 통해, 제1 모델 정보를 바탕으로 신경망 모델에 포함된 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별할 수 있다.

'반복 횟수 식별 모듈'은 본 개시에 따른 오차 데이터에 대한 양자화의 반복 횟수를 식별할 수 있는 모듈을 말한다. 구체적으로, 제1 모델 정보에 포함된 신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터가 입력되면, 반복 횟수 식별 모듈은 복수의 레이어 별로 최적의 양자화된 가중치 데이터를 획득할 수 있는 오차 데이터에 대한 양자화의 반복 횟수를 식별할 수 있다.

복수의 레이어 별로 반복 횟수가 식별되면, 프로세서는 재귀적 양자화 모듈을 통해, 반복 횟수 식별 모듈의 출력에 따른 반복 횟수에 따라 재귀적 양자화를 수행하여, 제1 가중치 데이터 각각에 대응되며 제1 비트보다 작은 제2 비트 범위의 정수로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득할 수 있다.

'재귀적 양자화 모듈'은 제1 가중치 데이터에 대한 양자화 및 오차 데이터에 대한 양자화 수행할 수 있는 모듈을 말한다. 구체적으로, 재귀적 양자화 모듈은 양자화 후 다시 역양자화를 수행하는 페이크 양자화 기법에 따라, 제1 가중치 데이터에 대한 양자화를 수행하고, 제1 가중치 데이터에 대한 양자화 결과에 따른 오차 데이터에 대한 양자화를 식별된 반복 횟수만큼 수행함으로써 본 개시에 따른 양자화 정보를 획득할 수 있다.

양자화 정보가 획득되면, 프로세서는 모델 재구성 모듈을 통해, 제1 모델 정보, 식별된 반복 횟수에 대한 정보 및 양자화 정보를 바탕으로 신경망 모델을 재구성하여, 재구성된 신경망 모델에 대한 제2 모델 정보를 획득할 수 있다.

'모델 재구성 모듈'은 본 개시에 따른 재귀적 양자화의 결과를 바탕으로 신경망 모델의 구조 및 파라미터를 재구성할 수 있는 모듈을 말한다. 구체적으로, 모델 재구성 모듈은 반복 횟수 식별 모듈의 출력에 따른 반복 횟수 및 재귀적 양자화 모듈의 출력에 따른 양자화 정보를 바탕으로 신경망 모델을 제구성하여 제2 모델 정보를 획득할 수 있다.

프로세서의 제어를 바탕으로 한 본 개시에 따른 다양한 실시 예에 대해서는 도 1 내지 도 7을 참조하여 상술하였으므로 중복 설명은 생략한다.

한편, 상술한 실시 예에 따른 전자 장치(100)의 제어 방법은 프로그램으로 구현되어 전자 장치(100)에 제공될 수 있다. 특히, 전자 장치(100)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

구체적으로, 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 전자 장치(100)의 제어 방법은 상기 전자 장치의 제어 방법은 신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수(real number)로 표현되는 제1 가중치 데이터를 포함하는 제1 모델 정보를 바탕으로, 상기 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별하는 단계, 상기 식별된 반복 횟수에 따라 상기 재귀적 양자화를 수행하여, 상기 제1 가중치 데이터 각각에 대응되며 상기 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득하는 단계 및 상기 제1 모델 정보, 상기 식별된 반복 횟수에 대한 정보 및 상기 제2 가중치 데이터에 대한 정보를 바탕으로 상기 신경망 모델을 재구성하여, 상기 재구성된 신경망 모델에 대한 제2 모델 정보를 획득하는 단계를 포함한다.

이상에서 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 전자 장치(100)에 대한 다양한 실시 예는 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.

한편, 이상에서 상술한 바와 같은 신경망 모델에 관련된 기능은 메모리 및 프로세서를 통해 수행될 수 있다.

프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP 등과 같은 범용 프로세서, GPU. VPU 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다.

하나 또는 복수의 프로세서는, 비휘발성 메모리 및 휘발성 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.

여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.

인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generative Adversarial Networks) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

이상에서 상술한 바와 같은 본 개시의 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.

다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.

본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다.

상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 전자 장치 110: 메모리
120: 프로세서

Claims (15)

1. 전자 장치에 있어서,
   신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수(real number)로 표현되는 제1 가중치 데이터를 포함하는 제1 모델 정보를 저장하는 메모리; 및
   상기 제1 가중치 데이터에 대한 양자화 및 오차 데이터에 대한 양자화를 포함하는 재귀적 양자화(recursive quantization)를 수행하는 프로세서; 를 포함하고,
   상기 프로세서는,
   상기 제1 모델 정보를 바탕으로, 상기 복수의 레이어 별로 상기 오차 데이터에 대한 양자화의 반복 횟수를 식별하고,
   상기 식별된 반복 횟수에 따라 상기 재귀적 양자화를 수행하여, 상기 제1 가중치 데이터 각각에 대응되며 상기 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득하며,
   상기 제1 모델 정보, 상기 식별된 반복 횟수에 대한 정보 및 상기 제2 가중치 데이터에 대한 정보를 바탕으로 상기 신경망 모델을 재구성하여, 상기 재구성된 신경망 모델에 대한 제2 모델 정보를 획득하는 프로세서; 를 포함하는 전자 장치.
   
2. 제1 항에 있어서,
   상기 프로세서는,
   초기 값으로 설정된 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득하고,
   상기 임시 가중치 데이터를 바탕으로 상기 신경망 모델의 순전파 과정 (feedforward)을 수행하여 제1 손실 값을 획득하며,
   상기 임시 가중치 데이터를 바탕으로, 상기 신경망 모델을 구동하기 위한 하드웨어에 대한 시뮬레이션(simulation)을 수행하여 상기 하드웨어의 레이턴시(latency)에 대한 제2 손실 값을 획득하고,
   상기 제1 손실 값과 상기 제2 손실 값이 결합된 제3 손실 값이 감소되도록 상기 반복 횟수 값을 업데이트하여, 상기 반복 횟수를 식별하는 전자 장치.
   
3. 제2 항에 있어서,
   상기 프로세서는,
   상기 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터에 대한 및 역양자화(inverse quantization)를 포함하는 제1 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터를 획득하며,
   상기 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터 및 상기 제1 임시 가중치 데이터를 바탕으로 상기 제1 비트 범위의 실수로 표현되는 제1 오차 데이터를 획득하고,
   상기 제1 비트 범위의 실수로 표현되는 상기 제1 오차 데이터에 대한 양자화 및 역양자화를 포함하는 제2 양자화를 수행하여, 상기 제2 비트 범위의 정수로 표현되는 오차 데이터를 획득하며,
   상기 제1 임시 가중치 데이터, 상기 제1 오차 데이터 및 상기 제2 오차 데이터를 합산하여, 상기 제1 양자화 및 상기 제2 양자화의 결과가 반영된 제2 임시 가중치 데이터를 상기 임시 가중치 데이터로 결정하는 전자 장치.
   
4. 제3 항에 있어서,
   상기 프로세서는,
   상기 반복 횟수 값이 정수가 아니면, 상기 반복 횟수 값에 대한 내림을 취하여 획득된 제1 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 상기 제1 비트 범위의 실수로 표현되는 제3 임시 가중치 데이터를 획득하고, 상기 반복 횟수 값에 대한 올림을 취하여 획득된 제2 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 상기 제1 비트 범위의 실수로 표현되는 제4 임시 가중치 데이터를 획득하며,
   상기 제3 임시 가중치 데이터 및 상기 제4 임시 가중치 데이터 중 서로 대응되는 가중치들을 보간(interpolation)하고,
   상기 보간의 결과에 따라 획득된 임시 가중치 데이터를 상기 제2 임시 가중치 데이터로 결정하는 전자 장치.
   
5. 제1 항에 있어서,
   상기 프로세서는,
   상기 식별된 반복 횟수에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득하고,
   상기 임시 가중치 데이터를 바탕으로 상기 신경망 모델의 순전파 과정을 수행하여 손실 값을 획득하고,
   상기 손실 값이 감소되도록 상기 제1 가중치 데이터를 업데이트하여, 상기 제2 가중치 데이터를 획득하는 전자 장치.
   
6. 제1 항에 있어서,
   상기 양자화 정보는 상기 제2 가중치 데이터에 대한 정보, 상기 제2 가중치 데이터에 대응되는 제1 스케일 정보, 상기 제2 가중치 데이터에 대응되는 오차 데이터에 대한 정보, 상기 오차 데이터에 대응되는 제2 스케일 정보를 포함하고,
   상기 프로세서는,
   상기 식별된 반복 횟수에 따라, 상기 복수의 레이어에 포함된 제1 연산자(operator)에 상기 오차 데이터를 반영하기 위한 복수의 제2 연산자를 결합시키고,
   상기 제2 가중치 데이터에 대한 정보 및 상기 제1 스케일 정보를 상기 제1 연산자에 할당하며,
   상기 오차 데이터에 대한 정보 및 상기 제2 스케일 정보를 상기 복수의 제2 연산자에 할당하여, 상기 제2 모델 정보를 획득하는 전자 장치.
   
7. 제1 항에 있어서,
   상기　제1 가중치　데이터는　필터를　구성하는　가중치 값들의 총 합이 0이 되는 특성을 갖는 제로섬 필터를　통해　구현되고，
   상기　식별된　반복　횟수에　따라　상기　재귀적　양자화가　수행되면，　상기　가중치　값들　각각에　대한　양자화　결과에　상기　가중치　값들　각각에　대응되는　오차　값이　반영되어，　상기　제로섬　필터를　구성하는　가중치　값들의　총　합이　０에　수렴하는　전자　장치．
   
8. 전자 장치의 제어 방법에 있어서,
   신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수(real number)로 표현되는 제1 가중치 데이터를 포함하는 제1 모델 정보를 바탕으로, 상기 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별하는 단계;
   상기 식별된 반복 횟수에 따라 상기 재귀적 양자화를 수행하여, 상기 제1 가중치 데이터 각각에 대응되며 상기 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득하는 단계; 및
   상기 제1 모델 정보, 상기 식별된 반복 횟수에 대한 정보 및 상기 제2 가중치 데이터에 대한 정보를 바탕으로 상기 신경망 모델을 재구성하여, 상기 재구성된 신경망 모델에 대한 제2 모델 정보를 획득하는 단계; 를 포함하는 전자 장치의 제어 방법.
   
9. 제8 항에 있어서,
   상기 반복 횟수를 식별하는 단계는,
   초기 값으로 설정된 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득하는 단계;
   상기 임시 가중치 데이터를 바탕으로 상기 신경망 모델의 순전파 과정 (feedforward)을 수행하여 제1 손실 값을 획득하는 단계;
   상기 임시 가중치 데이터를 바탕으로, 상기 신경망 모델을 구동하기 위한 하드웨어에 대한 시뮬레이션(simulation)을 수행하여 상기 하드웨어의 레이턴시(latency)에 대한 제2 손실 값을 획득하는 단계; 및
   상기 제1 손실 값과 상기 제2 손실 값이 결합된 제3 손실 값이 감소되도록 상기 반복 횟수 값을 업데이트하여, 상기 반복 횟수를 식별하는 단계; 를 포함하는 전자 장치의 제어 방법
   
10. 제9 항에 있어서,
    상기 임시 가중치 데이터를 획득하는 단계는,
    상기 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터에 대한 및 역양자화(inverse quantization)를 포함하는 제1 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 제1 임시 가중치 데이터를 획득하는 단계;
    상기 제1 비트 범위의 실수로 표현되는 제1 가중치 데이터 및 상기 제1 임시 가중치 데이터를 바탕으로 상기 제1 비트 범위의 실수로 표현되는 제1 오차 데이터를 획득하는 단계;
    상기 제1 비트 범위의 실수로 표현되는 상기 제1 오차 데이터에 대한 양자화 및 역양자화를 포함하는 제2 양자화를 수행하여, 상기 제2 비트 범위의 정수로 표현되는 오차 데이터를 획득하는 단계; 및
    상기 제1 임시 가중치 데이터, 상기 제1 오차 데이터 및 상기 제2 오차 데이터를 합산하여, 상기 제1 양자화 및 상기 제2 양자화의 결과가 반영된 제2 임시 가중치 데이터를 상기 임시 가중치 데이터로 결정하는 단계; 를 포함하는 전자 장치의 제어 방법
    
11. 제10 항에 있어서,
    상기 반복 횟수 값이 정수가 아니면, 상기 반복 횟수 값에 대한 내림을 취하여 획득된 제1 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 상기 제1 비트 범위의 실수로 표현되는 제3 임시 가중치 데이터를 획득하고, 상기 반복 횟수 값에 대한 올림을 취하여 획득된 제2 반복 횟수 값에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여 상기 제1 비트 범위의 실수로 표현되는 제4 임시 가중치 데이터를 획득하는 단계;
    상기 제3 임시 가중치 데이터 및 상기 제4 임시 가중치 데이터 중 서로 대응되는 가중치들을 보간(interpolation)하는 단계; 및
    상기 보간의 결과에 따라 획득된 임시 가중치 데이터를 상기 제2 임시 가중치 데이터로 결정하는 단계; 를 더 포함하는 전자 장치의 제어 방법
    
12. 제8 항에 있어서,
    상기 양자화 정보를 획득하는 단계는,
    상기 식별된 반복 횟수에 따라 상기 제1 가중치 데이터에 대한 재귀적 양자화를 수행하여, 상기 제1 비트 범위의 실수로 표현되는 임시 가중치 데이터를 획득하고,
    상기 임시 가중치 데이터를 바탕으로 상기 신경망 모델의 순전파 과정을 수행하여 손실 값을 획득하고,
    상기 손실 값이 감소되도록 상기 제1 가중치 데이터를 업데이트하여, 상기 제2 가중치 데이터를 획득하는 단계; 를 포함하는 전자 장치의 제어 방법
    
13. 제8 항에 있어서,
    상기 양자화 정보는 상기 제2 가중치 데이터에 대한 정보, 상기 제2 가중치 데이터에 대응되는 제1 스케일 정보, 상기 제2 가중치 데이터에 대응되는 오차 데이터에 대한 정보, 상기 오차 데이터에 대응되는 제2 스케일 정보를 포함하고,
    상기 제2 모델 정보를 획득하는 단계는,
    상기 식별된 반복 횟수에 따라, 상기 복수의 레이어에 포함된 제1 연산자(operator)에 상기 오차 데이터를 반영하기 위한 복수의 제2 연산자를 결합시키고,
    상기 제2 가중치 데이터에 대한 정보 및 상기 제1 스케일 정보를 상기 제1 연산자에 할당하며,
    상기 오차 데이터에 대한 정보 및 상기 제2 스케일 정보를 상기 복수의 제2 연산자에 할당하여, 상기 제2 모델 정보를 획득하는 전자 장치의 제어 방법
    
14. 제8 항에 있어서,
    상기　제1 가중치　데이터는　필터를　구성하는　가중치 값들의 총 합이 0이 되는 특성을 갖는 제로섬 필터를　통해　구현되고，
    상기　식별된　반복　횟수에　따라　상기　재귀적　양자화가　수행되면，　상기　가중치　값들　각각에　대한　양자화　결과에　상기　가중치　값들　각각에　대응되는　오차　값이　반영되어，　상기　제로섬　필터를　구성하는　가중치　값들의　총　합이　０에　수렴하는　전자 장치의 제어 방법
    
15. 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서,
    상기 전자 장치의 제어 방법은,
    신경망 모델의 복수의 레이어에 대한 정보 및 제1 비트 범위의 실수(real number)로 표현되는 제1 가중치 데이터를 포함하는 제1 모델 정보를 바탕으로, 상기 복수의 레이어 별로 오차 데이터에 대한 양자화의 반복 횟수를 식별하는 단계;
    상기 식별된 반복 횟수에 따라 상기 재귀적 양자화를 수행하여, 상기 제1 가중치 데이터 각각에 대응되며 상기 제1 비트보다 작은 제2 비트 범위의 정수(integer)로 표현되는 제2 가중치 데이터를 포함하는 양자화 정보를 획득하는 단계; 및
    상기 제1 모델 정보, 상기 식별된 반복 횟수에 대한 정보 및 상기 제2 가중치 데이터에 대한 정보를 바탕으로 상기 신경망 모델을 재구성하여, 상기 재구성된 신경망 모델에 대한 제2 모델 정보를 획득하는 단계; 를 포함하는 컴퓨터 판독 가능 기록매체.

Images