KR102552478B1 - 레이어 별 경량화를 통한 딥러닝 모델 최적화 방법 및 시스템 - Google Patents

Abstract

레이어 별 경량화를 통한 딥러닝 모델 최적화 방법 및 시스템을 개시한다. 일실시예에 따른 딥러닝 모델 최적화 방법은, 딥러닝 모델이 포함하는 레이어들 각각을 독립적으로 경량화하는 경우의 상기 딥러닝 모델의 성능 하락 정도에 기반하여 상기 레이어들 각각의 중요도를 결정하는 단계 및 상기 레이어들 각각에 대해 결정된 중요도에 따라 상기 딥러닝 모델의 경량화를 진행하는 단계를 포함할 수 있다.

Description

레이어 별 경량화를 통한 딥러닝 모델 최적화 방법 및 시스템

아래의 설명은 레이어 별 경량화를 통한 딥러닝 모델 최적화 방법 및 시스템에 관한 것이다.

딥러닝 모델의 경량화 기술은 대표적으로 네트워크 프루닝(Network Pruning), 필터 분해(Filter Decomposition), 양자화(Quantization) 등이 존재한다. 네트워크 프루닝이란, 모델 내에서 중요도가 낮다고 판단되는 파라미터를 제거하여 해당 모델의 크기를 축소시키거나 혹은 해당 모델을 가속화시키는 기법이며, 제거되는 파라미터의 객체로는 가중치 벡터, 채널 전체 혹은 레이어 등으로 모델의 모든 구성 요소를 포함한다. 필터 분해는 다차원의 모델 가중치를 적은 수의 계수로 근사하여 경량화 하는 기법이다. 해당 기법은 터커 분해(Tucker decomposition), CP 분해(canonical polyadic decomposition), SVD(singular value decomposition) 등을 포함한다. 양자화 기법은 모델의 가중치를 표현하는데 있어 기존보다 더 적은 수의 비트 수로 가중치를 표현 및 근사하여 경량화하는 기법이다.

상위의 기법을 통해 특정 모델을 경량화하기 위해서는, 각 레이어 별로 모델의 경량화 정도를 효율적으로 배정하는 알고리즘이 필요하며, 동일한 경량화 정도를 갖더라도 해당 알고리즘의 우월성에 따라 성능차이가 존재한다. 각 경량화 기법의 레이어 별 경량화 정도는 레이어 내에서 얼만큼 네트워크 프루닝을 진행할 것인지, 얼만큼의 계수를 활용하여 기존 모델의 가중치를 근사(필터 분해)할 것인지 혹은, 얼마만큼의 적은 양의 비트 수로 가중치를 근사할 것인지 등을 포함하며, 이는 NP 완전(Nondeterministic Polynomial Complete) 문제에 해당된다.

이때, 동일 모델임에도 레이어 간 특성이 매우 다양하며, 이를 동일한 경량화 정도 혹은 사용자가 정한 임의의 값으로 경량화 진행 시, 성능이 보장 되지 않는다는 문제점이 존재한다. 또한, 레이어 별 경량화 정도를 결정함에 있어, 각 경량화 기법의 특성으로부터 독립적인 기법이 요구된다.

그러나, 경량화 및 가속화를 목적으로 한 다양한 기법들이 계속해서 발전하고 있으며, 각 경량화 기법에 알맞은 레이어 별 경량화 정도를 측정하기 매우 어렵다는 문제점이 있다.

한국공개특허 제10-2018-0013674호

각 경량화 기법에 독립적으로 레이어 별 경량화 정도를 결정할 수 있는 딥러닝 모델 최적화 방법 및 시스템을 제공한다.

적어도 하나의 프로세서를 포함하는 컴퓨터 장치에 의해 수행되는 딥러닝 모델 최적화 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 딥러닝 모델이 포함하는 레이어들 각각을 독립적으로 경량화하는 경우의 상기 딥러닝 모델의 성능 하락 정도에 기반하여 상기 레이어들 각각의 중요도를 결정하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 레이어들 각각에 대해 결정된 중요도에 따라 상기 딥러닝 모델의 경량화를 진행하는 단계를 포함하는 딥러닝 모델 최적화 방법을 제공한다.

일측에 따르면, 상기 중요도를 결정하는 단계는, 상기 레이어들 중 제1 레이어를 압축량을 제어하기 위한 파라미터의 기설정된 값들 중 제1 값을 이용하여 경량화함으로써, 경량화된 제1 레이어를 생성하는 제1 단계; 상기 제1 레이어가 상기 경량화된 제1 레이어로 교체된 상기 딥러닝 모델의 제1 인스턴스 모델을 생성하는 제2 단계; 및 상기 제1 인스턴스 모델의 성능을 상기 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이와 비교하여, 상기 제1 값을 상기 제1 레이어의 중요도로서 선택할 것인지 여부를 결정하는 제3 단계를 포함하는 것을 특징으로 할 수 있다.

다른 측면에 따르면, 상기 중요도를 결정하는 단계는, 상기 제1 값이 상기 제1 레이어의 중요도로서 선택되지 않은 경우, 상기 파라미터의 기설정된 값들 중 제2 값을 이용하여 상기 제1 단계 내지 상기 제3 단계를 재수행하는 제4 단계를 더 포함하는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 중요도를 결정하는 단계는, 상기 레이어들 중 제2 레이어에 대해 상기 제1 단계 내지 상기 제4 단계를 반복 수행하는 제5 단계를 더 포함하는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 성능 하락 허용치는 사용자의 입력에 기반하여 기설정되는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 중요도는, 상기 딥러닝 모델을 네트워크 프루닝(network pruning)을 이용하여 경량화하는 경우, 상기 중요도에 대응하는 레이어의 프루닝 여부 또는 상기 중요도에 대응하는 레이어의 가중치 벡터에 대한 프루닝 여부를 나타내는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 중요도는, 상기 딥러닝 모델을 필터 분해(Filter Decomposition)를 이용하여 경량화하는 경우, 상기 중요도에 대응하는 레이어의 가중치가 근사될 계수를 나타내는 것을 특징으로 할 수 있다.

또 다른 측면에 따르면, 상기 중요도는, 상기 딥러닝 모델을 양자화(Quantization)를 이용하여 경량화하는 경우, 상기 중요도에 대응하는 레이어의 가중치를 표현하는 비트 수를 나타내는 것을 특징으로 할 수 있다.

컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.

상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.

컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 딥러닝 모델이 포함하는 레이어들 각각을 독립적으로 경량화하는 경우의 상기 딥러닝 모델의 성능 하락 정도에 기반하여 상기 레이어들 각각의 중요도를 결정하고, 상기 레이어들 각각에 대해 결정된 중요도에 따라 상기 딥러닝 모델의 경량화를 진행하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.

각 경량화 기법에 독립적으로 레이어 별 경량화 정도를 결정할 수 있다.

도 1은 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 딥러닝 모델 최적화 시스템의 내부 구성의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 딥러닝 모델 최적화 방법의 예를 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 중요도를 결정하는 과정의 예를 도시한 흐름도이다.

발명의 실시를 위한 최선의 형태

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

본 발명의 실시예들에 따른 딥러닝 모델 최적화 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 딥러닝 모델 최적화 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 딥러닝 모델 최적화 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.

도 1은 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 컴퓨터 장치(Computer device, 100)는 도 1에 도시된 바와 같이, 메모리(Memory, 110), 프로세서(Processor, 120), 통신 인터페이스(Communication interface, 130) 그리고 입출력 인터페이스(I/O interface, 140)를 포함할 수 있다. 메모리(110)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(110)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(100)에 포함될 수도 있다. 또한, 메모리(110)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(110)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(110)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(130)를 통해 메모리(110)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(Network, 160)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(100)의 메모리(110)에 로딩될 수 있다.

프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 인터페이스(130)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 인터페이스(130)은 네트워크(160)를 통해 컴퓨터 장치(100)가 다른 장치와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(130)의 제어에 따라 네트워크(160)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(160)를 거쳐 컴퓨터 장치(100)의 통신 인터페이스(130)를 통해 컴퓨터 장치(100)로 수신될 수 있다. 통신 인터페이스(130)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 파일 등은 컴퓨터 장치(100)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.

입출력 인터페이스(140)는 입출력 장치(I/O device, 150)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(150)는 컴퓨터 장치(100)와 하나의 장치로 구성될 수도 있다.

또한, 다른 실시예들에서 컴퓨터 장치(100)는 도 1의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(100)는 상술한 입출력 장치(150) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

도 2는 본 발명의 일실시예에 따른 딥러닝 모델 최적화 시스템의 내부 구성의 예를 도시한 블록도이고, 도 3은 본 발명의 일실시예에 따른 딥러닝 모델 최적화 방법의 예를 도시한 흐름도이다.

본 실시예에 따른 딥러닝 모델 최적화 시스템(200)은 적어도 하나의 컴퓨터 장치(100)에 의해 구현될 수 있다. 도 2의 딥러닝 모델 최적화 시스템(200)은 중요도 결정부(210) 및 경량화부(220)를 포함할 수 있다. 이때, 중요도 결정부(210) 및 경량화부(220)는 딥러닝 모델 최적화 시스템(200)을 구현하는 컴퓨터 장치(100)의 프로세서(120)가 컴퓨터 프로그램의 제어에 따라 동작하는 기능의 기능적 표현(functional expression)일 수 있다. 일례로, 컴퓨터 장치(100)의 프로세서(120)는 메모리(110)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(120)는 컴퓨터 장치(100)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(100)가 도 3의 방법이 포함하는 단계들(310 및 320)을 수행하도록 컴퓨터 장치(100)를 제어할 수 있다. 이때, 각 단계들(310 및 320)의 수행을 위한 프로세서(120)의 기능적 표현으로서 중요도 결정부(210) 및 경량화부(220)가 사용될 수 있다.

단계(310)에서 중요도 결정부(210)는 딥러닝 모델이 포함하는 레이어들 각각을 독립적으로 경량화하는 경우의 딥러닝 모델의 성능 하락 정도에 기반하여 레이어들 각각의 중요도를 결정할 수 있다. 예를 들어, 중요도 결정부(210)는 원래의 딥러닝 모델의 성능을 측정하고, 딥러닝 모델의 제1 레이어를 독립적으로 경량화한 딥러닝 모델의 제1 인스턴스 모델을 생성하여 성능을 측정한 후, 제1 레이어를 독립적으로 경량화한 제1 인스턴스 모델이 원래의 딥러닝 모델에 비해 성능이 얼마나 하락하였는가에 기반하여 제1 레이어의 중요도를 결정할 수 있다. 레이어들 각각의 중요도를 결정하는 과정에 대해서는 이후 도 4를 통해 더욱 자세히 설명한다.

단계(320)에서 경량화부(220)는 레이어들 각각에 대해 결정된 중요도에 따라 딥러닝 모델의 경량화를 진행할 수 있다. 일례로, 딥러닝 모델을 네트워크 프루닝(network pruning)을 이용하여 경량화하는 경우, 중요도는 중요도에 대응하는 레이어의 프루닝 여부 또는 중요도에 대응하는 레이어의 가중치 벡터에 대한 프루닝 여부를 나타낼 수 있다. 레이어들 각각에 대해 또는 레이어들의 가중치 벡터들 각각에 대한 프루닝 여부가 성능이라는 절대적인 지표를 통해 결정되기 때문에, 경량화부(220)는 네트워크 프루닝 기법에 대해 레이어 별 경량화 정도를 결정할 수 있다. 또한, 딥러닝 모델을 필터 분해(Filter Decomposition)를 이용하여 경량화하는 경우, 중요도는 중요도에 대응하는 레이어의 가중치가 근사될 계수를 나타낼 수 있다. 레이어들 각각에 대해 가중치가 근사될 계수가 성능이라는 절대적인 지표를 통해 결정되기 때문에, 경량화부(220)는 필터 분해 기법에 대해 레이어 별 경량화 정도를 결정할 수 있다. 또한, 딥러닝 모델을 양자화(Quantization)를 이용하여 경량화하는 경우, 중요도는 중요도에 대응하는 레이어의 가중치를 표현하는 비트 수를 나타낼 수 있다. 레이어들 각각에 대해 레이어의 가중치를 표현하는 비트 수가 성능이라는 절대적인 지표를 통해 결정되기 때문에, 경량화부(220)는 양자화 기법에 대해 레이어 별 경량화 정도를 결정할 수 있다. 이처럼, 딥러닝 모델 최적화 시스템(200)은 각 경량화 기법에 독립적으로 레이어 별 경량화 정도를 결정할 수 있으며, 이를 통해 성능이 보장된 딥러닝 모델의 최적화 방법을 제공할 수 있게 된다.

도 4는 본 발명의 일실시예에 있어서, 중요도를 결정하는 과정의 예를 도시한 흐름도이다. 도 4의 단계들(410 내지 450)는 도 3의 단계(310)에 포함되어 중요도 결정부(210)에 의해 수행될 수 있다.

단계(410)에서 중요도 결정부(210)는 레이어들 중 제1 레이어를 압축량을 제어하기 위한 파라미터의 기설정된 값들 중 제1 값을 이용하여 경량화함으로써, 경량화된 제1 레이어를 생성할 수 있다. 기설정된 값들의 집합은 딥러닝 모델의 경량화에 사용될 경량화 기법에 따라 달라질 수 있다.

단계(420)에서 중요도 결정부(210)는 제1 레이어가 경량화된 제1 레이어로 교체된 딥러닝 모델의 제1 인스턴스 모델을 생성할 수 있다. 다시 말해, 중요도 결정부(210)는 딥러닝 모델의 제1 레이어를 단계(410)에서 경량화된 제1 레이어로 교체함으로써, 제1 인스턴스 모델을 생성할 수 있다.

단계(430)에서 중요도 결정부(210)는 제1 인스턴스 모델의 성능을 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이와 비교할 수 있다.

단계(440)에서 중요도 결정부(210)는 제1 값을 제1 레이어의 중요도로서 선택할 것인지 여부를 결정할 수 있다.

일례로, 기설정된 값들은 압축량을 제어하기 위한 파라미터로, 압축량을 상대적으로 증가시키는 순서로 정렬될 수 있다. 이때, 단계(410)에서 중요도 결정부(210)는 압축량이 가장 작은 파라미터부터 순차적으로 값을 선택하여 활용할 수 있다. 예를 들어, 네트워크 프루닝을 위한 기설정된 값들의 집합이 {1, 0.9, 0.8, ??, 0.1}이라 가정할 때, 중요도 결정부(210)는 먼저 '1'을 제1 값으로 선택하여 단계(410) 내지 단계(440)를 수행할 수 있다. 이때, 제1 값을 이용하여 경량화된 제1 레이어를 포함하는 제1 인스턴트 모델의 성능이 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이 이하가 되는 경우(다시 말해, 주어진 성능 하락 허용치와 근사한 성능 하락을 보이는 경우), 제1 값이 제1 레이어의 중요도로서 선택될 수 있다.

만약, 제1 값이 제1 레이어의 중요도로서 선택되지 않는 경우(다시 말해, 제1 인스턴스 모델의 성능이 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이를 초과하는 경우), 중요도 결정부(210)는 단계(410) 내지 단계(440)를 재수행할 수 있다. 이때, 중요도 결정부(210)는 재수행되는 단계(410)에서 파라미터의 기설정된 값들 중 제1 값과는 다른 제2 값을 이용하여 제1 레이어를 경량화할 수 있다. 일례로, 네트워크 프루닝을 위한 기설정된 값들의 집합이 {1, 0.9, 0.8, ??, 0.1}이라 가정할 때, 중요도 결정부(210)는 제1 값으로 선택된 '1'이 제1 레이어의 중요도로 선택되지 않은 경우, 제2 값으로 '0.9'를 선택하여 단계(410) 내지 단계(440)를 재수행할 수 있다. 일례로, 중요도 결정부(210)는 재수행되는 단계(410)에서 제1 레이어를 제2 값을 이용하여 경량화하여 경량화된 제1 레이어를 생성할 수 있으며, 재수행되는 단계(420)에서 제1 레이어가 경량화된 제1 레이어로 교체된 딥러닝 모델의 제2 인스턴스 모델을 생성할 수 있다. 이후, 중요도 결정부(210)는 재수행되는 단계(430)에서 제2 인스턴스 모델의 성능을 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이와 비교할 수 있다. 일례로, 제2 인스턴스 모델의 성능이 상기 차이 이하라면, 중요도 결정부(210)는 재수행되는 단계(440)에서 제2 값을 제1 레이어의 중요도로서 선택할 수 있다. 반면, 제2 값이 제1 레이어의 중요도로서 선택되지 않은 경우, 중요도 결정부(210)는 파라미터의 기설정된 값들 중 제1 값 및 제2 값과는 다른 제3 값(일례로, 0.8)을 이용하여 단계(410) 내지 단계(440)를 재수행할 수 있다. 이러한 재수행은 단계(440)를 통해 중요도가 결정되거나 또는 파라미터의 기설정된 값들 전체에 대해 단계(410) 내지 단계(440)가 반복 수행될 때까지 수행될 수 있다.

단계(450)에서 중요도 결정부(210)는 레이어들 각각에 대해 중요도가 결정되었는지 여부를 확인할 수 있다. 만약, 중요도가 결정되지 않은 레이어가 존재하는 경우, 다음 레이어에 대해 다시 단계(410) 내지 단계(440)이 재수행될 수 있다. 한편, 레이어들 각각에 대해 중요도가 결정되었다면, 중요도를 결정하기 위한 프로세스는 종료되어 도 3의 단계(320)가 수행될 수 있다.

아래 표 1은 딥러닝 모델 최적화 방법의 알고리즘의 예를 나타내고 있다.

이때, 표 1은 딥러닝 모델 M의 레이어들의 집합 L(1, 2, …, l ∈ L)에 포함된 레이어들 각각에 대한 중요도를 독립적으로 판단하여 딥러닝 모델 M의 경량화를 진행하기 위한 알고리즘의 예를 나타내고 있다. 여기서, θ는 압축 메서드 F에 따라 변하는, 모델의 압축량을 조절하기 위한 파라미터일 수 있다. 일례로, 압축된 모델 M'또는 압축된 레이어 l'를 얻기 위해, 네트워크 프루닝의 경우에 θ ∈ (0, 1](일례로, θ ∈ [1, 0.9, 0.8, …, 0.1])일 수 있고, 필터 분해의 경우에 θ ∈ [0, 1, None] (일례로, θ ∈ [1, 0.9, 0.8, …, 0.1])일 수 있으며, 양자화의 경우에 θ ∈ [2, 4, 8, 16, 32](여기서, 2, 4, 8은 정수를 나타내는 비트 수를, 16, 32는 실수(부동소수점)를 나타내는 비트 수를 각각 의미할 수 있음)일 수 있다. 성능을 측정하기 위한 함수 infer()와 데이터셋 D를 이용하여 딥러닝 모델 M 또는 압축된 모델 M'의 성능을 측정하기 위해, 함수 infer()와 데이터셋 D이 사용될 수 있다. 또한, δ는 사용자로부터 제공될 수 있는 성능 하락 허용치를, Θ는 압축량을 조절하기 위한 파라미터의 기설정된 값들의 집합을 의미할 수 있다.

표 1에서 제1 행은 딥러닝 모델 M이 포함하는 레이어들 각각에 대해 결정된 중요도가 저장될 배열 "Compressed"를 선언하는 예일 수 있다. 또한, 제2 행은 딥러닝 모델 M과 데이터셋 D를 함수 infer()에 입력하여 딥러닝 모델 M의 성능 "OrigAcc"를 측정하는 예일 수 있다. 제3 행은 딥러닝 모델 M의 레이어들의 집합 L에 포함된 모든 원소, 다시 말해 레이어들 각각에 대해 반복 수행이 이루어질 수 있음을 의미할 수 있으며, 제4 행은 압축량을 조절하기 위한 파라미터의 기설정된 값들의 집합 Θ에 포함된 모든 원소에 대해 반복 수행이 이루어질 수 있음을 의미할 수 있다. 제5 행은 특정 θ를 통해 레이어 l을 독립적으로 압축(경량화)하여 압축된 레이어 l'을 생성하는 예를 나타내고 있다. 여기서 특정 θ는 압축량이 상대적으로 적은 순서로 선택될 수 있다. 제6 행은 레이어를 교체하기 위한 함수 replace()를 이용하여 딥러닝 모델 M의 레이어 l을 압축된 레이어 l'로 교체함으로써, 압축된 딥러닝 모델 M'를 생성하는 예를 나타내고 있다. 제7 행은 압축된 딥러닝 모델 M'에 대해 데이터셋 D를 이용하여 정확도(accuracy)와 같은 성능을 측정하는 예를 나타내고 있다. 제8 행은 측정된 성능이 딥러닝 모델 M의 성능에서 성능 하락 허용치 δ를 뺀 차이값 이하인 경우에 제9 행에서와 같이 배열 "Compressed"의 레이어 l에 대해 현재의 θ의 값을 중요도로서 저장할 수 있다. 제5 행에서 θ가 압축량이 상대적으로 적은 순서로 선택되지 때문에 측정된 성능이 딥러닝 모델 M의 성능에서 성능 하락 허용치 δ를 뺀 차이값 이하가 되는 특정 θ는 성능 하락 허용치에 근사하는 성능 하락을 가지면서도 동시에 가장 큰 압축률을 가지는 압축된 레이어 l'을 얻을 수 있게 해준다. 레이어 l에 대해 현재의 θ의 값이 중요도로 결정되고 나면, 제10 행의 "break"에 의해 제4 행의 반복을 벗어나 제3 행을 통해 다른 레이어에 대한 중요도를 결정할 수 있다. 제11 행은 제8 행의 "if" 구문을 벗어남을, 제12 행은 제4 행의 "for" 구문을 벗어남을, 제13 행은 제3 행의 "for" 구문을 벗어남을 각각 의미할 수 있다. 모든 레이어 각각에 대해 θ의 값이 중요도로 결정되어 배열 "Compressed"가 완성되면, 제14 행에서 배열 "Compressed"의 중요도에 따라 딥러닝 모델 M이 압축 메서드 F를 통해 압축되어 최종적으로 압축된 딥러닝 모델 M'가 생성될 수 있다.

이처럼, 본 발명의 실시예들에 따르면, 각 경량화 기법에 독립적으로 레이어 별 경량화 정도를 결정할 수 있다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

발명의 실시를 위한 형태

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (14)

1. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치에 의해 수행되는 딥러닝 모델 최적화 방법에 있어서,
   상기 적어도 하나의 프로세서에 의해, 딥러닝 모델이 포함하는 레이어들 각각을 독립적으로 경량화하는 경우의 상기 딥러닝 모델의 성능 하락 정도에 기반하여 상기 레이어들 각각의 중요도를 결정하는 단계; 및
   상기 적어도 하나의 프로세서에 의해, 상기 레이어들 각각에 대해 결정된 중요도에 따라 상기 딥러닝 모델의 경량화를 진행하는 단계
   를 포함하고,
   상기 중요도를 결정하는 단계는,
   압축량을 제어하기 위한 파라미터의 기설정된 값들 중 제1 값을 이용하여 상기 레이어들 중 제1 레이어를 경량화한 제1 인스턴스 모델의 성능을 상기 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이와 비교하여 상기 제1 값을 상기 제1 레이어의 중요도로서 선택할 것인지 여부를 결정하는 제1 단계
   를 포함하는 것을 특징으로 하는 딥러닝 모델 최적화 방법.
2. 제1항에 있어서,
   상기 제1 단계는,
   상기 제1 인스턴스 모델의 성능이 상기 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이 이하인 경우, 상기 제1 값을 상기 제1 레이어의 중요로도 선택하는 단계; 및
   상기 제1 인스턴스 모델의 성능이 상기 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이를 초과하는 경우, 상기 제1 값을 상기 제1 레이어의 중요도로 선택하지 않는 것으로 결정하는 단계
   를 포함하는, 딥러닝 모델 최적화 방법.
3. 제1항에 있어서,
   상기 중요도를 결정하는 단계는,
   상기 제1 값이 상기 제1 레이어의 중요도로 선택되지 않은 경우, 상기 파라미터의 기설정된 값들 중 제2 값을 이용하여 상기 제1 단계를 재수행하는 제2 단계
   를 더 포함하는 것을 특징으로 하는 딥러닝 모델 최적화 방법.
4. 제3항에 있어서,
   상기 제2 단계는,
   상기 제1 레이어의 중요도가 선택될때까지 상기 파라미터의 기설정된 값들 중 적어도 하나를 이용하여 반복 수행되거나, 또는 상기 파라미터의 기설정된 값들 전체에 대해 수행될 때까지 반복 수행되는, 딥러닝 모델 최적화 방법.
5. 제4항에 있어서,
   상기 중요도를 결정하는 단계는,
   상기 레이어들 중 제2 레이어에 대해 상기 제1 단계 및 상기 제2 단계를 재수행하는 제3 단계
   를 더 포함하는 것을 특징으로 하는 딥러닝 모델 최적화 방법.
6. 제5항에 있어서,
   상기 제3 단계는,
   상기 레이어들 각각의 중요도가 결정될 때까지 상기 레이어들 모두에 대해 반복 수행되는, 딥러닝 모델 최적화 방법
7. 제1항에 있어서,
   상기 성능 하락 허용치는 사용자의 입력에 기반하여 기설정되는 것을 특징으로 하는 딥러닝 모델 최적화 방법.
8. 제1항에 있어서,
   상기 중요도는, 상기 딥러닝 모델을 네트워크 프루닝(network pruning)을 이용하여 경량화하는 경우, 상기 중요도에 대응하는 레이어의 프루닝 여부 또는 상기 중요도에 대응하는 레이어의 가중치 벡터에 대한 프루닝 여부를 나타내는 것을 특징으로 하는 딥러닝 모델 최적화 방법.
9. 제1항에 있어서,
   상기 중요도는, 상기 딥러닝 모델을 필터 분해(Filter Decomposition)를 이용하여 경량화하는 경우, 상기 중요도에 대응하는 레이어의 가중치가 근사될 계수를 나타내는 것을 특징으로 하는 딥러닝 모델 최적화 방법.
10. 제1항에 있어서,
    상기 중요도는, 상기 딥러닝 모델을 양자화(Quantization)를 이용하여 경량화하는 경우, 상기 중요도에 대응하는 레이어의 가중치를 표현하는 비트 수를 나타내는 것을 특징으로 하는 딥러닝 모델 최적화 방법.
11. 컴퓨터 장치와 결합되어 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
12. 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.
13. 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    딥러닝 모델이 포함하는 레이어들 각각을 독립적으로 경량화하는 경우의 상기 딥러닝 모델의 성능 하락 정도에 기반하여 상기 레이어들 각각의 중요도를 결정하고,
    상기 레이어들 각각에 대해 결정된 중요도에 따라 상기 딥러닝 모델의 경량화를 진행하고,
    상기 중요도를 결정하기 위해, 상기 적어도 하나의 프로세서에 의해,
    압축량을 제어하기 위한 파라미터의 기설정된 값들 중 제1 값을 이용하여 상기 레이어들 중 제1 레이어를 경량화한 제1 인스턴스 모델의 성능을 상기 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이와 비교하여 상기 제1 값을 상기 제1 레이어의 중요도로서 선택할 것인지 여부를 결정하는 제1 과정
    을 수행하는 것
    을 특징으로 하는 컴퓨터 장치.
14. 제13항에 있어서,
    상기 제1 과정은,
    상기 제1 인스턴스 모델의 성능이 상기 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이 이하인 경우, 상기 제1 값을 상기 제1 레이어의 중요로도 선택하는 과정; 및
    상기 제1 인스턴스 모델의 성능이 상기 딥러닝 모델의 성능과 기설정된 성능 하락 허용치간의 차이를 초과하는 경우, 상기 제1 값을 상기 제1 레이어의 중요도로 선택하지 않는 것으로 결정하는 과정
    을 포함하는 것을 특징으로 하는 컴퓨터 장치.

Images