KR20200013710A - 데이터 처리 장치, 데이터 처리 방법 및 기억 매체 - Google Patents

데이터 처리 장치, 데이터 처리 방법 및 기억 매체 Download PDF

Info

Publication number
KR20200013710A
KR20200013710A KR1020197038494A KR20197038494A KR20200013710A KR 20200013710 A KR20200013710 A KR 20200013710A KR 1020197038494 A KR1020197038494 A KR 1020197038494A KR 20197038494 A KR20197038494 A KR 20197038494A KR 20200013710 A KR20200013710 A KR 20200013710A
Authority
KR
South Korea
Prior art keywords
quantization
data
data processing
information
neural network
Prior art date
Application number
KR1020197038494A
Other languages
English (en)
Other versions
KR102526818B1 (ko
Inventor
아키라 미네자와
요시미 모리야
멍숑 왕
가즈오 스기모토
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20200013710A publication Critical patent/KR20200013710A/ko
Application granted granted Critical
Publication of KR102526818B1 publication Critical patent/KR102526818B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

데이터 처리부(101)는, 뉴럴 네트워크를 이용해서 입력 데이터를 처리한다. 압축 제어부(102)는, 양자화 스텝이 정의된 양자화 정보를 생성한다. 부호화부(103)는, 압축 제어부(102)에 의해서 결정된 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보와 양자화 정보를 부호화해서 압축 데이터를 생성한다.

Description

데이터 처리 장치, 데이터 처리 방법 및 압축 데이터
이 발명은, 뉴럴 네트워크의 구성에 관한 정보를 부호화해서 압축하는 데이터 처리 장치, 데이터 처리 방법 및 압축 데이터에 관한 것이다.
입력 데이터의 분류 문제 및 회귀 문제를 해결하는 방법으로서 기계 학습이 있다.
기계 학습에는, 뇌의 신경 회로(뉴런)를 모의한 뉴럴 네트워크라고 하는 수법이 있다. 뉴럴 네트워크에서는, 뉴런이 서로 결합된 네트워크에 의해서 표현된 확률 모델(식별 모델, 생성 모델)에 의해서, 입력 데이터의 분류(식별) 또는 회귀가 행해진다.
또, 전체 결합층(Fully-connected Layer)뿐만 아니라, 컨볼루션층(Convolution Layer)과 풀링층(Pooling Layer)을 가지는 뉴럴 네트워크인 컨볼루션 뉴럴 네트워크(Convolutional Neural Network)에서는, 데이터의 필터 처리를 실현하는 네트워크 등, 분류 및 회귀 이외의 데이터 처리를 실현하는 네트워크가 생성 가능하게 되어 있다. 예를 들면, 화상 또는 음성을 입력으로 해서, 입력 신호의 노이즈 제거, 또는 고품질화 등을 실현하는 화상 또는 음성의 필터 처리, 압축 음성 등의 고역이 없어진 음성의 고역 복원 처리, 일부 영역이 결손된 화상의 복원 처리(inpainting), 화상의 초해상 처리 등이 컨볼루션 뉴럴 네트워크로 실현 가능하다.
그 밖에도, 생성 모델로 생성된 데이터가, 본물(本物)의 데이터인가(생성 모델에 의해 생성된 데이터가 아닌가)를 판정하는 식별 모델에 입력해서 데이터의 진위를 판정하는, 생성 모델과 식별 모델을 조합해서 네트워크를 구축하고, 생성 모델은, 생성 데이터가 식별 모델로 생성 데이터인 것을 간파할 수 없도록, 식별 모델은, 생성 데이터가 생성 데이터인 것을 간파할 수 있도록, 적대적으로 학습함으로써, 고(高)정밀도인 생성 모델의 생성을 실현하는 적대적 생성 네트워크(Generative Adversarial Network)라는 새로운 뉴럴 네트워크도 근년 발표되고 있다.
이들 뉴럴 네트워크에서는, 대량의 데이터를 이용한 학습에 의해서 네트워크의 파라미터를 최적화함으로써, 고성능화를 도모할 수 있다.
단, 뉴럴 네트워크의 데이터 사이즈는 대용량화되는 경향이 있고, 뉴럴 네트워크를 이용한 컴퓨터의 계산 부하도 증가하고 있다.
이에 대해서, 비특허문헌 1에는, 뉴럴 네트워크의 파라미터인 에지의 가중을 스칼라 양자화해서 부호화하는 기술이 기재되어 있다. 에지의 가중을 스칼라 양자화해서 부호화함으로써, 에지에 관한 데이터의 데이터 사이즈가 압축된다.
Vincent Vanhoucke, Andrew Senior, Mark Z. Mao, "Improving the speed of neural networks on CPUs", Proc. Deep Learning and Unsupervised Feature Learning NIPS Workshop, 2011.
그러나, 뉴럴 네트워크에 있어서의 복수의 에지의 각각에 부여되는 가중의 최적값은, 네트워크의 학습 결과에 따라서 상이하고, 일정하지는 않다.
이 때문에, 에지의 가중의 압축 사이즈에 편차가 생겨서, 비특허문헌 1에 기재되는 기술에서는, 뉴럴 네트워크의 에지에 관한 파라미터 데이터의 고압축을 실현할 수 없다는 과제가 있었다.
이 발명은 상기 과제를 해결하는 것으로, 뉴럴 네트워크의 파라미터 데이터를 고압축할 수 있는 데이터 처리 장치, 데이터 처리 방법 및 압축 데이터를 얻는 것을 목적으로 한다.
이 발명에 따른 데이터 처리 장치는, 데이터 처리부, 압축 제어부 및 부호화부를 구비하고 있다. 데이터 처리부는, 뉴럴 네트워크를 이용해서 입력 데이터를 처리한다. 압축 제어부는, 뉴럴 네트워크의 파라미터 데이터를 양자화할 때의 양자화 스텝을 결정하고, 양자화 스텝이 정의된 양자화 정보를 생성한다. 부호화부는, 압축 제어부에 의해서 결정된 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보와 양자화 정보를 부호화해서 압축 데이터를 생성한다.
이 발명에 의하면, 뉴럴 네트워크의 파라미터 데이터를 양자화할 때의 양자화 스텝이 정의된 양자화 정보와 양자화 정보에 있어서의 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보를 부호화해서 압축 데이터를 생성한다. 이에 의해, 뉴럴 네트워크의 파라미터 데이터를 고압축할 수 있다.
압축 데이터로부터 복호한 양자화 정보 및 네트워크 구성 정보를 이용함으로써, 부호화측에서 최적화된 뉴럴 네트워크를 복호측에서 구성할 수 있다.
도 1은, 이 발명의 실시형태 1에 따른 데이터 처리 장치(엔코더)의 구성을 나타내는 블럭도이다.
도 2는, 실시형태 1에 따른 데이터 처리 장치(디코더)의 구성을 나타내는 블럭도이다.
도 3a는, 실시형태 1에 따른 데이터 처리 장치의 기능을 실현하는 하드웨어 구성을 나타내는 블럭도이다. 도 3b는, 실시형태 1에 따른 데이터 처리 장치의 기능을 실현하는 소프트웨어를 실행하는 하드웨어 구성을 나타내는 블럭도이다.
도 4는, 실시형태 1에 따른 데이터 처리 장치(엔코더)의 동작을 나타내는 플로 차트이다.
도 5는, 실시형태 1에 따른 데이터 처리 장치(디코더)의 동작을 나타내는 플로 차트이다.
도 6은, 실시형태 1에 있어서의 뉴럴 네트워크의 구성예를 나타내는 도면이다.
도 7은, 실시형태 1에 있어서의 1차원 데이터의 컨볼루션 처리의 예를 나타내는 도면이다.
도 8은, 실시형태 1에 있어서의 2차원 데이터의 컨볼루션 처리의 예를 나타내는 도면이다.
도 9는, 뉴럴 네트워크의 l층째의 레이어에 있어서의 노드마다의 에지의 가중 정보의 매트릭스를 나타내는 도면이다.
도 10은, 뉴럴 네트워크의 l층째의 레이어에 있어서의 노드마다의 에지의 가중 정보의 양자화 스텝의 매트릭스를 나타내는 도면이다.
도 11은, 컨볼루션층에 있어서의 에지의 가중 정보의 매트릭스를 나타내는 도면이다.
도 12는, 컨볼루션층에 있어서의 에지의 가중 정보의 양자화 스텝의 매트릭스를 나타내는 도면이다.
도 13은, 실시형태 1에 있어서의 양자화 정보를 구성하는 정보의 신택스(syntax)를 나타내는 도면이다.
도 14는, 실시형태 1에 있어서의 양자화 정보를 구성하는 정보의 매트릭스 단위의 신택스를 나타내는 도면이다.
도 15는, 실시형태 1에 있어서의 양자화 정보를 구성하는 정보의 레이어 단위의 신택스를 나타내는 도면이다.
이하, 이 발명을 보다 상세하게 설명하기 위해, 이 발명을 실시하기 위한 형태에 대해서, 첨부된 도면에 따라서 설명한다.
실시형태 1.
도 1은, 이 발명의 실시형태 1에 따른 데이터 처리 장치(100)의 구성을 나타내는 블럭도이다. 도 1에 있어서, 데이터 처리 장치(100)는, 학습이 완료된 뉴럴 네트워크를 이용해서 입력 데이터를 처리하고, 처리 결과를 출력한다.
또한, 데이터 처리 장치(100)는, 양자화 정보 및 네트워크 구성 정보를 부호화하는 엔코더로서 기능하고, 데이터 처리부(101), 압축 제어부(102) 및 부호화부(103)를 구비한다.
데이터 처리부(101)는, 상기 뉴럴 네트워크를 이용해서 입력 데이터를 처리한다.
또한, 데이터 처리부(101)는, 압축 제어부(102)에 의해서 생성된 양자화 정보를 입력하고, 양자화 정보에 정의된 양자화 스텝으로 뉴럴 네트워크의 파라미터 데이터를 양자화한다. 그리고, 데이터 처리부(101)는, 양자화한 상기 파라미터 데이터를 포함하는 네트워크 구성 정보를, 부호화부(103)에 출력한다.
데이터 처리부(101)로 이용하는 상기 뉴럴 네트워크는 미리 결정한 것을 이용해도 되고, 학습에 의해서 파라미터 데이터의 최적화를 행해도 된다.
뉴럴 네트워크의 파라미터 데이터를 학습하는 경우, 미리 정해진 초기 상태(파라미터 데이터의 초기값)의 뉴럴 네트워크에 대해서, 학습 대상의 입력 데이터를 이용해서 뉴럴 네트워크의 학습을 행한 후, 압축 제어부(102)에 의해서 생성된 양자화 정보를 입력해서 양자화 정보에 정의된 양자화 스텝으로 뉴럴 네트워크의 파라미터 데이터를 양자화한다.
그리고, 이 양자화된 뉴럴 네트워크를 다음 학습의 초기 상태로 해서, 상기의 학습과 양자화를 실시한다. 이 학습과 양자화의 처리를 L회(L은 1 이상의 정수) 반복한 결과로서 얻어진 뉴럴 네트워크를 네트워크 구성 정보의 일부로서, 부호화부(103)에 출력한다.
한편, L=1의 경우는, 양자화 후의 뉴럴 네트워크를 재학습하지 않기 때문에, 데이터 처리부(101)에서 학습하지 않고 외부에서 학습이 완료된 뉴럴 네트워크를 이용하는 것과 마찬가지의 처리라고 말할 수 있다. 즉, 학습을 데이터 처리부(101)에서 행할지 외부에서 행할지의 차이뿐이다.
네트워크 구성 정보는, 뉴럴 네트워크의 구성을 나타내는 정보이고, 예를 들면, 네트워크의 레이어수, 레이어마다의 노드수, 노드간을 잇는 에지, 에지마다 부여된 가중 정보, 노드의 출력을 나타내는 활성화 함수 및 층마다의 종별 정보(예를 들면, 컨볼루션층, 풀링층, 전체 결합층) 등이 포함된다.
뉴럴 네트워크의 파라미터 데이터로는, 예를 들면, 뉴럴 네트워크에 있어서의 노드간을 결합하는 에지에 부여된 가중 정보가 있다.
압축 제어부(102)는, 뉴럴 네트워크의 파라미터 데이터를 양자화할 때의 양자화 스텝을 결정하고, 양자화 스텝이 정의된 양자화 정보를 생성한다.
예를 들면, 압축 제어부(102)는, 뉴럴 네트워크에 있어서의, 에지마다, 노드마다, 커널마다, 또는, 레이어마다 전환되는 양자화 스텝을 결정한다.
양자화 정보는, 뉴럴 네트워크의 파라미터 데이터를 양자화할 때의 양자화 스텝이 정의된 정보이다. 양자화 스텝이란, 파라미터 데이터를 양자화할 때의 폭(양자화 폭)이고, 양자화 스텝이 클수록 파라미터 데이터가 거칠게 분해되므로, 압축률은 높아진다. 양자화 스텝이 작을수록 파라미터 데이터가 미세하게 분해되므로, 압축률은 낮아진다.
구체적으로는, 양자화값 k는, 하기 식(1)로 표시된다.
Figure pct00001
상기 식(1)에 있어서, x는 양자화 대상 파라미터의 값, Q는 양자화 스텝, d0(0≤d0＜1)은, 각각의 양자화값에 대응하는 양자화 대상값의 범위의 조정 오프셋이고, d1(0≤d1＜1)은 양자화값을 조정하는 오프셋, floor()는 소수점 잘라버림(round-down) 처리 함수를 나타내고 있다. 또, 상기 식(1)에 대해서 설정한 범위의 양자화 대상값 x의 양자화값 k를 0으로 하는 데드 존을 마련하는 방법도 있다.
또한, 양자화가 완료된 파라미터의 값 y는 하기 식(2)처럼 된다.
Figure pct00002
상기에서 설명한 양자화 스텝의 최소 전환 단위를, 에지 단위로부터 레이어 단위로 한 경우, 양자화에 의한 파라미터 데이터의 압축률이 높아지므로, 부호화 전의 파라미터 데이터를 삭감할 수 있다.
부호화부(103)는, 데이터 처리부(101)에 의해서 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보와, 압축 제어부(102)에 의해서 생성된 양자화 정보를 부호화해서 압축 데이터를 생성한다.
한편, 데이터 처리부(101)로부터 부호화부(103)에 입력된 네트워크 구성 정보는, 압축 제어부(102)에 의해서 결정된 양자화 스텝으로, 데이터 처리부(101)에 의해서 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보이다.
도 2는 실시형태 1에 따른 데이터 처리 장치(200)의 구성을 나타내는 블럭도이다. 도 2에 있어서, 데이터 처리 장치(200)는, 압축 데이터를 복호해서 얻어지는 뉴럴 네트워크를 이용해서 입력 데이터를 처리하고, 처리 결과를 출력한다. 처리 결과에는, 데이터 처리 장치(100)와 마찬가지로, 입력 데이터의 분류 결과 또는 회귀 분석 결과가 있다.
데이터 처리 장치(200)는, 압축 데이터로부터, 양자화 정보 및 네트워크 구성 정보를 복호하는 디코더로서 기능하고, 복호부(201) 및 데이터 처리부(202)를 구비한다.
복호부(201)는, 전술한 바와 같이 부호화부(103)에 의해서 부호화된 압축 데이터로부터 양자화 정보 및 네트워크 구성 정보를 복호한다.
복호부(201)에 의해서 복호된 네트워크 구성 정보에는, 엔코더인 데이터 처리 장치(100)측의 학습 결과에 의해서 최적화된 에지의 가중 정보 등의 파라미터 데이터를 양자화한 결과(양자화값 k)가 포함되어 있다.
복호부(201)에 의해서 복호된 양자화 정보에는, 파라미터 데이터를 양자화할 때의 양자화 스텝 Q가 정의되어 있다. 상기 파라미터 데이터를 양자화한 결과 k와 상기 양자화 스텝 Q로부터, 상기 식(2)에 따라서, 양자화가 완료된 파라미터 y가 복호된다. 이들의 복호 결과는, 복호부(201)로부터 데이터 처리부(202)에 출력된다.
데이터 처리부(202)는, 뉴럴 네트워크를 이용해서 입력 데이터를 처리한다.
또한, 데이터 처리부(202)는, 복호부(201)에 의해서 압축 데이터로부터 복호된 양자화 정보 및 네트워크 구성 정보를 이용해서, 파라미터 데이터인 에지의 가중 정보를 역양자화한다. 또, 데이터 처리부(202)는, 역양자화한 파라미터 데이터를 포함한 네트워크 구성 정보를 이용해서, 뉴럴 네트워크를 구성한다.
이와 같이, 데이터 처리부(202)는, 압축 데이터로부터 복호된 정보를 이용해서, 데이터 처리 장치(100)측의 학습 결과에 의해서 최적화된 에지의 가중 정보 등의 파라미터 데이터를 포함한 뉴럴 네트워크를 구성하고, 이 뉴럴 네트워크를 이용해서 입력 데이터를 처리한다. 이에 의해, 데이터 처리 장치(100)와 데이터 처리 장치(200)에서, 최적화된 파라미터 데이터의 압축 사이즈를 일정하게 할 수 있어, 파라미터 데이터의 고압축을 실현할 수 있다.
도 3a는, 데이터 처리 장치(100)의 기능을 실현하는 하드웨어 구성을 나타내는 블럭도이다. 도 3a에 있어서, 처리 회로(300)는, 데이터 처리 장치(100)로서 기능하는 전용의 회로이다. 도 3b는, 데이터 처리 장치(100)의 기능을 실현하는 소프트웨어를 실행하는 하드웨어 구성을 나타내는 블럭도이다. 도 3b에 있어서, 프로세서(301) 및 메모리(302)는, 신호 버스에 의해 서로 접속되어 있다.
데이터 처리 장치(100)에 있어서의, 데이터 처리부(101), 압축 제어부(102) 및 부호화부(103)의 각각의 기능은, 처리 회로에 의해서 실현된다.
즉, 데이터 처리 장치(100)는, 도 4를 이용해서 후술하는 스텝 ST1부터 스텝 ST3까지의 처리를 실행하기 위한 처리 회로를 구비한다.
처리 회로는, 전용의 하드웨어여도 되지만, 메모리에 기억된 프로그램을 실행하는 CPU(Central Processing Unit)여도 된다.
상기 처리 회로가 도 3a에 나타내는 전용의 하드웨어인 경우, 처리 회로(300)는, 예를 들면, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array) 또는 이들을 조합한 것이 해당한다.
한편, 데이터 처리부(101), 압축 제어부(102) 및 부호화부(103)의 각각의 기능을 다른 처리 회로로 실현해도 되고, 이들의 기능을 통틀어서 1개의 처리 회로로 실현해도 된다.
상기 처리 회로가 도 3b에 나타내는 프로세서인 경우, 데이터 처리부(101), 압축 제어부(102) 및 부호화부(103)의 각각의 기능은, 소프트웨어, 펌웨어 또는 소프트웨어와 펌웨어의 조합에 의해서 실현된다.
소프트웨어 또는 펌웨어는, 프로그램으로서 기술되고, 메모리(302)에 기억된다.
프로세서(301)는, 메모리(302)에 기억된 프로그램을 읽어내고 실행하는 것에 의해서 데이터 처리부(101), 압축 제어부(102) 및 부호화부(103)의 각각의 기능을 실현한다. 즉, 데이터 처리 장치(100)는, 프로세서(301)에 의해서 실행될 때, 도 4에 나타내는 스텝 ST1부터 스텝 ST3까지의 처리가 결과적으로 실행되는 프로그램을 기억하기 위한 메모리(302)를 구비한다.
이들 프로그램은, 데이터 처리부(101), 압축 제어부(102) 및 부호화부(103)의 순서 또는 방법을 컴퓨터에 실행시키는 것이다.
메모리(302)는, 컴퓨터를, 데이터 처리부(101), 압축 제어부(102) 및 부호화부(103)로서 기능시키기 위한 프로그램이 기억된 컴퓨터 가독 기억 매체여도 된다.
메모리(302)에는, 예를 들면, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically-EPROM) 등의 불휘발성 또는 휘발성의 반도체 메모리, 자기 디스크, 플렉시블 디스크, 광 디스크, 콤팩트 디스크, 미니 디스크, DVD 등이 해당한다.
한편, 데이터 처리부(101), 압축 제어부(102) 및 부호화부(103)의 각각의 기능에 대해서, 일부를 전용의 하드웨어로 실현해도 되고, 일부를 소프트웨어 또는 펌웨어로 실현해도 된다.
예를 들면, 데이터 처리부(101)에 대해서는, 전용의 하드웨어로서의 처리 회로로 그 기능을 실현해도 되고, 압축 제어부(102) 및 부호화부(103)에 대해서는, 프로세서(301)가 메모리(302)에 기억된 프로그램을 읽어내고 실행하는 것에 의해서 그 기능을 실현해도 된다.
이와 같이, 처리 회로는, 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해서 상기 기능의 각각을 실현할 수 있다.
한편, 데이터 처리 장치(100)에 대해서 설명했지만, 데이터 처리 장치(200)에 있어서도, 마찬가지이다. 예를 들면, 데이터 처리 장치(200)는, 도 5를 이용해서 후술하는 스텝 ST1a부터 스텝 ST4a까지의 처리를 실행하기 위한 처리 회로를 구비한다. 이 처리 회로는, 전용의 하드웨어여도 되지만, 메모리에 기억된 프로그램을 실행하는 CPU여도 된다.
상기 처리 회로가 도 3a에 나타내는 전용의 하드웨어이면, 처리 회로(300)는, 예를 들면, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC, FPGA 또는 이들을 조합한 것이 해당한다.
한편, 복호부(201) 및 데이터 처리부(202)의 각각의 기능을, 다른 처리 회로로 실현해도 되고, 이들의 기능을 통틀어서 1개의 처리 회로로 실현해도 된다.
상기 처리 회로가 도 3b에 나타내는 프로세서이면, 복호부(201) 및 데이터 처리부(202)의 각각의 기능은, 소프트웨어, 펌웨어 또는 소프트웨어와 펌웨어의 조합에 의해서 실현된다.
소프트웨어 또는 펌웨어는, 프로그램으로서 기술되고, 메모리(302)에 기억된다.
프로세서(301)는, 메모리(302)에 기억된 프로그램을 읽어내고 실행하는 것에 의해서, 복호부(201) 및 데이터 처리부(202)의 각각의 기능을 실현한다.
즉, 데이터 처리 장치(200)는, 프로세서(301)에 의해서 실행될 때, 도 5에 나타내는 스텝 ST1a부터 스텝 ST4a까지의 처리가 결과적으로 실행되는 프로그램을 기억하기 위한 메모리(302)를 구비한다.
이들 프로그램은, 복호부(201) 및 데이터 처리부(202)의 순서 또는 방법을, 컴퓨터에 실행시키는 것이다.
메모리(302)는, 컴퓨터를, 복호부(201) 및 데이터 처리부(202)로서 기능시키기 위한 프로그램이 기억된 컴퓨터 가독 기억 매체여도 된다.
한편, 복호부(201) 및 데이터 처리부(202)의 각각의 기능에 대해서, 일부를 전용의 하드웨어로 실현해도 되고, 일부를 소프트웨어 또는 펌웨어로 실현해도 된다.
예를 들면, 복호부(201)에 대해서는, 전용의 하드웨어로서의 처리 회로로 그 기능을 실현해도 되고, 데이터 처리부(202)에 대해서는, 프로세서(301)가 메모리(302)에 기억된 프로그램을 읽어내고 실행하는 것에 의해서 그 기능을 실현해도 된다.
다음으로 동작에 대해서 설명한다.
도 4는, 데이터 처리 장치(100)의 동작을 나타내는 플로 차트이다.
이하에서는, 뉴럴 네트워크의 파라미터 데이터가 에지의 가중 정보인 경우를 설명한다.
압축 제어부(102)는, 학습이 완료된 뉴럴 네트워크를 구성하는 복수의 에지의 각각의 가중 정보를 양자화할 때의 양자화 스텝을 결정하고, 양자화 스텝이 정의된 양자화 정보를 생성한다(스텝 ST1). 양자화 정보는, 압축 제어부(102)로부터 데이터 처리부(101) 및 부호화부(103)에 출력된다.
데이터 처리부(101)는, 압축 제어부(102)로부터 양자화 정보를 입력하면, 양자화 정보에 있어서의 양자화 스텝으로, 상기 뉴럴 네트워크의 에지의 가중 정보를 양자화한다(스텝 ST2). 데이터 처리부(101)는, 양자화한 에지의 가중 정보를 포함하는 네트워크 구성 정보를 생성해서 부호화부(103)에 출력한다.
부호화부(103)는, 데이터 처리부(101)로부터 입력한 상기 네트워크 구성 정보와 압축 제어부(102)로부터 입력한 상기 양자화 정보를 부호화한다(스텝 ST3).
부호화부(103)에 의해서 부호화된 상기 네트워크 구성 정보 및 상기 양자화 정보의 압축 데이터는, 데이터 처리 장치(200)에 출력된다.
도 5는, 데이터 처리 장치(200)의 동작을 나타내는 플로 차트이다.
복호부(201)는, 부호화부(103)에 의해서 부호화된 상기 압축 데이터로부터 양자화 정보 및 네트워크 구성 정보를 복호한다(스텝 ST1a). 양자화 정보 및 네트워크 구성 정보는, 복호부(201)로부터 데이터 처리부(202)에 출력된다.
다음으로, 데이터 처리부(202)는, 복호부(201)에 의해서 압축 데이터로부터 복호된 양자화 정보와 네트워크 구성 정보를 이용해서, 역양자화된 에지의 가중 정보를 산출한다(스텝 ST2a).
계속해서, 데이터 처리부(202)는, 역양자화한 에지의 가중 정보를 포함한 네트워크 구성 정보를 이용해서, 뉴럴 네트워크를 구성한다(스텝 ST3a).
이에 의해, 데이터 처리 장치(200)는, 데이터 처리 장치(100)로 학습이 완료된 뉴럴 네트워크를 구성할 수 있다.
데이터 처리부(202)는, 스텝 ST3a에서 구성한 뉴럴 네트워크를 이용해서 입력 데이터를 처리한다(스텝 ST4a).
도 6은, 실시형태 1에 있어서의 뉴럴 네트워크의 구성예를 나타내는 도면이다.
도 6에 나타내는 뉴럴 네트워크에서는, 입력 데이터(x1, x2, …, xN1)가 각각의 층에서 처리되고, 처리 결과(y1, …, yNL)가 출력된다.
도 6에 있어서, Nl(l=1, 2, …, L)은, l층째의 레이어의 노드수를 나타내고 있고, L은, 뉴럴 네트워크의 레이어수를 나타내고 있다.
뉴럴 네트워크는, 도 6에 나타내는 바와 같이, 입력층, 은닉층 및 출력층을 갖고 있고, 이들 층의 각각은, 복수의 노드가 에지로 이어진 구조로 되어 있다.
복수의 노드의 각각의 출력값은, 에지에 의해 이어진 이전층(前層)의 노드의 출력값과, 에지의 가중 정보, 및, 층마다 설정되어 있는 활성화 함수로부터 산출할 수 있다.
뉴럴 네트워크의 예로서, CNN(Convolutional Neural Network)이 있다. CNN의 은닉층에는, 컨볼루션층(Convolutional layer)과 풀링층(Pooling layer)이 교대로 이어져 있고, 최종적인 출력에 맞추어서 전체 결합의 뉴럴 네트워크층(전체 결합층; Fully-connected layer)이 마련되어 있다. 컨볼루션층의 활성화 함수에는, 예를 들면, ReLU 함수가 이용된다.
한편, DNN(Deep Neural Network)이라고 불리는 네트워크(딥 러닝, DCNN(Deep CNN) 등으로도 불림)는, CNN의 레이어수를 다층화한 것이다.
도 7은, 실시형태 1에 있어서의 1차원 데이터의 컨볼루션 처리의 예를 나타내는 도면이고, 1차원 데이터의 컨볼루션 처리를 행하는 컨볼루션층을 나타내고 있다. 1차원 데이터에는, 예를 들면, 음성 데이터, 시계열 데이터가 있다.
도 7에 나타내는 컨볼루션층은, 이전층에 9개의 노드(10-1∼10-9), 다음층에 3개의 노드(11-1∼11-3)를 구비하고 있다.
에지(12-1, 12-6, 12-11)에는 동일한 가중이 부여되어 있고, 에지(12-2, 12-7, 12-12)에는 동일한 가중이 부여되어 있고, 에지(12-3, 12-8, 12-13)에는 동일한 가중이 부여되어 있고, 에지(12-4, 12-9, 12-14)에는 동일한 가중이 부여되어 있으며, 에지(12-5, 12-10, 12-15)에는 동일한 가중이 부여되어 있다. 또한, 에지(12-1)에서 에지(12-5)까지의 가중은 전부 상이한 값이 되는 경우도 있고, 복수의 가중이 동일한 값이 되는 경우도 있다.
이전층의 9개의 노드(10-1∼10-9) 중, 5개의 노드가, 상기의 가중으로 다음층의 1개의 노드로 이어져 있다. 커널 사이즈 K는 5이고, 커널은, 이들의 가중의 조합에 의해서 규정된다.
예를 들면, 도 7에 나타내는 바와 같이, 노드(10-1)는, 에지(12-1)를 통해서 노드(11-1)로 이어지고, 노드(10-2)는, 에지(12-2)를 통해서 노드(11-1)로 이어지고, 노드(10-3)는, 에지(12-3)를 통해서 노드(11-1)로 이어지고, 노드(10-4)는, 에지(12-4)를 통해서 노드(11-1)로 이어지고, 노드(10-5)는, 에지(12-5)를 통해서 노드(11-1)로 이어져 있다. 커널은, 에지(12-1∼12-5)의 가중의 조합에 의해서 규정된다.
노드(10-3)는, 에지(12-6)를 통해서 노드(11-2)로 이어지고, 노드(10-4)는, 에지(12-7)를 통해서 노드(11-2)로 이어지고, 노드(10-5)는, 에지(12-8)를 통해서 노드(11-2)로 이어지고, 노드(10-6)는, 에지(12-9)를 통해서 노드(11-2)로 이어지고, 노드(10-7)는, 에지(12-10)를 통해서 노드(11-2)로 이어져 있다. 커널은, 에지(12-6∼12-10)의 가중의 조합에 의해서 규정된다.
노드(10-5)는, 에지(12-11)를 통해서 노드(11-3)로 이어지고, 노드(10-6)는, 에지(12-12)를 통해서 노드(11-3)로 이어지고, 노드(10-7)는, 에지(12-13)를 통해서 노드(11-3)로 이어지고, 노드(10-8)는, 에지(12-14)를 통해서 노드(11-3)로 이어지고, 노드(10-9)는, 에지(12-15)를 통해서 노드(11-3)로 이어져 있다. 커널은, 에지(12-11∼12-15)의 가중의 조합에 의해서 규정된다.
데이터 처리부(101) 또는 데이터 처리부(202)는, CNN를 이용한 입력 데이터의 처리에 있어서, 컨볼루션층의 에지의 가중의 조합을 이용해서, 커널마다 스텝수S(도 7에서는, S=2)의 간격으로 컨볼루션 연산을 실시한다. 에지의 가중의 조합은, 커널마다 학습에 의해서 결정된다.
한편, 화상 인식 용도의 CNN에서는, 복수의 커널을 갖는 컨볼루션층으로 네트워크가 구성되는 경우가 많다.
도 8은, 실시형태 1에 있어서의 2차원 데이터의 컨볼루션 처리의 예를 나타내는 도면이고, 화상 데이터와 같은 2차원 데이터의 컨볼루션 처리를 나타내고 있다.
도 8에 나타내는 2차원 데이터 중, 커널(20)은, x 방향의 사이즈가 Kx, y 방향의 사이즈가 Ky인 블록 영역이다. 커널 사이즈 K는, K=Kx×Ky이다.
데이터 처리부(101) 또는 데이터 처리부(202)는, 2차원 데이터에 있어서, x 방향 스텝수(Sx)의 간격 및 y 방향 스텝수(Sy)의 간격으로, 커널(20)마다의 데이터의 컨볼루션 연산을 실시한다. 여기에서, 스텝(Sx, Sy)은 1 이상의 정수이다.
도 9는, 뉴럴 네트워크의 전체 결합층인 l(l=1, 2, …, L)층째의 레이어에 있어서의 노드마다의 에지의 가중 정보의 매트릭스를 나타내는 도면이다.
도 10은, 뉴럴 네트워크의 전체 결합층인 l(l=1, 2, …, L)층째의 레이어에 있어서의 노드마다의 에지의 가중 정보의 양자화 스텝의 매트릭스를 나타내는 도면이다.
뉴럴 네트워크에 있어서는, 도 9에 나타내는 레이어마다의 가중(wij)의 조합이, 네트워크를 구성하는 데이터가 된다. 이 때문에, DNN과 같은 다층의 뉴럴 네트워크에서는, 일반적으로 수백 Mbyte 이상의 데이터량이 되고, 큰 메모리 사이즈도 필요하다. 한편, i는, 노드 인덱스이고, i=1, 2, …, Nl이다. j는, 에지 인덱스이고, j=1, 2, …, Nl-1이다.
그래서, 실시형태 1에 따른 데이터 처리 장치(100)에서는, 에지의 가중 정보의 데이터량을 삭감하기 위해, 가중 정보를 양자화한다. 도 10에 나타내는 바와 같이, 양자화 스텝(qij)은, 에지의 가중(wij)마다 설정된다.
또, 양자화 스텝은, 복수의 노드 인덱스 또는 복수의 에지 인덱스, 또는 복수의 노드 인덱스와 에지 인덱스에서 공통화해도 된다. 이와 같이 함으로써, 부호화해야 할 양자화 정보를 삭감할 수 있다.
도 11은, 컨볼루션층에 있어서의 에지의 가중 정보의 매트릭스를 나타내는 도면이다.
도 12는, 컨볼루션층에 있어서의 에지의 가중 정보의 양자화 스텝의 매트릭스를 나타내는 도면이다. 컨볼루션층에서는, 1개의 커널에 대한 에지의 가중은 모든 노드에서 공통이고, 노드 1개당 결합하는 에지수, 즉 커널 사이즈 K를 작게 해서 커널을 소영역으로 할 수 있다.
도 11은, 에지의 가중(wi'j')을 커널마다 설정한 데이터이고, 도 12는, 양자화 스텝(qi'j')을 커널마다 설정한 데이터이다.
한편, i'는, 커널 인덱스이고, i'=1, 2, …, Ml(l=1, 2, …, L)이다. j'는, 에지 인덱스이고, j'=1, 2, …, Kl이다.
또, 양자화 스텝은, 복수의 커널 인덱스 또는 복수의 에지 인덱스, 또는 복수의 커널 인덱스와 에지 인덱스에서 공통화해도 된다. 이와 같이 함으로써 부호화해야 할 양자화 정보를 삭감할 수 있다.
압축 제어부(102)는, 도 4의 스텝 ST1에 있어서, 데이터 처리부(101)에 의한 가중의 양자화 처리에 이용하는 양자화 스텝을 결정하고, 양자화 정보로서 데이터 처리부(101)에 출력한다. 양자화 스텝은, 도 10에 나타낸 양자화 스텝(qij) 및 도 12에 나타낸 양자화 스텝(qi'j')이다.
데이터 처리부(101)는, 도 4의 스텝 ST2에 있어서, 도 10에 나타낸 양자화 스텝(qij)으로, 도 9에 나타낸 에지의 가중(wij)을 양자화하고, 양자화된 가중(wij)을 포함하는 네트워크 구성 정보를 부호화부(103)에 출력한다.
마찬가지로, 데이터 처리부(101)는, 도 4의 스텝 ST2에 있어서, 도 12에 나타낸 양자화 스텝(qi'j')으로, 도 11에 나타낸 에지의 가중(wi'j')을 양자화하고, 양자화된 가중(wi'j')을 포함하는 네트워크 구성 정보를 부호화부(103)에 출력한다.
한편, 네트워크 구성 정보에는, 양자화된 가중 이외에, 네트워크의 레이어수, 레이어마다의 노드수, 노드간을 잇는 에지, 에지마다 부여된 가중 정보, 노드의 출력을 나타내는 활성화 함수, 층마다의 종별 정보(컨볼루션층, 풀링층, 전체 결합층) 등이 포함된다. 단, 데이터 처리 장치(100)와 데이터 처리 장치(200) 사이에 미리 고정(정의)되어 있는 정보에 대해서는, 부호화하는 네트워크 구성 정보에 포함하지 않는다.
도 13은, 실시형태 1에 있어서의 양자화 정보를 구성하는 정보의 신택스를 나타내는 도면이다.
도 14는, 실시형태 1에 있어서의 양자화 정보를 구성하는 정보의 매트릭스 단위의 신택스를 나타내는 도면이다.
도 15는, 실시형태 1에 있어서의 양자화 정보를 구성하는 정보의 레이어 단위의 신택스를 나타내는 도면이다.
도 13에 있어서, 플래그(quant_enable_flag), 플래그(layer_adaptive_quant_flag), 플래그(matrix_adaptive_quant_flag), 및 양자화 스텝(fixed_quant_step)은, 부호화부(103)에 의해서 부호화되는 양자화 정보의 부호화 파라미터이다.
또한, L은 레이어수이다.
도 14에 있어서, 양자화 스텝(base_quant_step[j]), 플래그(prev_quant_copy_flag[i-1]), 및 차분값(diff_quant_value[i-1][j])은, 부호화부(103)에 의해서 부호화되는 양자화 정보의 부호화 파라미터이다.
또한, C는, 노드수 Nlayer_id 또는 커널수 Mlayer_id이다. 또, E는, 에지수 Nlayer_id-1 또는 커널 사이즈 Klayer_id이다.
도 15에 있어서, 양자화 스텝(base_layer_quant_step), 플래그(layer_quant_copy_flag[i-2]), 및 양자화 스텝(layer_quant_step[i-2])은, 부호화부(103)에 의해서 부호화되는 양자화 정보의 부호화 파라미터이다. 또한, L은 레이어수이다.
도 13에 나타내는 정보에는, 네트워크에 있어서의 에지의 가중 정보의 양자화의 유무가 설정되는 플래그(quant_enable_flag)가 포함되어 있다.
플래그(quant_enable_flag)가 0(거짓)인 경우는, 네트워크에 있어서의 모든 에지의 가중 정보가 양자화되지 않는다. 즉, 양자화 스텝이 양자화 정보에 설정되지 않는다.
한편, 플래그(quant_enable_flag)가 1(참)인 경우, 압축 제어부(102)는, 플래그(layer_adaptive_quant_flag)를 참조한다.
압축 제어부(102)는, 플래그(layer_adaptive_quant_flag)가 0(거짓)인 경우, 네트워크에 있어서의 모든 에지에 공통된 양자화 스텝(fixed_quant_step)을, 양자화 정보에 설정한다.
플래그(layer_adaptive_quant_flag)가 1(참)인 경우, 압축 제어부(102)는, 플래그(matrix_adaptive_quant_flag)를 참조한다.
플래그(matrix_adaptive_quant_flag)가 0(거짓)이면, 압축 제어부(102)는, 네트워크에 있어서의 복수의 에지의 각각의 가중 정보의 양자화 스텝으로서, 레이어 단위에서 공통된 양자화 스텝을 결정한다.
단, 입력층(1층째)은 에지를 가지지 않기 때문에, 양자화 스텝은 설정되지 않는다.
한편, 도 15는, 레이어 단위에서 공통된 양자화 스텝에 관한 신택스를 나타내고 있다.
플래그(matrix_adaptive_quant_flag)가 1(참)이면, 압축 제어부(102)는, 네트워크에 있어서의 복수의 에지의 각각의 가중 정보의 양자화 스텝으로서, 도 10에 나타낸 양자화 스텝 또는 도 12에 나타낸 양자화 스텝을 결정한다. 도 14는, 도 10 또는 도 12에 나타낸 양자화 스텝의 신택스를 나타내고 있다.
도 14에 나타내는 신택스에 대해서 설명한다.
전술한 바와 같이, 입력층(1층째)은 에지를 가지지 않는다.
이 때문에, ID 정보(layer_id)가 1부터 L-1까지인 layer_id+1층째의 레이어가, 양자화 스텝의 설정 대상이 된다.
우선, 압축 제어부(102)는, layer_id+1층째의 레이어에 있어서, 도 10에 나타낸 1번째의 노드(도 12에서는, 1번째의 커널)의 양자화 스텝을 나타내는 base_quant_step[j] (j=0, 1, …, E-1)을 설정한다.
한편, E는, 에지수 Nlayer_id 또는 커널 사이즈 Klayer_id+1이다.
다음으로, 압축 제어부(102)는, 2번째 이후(i≥1)의 노드(또는 커널)에 대해서, 노드(또는 커널) 단위에, 1개 전의 인덱스의 노드(또는 커널)와 양자화 스텝이 동일한지의 여부를 나타내는 플래그(prev_quant_copy_flag[i-1])를 참조한다.
플래그(prev_quant_copy_flag[i-1])가 1(참)인 경우, i+1번째의 노드(또는 커널)는, i번째의 노드(또는 커널)와 양자화 스텝이 동일하다.
한편, 플래그(prev_quant_copy_flag[i-1])가 0(거짓)인 경우, 압축 제어부(102)는, i+1번째의 노드(또는 커널)의 양자화 스텝을 생성하는 정보로서, 차분값(diff_quant_value[i-1][j]) (i=1, 2, …, C-1, j=0, 1, …, E-1)을 설정한다.
양자화 스텝은, 차분값(diff_quant_value[i-1][j])에 대해서 1개 전의 노드(또는 커널)에 설정된 양자화 스텝을 가산해서 생성할 수 있다.
즉, 2번째 (i=1)의 노드(또는 커널)에서는, base_quant_step[j]+diff_quant_value[0][j]가 양자화 스텝이 된다. 3번째 이후(i≥2)의 노드(또는 커널)는, diff_quant_value[i-2][j]+diff_quant_value[i-1][j]가 양자화 스텝이 된다.
한편, 부호화 파라미터로서 노드(또는 커널)간에서의 양자화 스텝의 차분값(diff_quant_value[i-1][j])을 나타냈지만, 노드(또는 커널) 단위로 독립의 양자화 스텝을 설정해도 된다.
노드(또는 커널)간의 양자화 스텝의 상관이 낮은 경향이 있는 경우, 이와 같이 구성하는 편이, 부호화부(103)에서의 부호화 효율이 높아진다.
도 15에 나타내는 신택스에 대해서 설명한다.
전술한 바와 같이, 입력층(1층째)은 에지를 가지지 않는다.
그래서, 압축 제어부(102)는, 2층째의 레이어에 있어서의 모든 에지의 가중 정보에 공통인 양자화 스텝으로서, base_layer_quant_step을 설정한다.
다음으로, 압축 제어부(102)는, 3층째 이후(i≥2)의 레이어에 대해서, i+1층째의 레이어에 있어서의 모든 에지의 가중 정보에 공통인 양자화 스텝이, i층째의 레이어에 있어서의 모든 에지의 가중 정보에 공통인 양자화 스텝과 동일한지 여부를 나타내는 플래그(layer_quant_copy_flag[i-2]) (i=2, 3, …, L-1)을 참조한다.
플래그(layer_quant_copy_flag[i-2])가 1(참)이면, 압축 제어부(102)는, i+1층째에 있어서의 모든 에지의 가중 정보에 공통인 양자화 스텝을, i층째의 레이어에 있어서의 모든 에지의 가중 정보에 공통인 양자화 스텝과 동일하게 한다. 한편, 플래그(layer_quant_copy_flag[i-2])가 0(거짓)이면, 압축 제어부(102)는, i+1층째에 있어서의 모든 에지의 가중 정보에 공통인 양자화 스텝으로서, layer_quant_step[i-2]를 설정한다.
한편, 압축 제어부(102)가, 레이어 단위로 독립한 양자화 스텝으로서 layer_quant_step[i-2]를 정의하는 경우를 나타냈지만, 1개 전의 레이어(i층째의 레이어)의 양자화 스텝과의 차분값으로서 layer_quant_step[i-2]를 정의해도 된다. 차분값으로 함으로써 0 근방의 차분값이 많이 발생하므로, 부호화부(103)에서의 부호화 효율을 높일 수 있다.
부호화부(103)는, 도 13부터 도 15까지에 있어서의 부호화 파라미터를, 양자화 정보로서 부호화해서 압축 데이터를 생성한다.
한편, 양자화 스텝의 최소 전환 단위를 에지 단위로 했지만, 도 10에 나타내는 바와 같이 노드 단위(도 12에서는, 커널 단위)를, 양자화 스텝의 최소 전환 단위로 해도 된다. 이것은, 도 14에 있어서 E=1로 하는 것과 동일한 뜻이다. 이 경우, 양자화 스텝은, 노드 단위(도 12에서는, 커널 단위)로 독립적으로 부호화해도 된다.
또한, 양자화 스텝의 최소 전환 단위는, 레이어 단위여도 된다.
이것은, 도 13에 있어서 플래그(layer_adaptive_quant_flag)=1(참)인 경우에, 플래그(matrix_adaptive_quant_flag) 없이, 항상 layer_quant_coding()만을 실행하는 것과 동일한 뜻이다. 이와 같이 양자화 스텝의 최소 전환 단위를, 에지 단위보다도 크게 함으로써, 부호화 전의 양자화 정보의 데이터 사이즈를 삭감할 수 있다.
이상과 같이, 실시형태 1에 따른 데이터 처리 장치(100)에 있어서, 데이터 처리부(101)가, 뉴럴 네트워크를 이용해서 입력 데이터를 처리한다. 압축 제어부(102)가, 양자화 스텝을 결정하고, 양자화 스텝이 정의된 양자화 정보를 생성한다. 부호화부(103)가, 압축 제어부(102)에 의해서 결정된 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보와 양자화 정보를 부호화해서 압축 데이터를 생성한다.
특히, 상기에서는, 뉴럴 네트워크의 파라미터 데이터로서 뉴럴 네트워크에 있어서의 노드간을 결합하는 에지에 부여된 가중 정보를 취급하는 예에 대해서 설명했다. 이들의 구성을 가짐으로써, 양자화 스텝이 정의된 양자화 정보와 양자화 정보에 있어서의 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보가 압축 데이터로 부호화된다. 이에 의해, 뉴럴 네트워크의 파라미터 데이터를 고압축할 수 있다.
또한, 압축 데이터로부터 복호된 양자화 정보 및 네트워크 구성 정보를 이용함으로써, 부호화측에서 최적화된 뉴럴 네트워크를 복호측에서 구성할 수 있다.
실시형태 1에 따른 데이터 처리 장치(200)에 있어서, 데이터 처리부(202)가, 뉴럴 네트워크를 이용해서 입력 데이터를 처리한다. 복호부(201)가 압축 데이터를 복호한다.
이 구성에 있어서, 데이터 처리부(202)가, 복호부(201)에 의해서 압축 데이터로부터 복호된 양자화 정보 및 네트워크 구성 정보를 이용해서 파라미터 데이터를 역양자화하고, 역양자화한 파라미터 데이터를 포함하는 네트워크 구성 정보를 이용해서 뉴럴 네트워크를 구성한다.
이에 의해, 압축 데이터로부터 복호한 양자화 정보 및 네트워크 구성 정보를 이용해서 부호화측에서 최적화된 뉴럴 네트워크를 구성할 수 있다.
실시형태 1에 따른 데이터 처리 장치(100)에 있어서, 압축 제어부(102)가, 에지마다 양자화 스텝을 전환한다. 부호화부(103)는, 에지마다의 양자화 스텝이 정의된 양자화 정보를 부호화한다. 이와 같이 구성함으로써, 파라미터 데이터를 고정밀도로 양자화할 수 있다.
실시형태 1에 따른 데이터 처리 장치(100)에 있어서, 압축 제어부(102)가, 노드마다 또는 커널마다 양자화 스텝을 전환한다. 부호화부(103)는, 노드마다 또는 커널마다의 양자화 스텝이 정의된 양자화 정보를 부호화한다.
이와 같이 구성해도, 파라미터 데이터를 고정밀도로 양자화할 수 있다.
실시형태 1에 따른 데이터 처리 장치(100)에 있어서, 압축 제어부(102)가, 뉴럴 네트워크의 레이어마다 양자화 스텝을 전환한다. 부호화부(103)는, 뉴럴 네트워크의 레이어마다의 양자화 스텝이 정의된 양자화 정보를 부호화한다.
이와 같이 구성함으로써, 양자화에 의한 파라미터 데이터의 압축률이 높아지므로, 부호화 전의 가중 정보의 데이터량을 삭감할 수 있다.
실시형태 2.
실시형태 1에서는, 뉴럴 네트워크의 출력 결과를 직접적으로 데이터 처리 결과로 하는 예에 대해서 기술했지만, 뉴럴 네트워크의 중간 레이어의 출력을, 하기의 참고 문헌의 화상 검색(retrieval) 또는 매칭(matching)을 일례로 한 화상 데이터 및 음성 데이터에 대한 데이터 처리의 특징량으로서 이용하고, 이것을 하기의 참고 문헌과 같이 다른 데이터 처리 수법에 의해서 최종적인 데이터 처리 결과를 얻는 응용예가 있다.
예를 들면, 화상 검색, 매칭, 물체 추적 등의 화상 처리의 화상 특징량으로서 뉴럴 네트워크의 중간 레이어의 출력을 이용하는 경우, 종래의 상기 화상 처리로 이용되고 있는 화상 특징량인 HOG(Histogram of Oriented Gradients), SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 등에 대한 화상 특징량의 치환 또는 추가를 행함으로써, 상기 종래의 화상 특징량을 이용한 화상 처리와 동일한 처리 플로로 화상 처리를 실현할 수 있다.
이 경우, 데이터 처리 장치(100)에 있어서, 네트워크 구성 정보, 양자화 정보로서 부호화하는 것은 데이터 처리의 특징량으로 하는 출력이 얻어지는 중간 레이어까지의 뉴럴 네트워크가 된다.
또, 데이터 처리 장치(100)는 상기 데이터 처리의 특징량을 이용해서 화상 검색 등의 데이터 처리를 행한다. 데이터 처리 장치(200)는 압축 데이터부터 상기 중간 레이어까지의 뉴럴 네트워크를 복호하고, 입력 데이터를 입력해서 얻어지는 출력을 데이터 처리의 특징량으로서 화상 검색 등의 데이터 처리를 실시한다.
(참고 문헌) ISO/IEC JTC1/SC29/WG11/m39219, "Improved retrieval and matching with CNN feature for CDVA", Chengdu, China, Oct. 2016.
따라서, 실시형태 2에 따른 데이터 처리 장치(100)에 있어서 양자화에 의한 파라미터 데이터의 압축률이 높아지므로, 부호화 전의 가중 정보의 데이터량을 삭감할 수 있다. 실시형태 2에 따른 데이터 처리 장치(200)에 있어서는, 상기 데이터 처리 장치(100)로부터 출력되는 압축 데이터를 복호해서 뉴럴 네트워크를 생성함으로써 데이터 처리를 실시할 수 있다.
한편, 본 발명은 상기 실시형태로 한정되는 것은 아니고, 본 발명의 범위 내에 있어서, 실시형태의 임의의 구성 요소의 변형 또는 실시형태의 임의의 구성 요소의 생략이 가능하다.
이 발명에 따른 데이터 처리 장치는, 뉴럴 네트워크의 파라미터 데이터를 고압축할 수 있으므로, 예를 들면, 화상 인식 기술에의 이용이 가능하다.
10-1∼10-9, 11-1∼11-3: 노드, 12-1∼12-15: 에지, 20: 커널, 100, 200: 데이터 처리 장치, 101, 202: 데이터 처리부, 102: 압축 제어부, 103: 부호화부, 201: 복호부, 300: 처리 회로, 301: 프로세서, 302: 메모리.

Claims (8)

  1. 뉴럴 네트워크를 이용해서, 입력 데이터를 처리하는 데이터 처리부와,
    상기 뉴럴 네트워크의 파라미터 데이터를 양자화할 때의 양자화 스텝을 결정하고, 양자화 스텝이 정의된 양자화 정보를 생성하는 압축 제어부와,
    상기 압축 제어부에 의해서 결정된 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보와 상기 양자화 정보를 부호화해서 압축 데이터를 생성하는 부호화부
    를 구비한 것을 특징으로 하는 데이터 처리 장치.
  2. 뉴럴 네트워크를 이용해서 입력 데이터를 처리하는 데이터 처리부와,
    상기 뉴럴 네트워크의 파라미터 데이터를 양자화할 때의 양자화 스텝이 정의된 양자화 정보와, 상기 양자화 정보에 있어서의 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보가 부호화된 압축 데이터를 복호하는 복호부를 구비하고,
    상기 데이터 처리부는,
    상기 복호부에 의해서 압축 데이터로부터 복호된 상기 양자화 정보 및 상기 네트워크 구성 정보를 이용해서 파라미터 데이터를 역양자화하고, 역양자화한 파라미터 데이터를 포함하는 상기 네트워크 구성 정보를 이용해서 상기 뉴럴 네트워크를 구성하는 것
    을 특징으로 하는 데이터 처리 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 뉴럴 네트워크의 파라미터 데이터는, 상기 뉴럴 네트워크에 있어서의 노드간을 결합하는 에지에 부여된 가중 정보인 것
    을 특징으로 하는 데이터 처리 장치.
  4. 제 1 항에 있어서,
    상기 압축 제어부는, 에지마다 양자화 스텝을 전환하고,
    상기 부호화부는, 상기 에지마다의 양자화 스텝이 정의된 상기 양자화 정보를 부호화하는 것
    을 특징으로 하는 데이터 처리 장치.
  5. 제 1 항에 있어서,
    상기 압축 제어부는, 노드마다 또는 커널마다 양자화 스텝을 전환하고,
    상기 부호화부는, 상기 노드마다 또는 상기 커널마다의 양자화 스텝이 정의된 상기 양자화 정보를 부호화하는 것
    을 특징으로 하는 데이터 처리 장치.
  6. 제 1 항에 있어서,
    상기 압축 제어부는, 상기 뉴럴 네트워크의 레이어마다 양자화 스텝을 전환하고,
    상기 부호화부는, 상기 뉴럴 네트워크의 레이어마다의 양자화 스텝이 정의된 상기 양자화 정보를 부호화하는 것
    을 특징으로 하는 데이터 처리 장치.
  7. 복호부가, 뉴럴 네트워크의 파라미터 데이터를 양자화할 때의 양자화 스텝이 정의된 양자화 정보와, 상기 양자화 정보에 있어서의 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보가 부호화된 압축 데이터를 복호하는 스텝과,
    데이터 처리부가, 상기 복호부에 의해서 압축 데이터로부터 복호된 상기 양자화 정보 및 상기 네트워크 구성 정보를 이용해서 파라미터 데이터를 역양자화하고, 역양자화한 파라미터 데이터를 포함하는 상기 네트워크 구성 정보를 이용해서 상기 뉴럴 네트워크를 구성하고, 당해 뉴럴 네트워크를 이용해서 입력 데이터를 처리하는 스텝
    을 구비한 것을 특징으로 하는 데이터 처리 방법.
  8. 뉴럴 네트워크의 파라미터 데이터를 양자화할 때의 양자화 스텝이 정의된 양자화 정보와,
    상기 양자화 정보에 있어서의 양자화 스텝으로 양자화된 파라미터 데이터를 포함하는 네트워크 구성 정보가 부호화된 압축 데이터로서,
    데이터 처리 장치가,
    복호한 상기 양자화 정보 및 상기 네트워크 구성 정보를 이용해서 파라미터 데이터를 역양자화하고, 역양자화한 파라미터 데이터를 포함하는 상기 네트워크 구성 정보를 이용해서 상기 뉴럴 네트워크를 구성하는 것
    을 특징으로 하는 압축 데이터.
KR1020197038494A 2017-07-07 2017-07-07 데이터 처리 장치, 데이터 처리 방법 및 기억 매체 KR102526818B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/024992 WO2019008752A1 (ja) 2017-07-07 2017-07-07 データ処理装置、データ処理方法および圧縮データ

Publications (2)

Publication Number Publication Date
KR20200013710A true KR20200013710A (ko) 2020-02-07
KR102526818B1 KR102526818B1 (ko) 2023-04-27

Family

ID=64950713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197038494A KR102526818B1 (ko) 2017-07-07 2017-07-07 데이터 처리 장치, 데이터 처리 방법 및 기억 매체

Country Status (11)

Country Link
US (1) US20200184318A1 (ko)
EP (1) EP3651069A4 (ko)
JP (1) JP6903132B2 (ko)
KR (1) KR102526818B1 (ko)
CN (1) CN110832507A (ko)
BR (1) BR112019027664B1 (ko)
CA (1) CA3066204C (ko)
RU (1) RU2747445C1 (ko)
SG (1) SG11201911600VA (ko)
WO (1) WO2019008752A1 (ko)
ZA (1) ZA201908272B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107951A1 (ko) * 2020-11-20 2022-05-27 한국전자기술연구원 초경량 딥러닝 네트워크 학습 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11902369B2 (en) 2018-02-09 2024-02-13 Preferred Networks, Inc. Autoencoder, data processing system, data processing method and non-transitory computer readable medium
KR102621118B1 (ko) * 2018-11-01 2024-01-04 삼성전자주식회사 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법
US11977388B2 (en) * 2019-02-21 2024-05-07 Nvidia Corporation Quantizing autoencoders in a neural network
JP7313515B2 (ja) * 2019-02-28 2023-07-24 三菱電機株式会社 データ処理装置、データ処理システムおよびデータ処理方法
CN113454654A (zh) * 2019-02-28 2021-09-28 三菱电机株式会社 数据处理装置、数据处理系统和数据处理方法
CN109903351B (zh) * 2019-03-02 2023-05-30 复旦大学 基于卷积神经网络和传统编码相结合的图像压缩方法
JP7215242B2 (ja) * 2019-03-08 2023-01-31 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
JP7345262B2 (ja) * 2019-03-11 2023-09-15 キヤノン株式会社 データ圧縮装置、データ処理装置、データ圧縮方法、プログラム、及び学習済みモデル
JP6605170B1 (ja) * 2019-05-15 2019-11-13 株式会社小野測器 学習装置及び推定装置
US11166022B2 (en) * 2019-06-04 2021-11-02 Google Llc Quantization constrained neural image coding
KR20200139909A (ko) 2019-06-05 2020-12-15 삼성전자주식회사 전자 장치 및 그의 연산 수행 방법
JP6651040B1 (ja) * 2019-08-20 2020-02-19 株式会社小野測器 ノッキング判定装置
CA3150069C (en) * 2019-09-27 2024-04-09 Akira Minezawa Data processing device, data processing system, and data processing method
KR102384255B1 (ko) * 2020-01-20 2022-04-06 경희대학교 산학협력단 인공 신경망의 가중치를 처리하는 방법 및 장치
WO2021225262A1 (en) * 2020-05-07 2021-11-11 Samsung Electronics Co., Ltd. Neural architecture search based optimized dnn model generation for execution of tasks in electronic device
WO2022009433A1 (ja) 2020-07-10 2022-01-13 富士通株式会社 情報処理装置，情報処理方法および情報処理プログラム
US11741712B2 (en) 2020-09-28 2023-08-29 Nec Corporation Multi-hop transformer for spatio-temporal reasoning and localization

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485316A (zh) * 2016-10-31 2017-03-08 北京百度网讯科技有限公司 神经网络模型压缩方法以及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2530270C2 (ru) * 2012-10-23 2014-10-10 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский ядерный университет "МИФИ" (НИЯУ МИФИ) Виртуальная потоковая вычислительная система, основанная на информационной модели искусственной нейросети и нейрона
US11049006B2 (en) * 2014-09-12 2021-06-29 Microsoft Technology Licensing, Llc Computing system for training neural networks
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US10262259B2 (en) * 2015-05-08 2019-04-16 Qualcomm Incorporated Bit width selection for fixed point neural networks
US10373050B2 (en) * 2015-05-08 2019-08-06 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
CN106066783A (zh) * 2016-06-02 2016-11-02 华为技术有限公司 基于幂次权重量化的神经网络前向运算硬件结构
KR101974261B1 (ko) * 2016-06-24 2019-04-30 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN106529670B (zh) * 2016-10-27 2019-01-25 中国科学院计算技术研究所 一种基于权重压缩的神经网络处理器、设计方法、芯片
CN106557812A (zh) * 2016-11-21 2017-04-05 北京大学 基于dct变换的深度卷积神经网络压缩与加速方案

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485316A (zh) * 2016-10-31 2017-03-08 北京百度网讯科技有限公司 神经网络模型压缩方法以及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Jiaxiang Wu. "Quantized Convolutional Neural Networks for Mobile Devices". arXiv:1512.06473. 2016. 05. 16* *
Sajid Anwar. "Fixed point optimization of deep convolutional neural networks for object recognition". 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2015. 04.,* *
Song Han. "Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding". arXiv:1510.00149. 2016. 02. 15.* *
Vincent Vanhoucke, Andrew Senior, Mark Z. Mao, "Improving the speed of neural networks on CPUs", Proc. Deep Learning and Unsupervised Feature Learning NIPS Workshop, 2011.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107951A1 (ko) * 2020-11-20 2022-05-27 한국전자기술연구원 초경량 딥러닝 네트워크 학습 방법

Also Published As

Publication number Publication date
CA3066204C (en) 2022-04-26
SG11201911600VA (en) 2020-01-30
EP3651069A4 (en) 2020-07-15
RU2747445C1 (ru) 2021-05-05
CA3066204A1 (en) 2019-01-10
WO2019008752A1 (ja) 2019-01-10
ZA201908272B (en) 2022-03-30
US20200184318A1 (en) 2020-06-11
EP3651069A1 (en) 2020-05-13
JPWO2019008752A1 (ja) 2020-01-09
JP6903132B2 (ja) 2021-07-14
BR112019027664A2 (pt) 2020-07-07
KR102526818B1 (ko) 2023-04-27
BR112019027664B1 (pt) 2023-12-19
CN110832507A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
KR20200013710A (ko) 데이터 처리 장치, 데이터 처리 방법 및 기억 매체
EP3276540B1 (en) Neural network method and apparatus
CN108961253A (zh) 一种图像分割方法和装置
JP7408799B2 (ja) ニューラルネットワークモデルの圧縮
CN112119408A (zh) 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质
JP2009217583A (ja) パターン認識装置及びその方法
RU2408076C1 (ru) Способ сжатия изображения
KR20210131894A (ko) 훈련된 심층 신경망의 압축 장치 및 방법
JP7282070B2 (ja) 圧縮データ
EP4036802A1 (en) Data processing device, data processing system, and data processing method
CN113382244B (zh) 编解码网络结构、图像压缩方法、装置及存储介质
CN111160517A (zh) 一种深度神经网络的卷积层量化方法及装置
CN110610228A (zh) 信息处理装置、信息处理方法及记录介质
WO2019116497A1 (ja) 識別装置、識別方法、および記憶媒体
Zhao et al. Efficient Integer-Arithmetic-Only Convolutional Networks with Bounded ReLU
WO2020174658A1 (ja) データ処理装置、データ処理システムおよびデータ処理方法
US11350134B2 (en) Encoding apparatus, image interpolating apparatus and encoding program
JP7313515B2 (ja) データ処理装置、データ処理システムおよびデータ処理方法
CN115238755A (zh) 用于联邦学习的特征信息处理方法、装置以及存储介质
CN117321989A (zh) 基于神经网络的图像处理中的辅助信息的独立定位
KR20210035678A (ko) 동영상 코딩을 위한 훈련된 심층 인공 신경망의 압축 장치 및 방법
Akutsu et al. End-to-End Deep ROI Image Compression
RU2814940C1 (ru) Устройство обработки данных, система обработки данных и способ обработки данных
RU2811535C2 (ru) Устройство обработки данных, система обработки данных и способ обработки данных
Petrescu et al. Prediction capabilities of Boolean and stack filters for lossless image compression

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant