WO2023085457A1 - 효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법 - Google Patents

효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법 Download PDF

Info

Publication number
WO2023085457A1
WO2023085457A1 PCT/KR2021/016376 KR2021016376W WO2023085457A1 WO 2023085457 A1 WO2023085457 A1 WO 2023085457A1 KR 2021016376 W KR2021016376 W KR 2021016376W WO 2023085457 A1 WO2023085457 A1 WO 2023085457A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
data
training data
deep learning
training
Prior art date
Application number
PCT/KR2021/016376
Other languages
English (en)
French (fr)
Inventor
이상설
장성준
박종희
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2023085457A1 publication Critical patent/WO2023085457A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Definitions

  • the present invention relates to a deep learning learning method, and more particularly, to a method for additional learning and re-learning in a mobile device of a model that has been completed learning in a server.
  • the new device is a mobile device with insufficient resources, it is impossible or inappropriate to store all learning data in memory for additional learning or re-learning.
  • the present invention has been made to solve the above problems, and an object of the present invention is to process and store learning data for additional learning or re-learning in a mobile device with limited memory resources and learn a deep learning model. is in providing
  • a method for learning a deep learning model includes selecting and storing learning data corresponding to the same class; quantizing stored learning data with a quantization parameter mapped to a corresponding class; Using the stored training data, learning the deep learning model; includes.
  • the quantization parameter may be set differently according to the class.
  • the deep learning model learning method may further include changing the phenotype of the quantized training data.
  • the quantized training data may be changed into data having a large number of specific bits.
  • the method for learning a deep learning model according to an embodiment of the present invention may further include compressing training data having a changed phenotype.
  • a method for learning a deep learning model includes comparing the size of compressed training data and pre-compression training data; and decompressing the compressed training data if the size of the compressed training data is greater than that of the training data before compression.
  • the learning step may include decompressing the compressed learning data; Restoring phenotypes of the decompressed training data to original phenotypes; and learning a deep learning model using the restored quantized training data.
  • a mobile device includes a processor for selecting and storing learning data corresponding to the same class; a quantization unit that quantizes the stored learning data with a quantization parameter mapped to a corresponding class; A deep learning accelerator for learning a deep learning model using stored learning data.
  • 1 is a diagram showing a forward path in a learning process
  • FIG. 2 is a diagram showing a backward path in the learning process
  • FIG. 4 is a block diagram of a mobile device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart provided to explain a method of processing and storing learning data according to another embodiment of the present invention.
  • 6 is a diagram in which learning data are classified according to classes.
  • cloud-based artificial intelligence learning requires personal information leakage and enormous use of communication data, so countermeasures are also needed.
  • learning largely consists of an inference process and a back-propagation process.
  • the forward path, which is an inference process, is shown in FIG. 1
  • the backward path, which is a back-propagation process is shown in FIG.
  • An environment to which an embodiment of the present invention is applied is a mobile environment in which all learning data sets cannot be provided from outside, and it is required to process and store existing learning data for additional learning or re-learning due to limited memory resources.
  • a mobile device includes a memory 110, a processor 120, a deep learning accelerator 130, a quantization unit 140, a data conversion unit 150, and a codec 160. ) is composed of.
  • the processor 120 receives learning data from the server and stores it in the memory 110 .
  • the quantization unit 140 performs quantization on the training data stored in the memory 110, the data conversion unit 150 converts the phenotype of the quantized training data, and the codec 160 compresses the transformed training data. do.
  • the deep learning accelerator 130 additionally learns or relearns the deep learning model learned in the server with the learning data stored in the memory 110 .
  • the codec 160 decompresses the compressed training data stored in the memory 110, and the data conversion unit 150 restores the expression of the decompressed training data to the original expression. Accordingly, the deep learning accelerator 130 can additionally or relearn the deep learning model with the quantized training data.
  • the processor 120 first selects original learning data corresponding to the same class and stores them in the memory 110 (S210).
  • Original training data are acquired from the server, and only specific classes are targeted.
  • the quantization unit 140 quantizes the learning data selected/stored in the memory 110 in step S210 with quantization parameters mapped to classes (S220).
  • the learning data are quantized with the optimal quantization parameter for the learning data of the airplane class.
  • the optimal quantization parameters Scale/exponent/bias are set differently according to the class. That is, the optimal quantization parameter for the airplane class training data is different from the optimal quantization parameter for the car class training data.
  • the quantization unit 140 also stores quantization parameters applied to the quantized training data in the memory 110 together.
  • the data conversion unit 150 changes the phenotype of the quantized training data stored in the memory 110 into phenotype data having many specific bits (S230). This is a cutoff for increasing the data compression rate to be performed in step S240.
  • a thermometer method, one-hot encoding, etc. may be applied.
  • the codec 160 compresses the training data whose phenotype is changed in step S230 (S240), and compares the size with the training data before compression (S250).
  • step S250 if the size of the compressed training data is greater than the training data before compression (S250-N), the codec 160 decompresses the compressed training data stored in the memory 110 (S260) .
  • the compressed training data stored in the memory 110 is maintained as it is.
  • steps S210 to S260 are repeated for the next class, and are repeated until completion for all classes (S270).
  • steps S210 to S260 are performed for each of the airplane class ⁇ car class ⁇ bird class ⁇ cat class ⁇ ... ⁇ truck class.
  • the learning data stored in the memory 110 is processed from the original learning data and has high information security.
  • Meaningful data means that accuracy does not deteriorate in the existing learning method if learning is performed using learning data excluding objects with low recognition probability and objects with good recognition during learning.
  • various data sets CIFAR-10, ImageNet, etc.
  • memory usage can be further reduced by excluding it from the learning process, and it is also possible to change the learning data to new learning data in the storage space where the corresponding learning data is stored.
  • the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment.
  • technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium.
  • the computer-readable recording medium may be any data storage device that can be read by a computer and store data.
  • the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like.
  • computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법이 제공된다. 본 발명의 실시예에 따른 딥러닝 모델 학습 방법은, 동일 클래스에 해당하는 학습 데이터들을 선별하여 저장하고, 저장된 학습 데이터들을 해당 클래스에 매핑된 양자화 파라미터로 양자화 하며, 저장된 학습 데이터들을 이용하여 딥러닝 모델을 학습시킨다. 이에 의해, 추가학습이나 재학습을 위한 학습 데이터에 대해 클래스 별로 구별되는 양자화를 적용하고, 표현형 변경과 압축을 통해 학습 데이터의 용량을 최소화할 수 있어, 메모리 자원이 제한적인 모바일 디바이스에서 딥러닝 모델의 추가학습과 재학습이 용이해지며, 학습 데이터의 보안도 강화할 수 있게 된다.

Description

효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법
본 발명은 딥러닝 학습 방법에 관한 것으로, 더욱 상세하게는 서버에서 학습이 완료된 모델을 모바일 디바이스에서 추가학습 및 재학습하는 방법에 관한 것이다.
서버에서 학습이 완료된 모델을 신규 디바이스에 동작시키기 위해서는 학습에 사용된 모든 데이터 및 테스트에 사용된 모든 데이터를 이용하여 딥러닝 파라미터 재생성을 위한 재학습을 수행하여야 한다.
즉 신규 디바이스의 딥러닝 모델에 대해 재학습을 수행하여 최소한의 성능 손실을 갖는 딥러닝 파라미터를 생성한 후 최종 어플리케이션에 업데이트하는 형태로 개발하고 있다.
하지만, 신규 디바이스가 리소스가 충분하지 않은 모바일 디바이스인 경우 추가학습이나 재학습을 위해 모든 학습 데이터들을 메모리에 저장하고 있는 것은 불가능하거나 부적절하다는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 메모리 자원이 제한적인 모바일 디바이스에서 추가학습이나 재학습을 위한 학습 데이터로 가공하여 저장하고 딥러닝 모델을 학습시키는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 딥러닝 모델 학습 방법은, 동일 클래스에 해당하는 학습 데이터들을 선별하여 저장하는 단계; 저장된 학습 데이터들을 해당 클래스에 매핑된 양자화 파라미터로 양자화 하는 단계; 저장된 학습 데이터들을 이용하여, 딥러닝 모델을 학습시키는 단계;를 포함한다.
그리고, 양자화 파라미터는, 클래스에 따라 각기 다르게 설정되어 있을 수 있다.
본 발명의 실시예에 따른 딥러닝 모델 학습 방법은, 양자화된 학습 데이터들의 표현형을 변경하는 단계;를 더 포함할 수 있다.
변경 단계는, 양자화된 학습 데이터들을 특정 비트가 많은 데이터로 변경할 수 있다.
본 발명의 실시예에 따른 딥러닝 모델 학습 방법은, 표현형이 변경된 학습 데이터들을 압축하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따른 딥러닝 모델 학습 방법은, 압축된 학습 데이터와 압축 전의 학습 데이터의 크기를 비교하는 단계; 및 압축된 학습 데이터가 압축 전의 학습 데이터 보다 크기가 크면, 압축된 학습 데이터를 압축해제하는 단계;를 포함할 수 있다.
학습 단계는, 압축된 학습 데이터들을 압축해제하는 단계; 압축해제된 학습 데이터들의 표현형을 원래의 표현형으로 복원하는 단계; 및 복원된 양자화된 학습 데이터들을 이용하여, 딥러닝 모델을 학습시키는 단계;를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 모바일 디바이스는, 동일 클래스에 해당하는 학습 데이터들을 선별하여 저장하는 프로세서; 저장된 학습 데이터들을 해당 클래스에 매핑된 양자화 파라미터로 양자화 하는 양자화부; 저장된 학습 데이터들을 이용하여, 딥러닝 모델을 학습시키는 딥러닝 가속장치;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 추가학습이나 재학습을 위한 학습 데이터에 대해 클래스 별로 구별되는 양자화를 적용하고, 표현형 변경과 압축을 통해 학습 데이터의 용량을 최소화할 수 있어, 메모리 자원이 제한적인 모바일 디바이스에서 딥러닝 모델의 추가학습과 재학습이 용이해지며, 학습 데이터의 보안도 강화할 수 있게 된다.
도 1은 학습 과정에서 추론 과정(Forward path)을 나타낸 도면,
도 2는 학습 과정에서 역전파 과정(Backward path)을 나타낸 도면,
도 3은 웨이트 업데이트 개념을 나타낸 수식들,
도 4는 본 발명의 일 실시예에 따른 모바일 디바이스의 블럭도,
도 5는 본 발명의 다른 실시예에 따른 학습 데이터를 가공하여 저장하는 방법의 설명에 제공되는 흐름도,
도 6은 학습 데이터들을 클래스에 따라 분류한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
현재 대부분의 딥러닝 네트워크는 다수의 고성능 GPU와 많은 양의 메모리를 보유하고 있는 서버 단에서 학습을 진행하기 때문에 컴퓨팅 리소스에 의해 비롯되는 문제가 없다.
하지만 모바일 디바이스와 같이 리소스와 파워가 제한적인 경우, 필요한 연산량과 중간 데이터 연산을 위한 메모리 사용량을 줄이는 방법으로 하드웨어 개발이 진행되어야 한다.
특히 모바일 다바이스를 위한 학습 전용 ASIC 및 FPGA 플랫폼에서 대량의 원본 학습 데이터를 이용한 추가학습이나 재학습은 불가능하기 때문에 이를 보완하기 위한 기술을 필요로 한다.
또한 클라우드 기반 인공지능 학습은 개인 정보 유출 문제와 통신 데이터량의 막대한 사용이 필요하므로, 이에 대한 대책도 필요하다.
한편 학습은 크게 추론(inference) 과정과 역전파(back-propagation) 과정으로 이루어진다. 추론 과정인 Forward path를 도 1에 나타내었고, 역전파 과정인 Backward path를 도 2에 나타내었다.
딥러닝 네트워크의 학습을 위해서는 현재 웨이트를 기반으로 추론 과정을 거친 후에 에러 값을 연산하고 그래디언트를 계산하여 이전 웨이트를 업데이트 하는 과정을 거치며, 이를 수식으로 나타내면 도 3과 같다.
본 발명의 실시예가 적용될 환경은 외부에서 모든 학습 데이터 셋을 제공받을 수 없는 모바일 환경으로, 제한된 메모리 자원으로 인해 추가학습이나 재학습을 위해 기존 학습 데이터를 가공하여 저장할 것이 요구된다.
도 4는 본 발명의 일 실시예에 따른 모바일 디바이스의 블럭도이다. 본 발명의 실시예에 따른 모바일 디바이스는, 도시된 바와 같이, 메모리(110), 프로세서(120), 딥러닝 가속장치(130), 양자화부(140), 데이터 변환부(150) 및 코덱(160)을 포함하여 구성된다.
프로세서(120)는 서버로부터 학습 데이터를 전달 받아 메모리(110)에 저장한다. 양자화부(140)는 메모리(110)에 저장된 학습 데이터에 대해 양자화를 수행하고, 데이터 변환부(150)는 양자화된 학습 데이터에 대해 표현형을 변환하며, 코덱(160)은 변환된 학습 데이터를 압축한다.
딥러닝 가속장치(130)는 메모리(110)에 저장된 학습 데이터로 서버에서 학습된 딥러닝 모델을 추가학습이나 재학습시킨다. 이를 위해, 코덱(160)은 메모리(110)에 저장된 압축된 학습 데이터를 압축 해제하고, 데이터 변환부(150)는 압축 해제된 학습 데이터의 표현형을 원래의 표현형으로 복원한다. 이에 의해, 딥러닝 가속장치(130)는 양자화된 학습 데이터로 딥러닝 모델을 추가학습 또는 재학습할 수 있게 된다.
이하에서는 도 4에 도시된 모바일 디바이스가 학습 데이터를 가공하여 저장하는 방법에 대해 도 5를 참조하여 상세히 설명한다. 원본 학습 데이터의 용량을 줄여 메모리(110)에 저장함으로써, 딥러닝 가속장치(150)가 딥러닝 모델을 추가학습이나 재학습시킬 수 있도록 하기 위한 방법이다.
도시된 바와 같이, 먼저 프로세서(120)는 동일 클래스에 해당하는 원본 학습 데이터들을 선별하여 메모리(110)에 저장한다(S210). 원본 학습 데이터들은 서버로부터 획득하는데, 특정 클래스만이 대상이 된다.
이를 테면, 도 6에 도시된 비행기, 자동차, 새, 고양이, ... , 트럭 클래스에 해당하는 학습 데이터들 중 하나, 이를 테면, 비행기 클래스에 해당하는 학습 데이터들만 메모리(110)에 저장한다.
양자화부(140)는 S210단계에서 메모리(110)에 선별/저장된 학습 데이터들을 클래스에 매핑된 양자화 파라미터로 양자화 한다(S220). 여기서는 비행기 클래스의 학습 데이터에 최적의 양자화 파라미터로 학습 데이터들을 양자화 한다.
클래스에 따라 학습 데이터의 최대값과 최소값 분포는 다르기 때문에, 클래스에 따라 최적의 양자화 파라미터(Scale/exponent/bias)가 다르게 설정되어 있다. 즉, 비행기 클래스의 학습 데이터에 최적의 양자화 파라미터와 자동차 클래스의 학습 데이터에 최적의 양자화 파라미터는 서로 다르다.
한편 S220단계에서 양자화부(140)는 양자화된 학습 데이터들에 적용한 양자화 파라미터들도 메모리(110)에 함께 저장한다.
다음 데이터 변환부(150)는 메모리(110)에 저장된 양자화된 학습 데이터의 표현형을 특정 비트가 많은 표현형의 데이터로 변경한다(S230). S240단계에서 수행할 데이터 압축율을 높이기 위한 절치이다. S230단계를 위해, Thermometer 방식, One-hot encoding 등이 적용될 수 있다.
이후 코덱(160)은 S230단계에서 표현형이 변경된 학습 데이터를 압축하고(S240), 압축 전의 학습 데이터와 크기를 비교한다(S250).
S250단계에서의 비교 결과, 압축된 학습 데이터가 압축 전의 학습 데이터 보다 크기가 크면(S250-N), 코덱(160)은 메모리(110)에 저장되어 있는 압축된 학습 데이터를 압축 해제한다(S260).
반면 압축된 학습 데이터가 압축 전의 학습 데이터 보다 크기가 작으면(S250-Y), 메모리(110)에 저장되어 있는 압축된 학습 데이터를 그대로 유지시킨다.
이후, 다음 클래스에 대해 S210단계 내지 S260단계를 반복하는데, 모든 클래스들에 대해 완료될 때까지 반복된다(S270). 도 6에서 비행기 클래스 → 자동차 클래스 → 새 클래스 → 고양이 클래스 → ... → 트럭 클래스 각각에 대해, S210단계 내지 S260단계가 수행되는 것이다.
메모리(110)에 저장된 학습 데이터는 원본 학습 데이터로부터 가공된 것으로 정보 보안성이 높다.
의미 있는 데이터는 학습 진행 시 인식 확률이 낮은 객체와 인식이 잘되는 객체를 제외한 학습 데이터를 이용하여 학습을 진행하면 기존 학습 방법에서 정확도(Accuracy)가 저하되지 않는 것을 의미한다. 이를 다양한 데이터 셋(CIFAR-10, ImageNet 등)을 이용하여 측정해 본 결과 확률이 낮은 부분과 높은 부분을 제외하고 성능을 측정했을 성능 열화가 거의 없음을 확인하였다.
또한, 사용자가 필요 없는 클래스의 학습 데이터 셋의 경우 아예 학습 과정에서 배제하여 메모리 사용량을 더 줄일 수 있도 있으며, 해당 학습 데이터가 저장되어 있는 저장공간에 새로운 학습 데이터들로 변경하는 것도 가능하다.
도 6에 제시된 데이터들을 테스트 데이터로 이용하여 정확도를 측정해본 결과 확률적으로 가우시안 분포와 유사한 형태로 결과가 나옴을 확인하여, 메모리(110)의 크기에 따라 확률(α와 β) 값을 변경하여 데이터 셋의 저장 크기를 조절할 수 있음을 알 수 있다.
또한 기존 부족한 데이터 셋을 데이터 가공/전처리를 통하여 다수의 클래스 데이터 추가가 가능하여, 데이터로 인한 성능 향상 확률이 높을 뿐만 아니라 데이터의 활용 범위를 극적으로 늘릴 수 있어 학습 성능을 높일 수도 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 동일 클래스에 해당하는 학습 데이터들을 선별하여 저장하는 단계;
    저장된 학습 데이터들을 해당 클래스에 매핑된 양자화 파라미터로 양자화 하는 단계;
    저장된 학습 데이터들을 이용하여, 딥러닝 모델을 학습시키는 단계;를 포함하는 것을 특징으로 하는 딥러닝 모델 학습 방법.
  2. 청구항 1에 있어서,
    양자화 파라미터는,
    클래스에 따라 각기 다르게 설정되어 있는 것을 특징으로 하는 딥러닝 모델 학습 방법.
  3. 청구항 1에 있어서,
    양자화된 학습 데이터들의 표현형을 변경하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝 모델 학습 방법.
  4. 청구항 3에 있어서,
    변경 단계는,
    양자화된 학습 데이터들을 특정 비트가 많은 데이터로 변경하는 것을 특징으로 하는 딥러닝 모델 학습 방법.
  5. 청구항 4에 있어서,
    표현형이 변경된 학습 데이터들을 압축하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝 모델 학습 방법.
  6. 청구항 5에 있어서,
    압축된 학습 데이터와 압축 전의 학습 데이터의 크기를 비교하는 단계; 및
    압축된 학습 데이터가 압축 전의 학습 데이터 보다 크기가 크면, 압축된 학습 데이터를 압축해제하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 모델 학습 방법.
  7. 청구항 5에 있어서,
    학습 단계는,
    압축된 학습 데이터들을 압축해제하는 단계;
    압축해제된 학습 데이터들의 표현형을 원래의 표현형으로 복원하는 단계; 및
    복원된 양자화된 학습 데이터들을 이용하여, 딥러닝 모델을 학습시키는 단계;를 포함하는 것을 특징으로 하는 딥러닝 모델 학습 방법.
  8. 동일 클래스에 해당하는 학습 데이터들을 선별하여 저장하는 프로세서;
    저장된 학습 데이터들을 해당 클래스에 매핑된 양자화 파라미터로 양자화 하는 양자화부;
    저장된 학습 데이터들을 이용하여, 딥러닝 모델을 학습시키는 딥러닝 가속장치;를 포함하는 것을 특징으로 하는 모바일 디바이스.
PCT/KR2021/016376 2021-11-11 2021-11-11 효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법 WO2023085457A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0154363 2021-11-11
KR1020210154363A KR20230068508A (ko) 2021-11-11 2021-11-11 효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법

Publications (1)

Publication Number Publication Date
WO2023085457A1 true WO2023085457A1 (ko) 2023-05-19

Family

ID=86335953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016376 WO2023085457A1 (ko) 2021-11-11 2021-11-11 효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법

Country Status (2)

Country Link
KR (1) KR20230068508A (ko)
WO (1) WO2023085457A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190073588A1 (en) * 2017-09-06 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Learning apparatus, learning method, estimation apparatus, estimation method, and computer-readable storage medium
CN111291860A (zh) * 2020-01-13 2020-06-16 哈尔滨工程大学 一种基于卷积神经网络特征压缩的异常检测方法
KR102203694B1 (ko) * 2016-10-04 2021-01-15 엑시스 에이비 뉴럴 네트워크들에 트레이닝 데이터를 제공하기 위한 이미지 분석 알고리즘들을 사용하는 장치 및 방법
KR20210085413A (ko) * 2019-12-30 2021-07-08 에스케이하이닉스 주식회사 데이터 압축부를 포함하는 메모리 컨트롤러 및 그것의 동작 방법
KR20210123635A (ko) * 2020-04-03 2021-10-14 (주)제타미디어 인공지능을 이용한 이미지 자동 학습 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203694B1 (ko) * 2016-10-04 2021-01-15 엑시스 에이비 뉴럴 네트워크들에 트레이닝 데이터를 제공하기 위한 이미지 분석 알고리즘들을 사용하는 장치 및 방법
US20190073588A1 (en) * 2017-09-06 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Learning apparatus, learning method, estimation apparatus, estimation method, and computer-readable storage medium
KR20210085413A (ko) * 2019-12-30 2021-07-08 에스케이하이닉스 주식회사 데이터 압축부를 포함하는 메모리 컨트롤러 및 그것의 동작 방법
CN111291860A (zh) * 2020-01-13 2020-06-16 哈尔滨工程大学 一种基于卷积神经网络特征压缩的异常检测方法
KR20210123635A (ko) * 2020-04-03 2021-10-14 (주)제타미디어 인공지능을 이용한 이미지 자동 학습 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20230068508A (ko) 2023-05-18

Similar Documents

Publication Publication Date Title
KR20200052182A (ko) 딥러닝 모델 압축 및 압축 해제 방법 그리고 장치
EP4008057B1 (en) Lossless exponent and lossy mantissa weight compression for training deep neural networks
WO2022146080A1 (ko) 딥러닝 네트워크의 동적 양자화 정밀도 가변 알고리즘 및 방법
KR20200095789A (ko) 번역 모델 구축 방법 및 장치
CN116415647A (zh) 神经网络架构搜索的方法、装置、设备和存储介质
CN111310918A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN113971733A (zh) 一种基于超图结构的模型训练方法、分类方法及装置
CN116976428A (zh) 模型训练方法、装置、设备及存储介质
CN112884146A (zh) 一种训练基于数据量化与硬件加速的模型的方法及系统
CN114513337B (zh) 一种基于邮件数据的隐私保护链接预测方法及系统
CN117540829B (zh) 一种知识共享的大语言模型协同优化方法和系统
WO2023085457A1 (ko) 효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법
CN117014610B (zh) 基于多任务学习的h.266vvc屏幕内容帧内cu快速划分方法及装置
CN113408704A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN111126860B (zh) 任务分配方法、任务分配装置和电子设备
WO2022107910A1 (ko) 재학습 가능한 모바일 딥러닝 하드웨어 장치
CN110288002B (zh) 一种基于稀疏正交神经网络的图像分类方法
WO2020091259A1 (ko) 비대칭 tanh 활성 함수를 이용한 예측 성능의 개선
CN112052916A (zh) 基于神经网络的数据处理方法、装置以及可读存储介质
WO2020091139A1 (ko) 시뮬레이션-가이드된 반복적 프루닝을 사용하는 효율적인 네트워크 압축
WO2023080292A1 (ko) 딥러닝 가속장치를 위한 적응적 파라미터 생성 장치 및 방법
WO2023033194A1 (ko) 가지치기 기반 심층 신경망 경량화에 특화된 지식 증류 방법 및 시스템
CN116644783A (zh) 模型训练方法、对象处理方法及装置、电子设备、介质
KR102637568B1 (ko) 스파이킹 뉴럴 네트워크를 최적화하는 방법 및 장치
CN113177627B (zh) 优化系统、重新训练系统及其方法及处理器和可读介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964167

Country of ref document: EP

Kind code of ref document: A1