KR20180065762A - 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법 및 그 장치 - Google Patents
매니폴드 제약 조건에 기반한 심층 신경망 압축 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20180065762A KR20180065762A KR1020160167007A KR20160167007A KR20180065762A KR 20180065762 A KR20180065762 A KR 20180065762A KR 1020160167007 A KR1020160167007 A KR 1020160167007A KR 20160167007 A KR20160167007 A KR 20160167007A KR 20180065762 A KR20180065762 A KR 20180065762A
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- matrix
- layer
- output layer
- hidden layer
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006835 compression Effects 0.000 title claims abstract description 29
- 238000007906 compression Methods 0.000 title claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 238000000354 decomposition reaction Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
Abstract
본 발명의 일면에 따른 심층 신경망 압축 방법은, 상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력받는 단계; 상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 단계; 및 상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 단계를 포함하는 것을 특징으로 한다.
Description
본 발명은 심층 신경망 압축에 관한 것으로서, 보다 구체적으로는 시스템 자원이 제한된 내장형 단말기에서 심층 신경망 기반의 음향 모델을 보다 효율적으로 계산하기 위해 심층 신경망을 압축하는 방법 및 그 장치에 관한 것이다.
일반적으로 음성 인식 시스템은 수학식 1과 같이 주어진 특징 파라미터(Parameter) X에 대해 최대 우도(Maximum Likelihood)를 출력하는 단어 Word를 구하는 문제이다.
언어 모델 P() 는 단어 연결간에 대한 확률 정보를 포함하고 있고 발음 모델 P(M|)는 단어가 어떤 발음 기호로 구성되었는지에 대한 정보를 표현한다. 음향 모델 P(X|M) 는 발음 기호에 대해 실제 특징 벡터 X 를 관측할 확률을 모델링한다.
이 3가지 확률 모델 중, 음향 모델 P(X|M)는 심층 신경망을 사용한다.
심층 신경망은 복수개의 은닉층(Hidden Layer)과 최종 출력층으로 구성되는데, 심층 신경망에서 가장 큰 연산량을 차지하는 것은 은닉층의 웨이트 매트릭스(Weight Matrix)인 의 계산이다.
일반적인 고성능 컴퓨터 시스템에서는 이러한 복잡한 행렬 계산에서 연산량의 문제가 없으나, 스마트 폰 등 연산 자원이 한정된 환경에서는 행렬 계산의 연산량이 문제가 된다.
종래에는 심층 신경망의 연산 복잡도를 줄이기 위해 보편적으로 TSVD(Truncated Singular Value Decomposition) 기반의 행렬 분해 방식을 사용하였다.
이는 수학식 2와 같이 M×M 의 은닉층 행렬 혹은 M×N 의 출력층 행렬인 W 를 M×K, K×M 혹은 M×K, K×N 행렬 U, V로 근사화 하는 방식이다.
이때 Rank(UV)=K≪Rank(W) 가 된다.
이렇게 TSVD 기반으로 W를 UV로 분해하는 것은 결국 수학식 3과 같이 W와 UV간의 프로베니우스 놈(Frobenius Norm) 또는 유클리드 거리(Euclidian Distance)를 최소로 하는 랭크 K의 행렬 U와 V를 구하는 것이 된다.
하지만 심층 신경망의 각 은닉층은 비선형 특성을 모델링하고 있는데 반해 유클리드 거리 조건을 만족하는 해를 구하면 이러한 비선형 특성이 변경되는 문제가 발생한다.
이러한 기하학적인 구조의 변이는 음성 인식 시스템의 인식 성능에 영향을 미치므로 이러한 은닉층의 비선형 구조를 반영할 수 있는 심층 신경망의 근사화가 필요하다.
본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 음성 인식을 위한 심층 신경망의 비선형 구조를 유지하면서 연산량을 줄일 수 있는 심층 신경망 압축 방법 및 그 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 심층 신경망 압축 방법은, 상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력받는 단계; 상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 단계; 및 상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 일면에 따른 심층 신경망 압축 장치는, 상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력받는 입력부; 상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 연산부; 및 상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 분해부;를 포함하여 구현하는 것을 특징으로 한다.
본 발명에 따르면, 심층 신경망의 비선형 구조를 유지하며 심층 신경망의 압축을 수행함으로써 계산의 복잡도를 줄여 연산량을 줄이면서도 오류 확률은 줄일 수 있는 효과가 있다.
도 1은 종래기술에 따른 심층 신경망의 기하학적 구조 변이를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 심층 신경망의 기하학적 구조를 유지하기 위한 라플라시안 행렬의 예시도.
도 3은 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법의 흐름도.
도 4는 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 장치의 구조도.
도 5는 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법이 실행되는 컴퓨터 시스템의 구조도.
도 2는 본 발명의 일실시예에 따른 심층 신경망의 기하학적 구조를 유지하기 위한 라플라시안 행렬의 예시도.
도 3은 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법의 흐름도.
도 4는 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 장치의 구조도.
도 5는 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법이 실행되는 컴퓨터 시스템의 구조도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
일반적으로 심층 신경망은 은닉층들과 출력층으로 구성되어 있고, 은닉층은 수학식 4와 같이 나타난다.
심층 신경망의 마지막 층인 출력층에서는 수학식 5와 같이 소프트맥스(Softmax) 연산을 통해 각 노드의 출력값을 확률값으로 정규화한다.
심층 신경망의 연산량 측면에서 볼 때 비선형 함수의 연산 복잡도는 행렬 W의 연산량에 비하면 낮은 수준이기 때문에, 일반적으로 심층 신경망의 계산량 O(n)은 수학식 7과 같이 은닉층과 출력층의 행렬 연산으로 근사화된다.
이때 L은 은닉층의 수, M은 평균 은닉 노드의 수이고 N은 출력 노드의 수이다.
종래에는 심층 신경망에서 각 은닉층의 행렬간의 거리를 유클리디안 거리로 보아 근사화를 하였는데, 그럴 경우 도 1과 같이 근사화 전 행렬의 매니폴드(Manifold) 구조가 바뀌게 되는 문제가 발생한다.
도 1에서 각 원 안의 번호는 특정 은닉층 행렬 W의 i번째 칼럼 벡터(Column Vector)를 의미한다. 실선으로 연결된 선은 W에서의 가장 근접한 칼럼 벡터를 나타내며 점선으로 연결된 선은 근사화된 UV에서 가장 근접한 칼럼 벡터를 나타낸다.
즉, 근사화 전 행렬 W에서 1747번째 칼럼 벡터와 가장 근거리에 있는 칼럼 벡터는 1493번째 칼럼 벡터였는데 TSVD를 이용하여 근사화 한 UV 벡터에서는 1541번째 칼럼 벡터로 변경되었다. 다시말해 TSVD에 의해 원래 행렬이 가지고 있던 구조가 바뀌었음을 볼 수 있다.
따라서 본 발명에서는 이렇게 심층 신경망 압축 시에 발생하는 매니폴드(Manifold)의 기하학적인 구조 변이를 최소화 하기 위해 원래 행렬의 매니폴드 구조를 심층 신경망 압축 시에 제약조건으로 줌으로써 분해된 행렬 UV에서도 원래 행렬의 기하학적 구조를 유지하는 것을 목적으로 한다.
심층 신경망의 매니폴드 구조는 라플라시안 행렬(Laplacian matrix)을 사용하여 정의할 수 있다.
도 2는 여섯 개의 노드를 가지는 그래프를 라플라시안 행렬로 나타낸 한 예이다.
라플라시안 행렬을 사용하여 기하학적인 구조를 유지하기 위해서 본 발명에서는 수학식 8에 나타난 목적함수를 사용하여 행렬을 분해한다.
이 제약조건에 의해 은닉층 또는 출력층 행렬의 매니폴드 구조를 유지하며 은닉층 또는 출력층 행렬을 근사화한 행렬인 U, V를 구할 수 있다.
수학식 8을 닫힌 형식(Closed Form)으로 전개하면 다음과 같이 분해된 행렬 U, V를 구할 수 있다.
이와 같은 단계에 의해 은닉층 또는 출력층 행렬 W를 U와V의 곱으로 단순화하여 표시할 수 있다.
도 3은 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법의 흐름도이다.
심층 신경망은 복수의 은닉층과 출력층으로 구성되는데, 심층 신경망 압축을 위해 우선 압축 대상이 되는 은닉층 또는 출력층 행렬을 입력받는다(S310).
음성 인식을 위한 심층 신경망의 은닉층 또는 출력층의 구조는 비선형 구조인 매니폴드 구조를 가지고 있는데, 이 매니폴드 구조를 유지하기 위해 매니폴드 구조를 나타내는 행렬을 연산한다(S320).
매니폴드 구조는 전술한 바와 같이 라플라시안 행렬을 사용하여 정의할 수 있다.
마지막으로 은닉층 또는 출력층 행렬을 매니폴드 구조의 제약조건을 가지고 분해한다(S330).
라플라시안 행렬을 사용하여 기하학적인 구조를 유지하기 위해 전술한 수학식 8의 목적함수를 사용하여 행렬을 분해한다.
수학식 8을 닫힌 형식으로 전개하면 수학식 8을 만족하는 분해된 행렬 U, V를 구할 수 있다.
분해된 행렬 U, V를 이용하면 은닉층 또는 출력층 행렬 W를 직접 연산하는 것에 비해 훨씬 작은 연산량으로 심층 신경망의 연산이 가능하다.
도 4는 본 발명의 일실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 장치(400)의 구조도이다.
심층 신경망 압축 장치(400)는 입력부(410), 연산부(420) 및 분해부(430)를 포함한다.
입력부(410)는 압축 대상이 되는 심층 신경망의 은닉층 또는 출력층 행렬을 입력받는다.
연산부(420)는 심층 신경망의 은닉층 또는 출력층의 비선형 구조를 유지하기 위해 비선형 구조를 표현하기 위한 행렬을 연산한다.
비선형 구조는 매니폴드 구조일 수 있다.
또한, 매니폴드 구조를 표현하는 행렬은 라플라시안 행렬을 사용할 수 있다.
따라서 연산부(420)는 은닉층 또는 출력층의 행렬을 이용하여 라플라시안 행렬을 연산한다.
마지막으로 분해부(430)는 은닉층 또는 출력층 행렬인 W를 비선형 구조를 유지하며 U, V의 두 행렬로 분해한다
분해부(430)는 라플라시안 행렬을 사용하여 매니폴드 구조를 유지하기 위해 전술한 수학식 8의 구조를 사용할 수 있다.
분해부(430)는 수학식 8을 닫힌 형식으로 전개하여 수학식 8을 만족하는 분해된 행렬 U, V를 구할 수 있다.
이상과 같은 심층 신경망 압축 방법 및 그 장치에 의한 행렬 분해를 사용하는 경우, 종래 TSVD 방법에 의해 분해된 모델을 사용하는 것에 비해 매니폴드 구조를 유지할 수 있으므로 인식 성능이 좋아진다.
표 2는 본 발명의 일실시예에 따른 심층 신경망 압축 방법에 의해 행렬 분해를 사용한 경우의 효과를 나타낸다.
Test는 에러율(error rate)을 의미하기 때문에 낮을수록 좋은 결과를 의미한다.
이 효과는 심층 신경망에서 1024X1943으로 구성된 출력층을 1024X64 + 64X1943으로 분해하여 음성 인식 성능과 관련된 표준 평가 환경인 TIMIT을 대상으로 평가한 결과이다. TIMIT은 성별, 지역별 각기 다른 영어의 음소와 어휘를 전사한 말뭉치(Corpus)이다.
Alpha가 0인 경우, 즉, 유클리드 거리를 사용한 경우에 기하학적 구조가 변경된 노드(Broken nodes)는 511개이고 에러율을 22.3%이다.
반면 Alpha가 0이 아닌 경우 기하학적 구조가 변경된 노드는 511개보다 작아지고, 에러율도 낮아진 것을 볼 수 있다. Alpha가 0.01인 경우 에러율은 21.9%로 가장 낮은 값을 보여주고, 기하학적 구조가 변경된 노드도 369개로 크게 줄어드는 효과가 있다.
한편, 본 발명의 실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 5에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(521)와, 메모리(523)와, 사용자 입력 장치(526)와, 데이터 통신 버스(522)와, 사용자 출력 장치(527)와, 저장소(528)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(522)를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(529)를 더 포함할 수 있다. 상기 프로세서(521)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(523) 및/또는 저장소(528)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
상기 메모리(523) 및 상기 저장소(528)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(523)는 ROM(524) 및 RAM(525)을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인식 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
400: 심층 신경망 압축 장치
410: 입력부
420: 연산부 430: 분해부
420: 연산부 430: 분해부
Claims (10)
- 하나이상의 프로세서에 의해 수행되는 심층 신경망 압축 방법에 있어서,
상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력받는 단계;
상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 단계; 및
상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 단계;
를 포함하는 심층 신경망 압축 방법.
- 제1항에 있어서, 상기 연산하는 단계는
상기 비선형 구조를 매니폴드 구조로 표현하여 연산하는 것
인 심층 신경망 압축 방법.
- 제2항에 있어서, 상기 연산하는 단계는
상기 매니폴드 구조를 표현하는 행렬은 라플라시안 행렬(Laplacian Matrix)을 이용하여 구하는 것
인 심층 신경망 압축 방법.
- 하나이상의 프로세서를 포함하는 심층 신경망 압축 장치에 있어서, 상기 프로세서는,
상기 심층 신경망의 은닉층 또는 출력층의 행렬을 입력받는 입력부;
상기 은닉층 또는 출력층의 비선형 구조를 표현하는 행렬을 연산하는 연산부; 및
상기 비선형 구조를 표현하는 행렬에 의한 제약 조건을 이용하여 상기 은닉층 또는 출력층의 행렬을 분해하는 분해부;를 포함하여 구현하는 것
인 심층 신경망 압축 장치.
- 제6항에 있어서, 상기 연산부는
상기 비선형 구조를 매니폴드 구조로 표현하여 연산하는 것
인 심층 신경망 압축 장치.
- 제7항에 있어서, 상기 연산부는
상기 매니폴드 구조를 표현하는 행렬은 라플라시안 행렬을 이용하여 구하는 것
인 심층 신경망 압축 장치.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160167007A KR102072239B1 (ko) | 2016-12-08 | 2016-12-08 | 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법 및 그 장치 |
US15/478,342 US20180165578A1 (en) | 2016-12-08 | 2017-04-04 | Deep neural network compression apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160167007A KR102072239B1 (ko) | 2016-12-08 | 2016-12-08 | 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법 및 그 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180065762A true KR20180065762A (ko) | 2018-06-18 |
KR102072239B1 KR102072239B1 (ko) | 2020-02-03 |
Family
ID=62489395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160167007A KR102072239B1 (ko) | 2016-12-08 | 2016-12-08 | 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법 및 그 장치 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180165578A1 (ko) |
KR (1) | KR102072239B1 (ko) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109359762B (zh) * | 2018-08-23 | 2021-07-20 | 创新先进技术有限公司 | 风险预测模型生成方法、风险预测方法、装置及服务器 |
US11562200B2 (en) * | 2019-02-04 | 2023-01-24 | Intel Corporation | Deep learning inference efficiency technology with early exit and speculative execution |
CN112308197B (zh) * | 2019-07-26 | 2024-04-09 | 杭州海康威视数字技术股份有限公司 | 一种卷积神经网络的压缩方法、装置及电子设备 |
JP7495713B2 (ja) | 2020-03-31 | 2024-06-05 | 株式会社アラヤ | 情報処理装置及び情報処理方法 |
-
2016
- 2016-12-08 KR KR1020160167007A patent/KR102072239B1/ko active IP Right Grant
-
2017
- 2017-04-04 US US15/478,342 patent/US20180165578A1/en not_active Abandoned
Non-Patent Citations (2)
Title |
---|
ARAN NAMPHOL, STEVEN H. CHIN, MOHAMMED AROZULLAH. Image Compression with a Hierarchical Neural Network. IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS VOL. 32, NO. 1., p.326-338. 1996.01.,* * |
Vikrant Singh Tomar, Richard C. Rose. Manifold Regularized Deep Neural Networks. INTERSPEECH 2014(15th Annual Conference of the International Speech Communication Association). p.348-352. 2014.10.* * |
Also Published As
Publication number | Publication date |
---|---|
KR102072239B1 (ko) | 2020-02-03 |
US20180165578A1 (en) | 2018-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
KR20180065762A (ko) | 매니폴드 제약 조건에 기반한 심층 신경망 압축 방법 및 그 장치 | |
CN109344242B (zh) | 一种对话问答方法、装置、设备及存储介质 | |
CN111488985A (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
CN114021524B (zh) | 一种情感识别方法、装置、设备及可读存储介质 | |
KR20200089588A (ko) | 전자 장치 및 이의 제어 방법 | |
CN114360520A (zh) | 语音分类模型的训练方法、装置、设备及存储介质 | |
CN115544227A (zh) | 多模态数据的情感分析方法、装置、设备及存储介质 | |
JP2015175859A (ja) | パターン認識装置、パターン認識方法及びパターン認識プログラム | |
JP6647475B2 (ja) | 言語処理装置、言語処理システムおよび言語処理方法 | |
CN111898363B (zh) | 文本长难句的压缩方法、装置、计算机设备及存储介质 | |
EP3012780A1 (en) | A method and apparatus for encoding image features using a differentiable bag-of-words encoder | |
CN113011532A (zh) | 分类模型训练方法、装置、计算设备及存储介质 | |
CN113362804A (zh) | 一种合成语音的方法、装置、终端及存储介质 | |
CN110570877B (zh) | 手语视频生成方法、电子设备及计算机可读存储介质 | |
CN114881227B (zh) | 模型压缩方法、图像处理方法、装置和电子设备 | |
JP2016162437A (ja) | パターン分類装置、パターン分類方法およびパターン分類プログラム | |
CN110717022A (zh) | 一种机器人对话生成方法、装置、可读存储介质及机器人 | |
US20220058487A1 (en) | Electronic apparatus and method for controlling thereof | |
CN112885367B (zh) | 基频获取方法、装置、计算机设备和存储介质 | |
CN115116470A (zh) | 音频处理方法、装置、计算机设备和存储介质 | |
CN112528646A (zh) | 词向量生成方法、终端设备及计算机可读存储介质 | |
CN113593525A (zh) | 口音分类模型训练和口音分类方法、装置和存储介质 | |
CN114417832B (zh) | 消歧方法、消歧模型的训练方法及装置 | |
CN110795563A (zh) | 文本分类模型训练方法、事件检测方法及对应的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |