KR20220077709A

KR20220077709A - 뉴럴 네트워크 연산 방법, 장치 및 그 뉴럴 네트워크 연산을 이용한 키워드 검출 방법

Info

Publication number: KR20220077709A
Application number: KR1020200166908A
Authority: KR
Inventors: 천설; 박진환; 성원용
Original assignee: 삼성전자주식회사; 서울대학교산학협력단
Priority date: 2020-12-02
Filing date: 2020-12-02
Publication date: 2022-06-09
Also published as: US20220172028A1

Abstract

뉴럴 네트워크 연산 방법, 장치 및 그 뉴럴 네트워크 연산을 이용한 키워드 검출 방법이 개시된다. 일 실시예에 따른 뉴럴 네트워크 연산 방법은, 복수의 채널을 포함하는 입력 벡터의 시퀀스를 수신하는 단계와, 상기 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행하는 단계와, 상기 입력 벡터의 시퀀스 중에서 상기 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행하는 단계를 포함한다.

Description

뉴럴 네트워크 연산 방법, 장치 및 그 뉴럴 네트워크 연산을 이용한 키워드 검출 방법{NEURAL NETWORK OPERATION METHOD, APPARATUS AND KEYWORD SPOTTING METHD USING THE SAME NEURAL NETWORK OPERATION}

아래 실시예들은 뉴럴 네트워크 연산 방법, 장치 및 그 뉴럴 네트워크 연산을 이용한 키워드 검출 방법에 관한 것이다.

키워드 검출(keyword spotting)은 음성을 통한 인간-컴퓨터 상호작용 인터페이스를 위해 첫번째로 필요한 단계이기 때문에, 높은 정확도가 매우 중요하다. 또한, 상시 동작하기 때문에 연산 효율적이고 저전력으로 구동되는 하드웨어가 필요하다.

초기 뉴럴 네트워크를 이용하는 키워드 검출은 LSTM(Long-Short Term Memory)이나 TDNN(Time-Delay Neural Network)등의 뉴럴 네트워크 모델이 사용되었다. 최근에는 CNN(Convolutional Neural Networks)와 ResNet (Residual Network) 모델을 사용하여 높은 정확도를 가지는 방법이 개발되고 있다.

일 실시예에 따른 뉴럴 네트워크 연산 방법은, 복수의 채널을 포함하는 입력 벡터의 시퀀스를 수신하는 단계와, 상기 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행하는 단계와, 상기 입력 벡터의 시퀀스 중에서 상기 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행하는 단계를 포함한다.

상기 제1 컨볼루션 연산을 수행하는 단계는, 상기 제1 입력 벡터에 대하여 미리 결정된 시간 축 상의 길이를 갖는 필터와의 시간 컨볼루션(temporal convolution)을 수행하는 단계를 포함할 수 있다.

상기 제1 컨볼루션 연산 및 상기 제2 컨볼루션 연산은 1-D 컨볼루션 연산을 포함할 수 있다.

상기 제2 컨볼루션 연산을 수행하는 단계는, 상기 채널 방향으로 상기 제1 입력 벡터와 미리 결정된 거리 이하의 거리만큼 떨어진 하나 이상의 제2 입력 벡터에 대하여 상기 제2 컨볼루션 연산을 수행하는 단계를 포함할 수 있다.

상기 미리 결정된 거리는, 상기 제1 입력 벡터의 차원 보다 작은 값을 가질 수 있다.

상기 뉴럴 네트워크 연산 방법은 상기 제2 컨볼루션 연산의 결과에 기초하여 배치 정규화(batch normalization) 연산을 수행하는 단계와, 상기 배치 정규화 연산의 결과에 기초하여 제1 활성화 연산을 수행하는 단계를 더 포함할 수 있다.

상기 제1 활성화 연산을 수행하는 단계는, 상기 배치 정규화 연산의 결과에 기초하여 ReLU(Rectified Linear Unit) 연산을 수행하는 단계를 포함할 수 있다.

상기 뉴럴 네트워크 연산 방법은 상기 제1 입력 벡터와 상기 제1 활성화 연산의 결과의 덧셈을 수행하는 단계와, 상기 덧셈의 결과에 기초하여 제2 활성화 연산을 수행하는 단계를 더 포함할 수 있다.

상기 뉴럴 네트워크 연산 방법은 상기 제2 활성화 연산의 결과에 기초하여 풀링(pooling) 연산을 수행하는 단계와, 상기 풀링 연산의 결과에 기초하여 완전 연결(fully connected) 연산을 수행하는 단계를 더 포함할 수 있다.

일 실시예에 따른 뉴럴 네트워크 연산 장치는, 복수의 채널을 포함하는 입력 벡터의 시퀀스를 수신하는 수신기와, 상기 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행하고, 상기 입력 벡터의 시퀀스 중에서 상기 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행하는 프로세서를 포함한다.

상기 프로세서는, 상기 제1 입력 벡터에 대하여 미리 결정된 시간 축 상의 길이를 갖는 필터와의 시간 컨볼루션(temporal convolution)을 수행할 수 있다.

상기 프로세서는, 상기 채널 방향으로 상기 제1 입력 벡터와 미리 결정된 거리 이하의 거리만큼 떨어진 하나 이상의 제2 입력 벡터들에 대하여 상기 제2 컨볼루션 연산을 수행할 수 있다.

상기 프로세서는, 상기 제2 컨볼루션 연산의 결과에 기초하여 배치 정규화(batch normalization) 연산을 수행하고, 상기 배치 정규화 연산의 결과에 기초하여 제1 활성화 연산을 수행할 수 있다.

상기 프로세서는, 상기 배치 정규화 연산의 결과에 기초하여 ReLU(Rectified Linear Unit) 연산을 수행할 수 있다.

상기 프로세서는, 상기 제1 입력 벡터와 상기 제1 활성화 연산의 결과의 덧셈을 수행하고, 상기 덧셈의 결과에 기초하여 제2 활성화 연산을 수행할 수 있다.

상기 프로세서는, 상기 제2 활성화 연산의 결과에 기초하여 풀링(pooling) 연산을 수행하고, 상기 풀링 연산의 결과에 기초하여 완전 연결(fully connected) 연산을 수행할 수 있다.

일 실시예에 따른 키워드 검출 방법은, 자연어를 수신하는 단계와, 상기 자연어에 기초한 복수의 채널을 포함하는 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행하는 단계와, 상기 입력 벡터의 시퀀스 중에서 상기 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행하는 단계와, 상기 제2 컨볼루션 연산의 결과에 기초하여 상기 자연어에 포함된 키워드(keword)를 검출하는 단계를 포함할 수 있다.

상기 제1 컨볼루션 연산을 수행하는 단계는, 상기 자연어로부터 특징을 추출함으로써 상기 입력 벡터의 시퀀스를 생성하는 단계를 포함할 수 있다.

도 1은 일 실시예에 따른 뉴럴 네트워크 연산 장치의 개략적인 블록도를 나타낸다.
도 2는 일 실시예에 따른 키워드 검출 장치의 개략적인 블록도를 나타낸다.
도 3은 도 1에 도시된 뉴럴 네트워크 연산 장치가 사용하는 뉴럴 네트워크의 구조의 예를 나타낸다.
도 4는 도 3에 도시된 컨볼루션 블록의 예를 나타낸다.
도 5는 도 2에 도시된 키워드 검출 장치의 키워드 검출 동작을 나타낸다.
도 6은 뉴럴 네트워크 검출을 위한 뉴럴 네트워크 처리 과정을 나타낸다.
도 7은 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 순서도를 나타낸다.
도 8은 도 2에 도시된 키워드 검출 장치의 동작의 순서도를 나타낸다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시예에 따른 뉴럴 네트워크 연산 장치의 개략적인 블록도를 나타낸다.

도 1을 참조하면, 뉴럴 네트워크 연산 장치(10)는 뉴럴 네트워크 연산을 수행할 수 있다. 뉴럴 네트워크 연산 장치(10)는 입력 데이터에 기초하여 뉴럴 네트워크 연산을 수행할 수 있다. 뉴럴 네트워크 연산 장치(10)는 입력 데이터를 처리하여 뉴럴 네트워크 연산 결과를 출력할 수 있다.

뉴럴 네트워크(또는 인공 신경망)는 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.

뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력으로부터 예측하고자 하는 결과를 추론할 수 있다.

뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다. 뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있다.

뉴럴 네트워크 연산 장치(10)는 수신기(100) 및 프로세서(200)를 포함한다. 뉴럴 네트워크 연산 장치(10)는 메모리(300)를 더 포함할 수 있다.

수신기(100)는 수신 인터페이스를 포함할 수 있다. 수신기(100)는 입력 데이터를 수신할 수 있다. 예를 들어, 수신기(100)는 복수의 채널을 포함하는 입력 벡터의 시퀀스(sequence)를 수신할 수 있다. 수신기(100)는 수신한 입력 데이터를 프로세서(200)로 출력할 수 있다.

입력 벡터의 시퀀스의 형태는 도 3 및 도 4를 참조하여 보다 자세하게 설명한다.

프로세서(200)는 메모리(300)에 저장된 데이터를 처리할 수 있다. 프로세서(200)는 메모리(300)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(200)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.

"프로세서(200)"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.

예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.

프로세서(200)는 뉴럴 네트워크를 학습시킬 수 있다. 프로세서(200)는 입력 데이터에 기초하여 뉴럴 네트워크를 학습시키고, 학습된 뉴럴 네트워크에 기초하여 뉴럴 네트워크 연산을 수행할 수 있다.

프로세서(200)는 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행할 수 있다. 프로세서(200)는 제1 입력 벡터에 대하여 미리 결정된 시간 축 상의 길이를 갖는 필터와의 시간 컨볼루션(temporal convolution)을 수행할 수 있다.

시간 컨볼루션은 인과적 컨볼루션(casual convolution) 및 확장(dilation)을 사용하는 컨볼루션으로 시간적인 특성(temporality)과 큰 수용 영역(receptive field)를 갖는 순차 데이터(sequential data)에 적합한 컨볼루션 방식을 의미할 수 있다.

프로세서(200)는 입력 벡터의 시퀀스 중에서 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다.

제1 컨볼루션 연산 및 제2 컨볼루션 연산은1-D 컨볼루션 연산을 포함할 수 있다. 다만, 실시예에 따라 제1 컨볼루션 연산 및 제2 컨볼루션 연산은 2-D 컨볼루션 연산을 사용하거나 생략하는 것도 가능하다.

프로세서(200)는 채널 방향으로 상기 제1 입력 벡터와 미리 결정된 거리 이하의 거리만큼 떨어진 하나 이상의 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다. 이 때, 미리 결정된 거리는 제1 입력 벡터의 차원 보다 작은 값을 가질 수 있다.

프로세서(200)는 제2 컨볼루션 연산의 결과에 기초하여 배치 정규화(batch normalization) 연산을 수행할 수 있다. 프로세서(200)는 배치 정규화 연산의 결과에 기초하여 제1 활성화 연산을 수행할 수 있다.

예를 들어, 프로세서(200)는 배치 정규화 연산의 결과에 기초하여 ReLU(Rectified Linear Unit) 연산을 수행할 수 있다.

프로세서(200)는 제1 입력 벡터와 제1 활성화 연산의 결과의 덧셈을 수행할 수 있다. 프로세서(200)는 뉴럴 네트워크 또는 뉴럴 네트워크에 포함된 레이어의 입력과 출력을 더하는 잔차(residual) 연산을 수행할 수 있다. 잔차 연산에 관해서는 도 4를 참조하여 자세하게 설명한다.

프로세서(200)는 덧셈의 결과에 기초하여 제2 활성화 연산을 수행할 수 있다. 제1 활성화 연산 및 제2 활성화 연산은 비선형 활성 함수에 기초하여 수행될 수 있다. 비선형 활성 함수는 ReLU(Rectified Linear Unit), Leaky ReLU, Parametric ReLU, Softmax, Sigmoid, Tanh, exponential Linear Unit (ELU), SoftPlus 함수를 포함할 수 있다.

프로세서(200)는 제2 활성화 연산의 결과에 기초하여 풀링(pooling) 연산을 수행할 수 있다. 풀링 연산은 입력 데이터 중에서 커널(kernel) 사이즈에 대응하는 영역 중에서 일부 성분만을 추출하는 연산을 의미할 수 있다. 풀링 연산은 맥스 풀(max pool), 애버리지 풀(average pool) 및 썸 풀(sum pool) 연산을 포함할 수 있다.

프로세서(200)는 풀링 연산의 결과에 기초하여 완전 연결(fully connected) 연산을 수행할 수 있다. 완전 연결 연산은 이전 레이어의 모든 노드가 다음 레이어의 모든 노드에 연결되는 완전 연결 레이어에 의해 수행되는 연산을 의미할 수 있다.

메모리(300)는 뉴럴 네트워크 모델 또는 뉴럴 네트워크 모델의 파라미터를 저장할 수 있다. 메모리(300)는 프로세서에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.

메모리(300)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.

휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.

불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.

도 2는 일 실시예에 따른 키워드 검출 장치의 개략적인 블록도를 나타낸다.

도 2를 참조하면, 키워드 검출 장치(30)는 자연어로부터 키워드를 검출할 수 있다. 키워드 검출 장치(30)는 뉴럴 네트워크를 이용하여 자연어를 처리함으로써 키워드를 검출할 수 있다.

키워드 검출 장치(30)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(intergrated circuit(IC)), 또는 SoC(system on chip)로 구현될 수 있다. 예를 들어, 키워드 검출 장치(30)는 애플리케이션 프로세서(application processor)로 구현될 수 있다.

또한, 키워드 검출 장치(30)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.

휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.

키워드 검출 장치(30)는 도 1의 뉴럴 네트워크 연산 장치(10)를 이용하여 키워드 검출을 수행할 수 있다. 또는, 키워드 검출 장치(30)는 별도의 하드웨어를 이용하여 키워드 검출을 수행할 수 있다.

키워드 검출 장치(30)는 수신기(400) 및 프로세서(500)를 포함한다. 키워드 검출 장치(30)는 메모리(600)를 더 포함할 수 있다.

수신기(400)는 자연어(natural language)를 수신할 수 있다. 수신기(400)는 수신 인터페이스를 포함할 수 있다. 수신기(400)는 수신한 자연어를 프로세서(500)로 출력할 수 있다.

프로세서(500)는 자연어로부터 특징을 추출함으로써 입력 벡터의 시퀀스를 생성할 수 있다. 입력 벡터의 시퀀스는 복수의 채널을 포함할 수 있다. 프로세서(500)는 자연어에 기초한 복수의 채널을 포함하는 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행할 수 있다.

프로세서(500)는 입력 벡터의 시퀀스 중에서 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다.

프로세서(500)는 제2 컨볼루션 연산의 결과에 기초하여 상기 자연어에 포함된 키워드(keword)를 검출할 수 있다. 키워드 검출 과정은 도 5를 참조하여 자세하게 설명한다.

프로세서(500)는 프로세서(200)와 동일하게 제1 컨볼루션 및 제2 컨볼루션을 수행할 수 있다. 프로세서(500)의 나머지 설명은 프로세서(200)와 동일하므로 생략한다.

메모리(600)는 메모리(300)와 동일하게 동작하므로 중복되는 설명은 생략한다.

도 3은 도 1에 도시된 뉴럴 네트워크 연산 장치가 사용하는 뉴럴 네트워크의 구조의 예를 나타내고, 도 4는 도 3에 도시된 컨볼루션 블록의 예를 나타낸다.

도 3 및 도 4를 참조하면, 프로세서(200, 500)는 도 3에 도시된 구조의 뉴럴 네트워크를 이용하여 뉴럴 네트워크 연산을 수행할 수 있다. 프로세서(200, 500)는 멀티 레이어(multi-layered) 컨볼루션 및 게이팅 메커니즘(gating mechanism)을 이용하여 시퀀스 학습(sequence learning)을 수행할 수 있다.

뉴럴 네트워크는 특징 추출 레이어(310), 간략 컨볼루션 레이어(320), 컨볼루션 블록(330 내지 350), 풀링 레이어(360), 완전 연결 레이어(370) 및 소프트맥스 함수(380)를 포함할 수 있다.

뉴럴 네트워크는 컨볼루션 블록(330 내지 350)을 기본 구성 단위로 가질 수 있다.

컨볼루션 블록(330 내지 350)은 간략 컨볼루션 레이어(410), 배치 정규화(420), 활성화(430), 간략 컨볼루션 레이어(440), 배치 정규화(450), 활성화(460) 및 1×1 컨볼루션 레이어(470)를 포함할 수 있다. 이 때, 프로세서(200, 500)는 잔차(residual) 구조를 위하여 1×1 컨볼루션 레이어(470)를 통과한 간략 컨볼루션 레이어(410)의 입력을 배치 정규화(450)의 출력과 더하여 활성화(460)를 수행할 수 있다.

이러한, 잔차 연결(residual connection)을 추가함으로써 프로세서(200, 500)는 기울기(gradient)가 지나치게 작아지는 것을 방지할 수 있다.

프로세서(200, 500)는 특징 추출 레이어(310)를 이용하여 입력 데이터로부터 특징 추출을 수행할 수 있다. 프로세서(200, 500)는 특징 추출 레이어(310)를 이용하여 입력 데이터의 주파수에 관련된 특징을 추출할 수 있다.

프로세서(200, 500)는 특징 추출 레이어(310)에서 필터-뱅크 에너지(filter-bank energy), 스펙트로그램(spectrogram) 또는 LPC(Linear Predictive Coding)을 이용하여 입력 데이터의 주파수에 관련된 특징을 추출할 수 있다.

예를 들어, 입력 데이터가 자연어로 구성된 음성(speech) 신호인 경우, 프로세서(200, 500)는 음성 신호로부터 특징을 추출할 수 있다. 특징은 벡터의 형태를 가질 수 있다.

프로세서(200, 500)는 입력되는 음성 신호를 30ms 길이의 윈도우(window)를 이용하여 10ms 간격의 프레임(frame)으로 나눈 후, 각 프레임에서 40 차원의 MFCC (Mel-Frequency Cepstrum Coefficients)을 추출할 수 있다. 다시 말해, 위에서 설명한 입력 벡터는 자연어로부터 추출된 MFCC 벡터의 형태를 가질 수 있다.

프로세서(200, 500)는 간략 컨볼루션 레이어(320)를 이용하여 추출한 특징에 기초한 간략 컨볼루션을 수행할 수 있다. 간략 컨볼루션 레이어는 제1 컨볼루션 연산 및 제2 컨볼루션을 포함할 수 있다. 간략 컨볼루션 레이어는 간략 뎁스와이즈 컨볼루션 연산을 포함할 수 있다.

일반적인 컨볼루션 연산을 수행하기 위해서는 뎁스와이즈 컨볼루션 연산과 포인트와이즈 컨볼루션 연산이 함께 사용될 수 있다. 프로세서(200, 500)는 뎁스와이즈 컨볼루션 연산만을 수행하고, 포인트와이즈 컨볼루션 연산을 수행하지 않고, 이웃한 특징들을 고려한 간략 컨볼루션을 수행함으로써 성능의 저하를 방지하고, 파라미터의 수를 줄여 연산량을 감소시킬 수 있다.

간략 컨볼루션 레이어(320)의 동작은 이하의 수학식 1 내지 3을 참조하여 자세하게 설명한다.

프로세서(200, 500)는 간략 컨볼루션 레이어(320)를 통해 제1 입력 벡터에 대하여 컨텍스트의 길이 방향으로 제1 컨볼루션 연산을 수행하고, 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다.

프로세서(200, 500)는 간략 컨볼루션 레이어(320)의 출력을 컨볼루션 블록(330 내지 350)을 이용하여 처리할 수 있다. 프로세서(200)는 컨볼루션 블록(350)을 풀링 레이어(360)에 입력하여 풀링 연산을 수행할 수 있다. 프로세서(200)는 풀링 연산 결과를 완전 연결 레이어(370)에 입력할 수 있다. 프로세서(200)는 완전 연결 레이어(370)의 출력에 대하여 소프트맥스 함수(380)를 적용할 수 있다.

프로세서(200, 500)는 간략 컨볼루션 레이어(410)를 통해 입력 벡터와 입력 벡터의 이웃 벡터들을 함께 고려하여 컨볼루션을 수행할 수 있다. 프로세서(200, 500)는 간략 컨볼루션 레이어(410)를 통해 제1 입력 벡터에 대하여 컨텍스트의 길이 방향으로 제1 컨볼루션 연산을 수행하고, 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다.

프로세서(200, 500)는 전체적인 뉴럴 네트워크 성능을 향상시키기 위해서 배치 정규화(420)를 수행할 수 있다. 프로세서(200, 500)는 컨볼루션 연산과 활성화 연산 사이에 배치 정규화(420)를 수행할 수 있다. 이 때, 배치 실시예에 따라 다른 정규화 연산으로 대체될 수 있다.

이하에서, 프로세서(200, 500)가 수행하는 뉴럴 네트워크 연산에 대하여 자세하게 설명한다.

프로세서(200, 500)는 뉴럴 네트워크를 통해 수학식 1의 연산을 수행할 수 있다.

여기서,

는 엘리먼트 와이즈 곱셈을 의미하고, σ는 시그모이드(sigmoid) 함수를 의미하고, *는 컨볼루션 연산을 의미할 수 있다.

이 때, 뉴럴 네트워크는 L 개의 레이어들을 포함할 수 있고,

일 수 있다.

이고,

일 수 있다.

는 필터 길이(filter length)를 의미하고,

는 특징 차원(feature dimension)을 의미할 수 있다.

은 배치 크기(batch size)가

인 경우의 입력 텐서(tensor) 또는 입력 벡터를 의미할 수 있고,

은 l 번째 레이의 출력 또는 다음 레이어(예를 들어, l+1 번째 레이어)의 입력을 의미할 수 있다.

및

의 모양은(shape)

와 같을 수 있고, 뉴럴 네트워크 모델의 크기는 주어진

에 대해서 필터 길이

에 비례할 수 있다.

는 각각의 레이어에서의 컨텍스트 길이(context length)로 해석될 수 있다.

일반적인 컨볼루션 연산을 이용했을 때의 파라미터 수는

일 수 있는데, 프로세서(200, 500)는 간략 뎁스와이즈 컨볼루션 연산(simple depthwise convolution operation)을 이용하여 하나의 레이어에 필요한 파라미터의 수를

까지 감소시킬 수 있다.

프로세서(200, 500)는 일반적인 컨볼루션에 비해 상대적으로 적은 수의 파라미터를 소모하면서 임의의 길이의 시퀀스를 관찰(observe)하는 1-D(1-Dimension) 뎁스와이즈 컨볼루션을 이용한 뉴럴 네트워크 연산을 수행할 수 있다.

프로세서(200)는 뎁스와이즈 컨볼루션을 비전(vision), 기계 번역(machine translation) 또는 음성 인식(speech recognition) 등의 분야에 적용할 수 있다. 프로세서(200)는 수학식 2와 같이 1-D 컨볼루션 연산을 수행할 수 있다.

수학식 2는 t 번째 시간 스텝(step)에서의 컨볼루션 연산을 나타낼 수 있다. 여기서,

는 1-D 뎁스와이즈 컨볼루션의 필터 행렬(matrix) 또는 가중치 행렬을 나타낼 수 있다.

는 1-D 뎁스와이즈 컨볼루션 레이어가 커버(cover)하는 컨텍스트 길이를 의미할 수 있다. 수학식 2에 따른 1-D 뎁스와이즈 컨볼루션에 요구되는 파라미터의 수는

일 수 있다.

수학식 1 과 수학식 2에 따라서, 각 레이어에서 사용되는 전체 파라미터의 수는

+

일 수 있다.

의 크기는 수백이지만,

의 크기는 20보다 작기 때문에,

+

은 일반적인 뎁스와이즈 컨볼루션을 사용하는 뉴럴 네트워크에서의 파라미터의 수인

에 비해 훨씬 작은 값을 가질 수 있다.

즉, 프로세서(200, 500)는 뉴럴 네트워크 연산에 사용되는 파라미터의 수를 감소시킴으로써 효율적으로 뉴럴 네트워크 연산을 수행할 수 있다.

프로세서(200, 500)는 간략 뎁스와이즈 컨볼루션을 통해, 이웃하는 특징들을 한 번에 고려하여 컨볼루션 연산을 수행할 수 있다. 구체적으로, 프로세서(200, 500)는 이웃하는 복수의 채널들을 고려하여 1-D 뎁스와이즈 컨볼루션을 수행할 수 있다. 이하에서, 고려되는 이웃한 채널들의 수를 K로 표현한다.

이웃한 채널은 임의의 채널에 대응하는 입력 벡터로부터 미리 결정된 거리 내에 위치한 입력 벡터들을 의미할 수 있다. 프로세서(200, 500)는 미리 결정된 거리를 실험적으로 결정할 수 있다.

프로세서(200, 500)는 특징맵의 양쪽 끝을 0으로 패딩(padding)함으로써 입력과 출력의 크기를 고정시킨 채로 1-D 뎁스와이즈 컨볼루션 연산을 수행할 수 있다.

프로세서(200, 500)는 수학식 3과 같이 간략 컨볼루션 연산을 수행할 수 있다. 구체적으로, 프로세서(200, 500)는 이웃하는 특징들을 고려한 1-D 컨볼루션 연산을 수행함으로써 간략 컨볼루션 연산을 수 있다.

프로세서(200, 500)는 수학식 3과 같이, 컨텍스트 길이에 따라 제1 컨볼루션 연산을 수행하고, 이웃한 채널들에 대하여 제2 컨볼루션 연산을 수행할 수 있다.

프로세서(200, 500)는 너비가 K인 필터를 이용하여 복수의 입력 채널들에 대하여 제2 컨볼루션 연산을 수행함으로써 이웃한 채널들의 정보를 고려하여 뉴럴 네트워크 연산을 수행할 수 있다.

여기서, 프로세서(200, 500)가 제2 컨볼루션 연산을 수행하기 위하여 결정하는 미리 결정된 거리 또는 미리 결정된 거리의 2 배를 의미할 수 있다. 예를 들어, 수학식 3은 제1 입력 벡터를 중심으로 채널 방향에서 앞, 뒤로 K/2 이하의 거리만큼 떨어진 이웃 벡터들을 제2 입력 벡터로 하여 제2 컨볼루션 연산을 수행하는 경우를 나타낼 수 있다.

미리 결정된 거리는 입력 벡터의 차원 보다 작은 값을 가질 수 있다. 다시 말해, K는

보다 작은 값을 가질 수 있다.

수학식 3과 같은 간략 컨볼루션 연산을 수행하는 경우, 파라미터의 크기는

에서

로 증가할 수 있다. 이 때,

의 크기는 위에서 설명한 것과 같이 수백의 단위를 가지기 때문에 수학식 3을 이용한 경우의 파라미터의 수는 여전히 일반적인 뎁스와이즈 컨볼루션 연산에서의 파라미터의 크기보다 작을 수 있다.

예를 들어, 프로세서(200, 500)는 수학식 3에서

, K 및 N은 각각 9, 3, 12를 사용할 수 있다. 이 경우, 프로세서(200, 500)는 간략 뎁스와이즈 컨볼루션을 이용하여 일반적인 컨볼루션 연산에 비하여 연산량을 1/4로 감소시킬 수 있다.

프로세서(200, 500)는 수학식 1의

항에 활성화 연산을 추가적으로 적용할 수 있다. 예를 들어, 프로세서(200, 500)는

에 ReLU 연산을 적용할 수 있다.

도 5는 도 2에 도시된 키워드 검출 장치의 키워드 검출 동작을 나타내고, 도 6은 뉴럴 네트워크 검출을 위한 뉴럴 네트워크 처리 과정을 나타낸다.

도 5 및 도 6을 참조하면, 수신기(400)는 자연어를 수신할 수 있다. 자연어는 도 5의 예시와 같은 음성 신호(510)를 포함할 수 있다. 음성 신호(510)는 시간에 따라 변화하는 크기(magnitude)를 가질 수 있다.

프로세서(500)는 자연어로부터 키워드를 검출할 수 있다. 프로세서(500)는 위에서 설명한, 간략 컨볼루션 연산을 이용하여 자연어로부터 키워드를 검출할 수 있다.

프로세서(500)는 음성 신호에 기초하여 음성 특징(530)을 추출할 수 있다. 프로세서(500)는 음성 신호(510)를 주파수에 기초하여 처리함으로써 음성 특징(530)을 추출할 수 있다. 음성 특징(530)은 시간에 따라 변화하는 주파수 특징을 나타낼 수 있다.

프로세서(500)는 뉴럴 네트워크(550)를 이용하여 음성 특징(530)을 처리함으로써 키워드(570)를 검출할 수 있다.

프로세서(500)는 키워드를 추출하기 위한 뉴럴 네트워크(550)를 학습시킬 수 있다. 프로세서(500)는 자연어를 이용하여 학습 데이터를 수집하고, 수집한 학습 데이터를 전처리할 수 있다(610).

프로세서(500)는 자연어와 검출된 키워드로 구성된 학습 데이터를 이용하여 뉴럴 네트워크(550)를 학습시킬 수 있다(630).

프로세서(500)는 학습된 뉴럴 네트워크(550)의 연산 최적화를 수행할 수 있다(650). 프로세서(500)는 최적화를 통해, 뉴럴 네트워크(550)의 응답 시간 및 메모리(600)의 사용량을 감소시킬 수 있다. 예를 들어, 프로세서(500)는 뉴럴 네트워크(550)의 가중치와 연산에 사용되는 자료의 형식을 부동 소수점 형식에서 8 bit와 32 bit 정수형으로 변환하는 양자화(quantization) 기술을 적용하여 연산을 최적화할 수 있다.

프로세서(500)는 최적화된 뉴럴 네트워크(550)를 타겟 하드웨어로 이식할 수 있다(670). 다시 말해, 프로세서(500)는 뉴럴 네트워크(550)의 학습과 최적화를 수행한 후에, 프로세서(500)와는 별도의 타겟 하드웨어에 뉴럴 네트워크(550)를 이식하고, 타겟 하드웨어에서 키워드 검출을 수행할 수 있다.

프로세서(500)는 키워드 검출이 수행되는 타겟 하드웨어에 따라 학습된 뉴럴 네트워크를 최적화할 수 있다. 예를 들어, 키워드의 검출이 수행되는 타겟 하드웨어가 ARM CPU(Central Processing Unit)일 경우 NEON SIMD(Single Instruction Multiple Data) 기반의 구현을 통해 연산 속도를 향상시킬 수 있다.

또한, 프로세서(500)는 16 bit 절반 정밀도(half-precision)의 부동 소수점이 지원되는 하드웨어를 타겟으로 할 경우 32-bit 부동 소수점 연산을 절반 정밀도로 변경하여 메모리 소요량 및 연산 시간을 감소시킬 수 있다.

프로세서(500)는 2 내지 4 bit의 낮은 정밀도로 양자화를 적용할 수도 있다. 또는, 프로세서(500)는 프루닝(pruning) 등을 적용하여 크기가 작은 특징 차원(feature dimension)을 제거함으로써 뉴럴 네트워크(550)의 크기를 감소시킬 수 있다.

도 7은 도 1에 도시된 뉴럴 네트워크 연산 장치의 동작의 순서도를 나타낸다.

도 7을 참조하면, 수신기(100)는 복수의 채널을 포함하는 입력 벡터의 시퀀스를 수신할 수 있다(710).

프로세서(200)는 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행할 수 있다(730). 프로세서(200)는 제1 입력 벡터에 대하여 미리 결정된 시간 축 상의 길이를 갖는 필터와의 시간 컨볼루션(temporal convolution)을 수행할 수 있다.

프로세서(200)는 입력 벡터의 시퀀스 중에서 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다(750). 프로세서(200)는 채널 방향으로 제1 입력 벡터와 미리 결정된 거리 이하의 거리만큼 떨어진 하나 이상의 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다. 미리 결정된 거리는 제1 입력 벡터의 차원 보다 작은 값을 가질 수 있다.

제1 컨볼루션 연산 및 상기 제2 컨볼루션 연산은 1-D 컨볼루션 연산을 포함할 수 있다.

프로세서(200)는 제2 컨볼루션 연산의 결과에 기초하여 배치 정규화 연산을 수행할 수 있다. 프로세서(200)는 배치 정규화 연산의 결과에 기초하여 제1 활성화 연산을 수행할 수 있다. 프로세서(200)는 배치 정규화 연산의 결과에 기초하여 ReLU 연산을 수행할 수 있다.

프로세서(200)는 제1 입력 벡터와 상기 제1 활성화 연산의 결과의 덧셈을 수행할 수 있다. 프로세서(200)는 덧셈의 결과에 기초하여 제2 활성화 연산을 수행할 수 있다.

프로세서(200)는 제2 활성화 연산의 결과에 기초하여 풀링 연산을 수행할 수 있다. 프로세서(200)는 풀링 연산의 결과에 기초하여 완전 연결 연산을 수행할 수 있다.

도 8은 도 2에 도시된 키워드 검출 장치의 동작의 순서도를 나타낸다.

도 8을 참조하면, 수신기(400)는 자연어를 수신할 수 있다(810). 프로세서(500)는 자연어에 기초한 복수의 채널을 포함하는 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행할 수 있다(830).

프로세서(500)는 자연어로부터 특징을 추출함으로써 입력 벡터의 시퀀스를 생성할 수 있다. 프로세서(500)는 생성한 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행할 수 있다. 프로세서(200)는 제1 입력 벡터에 대하여 미리 결정된 시간 축 상의 길이를 갖는 필터와의 시간 컨볼루션(temporal convolution)을 수행할 수 있다.

프로세서(500)는 입력 벡터의 시퀀스 중에서 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다(850). 프로세서(500)는 채널 방향으로 제1 입력 벡터와 미리 결정된 거리 이하의 거리만큼 떨어진 하나 이상의 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행할 수 있다. 미리 결정된 거리는 제1 입력 벡터의 차원 보다 작은 값을 가질 수 있다.

프로세서(500)는 제2 컨볼루션 연산의 결과에 기초하여 자연어에 포함된 키워드를 검출할 수 있다(870).

프로세서(500)는 제2 컨볼루션 연산의 결과에 기초하여 배치 정규화 연산을 수행할 수 있다. 프로세서(200)는 배치 정규화 연산의 결과에 기초하여 제1 활성화 연산을 수행할 수 있다. 프로세서(200)는 배치 정규화 연산의 결과에 기초하여 ReLU 연산을 수행할 수 있다.

프로세서(500)는 제1 입력 벡터와 상기 제1 활성화 연산의 결과의 덧셈을 수행할 수 있다. 프로세서(500)는 덧셈의 결과에 기초하여 제2 활성화 연산을 수행할 수 있다.

프로세서(500)는 제2 활성화 연산의 결과에 기초하여 풀링 연산을 수행할 수 있다. 프로세서(500)는 풀링 연산의 결과에 기초하여 완전 연결 연산을 수행할 수 있다.

프로세서(500)는 완전 연결 연산의 결과에 기초하여 키워드를 검출할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

복수의 채널을 포함하는 입력 벡터의 시퀀스를 수신하는 단계;
상기 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행하는 단계; 및
상기 입력 벡터의 시퀀스 중에서 상기 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
제1항에 있어서,
상기 제1 컨볼루션 연산을 수행하는 단계는,
상기 제1 입력 벡터에 대하여 미리 결정된 시간 축 상의 길이를 갖는 필터와의 시간 컨볼루션(temporal convolution)을 수행하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
제1항에 있어서,
상기 제1 컨볼루션 연산 및 상기 제2 컨볼루션 연산은
1-D 컨볼루션 연산을 포함하는 뉴럴 네트워크 연산 방법.
제1항에 있어서,
상기 제2 컨볼루션 연산을 수행하는 단계는,
상기 채널 방향으로 상기 제1 입력 벡터와 미리 결정된 거리 이하의 거리만큼 떨어진 하나 이상의 제2 입력 벡터에 대하여 상기 제2 컨볼루션 연산을 수행하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
제4항에 있어서,
상기 미리 결정된 거리는,
상기 제1 입력 벡터의 차원 보다 작은 값을 갖는
뉴럴 네트워크 연산 방법.
제1항에 있어서,
상기 제2 컨볼루션 연산의 결과에 기초하여 배치 정규화(batch normalization) 연산을 수행하는 단계; 및
상기 배치 정규화 연산의 결과에 기초하여 제1 활성화 연산을 수행하는 단계
를 더 포함하는 뉴럴 네트워크 연산 방법.
제6항에 있어서,
상기 제1 활성화 연산을 수행하는 단계는,
상기 배치 정규화 연산의 결과에 기초하여 ReLU(Rectified Linear Unit) 연산을 수행하는 단계
를 포함하는 뉴럴 네트워크 연산 방법.
제6항에 있어서,
상기 제1 입력 벡터와 상기 제1 활성화 연산의 결과의 덧셈을 수행하는 단계; 및
상기 덧셈의 결과에 기초하여 제2 활성화 연산을 수행하는 단계
를 더 포함하는 뉴럴 네트워크 연산 방법.
제8항에 있어서,
상기 제2 활성화 연산의 결과에 기초하여 풀링(pooling) 연산을 수행하는 단계; 및
상기 풀링 연산의 결과에 기초하여 완전 연결(fully connected) 연산을 수행하는 단계
를 더 포함하는 뉴럴 네트워크 연산 방법.
복수의 채널을 포함하는 입력 벡터의 시퀀스를 수신하는 수신기; 및
상기 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행하고, 상기 입력 벡터의 시퀀스 중에서 상기 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행하는 프로세서
를 포함하는 뉴럴 네트워크 연산 장치.
제10항에 있어서,
상기 프로세서는,
상기 제1 입력 벡터에 대하여 미리 결정된 시간 축 상의 길이를 갖는 필터와의 시간 컨볼루션(temporal convolution)을 수행하는
뉴럴 네트워크 연산 장치.
제10항에 있어서,
상기 제1 컨볼루션 연산 및 상기 제2 컨볼루션 연산은
1-D 컨볼루션 연산을 포함하는 뉴럴 네트워크 연산 장치.
제10항에 있어서,
상기 프로세서는,
상기 채널 방향으로 상기 제1 입력 벡터와 미리 결정된 거리 이하의 거리만큼 떨어진 하나 이상의 제2 입력 벡터들에 대하여 상기 제2 컨볼루션 연산을 수행하는
뉴럴 네트워크 연산 장치.
제13항에 있어서,
상기 미리 결정된 거리는,
상기 제1 입력 벡터의 차원 보다 작은 값을 갖는
뉴럴 네트워크 연산 장치.
제10항에 있어서,
상기 프로세서는,
상기 제2 컨볼루션 연산의 결과에 기초하여 배치 정규화(batch normalization) 연산을 수행하고,
상기 배치 정규화 연산의 결과에 기초하여 제1 활성화 연산을 수행하는
뉴럴 네트워크 연산 장치.
제15항에 있어서,
상기 프로세서는,
상기 배치 정규화 연산의 결과에 기초하여 ReLU(Rectified Linear Unit) 연산을 수행하는
뉴럴 네트워크 연산 장치.
제15항에 있어서,
상기 프로세서는,
상기 제1 입력 벡터와 상기 제1 활성화 연산의 결과의 덧셈을 수행하고,
상기 덧셈의 결과에 기초하여 제2 활성화 연산을 수행하는
뉴럴 네트워크 연산 장치.
제17항에 있어서,
상기 프로세서는,
상기 제2 활성화 연산의 결과에 기초하여 풀링(pooling) 연산을 수행하고,
상기 풀링 연산의 결과에 기초하여 완전 연결(fully connected) 연산을 수행하는
뉴럴 네트워크 연산 장치.
자연어를 수신하는 단계;
상기 자연어에 기초한 복수의 채널을 포함하는 입력 벡터의 시퀀스 중에서 제1 입력 벡터에 대하여 제1 컨볼루션 연산을 수행하는 단계;
상기 입력 벡터의 시퀀스 중에서 상기 제1 입력 벡터와 채널 방향으로 이웃한 제2 입력 벡터에 대하여 제2 컨볼루션 연산을 수행하는 단계; 및
상기 제2 컨볼루션 연산의 결과에 기초하여 상기 자연어에 포함된 키워드(keword)를 검출하는 단계
를 포함하는 키워드 검출 방법.
제19항에 있어서,
상기 제1 컨볼루션 연산을 수행하는 단계는,
상기 자연어로부터 특징을 추출함으로써 상기 입력 벡터의 시퀀스를 생성하는 단계
를 포함하는 키워드 검출 방법.