KR101686827B1 - 인공 신경망의 뉴로모픽 하드웨어 구현 방법 - Google Patents

Abstract

본 발명은 인공 신경망의 학습 수행을 통해 획득된 시냅스별 연결 강도에 대응하는 복수의 가중치를 텐서로 나타내어 텐서 분해하는 과정과, 상기 텐서 분해를 통해 얻어진 데이터를 이용하여 저차(Low-rank) 근사화 기반 근사화된 가중치 텐서를 획득하는 과정과, 상기 근사화된 가중치 텐서에 대응되게 인공 신경망의 가중치 및 구조가 조정된 인공 신경망의 시냅스별 트레이닝이 재수행되는 과정을 포함한다.

Description

인공 신경망의 뉴로모픽 하드웨어 구현 방법{METHOD FOR IMPLEMENTING ARTIFICIAL NEURAL NETWORKS IN NEUROMORPHIC HARDWARE}

본 발명은 시냅스 회로를 포함하는 뉴로모픽 시스템에 관한 것으로서, 특히 대규모 피드포워드 네트워크에서 희소 연결과 감소된 파라미터를 이용한 인공 신경망 기반 뉴로모픽 하드웨어의 신호 처리 방법에 관한 것이다.

인공 신경망(ANN)은 컴퓨터 비전, 자동 음성 인식, 자연어 처리, 음성 인식 등 다양한 작업들에서 첨단의 성과를 보여주었고, 특정 작업들에서는 그 성능이 인간에 비견될 수 있을 정도로 되었다. 딥 뉴럴 네트워크(deep neural networks)와 같은 대규모의 인공 신경망은 종종 수백만이나 수십억의 신경세포 간 시냅스 연결을 포함하는데, 인공 두뇌에 대한 꿈을 실현시키기 위해서는 인간 두뇌구조처럼 조 단위의 시냅스 연결이 필요할 수도 있다. 대규모 인공 신경망(ANN)을 실행하기 위해, 폰 노이만(von Neumann) 컴퓨터들은 각각의 시냅스 연결에 연관된 가중치 인수들을 저장하기 위한 큰 메모리 용량이 필요하다.

기존의 폰 노이만(von Neumann) 컴퓨터들은, 각각이 가중치 저장 메모리와 연산 유닛 사이에서의 비효율적인 데이터 전송을 수반하는 대용량의 시냅스 연산들을 수행한다. 이것은 높은 에너지 소비와 연산 보틀넥(bottleneck)을 유발한다.

폰 노이만 구조의 문제점을 해결하기 위하여 고안된 뉴로모픽(Neuromorphic) 컴퓨터들은 생체 신경 네트워크를 모방하여 근본적으로 새롭게 설계되었고, 메모리와 연산 장치들을 근접한 곳에 두었다. 이와 같이 인간의 두뇌에서 영감을 얻는 컴퓨터들에서 신경세포와 시냅스는 기본적인 처리 요소들인데, 이중 시냅스의 설계는 특히 중요한 문제이다. 왜냐면 전체적으로 연결된 네트워크에서 시냅스의 수는 신경 세포들의 수에 대하여 2차적으로 늘어나기 때문이다.

기존의 뉴로모픽 설계는 시냅스를 구현하기 위해 크로스바(crossbar)를 사용했다. M개의 입력과 N개의 출력을 가지는 크로스바는 MN개의 교차점들을 가진다. 따라서 이들 교차점들은 자연히 2차적으로 늘어나는 시냅스와 맞춰진다. 멤리스터(memrister) 기반 설계는 가중치들을 저장하고, 교차점에서 곱셈 연산을 수행한다. 그리고 최근에 입증된 SRAM 기반 설계는 교차점에서 이진 가중치들을 저장한다. 이들 설계들은 신경 네트워크가 밀집하여 연결되기 때문에 제안되었다. 연결이 밀집됨은 연결이 많음을 의미한다. 크로스바 또한 규칙적인 구조 때문에 직접 밀도가 높다. 하지만 신경 네트워크가 희소하게 연결된다면 뉴로모픽 설계들은 매우 다른 양상으로 발전 될 수 있다.

역전파 알고리즘 등 다양항 방법을 통하여 인공 신경망을 소프트웨어를 통해 학습(Traning)시킬 수 있으며, 학습의 결과물로 가중치 텐서 또는 행렬들을 얻게 된다. n x m 가중치 행렬의 경우, 해당하는 연산을 하드웨어로 수행하기 위해서는 nm 개의 상수 값을 저장하기 위한 저장 공간이 필요하고, nm 번의 곱셈 연산이 필요하다. 이렇게 많은 가중치 값을 저장하기 위해 많은 메모리 용량(자원)을 소비하고, 많은 양의 연산으로 인하여 회로의 전력 소비가 증가하게 된다.

대한민국 공개특허 제10-2014-0141778호

대한민국 공개특허 제10-2012-0136015호

따라서 본 발명은 가중치 값을 감소시켜 가중치 값을 저장하기 위한 메모리를 절약하고 각 가중치와 관련된 곱셈 수 또한 감소시켜 회로의 전력 소비를 절감하기 위한 기술을 제공하고자 한다.

본 발명의 일 견지에 따르면, 인공 신경망의 학습 수행을 통해 획득된 시냅스별 연결 강도에 대응하는 복수의 가중치를 텐서로 나타내어 텐서 분해하는 과정과, 상기 텐서 분해를 통해 얻어진 데이터를 이용하여 저차(Low-rank) 근사화 기반 근사화된 가중치 텐서를 획득하는 과정과, 상기 근사화된 가중치 텐서에 대응되게 인공 신경망의 가중치 및 구조가 조정된 인공 신경망의 시냅스별 트레이닝이 재수행되는 과정을 포함함을 특징으로 한다.

본 발명에서 제안하는 셀 기반 아키텍쳐(Cell based Architecture)는 뉴로모픽 회로 구조로, 한 개에서 수십 개의 시냅스의 기능을 구현하는 작은 셀들의 상호 연결을 기반으로 인공 신경망의 기능을 구현한다.

본 발명의 셀 기반 아키텍쳐는 심층 신경망의 모든 계층의 가중치 행렬에 적용될 수 있다. 또한, 본 발명의 셀 기반 아키텍쳐는 기 교육된 인공 신경망의 구조를 변경하지 않고도 이용할 수 있을 뿐만 아니라, 회로의 전력 소비와 가중치 값을 저장하기 위한 메모리를 절약하는 효과가 발생한다.

도 1은 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법이 적용된 인공 신경망에 대한 네트워크 변환 과정을 보인 예시도.
도 3은 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법이 적용된 인공 신경망에 대한 네트워크 변환된 회로.
도 4는 본 발명의 인공 신경망을 구성하는 단위 뉴런 셀의 동작을 개략적으로 보인 예시도.
도 5는 본 발명이 적용된 인공 신경망의 뉴런을 공학적으로 모델링한 예시도.
도 6은 본 발명이 적용된 인공 신경망의 모델링을 통해 단위 지연 셀의 동작을 개략적으로 보인 예시도.
도 7은 본 발명의 일 실시 예에 따른 인공 신경망 기반의 신호 처리 장치에 관한 구성도.
도 8은 본 발명이 적용된 셀 기반 아키텍쳐(Cell based Architecture)는 뉴로모픽 회로 구조.
도 9는 본 발명의 일 실시 예에 따른 연산의 실행 예제.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 인공 신경망에 관한 것으로, 보다 상세하게는 기 교육된 인공 신경망의 뉴로모픽 회로 구현 시에 전력 소비와 가중치 값을 저장하기 위한 메모리를 절약하기 위한 것으로, 인공 신경망의 학습 수행을 통해 획득된 시냅스별 연결 강도에 대응하는 복수의 가중치를 텐서로 나타내어 텐서 분해를 통해 얻어진 데이터를 이용하여 저차(Low-rank) 근사화 기반 근사화된 가중치 텐서를 획득하고, 상기 근사화된 가중치 텐서에 대응되게 인공 신경망의 가중치 및 구조가 조정된 인공 신경망의 시냅스별 트레이닝을 재수행함으로써 얇고, 밀집하여 연결된 네트워크를 깊고 희소하게 연결된 네트워크로 전환하여 단순화된 인공 신경망 기반 불필요한 전력소비를 지양하는 기술을 제공하고자 한다.

한편, 본 발명을 설명함에 있어, 하기에서의 '신경 세포' 및 '뉴런'의 용어는 같은 의미로 혼용하여 사용하기로 한다.

이하, 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법에 관해 도 1을 참조하여 자세히 살펴보기로 한다.

도 1은 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법에 관한 전체 흐름도이다.

우선, 도 1의 동작을 설명하기에 앞서, 본 발명이 적용된 인공 신경망의 전반적인 동작을 개략적으로 살펴보면, 인간두뇌 세포구조를 공학적으로 모델링한 인공 신경망(Artificial Neural Network)이란 연결선으로 연결된 수많은 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 연산모델을 나타낸다. 이러한 인공 신경망에서는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런을 사용하게 되며, 연결 강도를 갖는 연결선 즉, 시냅스를 통해 상호 연결시켜 인간의 인지작용이나 학습과정을 수행하게 된다. 이때, 연결 강도는 시냅스가 갖는 속성값으로, 연결 가중치라고도 한다.

인간의 뇌는 뉴런이라는 신경의 기본 단위로 구성되어 있으며, 이들 사이의 각각의 밀도 있는 연결 형태에 따라 정보를 암호화하거나 해독하게 된다. 이러한 생물학적 뉴런 구조를 모방하여 인공 신경망에서는 생물학적인 뉴런의 기능을 단순화시켜 인공 뉴런을 사용하게 된다. 그리고 연결 강도를 가지는 연결선을 통해 상호 연결시켜 학습과정을 수행하게 된다.

인공 신경망의 학습이란 학습용 데이터를 이용하여 학습용 입력 데이터를 인공 신경망의 입력층에 입력시켰을 때, 입력 데이터에 대한 학습용 출력 데이터가 인공 신경망의 출력층으로부터 출력되도록 인공 신경망을 학습시키는 동작으로 예를 들어, 사람 얼굴을 검출하는 신호를 통해 얼굴을 인식하고자 하는 경우, 다양한 사람의 얼굴을 보여 주면서 얼굴 인식 알고리즘 관련 인공 신경망을 생성하되, 상기 다양한 사람의 얼굴을 보여 주면서 사람의 얼굴임을 인식시키는 동작이 학습용 입력 데이터가 입력되는 트레이닝 동작이 될 수 있다.

본 발명의 실시 예에 따른 인공 신경망은 상술된 바와 같이 인간 두뇌 세포 구조를 공학적으로 모델링한 것으로, 이를 기반으로, 도 1을 살펴보면 먼저, 110 과정에서는 상술한 인공 신경망의 학습 수행을 통해 획득된 시냅스별 연결 강도에 대응하는 복수의 가중치를 텐서(tensor)로 나타내어 텐서 분해한다.

여기서, 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법은 각각의 가중치 행렬에 독립적으로 적용되므로, 이하에서는 하나의 가중치 행렬에 대해 기술한다.

상기 텐서는 벡터를 일반화한 기하학적인 물리량으로, 신경망에서의 신경 세포들은 종종 그들의 위상 관계를 기반으로 다차원 공간에서 구성된다. 예를 들면, 입력 이미지의 각 채널의 픽셀들로 활성화 된 입력 신경 세포들은 픽셀과 채널의 수직 및 수평 위치에 따라 3차원 공간으로 놓일 수 있다. 이들 입력 신경 세포들의 지역적 특성 감지기는, 특성 지도의 형태로 위치 정보를 유지한다. 다중 특성 지도에 대해, 은닉 층에 있는 신경 세포들은 또한 3차원 공간으로 놓일 수 있다. 다층 인공 신경망에서 한 신경 세포에 대해 가중치는 연결된 신경 세포들의 위치에 따라 텐서로 나타낼 수 있다. 그러면 한 층의 복수의 신경 세포들에 대해서, 가중치는 한 등급의 고차 텐서로 나타낼 수 있다. 컴퓨터 비젼에서 한 층의 가중치들은 4차원 오더 텐서로 나타낼 수 있다.

1차 텐서는 벡터, 2차 텐서는 행렬이 되고 그 이상의 차원을 n차 텐서라 하며, 상기 110 과정에서의 텐서 분해 동작은 텐서로 변환된 복수의 가중치에 대응하는 텐서에 특이값(Singular Value Decomposition, SVD) 분해를 분할 정복(divide-and-conquer) 방식으로 적용하는 알고리즘을 통해 수행된다.

예컨대, 인공 신경망의 학습 후에 얻어지는 시냅스별 가중치 행렬 W를 영상 처리 응용에서는 입력 채널(input channels), 줄(rows), 열(colums), 출력 채널(output channels)을 각각의 축으로 하여 4차원 텐서로 나타내는데, 상기 텐서에 대해서는 텐서 인수분해를 적용할 수 있다.

이러한 텐서를 이용하여 가중치에 대한 텐서 분해를 수행함에 있어서, 시냅스별 복수의 가중치에 텐서 개념을 적용함으로써 α차원 텐서로 표현함이 선행되어야함은 당업자에게 자명할 것이다.

상기 텐서 분해는 SVD를 이용하여 텐서를 인수분해하기 위한 것으로, 상기 텐서의 행렬화 M(x(s))의 W(i, j) 요소 w_i,j를 w_i,j=a_i ⁽¹⁾b_j ⁽¹⁾+a_i ⁽²⁾b_j ⁽²⁾+a_i ⁽³⁾b_j ⁽³⁾…a_i ^(k)b_j ^(k)형태로 분해하는 과정을 포함한다.(여기서, k는 행렬 M(x(s))의 랭크. k가 랭크이기 때문에 양의 정수임).

이러한 SVD를 분할 정복 방식으로 적용하는 알고리즘은, 텐서를 행렬화하여 U(mxm 직교행렬), V(nxn 직교행렬), ∑(mxn 직사각 대각행렬)형태의 세 행렬의 곱으로 인수분해하고, U를 다시 텐서로 재형성하는 절차를 재형성된 텐서 x(s₁),...x(s_r(s))에 적용하기 위한 것으로, 상세하게는, n₁ x n₂ x ... x n_d모양의 텐서를 n_d x n₁n₂ ... n_d-1크기의 행렬로 표현하는 행렬화 M 기반 하에 한 텐서의 행렬 표현 M(x(s))의 전치(Transpose)에 대해 M(x(s))^T=U(s)∑(s)V(s)^T와 같은 세 행렬의 곱으로 분해하며, 상기 세 행렬 중 U 직교행렬의 열 벡터는 n_d, n₁n₂, ..., n_d-1의 형태의 텐서로 재형성되고, 재형성된 텐서 x(s₁),..., x(s_r(s))에 재귀적으로 같은 절차를 적용한다. 여기에서, U(s) 직교 행렬은 r(s) 개의 컬럼 벡터가 존재하고, 각 컬럼 벡터를 텐서화 한 것이 재형성된 텐서 x(s₁), ...., x(s_r(s))이다. 상기 s₁, s₂, ..., s_r(s)는 각 텐서를 구분하기 위한 임의의 문자열이다.

환언하면, 본 발명의 일 실시 예에 따른 110 과정에서는 학습용 얼굴 데이터가 인공 신경망의 뉴런 입력 계층으로 입력됨에 따라 트레이닝되어 획득된 상기 뉴런에 대응하는 시냅스별 가중치가 텐서로 나타내지고 텐서 분해 연산을 통해 텐서 분해된다.

이어서, 112 과정에서는 텐서 분해를 통해 얻어진 데이터를 이용하여 저차(Low-rank) 근사화 기반 근사화된 가중치 텐서를 획득한다.

여기서, 도 9를 참조하여 110 및 112 과정의 동작 관련 실행 예제를 살펴보면, 도 9a)에서 2x2 크기의 이미지 두 개를 입력으로 받고 두 개의 값을 출력하는 기 트래이닝된 인공 신경망의 복수의 가중치를 가중치 행렬 W로 나타내고, 도 9b)에서 가중치 행렬 W를 신경 세포의 위치 관계에 따라 다시 4D 텐서로 표현한다.

도 9c)에서 가중치 행렬의 텐서에 대해 인수분해(factorization)를 수행하고, 인수분해된 가중치 행렬을 저차 근사화(low-rank approximation)하여 근사화된 가중치 텐서를 획득한다.

이에 따라 도 9d)에서는 뉴로모픽 IC에 활용 가능한 4개의 벡터를 획득하고, 4개의 벡터는 가중치 행렬W의 핵심 정보를 담고 있고, 가중치 행렬W의 기능을 수행을 대신할 수 있다. 이는 Kronecker product 연산으로 확인할 수 있다.

이때, 상기 저차 근사화는, 상기 텐서의 행렬화 M(x(s))의 W(i, j) 요소 w_i,j를 w_i,j=a_i ⁽¹⁾b_j ⁽¹⁾+a_i ⁽²⁾b_j ⁽²⁾+a_i ⁽³⁾b_j ⁽³⁾…a_i ^{( l )}b_j ^{( l )}(여기서, l은 k보다 작은 정수. l<k)의 형태의 수들의 곱의 합으로 근사화하는 과정을 포함한다.

본 발명에 의한 뉴로모픽 회로에서는 상기 w_i,j 대신에 112 과정을 통해 근사화된 인자들 중 일부만을 저장하더라도 원래 학습된 인공 신경망의 기능을 수행할 수 있기 때문에, 상기 w_i,j에 대한 a_i ^q와 b_j ^q에 대응하는 인수들은 뉴로모픽 회로에 저장되어 인공 신경망을 수행한다(여기서, q는 1과 같거나 작은 정수. q≤l<k).

이에 114 과정에서는 근사화된 가중치 텐서에 대응되게 인공 신경망의 가중치 및 구조가 조정된 인공 신경망의 시냅스별 트레이닝이 재수행된다.

트레이닝 동안 가중치들은 통상적으로 작은 증가들로 변화된다.

즉, 기설정된 학습 규칙에 따라 트레이닝된 인공 신경망의 시냅스와 연관된 가중치를 110 과정 ~ 112 과정의 동작을 통해 행렬 인수분해 결과(가중치 텐서를 저차 근사화하여 획득된 가중치 값)를 적용하여 가중치를 조정하고, 조정된 가중치 기반 하에 구조가 변경된 인공 신경망에 대한 해당 시냅스별 트레이닝이 재수행된다.

또한, 이를 기반하여 조정된 인공 신경망은 가중치 텐서의 근사화를 통해 가중치 파라미터가 감소되어, 상기 텐서 분해가 수행된 인공 신경망으로부터 가중치 값 기반 단순화된 인공 신경망이 구성된다.

이어서, 116 과정에서는 114 과정의 동작 수행을 통해 상기 가중치 및 구조가 조정된 인공 신경망을 시냅스가 감소된 시간 지연 인공 신경망으로 변환시킨다.

이러한 인공 신경망에서의 뉴런은 다수의 입력 신호를 수신하고, 상기 뉴런 입력 신호에 응답하여 상기 입력신호들의 함수이면서 또한 상기 뉴런 입력 신호들 중 적어도 어느 하나 이상의 신호의 변화율과 특정 뉴런 출력 신호의 변화율 중 적어도 어느 하나 이상의 변화율의 함수인 뉴런 출력 신호를 발생한다.

생물학적 신경망과는 다르게 인공 신경망에서는 뉴런의 값을 연속적으로 변화시킬 수 없기 때문에 전체의 뉴런에 대해 한 번씩 계산한 후 그 결과 값을 다음 계산 시에 반영하는 방식으로 계산을 진행한다.

이에 따라, 본 발명이 적용된 시간 지연 인공 신경망의 경우, 입력 신호에 응답하여 활성화되어 기설정된 지연 정보에 대응되는 펄스 신호 생성을 통해 시간 지연을 수 ms 만큼 구현한다.

이와 같이, 본 발명의 일 실시 예에 따른 인공 신경망 기반 뉴로모픽 하드웨어의 신호 처리에 관한 접근법을 기트레이닝된 인공 신경망에 적용함으로써 가중치 텐서의 근사화를 통해 가중치 값을 저장하는 메모리의 사이즈가 감소되며, 이에 따라 메모리 소비에 대한 전력 감소를 제공하기 때문에 메모리로의 로딩 및 저장의 속도가 향상될 뿐만 아니라, 파라미터가 감소된 인공 신경망을 시간 지연 인공 신경망으로 변환함에 시간 지연 인공 신경망에서의 시냅스가 감소되어 복수의 시냅스별 가중치 값에 해당하는 연산량과 이에 따른 전력 소비가 최적화된 뉴로모픽 시스템 운영이 용이하다.

이를 도 2를 참조하여 확인하면, 도 2는 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법이 적용된 인공 신경망에 대한 네트워크 변환 과정을 개략적으로 보인 것으로, 도 2에 도시된 바와 같이, 기트레이닝된 인공 신경망(a))으로부터 가중치 행렬 인수분해 및 근사화에 의해 희소하게 연결된 인공 신경망(b))으로 변형되어 파라미터 수가 9(ae, af, ag, be, bf, bg, ce, cf, cg)로부터 6(a, b, c, e, f, g)로 감소되었다.

반면, 연결은 a)의 인공 신경망으로부터 b)의 인공 신경망에서 오히려 9에서 12로 증가하므로, 이를 본 발명에서는 시간 지연 인공 신경망(time delay neural network, TDNN)으로 전환하여 연결의 수는 c)의 인공 신경망에서와 같이 해당 파리미터와 함께 6이 된다.

따라서, 본 발명은 인공 신경망에서 파라미터의 감소뿐만 아니라, TDNN으로 변환되었을 때의 연결 또한 감소시킨다. 연결의 감소는 각 연결이 시냅스와 대응되고 제한된 컴퓨터 자원인 뉴로모픽 컴퓨터들에서 특히 중요하다.

이와 같은 도 2에 대응하는 회로는 도 3에 도시된 바와 같다.

도 3을 살펴보면, 도 3은 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법이 적용된 인공 신경망에 대한 네트워크 변환된 회로를 보인 것으로, 도 3을 참조하면 본 발명이 적용된 회로(300)은 뉴런 셀(neuron cell, 310, 316)과 지연부(delay cell, 312, 314)를 포함한다.

각각의 뉴런 셀(neuron cell, 310)은 다수의 입력 신호를 수신하고, 수신된 입력 신호는 조정 가능한 시냅스별 가중치에 따라 신호들을 스케일링하는 시냅스 연결들을 통해 다른 뉴런 셀(316)에 전달될 수 있다.

상기 입력 신호는 전류 혹은 전압, 실수 값 혹은 복소수 값일 수도 있다.

이때, 제1 지연부(delay cell, 312)는 상기 뉴런 셀(310)에 입력된 제1 신호를 레이턴시(latency)만큼 지연하여 제1 지연신호를 생성하여 뉴런 셀(316)로 출력하고, 상기 제2 지연부(314)는 상기 입력된 제1 신호에 응답하여 제2 신호를 저장하고, 상기 제1 지연 신호에 응답하여 저장된 상기 제2 신호를 제2 지연 신호로 출력한다.

여기서, 도 4 내지 도 5를 참조하여 상술한 뉴런 셀의 구조를 상세히 살펴보도록 한다.

먼저, 도 4는 본 발명이 적용된 인공 신경망의 모델링을 보인 것으로, 특히 인공 신경망을 구성하는 단위 뉴런 셀의 동작을 개략적으로 보인 것이다.

인공 신경망 내의 뉴런들은 외부로부터 입력 값을 받아들이는 입력 뉴런들과 처리한 결과를 외부로 전달하는 역할을 하는 출력 뉴런들, 그리고 나머지 은닉 뉴런들로 구분할 수 있다. 이에 따라, 인공 신경망은 다층 신경망으로 입력층(input layer), 출력층(output layer), 하나 이상의 은닉층(hidden layer)으로 구성되며, 각 층은 다수의 유닛 혹은 뉴런으로 구성된다.

각 층의 뉴런은 수정 가능한 연결 가중치로 다른 층의 뉴런과 연결되어 있으며, 도 4에 도시된 바와 같이, 입력 벡터(

,

,

,

...

)들이 입력층의 각 입력 뉴런에 제시되면

형태의 가중합을 통해 뉴런 간 연결 강도에 따른 출력 신호(

,

,

,

...

)를 연산하여 출력한다.

보다 상세하게는, 도 5를 참조하여 설명하도록 한다.

도 5는 본 발명이 적용된 인공 신경망의 뉴런을 공학적으로 모델링한 것으로, 도 5에 도시된 바와 같이, 인공 신경망의 뉴런은 연결강도가 곱해진 입력값(

,

,

)들을 더하고, 더한 값에 대해 특성 함수(

) 및 활성 함수(

)를 수행하고 결과(

)를 출력한다.

여기서, 활성 함수(

)는 덧셈부(512)로부터 결과를 특성 함수(

)연산된 결과를 입력받아 연산을 수행한다. 활성 함수(

)는 비선형 함수로써 인공 신경망이 비선형 함수 사상(mapping)을 구현할 수 있게 해준다.

한편, 도 6은 도 4는 본 발명이 적용된 인공 신경망의 모델링을 통해 단위 지연 셀의 동작을 개략적으로 보인 것으로, 본 발명에 따른 지연 셀(600)은 뉴런 셀로부터 입력된 입력 신호(

)를

연산을 통해 레이턴시만큼 지연하여 상기 입력 신호(

)에 대응하는 출력 신호(y)를 출력한다.

이상에서는, 본 발명의 일 실시 예에 따른 인공 신경망의 뉴로모픽 하드웨어 구현 방법에 관해 살펴보았다.

이하, 본 발명의 일 실시 예에 따른 인공 신경망 기반의 신호 처리 장치에 관해 도 7 내지 8을 통해 살펴보기로 한다.

먼저, 도 7은 본 발명의 일 실시 예에 따른 인공 신경망 기반의 신호 처리 장치에 관한 구성도이다.

도 7을 참조하면, 본 발명의 일 실시 예에 따른 인공 신경망 기반의 신호 처리 장치(710)은 개별적 유닛 1(712, 뉴런 회로와 지연 회로), 유닛 2...유닛 n과 상호 연결 네트워크(714)를 통해 인터페이싱되는 것으로, 상기 뉴런 회로는 가중합을 통해 뉴런 사이의 연결 강도에 따른 출력 신호를 연산한다.

상기 뉴런 회로부는 뉴런별 입력과 시냅스별 가중치에 대한 곱셈을 수행하여 결과를 출력하는 시냅스 처리부(718)와, 상기 시냅스 처리부(718)로부터의 복수의 결과를 다단으로 덧셈 연산을 수행하는 가산부(720)와, 뉴런 활성화 제어 관련 기설정된 상수를 가산하는 바이어스 회로(722)와, 비선형 특성을 갖는 함수 연산을 수행하여 뉴런별 입력에 대응하는 출력을 출력하는 함수 연산부(724)를 포함한다.

인공 신경망에서는 뉴런 회로(710)가 신호를 송출하고, 이 신호를 전달받은 시냅스 처리부(718)에서 연결선 즉, 시냅스가 일정 시간 동안 다양한 패턴으로 신호를 생성하며 이 신호들이 합산되어 전달되는 방식을 사용한다. 이때, 신호가 전달되는 패턴 유형은 연결선마다 다를 수 있다.

각 뉴런은 다수의 서로 다른 소스로부터 가중된 입력 신호들을 더해야 하는데, 이 합산은 본 발명의 가산부를 동작시키고, 단순히 출력 단자를 연결함으로써 용이하게 수행시킬 수 있다.

계속해서, 상기 지연 회로(712)는 뉴런별 다수의 뉴런 입력을 기설정된 레이턴시(latency)를 기반으로 지연하여 출력한다.

이때, 상기 지연 회로는, 소정의 기억 회로를 사용하여 현재 출력을 일정 단위 시간 k전의 입력으로부터 생성하여 지연을 수행하는 것으로, 이러한 기억 회로는 플립플랍(flip-flop), 래치(latch) 또는 정적 메모리(Static Random Access Memory)를 포함할 수 있다. 다만, 본 발명에 있어서 플립플랍, 래치 또는 정적 메모리는 본 발명의 일 실시 예에 불과하므로 이를 통해 본 발명이 한정 해석되는 것은 아니다.

상기 상호 연결 네트워크(716)는 상기 뉴런 회로(710)와 지연 회로(712) 또는 뉴런 회로(710)와 지연 회로(712)의 기능을 같이 제공하는 회로가 도 8에서와 같이, 단위 회로로써 복수로 복제되고, 복제된 단위 회로들의 상호 연결로 구성된다. 예를 들어, 해당 뉴로모픽 시스템은 크로스바(cross bar)를 기준으로 복제된 단위 회로가 로우(row)라인 별로 복수로 릴레이(relay)되어 다층으로 어레이되거나 로직(logic) 회로에서와 같이 한 개에서 수십 개의 시냅스의 기능을 구현하는 셀(cell) 기반으로 인공 신경망의 기능을 구현한다.

더불어, 도 8에서와 같이 본 발명이 적용된 셀 기반 아키텍쳐(Cell based Architecture)는 뉴로모픽 회로 구조로, 한 개에서 수십 개의 시냅스의 기능을 구현하는 작은 셀들의 상호 연결을 기반으로 인공 신경망의 기능을 구현한다. 기존에는 조밀한 연결(dense connections) 때문에 이러한 방법이 불가능했는데, 본 발명에서 제안하는 방법으로 조밀한 연결을 희소 연결(sparse connections)로 개발하면서 이러한 구조가 가능해졌다. 크로스바 기반 아키텍쳐(Crossbar based Architecture)가 PLA(programmable logic array)와 유사한 방식이라면 본 발명의 셀 기반 아키텍쳐(cell based architecture)는 스탠다드 셀(standard cell) 또는 LUT의 상호 연결인 논리회로 설계 방식과 유사한 방식이다.

상기와 같이 본 발명에 따른 인공 신경망의 뉴로모픽 하드웨어의 신호 처리 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

[참고문헌]

[1] Molecular-junction-nanowire-crossbar-based neural network, US Patent 7359888

[2] System and method for low-rank matrix factorization for deep belief network traning with high dimensional output targets, US PATENT US20140019388 A1

[3] Method and Apparatus of Processing Data Using Deep Belief Networks Empolying Low-Rank Matrix Factorization US PATENT 20140156575 A1[4] Spiking neural networks, an introduction, Jilles Vreeken

710: 인공 신경망 기반의 신호 처리 장치 712: 유닛
714: 상호연결 네트워크 716: 메모리
718: 시냅스 처리부 720: 가산부
722: 바이어스 회로 724: 함수 연산부

Claims (11)

1. (A) 인공 신경망의 뉴로모픽 하드웨어 구현 장치는 인공 신경망의 학습 수행을 통해 획득된 시냅스별 연결 강도에 대응하는 복수의 가중치를 텐서로 나타내어 텐서 분해하는 과정과,
   (B) 인공 신경망의 뉴로모픽 하드웨어 구현 장치는 상기 텐서 분해를 통해 얻어진 데이터를 이용하여 저차(Low-rank) 근사화 기반 근사화된 가중치 텐서를 획득하는 과정과,
   (C) 인공 신경망의 뉴로모픽 하드웨어 구현 장치는 상기 근사화된 가중치 텐서에 대응되게 인공 신경망의 가중치 및 구조가 조정된 인공 신경망의 시냅스별 트레이닝이 상기 (A) 단계부터 반복적으로 재수행되는 과정을 포함함을 특징으로 하며,
   상기 저차 근사화는,
   상기 텐서 x(s)의 행렬화 M(x(s))의 W(i, j) 요소 w_i,j를 w_i,j=a_i ⁽¹⁾b_j ⁽¹⁾+a_i ⁽²⁾b_j ⁽²⁾+a_i ⁽³⁾b_j ⁽³⁾…a_i ^{( l )}b_j ^{( l )}의 형태의 인수들의 곱의 합으로 근사화하여 수행됨을 특징으로 하며, 여기에서, i와 j는 임의의 정수이고, w_i,j는 텐서 행렬화 M(x(s))의 W(i, j)의 요소이며, a_i와 b_j는 방정식을 통해서 인수분해를 통해 얻어지는 임의의 실수를 나타내며, W는 가중치 행렬이고, k를 행렬 M(x(s))의 랭크로 양의 정수라고 할때 1은 k보다 작은 정수이며,
   상기 w_i,j에 대한 a_i ^q와 b_j ^q에 대응하는 인수들은 뉴로모픽 회로에 저장하여 인공 신경망의 학습을 수행함을 특징으로 하는 인공 신경망의 뉴로모픽 하드웨어 구현 방법.
   (여기서, q는 1과 같거나 작은 정수)
2. 삭제
3. 제1항에 있어서, 상기 텐서 분해하는 과정은,
   상기 텐서에 특이값(singular value)분해를 분할 정복(divide and conquer) 방식으로 적용하는 알고리즘을 통해 수행됨을 특징으로 하는 인공 신경망의 뉴로모픽 하드웨어 구현 방법.
4. 제3항에 있어서, 상기 알고리즘은,
   n₁ x n₂ x ... x n_d 모양의 d 차원 텐서를 n_d x n₁n₂ ... n_d-1 크기의 행렬로 표현하는 행렬화 M 기반 하에 한 텐서의 행렬 표현 M(x(s))의 트랜스포즈(Transpose)에 대해 M(x(s))^T=U(s)∑(s)V(s)^T와 같은 세 행렬의 곱으로 분해하며, 상기 세 행렬 중 U 직교행렬의 열 벡터는 n_d x n₁n₂ ... n_d-1의 형태의 텐서로 재형성되고, 재형성된 텐서 x(s₁), ..., x(s_r(s))에 재귀적으로 같은 절차를 적용하는 것을 특징으로 하며,
   여기에서, n₁, n₂ … n_d, d는 임의의 정수이며, n₁, n₂ … n_d는 텐서의 크기를 나타내며, x(s)는 임의의 텐서를 나타내고, M(x(s))는 x(s) 텐서의 행렬화를 나타내며, U(s)는 x(s)텐서의 mxm 직교행렬을 나타내며, V(s)는 x(s) 텐서의 nxn 직교 행렬을 나타내며, ∑(s)는 mxn 직사각 대각행렬을 나타내며, T는 전치 행렬을 나타내며, r(s)는 M(x(s))의 랭크이며, U(s) 직교 행렬은 r(s)개의 컬럼 벡터가 존재하고, 각 컬럼 벡터를 텐서화한 것이 재형성된 텐서 x(s₁), ...., x(s_r(s))이며, 상기 s₁, s₂, ..., s_r(s)는 각 텐서를 구분하기 위한 임의의 문자열인 인공 신경망의 뉴로모픽 하드웨어 구현 방법.
5. 제 3항에 있어서, 상기 특이값 분해는,
   상기 텐서 x(s)의 행렬화 M(x(s))의 W(i, j) 요소 w_i,j를 w_i,j=a_i ⁽¹⁾b_j ⁽¹⁾+a_i ⁽²⁾b_j ⁽²⁾+a_i ⁽³⁾b_j ⁽³⁾…a_i ^{( l )}b_j ^{( l )}형태로 분해됨을 특징으로 하며,
   여기에서, i와 j는 임의의 정수이고, w_i,j는 텐서 행렬화 M(x(s))의 (i, j)의 요소이며, a_i와 b_j는 방정식을 통해서 인수분해를 통해 얻어지는 임의의 실수를 나타내며, k는 행렬 M(x(s))의 랭크를 나타내는 인공 신경망의 뉴로모픽 하드웨어 구현 방법.
6. 삭제
7. 삭제
8. 제1항에 있어서, 상기 가중치 및 구조가 조정된 인공 신경망을 시냅스가 감소된 시간 지연 인공 신경망으로 변환시키는 과정을 더 포함함을 특징으로하는 인공 신경망의 뉴로모픽 하드웨어 구현 방법.
9. 삭제
10. 삭제
11. 삭제

Images