KR102072090B1 - 인공신경망 프로세서용 활성화 소자 - Google Patents

Abstract

입력 단자, 일단이 상기 입력 단자와 전기적으로 연결되고, 선택 트랜지스터 및 상기 선택 트랜지스터의 소오스 전극 또는 드레인 전극에 직렬로 연결되는 문턱 스위치를 포함하는 복수 개의 게이트 라인들, 상기 게이트 라인들과 전기적으로 연결되어 상기 게이트 라인들로부터 게이트 전압을 인가받는 급경사 트랜지스터 및 상기 급경사 트랜지스터의 소오스-드레인 전류를 출력하는 출력 단자를 포함하고, 상기 문턱 스위치는 각 게이트 라인마다 서로 다른 문턱값을 갖는 문턱 스위치인 활성화 소자를 제공한다. 본 발명에 따른 활성화 소자는 소형화, 집적화에 유리한 구조를 가지며, 입력된 신호의 크기를 반영한 출력 신호를 발화할 수 있다.

Description

인공신경망 프로세서용 활성화 소자{Activation Device for Neuromorphic Network Processor}

본 발명은 인공 신경망 프로세서용 활성화 소자에 관한 것으로, 보다 상세하게는 다층 레이어를 갖는 인공 신경망 프로세서용 활성화 소자에서 하나의 레이어에서 다음 레이어로 전달하기 위한 신호를 활성화 시키는 활성화 소자에 관한 것이다.

인간의 신경망(Neural Network)을 모사한 인공 신경망의 일종인 딥 러닝(Deep Learning)이 주목받고 있다. 딥 러닝 모델은 입력 레이어(Input layer)와 출력 레이어(Output layer) 사이에 하나 이상의 숨겨진 레이어(Hidden layer)를 포함하는 심층 신경망(Deep Neural Network)을 이용하는 기계학습을 의미한다. 신경망을 구성하는 하나의 레이어(layer)로부터 나오는 출력은 다음 레이어의 입력 노드에 인가된다.

인간의 신경 세포(Neuron)는 일반적으로 다른 신경 세포들로부터 신호를 받기 위한 가지(dendrite)과, 다른 신경 세포들로 신호를 전달하기 위한 축삭(Axon)을 가진다. 하나의 신경 세포는 여러 개의 신경 세포들로부터 입력 신호를 인가받아 여러 개의 신경 세포들로 신호를 출력하는 병렬적 구조를 갖는다. 이 때 신경 세포들 사이를 연결하는 각각의 시냅스(synapse)는 서로 다른 연결 강도를 가지고 있어 출력 신호의 활성화 여부를 결정하게 된다.

인간의 신경 세포와 유사하게, 인공 신경망에서도 하나의 레이어에 입력 신호가 인가되면 입력 신호의 강도 및 빈도에 따라 가중치가 결정된다. 가중치에 의하여 변환된 새로운 입력 신호는 합산되어 일정한 값 이상이 될 경우 출력 신호로 활성화(activation)된다. 이 때 활성화 여부를 결정하는 활성화 함수는 Sigmoid, tanh, ReLU(rectified linear unit)과 같은 여러 함수를 사용할 수 있다.

이러한 딥 러닝 시스템에 적합한 하드웨어 프로세서의 개발이 요구되고 있다. 본 발명은 가중치를 부여받아 변환된 입력 신호들을 합산하여 문턱값(threshold) 이상이 되었을 때, 출력 신호를 활성화하는 활성화 소자(activation device)에 관한 발명이다.

본 발명이 해결하고자 하는 기술적 과제는 문턱값 이상의 신호를 인가받았을 때 출력 신호를 활성화 하는 활성화 소자를 제공함에 있다.

상술한 기술적 과제를 해결하기 위하여 본 발명은 입력 단자, 일단이 상기 입력 단자와 전기적으로 연결되고, 선택 트랜지스터 및 상기 선택 트랜지스터의 소오스 전극에 직렬로 연결되는 문턱 스위치를 포함하는 복수 개의 게이트 라인들, 상기 게이트 라인들과 전기적으로 연결되어 상기 게이트 라인들로부터 게이트 전압을 인가받아 문턱 전압 이상에서 소오스-드레인 전류가 급격히 증가하는 급경사 트랜지스터 및 상기 급경사 트랜지스터의 소오스-드레인 전류를 출력하여 다음 레이어의 입력이 되는 출력 단자를 포함하고, 상기 문턱 스위치는 각 게이트 라인마다 서로 다른 문턱값을 갖는 문턱스위칭(threshold switching) 소자로서, 금속-절연체 전이(Metal-insulator transition) 스위치와 같은 활성화 소자를 제공한다.

본 발명의 일 실시예에 따르면, 상기 문턱 스위치는 하부 전극층, 상기 하부 전극층 상에 형성된 문턱스위칭층 및 상기 문턱스위칭층 상에 형성된 상부 전극층을 포함하고, 상기 문턱스위칭층은 상기 게이트 라인들 각각 마다 서로 다른 두께를 가질 수 있다.

상기 문턱스위칭층은 금속-절연 전이 물질을 포함할 수 있다. 일 실시예에 따르면 상기 금속-절연 전이 물질을 포함하는 문턱스위칭층은 NbO_x층이고, 상기 하부 전극층 및 상기 상부 전극층은 텅스텐층일 수 있다.

상기 문턱스위칭층은 상기 게이트 라인들마다 서로 다른 두께를 가질 수 있다.

본 발명의 일 실시예를 따르면, 상기 게이트 라인들 중 하나의 게이트 라인을 구성하는 상기 선택 트랜지스터가 온(On) 되고, 상기 온 된 선택 트랜지스터와 직렬로 연결된 문턱 스위치에 의하여 상기 급경사 트랜지스터에 인가되는 게이트 전압이 결정되고, 문턱 스위치의 문턱값에 따라서 상기 급경사 트랜지스터에 인가되는 게이트 전압의 크기가 변화할 수 있다.

종래의 인공 신경망 프로세스를 구성하는 활성화 소자는 가중치가 부여된 신호들의 합산 값이 지정된 전압 값 이상이 되었는지 여부를 확인하기 위하여 비교기(Comparator)를 사용한다. 비교기를 사용할 경우 두 가지의 문제가 존재한다. 먼저 비교기 회로가 공간을 차지한다. 또한, 비교기는 지정된 전압 값 이상의 모든 신호에 대하여 동일한 크기의 출력 신호를 출력한다. 그러나 가중치가 부여된 신호들의 합산 값이 가지고 있는 크기와 같은 정보를 다음 레이어에 입력할 수 있다면 인공 신경망 시스템의 효율을 높일 수 있다. 따라서 이러한 출력 신호에 입력신호의 크기를 반영할 수 있는 활성화 소자가 요구된다.

본 발명은 선택 트랜지스터 및 상기 선택 트랜지스터의 소오스 전극 또는 드레인 전극에 직렬로 연결되는 문턱 스위치를 포함하는 복수 개의 게이트 라인들과, 상기 게이트 라인들로부터 게이트 전압을 인가받은 급경사 트랜지스터를 포함하는 활성화 소자를 제공하여 상술한 두 가지 문제점을 해결할 수 있다.

즉, 비교기를 포함하지 않아 면적 및 부피를 감소시킬 수 있으며, 레이어를 통과하며 가중치가 부여된 신호들의 합산 값이 가지고 있는 크기를 출력신호에 반영할 수 있다.

각각의 문턱문턱 스위치는 서로 다른 문턱값을 가질 수 있으며, 문턱 스위치가 금속-절연 전이층과 같은 물질층을 포함하는 이단자 소자일 경우, 문턱스위칭층의 두께를 조절함으로써 문턱값을 달리할 수 있다.

본 발명의 일 실시예에서는, 특정한 문턱값을 갖는 문턱 스위치만이 선택되도록 선택 트랜지스터를 온(On)하여 급경사 트랜지스터에 게이트 전압을 인가하도록 할 수 있다. 이를 통하여 인공 신경망 프로세서가 수행하는 동작에 적합한 문턱값을 가지도록 조절할 수 있다.

본 발명의 기술적 효과들은 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 입력 신호가 전압 펄스인 인공 신경망 프로세서의 벡터-매트릭스 곱(Vector-matrix multiplication)을 이루는 입력-출력(input-output) 어레이 구조를 도시하는 회로도이다.
도 2는 본 발명의 일 실시예에 따른 활성화 소자를 도시하는 회로도이다.
도 3은 본 발명의 일 실시예에 따른 문턱 스위치의 구조를 도시하는 단면도이다.
도 4는 본 발명의 일 실시예에 따른 활성화 소자의 게이트 인가 전압에 따른 출력 전류를 도시하는 그래프이다.
도 5는 본 발명의 일 실시예에 따라 문턱스위칭층의 두께를 달리하였을 때 게이트 인가 전압에 따른 출력 전류를 도시하는 그래프이다.

본 발명이 여러 가지 수정 및 변형을 허용하면서도, 그 특정 실시예들이 도면들로 예시되어 나타내어지며, 이하에서 상세히 설명될 것이다. 그러나 본 발명을 개시된 특별한 형태로 한정하려는 의도는 아니며, 오히려 본 발명은 청구항들에 의해 정의된 본 발명의 사상과 합치되는 모든 수정, 균등 및 대용을 포함한다.

층, 영역 또는 기판과 같은 요소가 다른 구성요소 "상(on)"에 존재하는 것으로 언급될 때, 이것은 직접적으로 다른 요소 상에 존재하거나 또는 그 사이에 중간 요소가 존재할 수도 있다는 것을 이해할 수 있을 것이다.

비록 제1, 제2 등의 용어가 여러 가지 요소들, 성분들, 영역들, 층들 및/또는 지역들을 설명하기 위해 사용될 수 있지만, 이러한 요소들, 성분들, 영역들, 층들 및/또는 지역들은 이러한 용어에 의해 한정되어서는 안 된다는 것을 이해할 것이다.

이하 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하 도면상의 동일한 구성 요소에 대하여는 동일한 참조 부호를 사용하고, 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

도 1은 입력 신호가 전압 펄스인 인공 신경망 프로세서의 벡터-매트릭스 곱(Vector-matrix multiplication)을 이루는 입력-출력(input-output) 어레이 구조를 도시하는 회로도이다.

도 1a를 참조하면, 인공 신경망 프로세서의 레이어를 이루는 크로스-포인트 어레이 구조는 복수 개의 입력 라인들, 상기 입력 라인들을 가로지르는 복수 개의 출력 라인들 및 상기 각 입력 라인과 상기 각 출력 라인 사이에 각각 접속된 양단들을 갖는 저항가중치를 갖는다.

도 1b를 참조하면, 인공 신경망 프로세서의 벡터-매트릭스 곱(Vector-matrix multiplication)을 이루는 입력-출력(input-output) 어레이 구조는 복수 개의 입력 라인들, 상기 입력 라인들을 가로지르는 복수 개의 출력 라인들 및 상기 각 입력 라인과 상기 각 출력 라인 사이에 각각 접속된 양단들을 갖는 캐패시턴스 가중치를 갖는다.

상기 저항 가중치 및 캐패시턴스 가중치는 인공지능 학습에 의하여 결정되는 가중치 값에 대응하는 저항 또는 캐패시턴스 값을 가진다. 입력 노드로부터 입력된 전압은, 상기 상기 저항 가중치 또는 상기 캐패시턴스 가중치를 지나면서 전류 및 전하로 각각 변환된다. 따라서 도 1에 도시된 것과 같은 입력-출력 어레이 구조에 펄스 전압 등이 입력되면, 가중치 값에 의하여 변환된 변환 신호들이 출력되고, 출력된 신호들을 연산증폭기(integrator)를 이용하여 합산하고 전압으로 변환하여 다음 레이어로 전달하게 된다. 이 때 출력된 신호들 전부가 다음 레이어로 전달되는 것이 아니라, 인간 뇌 신경망의 신경 세포들과 동일하게 문턱 값 이상의 출력 신호가 있는 경우 선택적으로 신호를 전달하게 된다. 출력 신호의 전달, 다시 말해 출력 신호의 발화(fire)여부를 결정하기 위한 소자가 활성화(activation) 소자이다.

실시예

도 2는 본 발명의 일 실시예에 따른 활성화 소자를 도시하는 회로도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 활성화 소자는 앞의 레이어로부터 출력되어 현재의 레이어로 입력되는 신호를 인가받는 입력 단자(10), 상기 입력 단자(10)와 일단이 전기적으로 연결되고, 선택 트랜지스터(21) 및 상기 선택 트랜지스터(21)의 소오스 전극에 직렬로 연결되는 문턱 스위치(23)를 포함하는 복수 개의 게이트 라인(20)들, 상기 게이트 라인(20)들과 전기적으로 연결되어 상기 게이트 라인(20)들로부터 게이트 전압을 인가받는 급경사 트랜지스터(30) 및 상기 급경사 트랜지스터(30)의 소오스-드레인 전류를 출력하는 출력단자를 포함한다. 임의의 레이어의 출력 합은 다음 레이어의 입력 노드에 입력된다.

상기 입력 단자(10)는 도 1에 도시된 것과 같은 인공 지능 신경망의 레이어로부터 출력되는 변환 신호들을 수용하여 활성화 소자에 인가하기 위한 단자이다.

상기 게이트 라인(20)들은 일단이 상기 입력 단자(10)에 전기적으로 연결되고, 다른 일단은 상기 급경사 트랜지스터(30)의 게이트 전극에 전기적으로 연결된다. 다시 말해, 상기 게이트 라인(20)들은 상기 입력 단자(10)와 상기 급경사 트랜지스터(30)의 사이에서 병렬(parallel) 연결을 이룬다,

상기 게이트 라인(20)들은 선택 트랜지스터(21) 및 문턱 스위치(23)를 포함한다. 상기 선택 트랜지스터(21)는 외부에서 선택 게이트 전압을 인가함에 따라 채널을 형성함으로써 선택된 게이트 라인(20)에 전류를 도통하게 하거나 차단하게 한다. 상기 선택 트랜지스터(21)는 선택적인 전류의 도통이 가능한 트랜지스터라면 공지의 트랜지스터를 제한 없이 사용 가능하다.

상기 문턱 스위치(23)는 양 단에 인가되는 전압 차가 문턱값 이상이 될 경우 통전하여 전류가 흐르는 금속-절연체 전이(Metal-insulator transition) 스위치일 수 있다. 상기 문턱 스위치(23)는 각 게이트 라인(20) 마다 서로 다른 문턱값을 가질 수 있다. 구체적으로, 각 게이트 라인(20)들의 위치에 따라 순차적으로 문턱 스위치(23)의 문턱값이 작아지거나, 반대로 커지는 구성을 가질 수 있다.

상기 문턱 스위치(23)의 일단은 상기 선택 트랜지스터(21)의 소오스 전극과 연결되고, 다른 일단은 상기 급경사 트랜지스터(30)의 게이트 전극에 전기적으로 연결된다.

상기 급경사 트랜지스터(30)는 채널, 상기 채널의 양 단에 형성되는 소오스 전극 및 드레인 전극, 상기 채널의 상부에 형성된 게이트 절연층 및 상기 게이트 절연층 상에 형성된 게이트 전극을 갖는 트랜지스터이다. 상기 급경사 트랜지스터(30)는 상술한 구조를 갖는 3단자 트랜지스터이면 특별한 제한 없이 공지의 트랜지스터를 사용할 수 있다. 상기 급경사 트랜지스터(30)는 n형(NMOS) 또는 p형(PMOS) 트랜지스터일 수 있다.

본 발명의 일 실시예를 따르면, 선택 트랜지스터(21)에 인가되는 선택 게이트 전압을 조절하여 하나의 선택 트랜지스터(21a)만을 온(On) 시키고 나머지 선택 트랜지스터(21b, 21c...)들을 모두 오프(Off)시킬 수 있다.

입력 단자(10)에 전 레이어(pre-layer)로부터 변환된 변환 신호가 인가되면, 변환 신호는 온 상태의 선택 트랜지스터(21a)와 직렬로 연결된 문턱 스위치(23a)에 도달한다. 이 때 변환 신호의 값이 문턱 스위치(23a)의 문턱값보다 큰 경우 문턱 스위치(23a)는 온 상태가 되어 전류가 도통하고, 급경사 트랜지스터(30)의 게이트 전극에 전압이 인가되게 된다. 변환 신호의 값이 문턱 스위치(23a)의 문턱값에 도달할 때 까지 급경사 트랜지스터(30)의 게이트 전극에는 전압이 인가되지 않으므로, 급경사 트랜지스터(30)의 소오스-드레인에는 전류가 흐르지 않는다. 만일 문턱 스위치의 문턱 값을 넘는 전압이 인가되면 급경사 트랜지스터(30)에 전압이 갑자기 인가되어, 급경사 트랜지스터의 소스-드레인 사이에 흐르는 전류는 매우 급한 경사(Steep-slope)를 갖게 된다. 또한, 변환 신호가 문턱값 이상의 크기를 갖는 경우에는 변환 신호의 크기가 증가함에 따라 게이트에 인가되는 전압도 상승하게 되고, 이는 채널 형성을 강화시켜 출력 전류의 크기를 증가시킨다. 따라서 전-레이어에서 변환된 변환 신호의 크기 정보를 후-레이어(post-layer)에 전달하는 출력 신호에 반영 가능하다.

도 3은 본 발명의 일 실시예에 따른 문턱 스위치의 구조를 도시하는 단면도이다.

도 3을 참조하면, 문턱 스위치는 하부 전극(41), 상기 하부 전극(41) 상에 형성된 문턱스위칭층(43) 및 상기 문턱스위칭층(43) 상에 형성된 상부 전극(45)을 포함한다. 상기 문턱스위칭층(43)은 문턱값 이상의 전압이 인가되면 전도체가 되거나, 도전 통로를 형성하는 물질을 포함한다. 예를 들면, 상기 문턱스위칭층(43)은 금속-절연 전이 특성을 갖는 바나듐 산화물 또는 니오븀 산화물일 수 있다.

상기 문턱스위칭층(43)이 동일한 물질로 형성되는 경우, 상기 문턱스위칭층(43)의 두께에 따라 문턱값이 결정될 수 있다. 즉, 각 게이트 라인들은 서로 다른 문턱값을 갖도록 하기 위하여 서로 다른 문턱스위칭층(43)의 두께를 갖는 문턱 스위치를 포함할 수 있다.

금속-절연 전이 물질을 문턱스위칭층(43)으로 사용할 경우, 상기 하부 전극(41) 및 상기 상부 전극(45)은 질화 티타늄(TiN), 텅스텐(W), 텅스텐 산화물(WO_x) 및 백금(Pt)일 수 있다. 상기 문턱스위칭층(43)을 이루는 물질에 따라 상기 하부 전극(41) 및 상기 상부 전극(45)의 전극 물질이 결정된다.

실험예 1

70×70 nm²의 넓이를 갖는 텅스텐 하부 전극을 RF 스퍼터링(radio frequency)을 이용하여 형성하였다. 상기 텅스텐 하부 전극 상에 25 nm 두께의 니오븀 산화물 막을 마찬가지로 RF 스퍼터링을 통하여 성막하였다. 그 후 실온에서 텅스텐 상부 전극을 형성하여 문턱 스위치를 제작하였다. 상기 문턱 스위치를 n-MOSFET 구조의 게이트 전극 상에 형성되었다.

도 4는 본 발명의 일 실시예에 따른 활성화 소자의 인가 전압에 따른 출력 전류를 도시하는 그래프이다.

도 4를 참조하면, 하나의 선택 트랜지스터 만이 온 되어 있을 때, 본 발명에 따른 활성화 소자는 드레인 전압(V_D)의 크기와 무관하게 입력되는 변환 신호(V_G)가 일전 전압값 이상일 때 급격한 경사를 갖고 전류가 증가하는 것을 확인할 수 있다. 변환 신호와 출력 전류의 관계를 도시하는 그래프의 경사는 5 mV/dec으로 매우 급경사를 이루며, 이러한 급경사는 매우 높은 온도에서도 유지되는 것을 확인하였다.

실험예 2

70×70 nm²의 넓이를 갖는 텅스텐 하부 전극을 RF 스퍼터링(radio frequency)을 이용하여 형성하였다. 상기 텅스텐 하부 전극 상에 25 nm 두께의 니오븀 산화물 막을 마찬가지로 RF 스퍼터링을 통하여 성막하였다. 그 후 실온에서 텅스텐 상부 전극을 형성하여 문턱 스위치를 제작하였다. 상기 문턱 스위치는 p-MOSFET 구조의 게이트 전극 상에 형성되었다. 또한, 동일한 조건에서 니오븀 산화물 막이 15 nm일 경우, 20 nm일 경우 및 25 nm일 경우의 출력 전류에 대하여 시뮬레이션 하여 그 결과를 실험 값과 비교하였다.

도 5는 본 발명의 일 실시예에 따라 문턱스위칭층의 두께를 달리하였을 때 인가 전압에 따른 출력 전류를 도시하는 그래프이다.

도 5를 참조하면, 문턱스위칭층의 두께에 따른 변환 신호의 크기에 따를 출력 신호의 변화의 시뮬레이션 결과와 실험 결과를 확인할 수 있다. 니오븀 산화물 막의 두께가 점점 두꺼워질수록 트랜지스터를 턴-온 시키는 게이트 전압(V_G)의 임계값도 커지는 것을 확인할 수 있다. 따라서 각 게이트 라인의 금속-절연 전이층의 두께를 달리함으로 문턱값이 서로 다른 활성화 스위치를 형성할 수 있다.

10 : 입력 단자 20 : 게이트 라인
21 : 선택 트랜지스터 23 : 문턱 스위치
30 : 급경사 트랜지스터 41 : 하부 전극
43 : 문턱스위칭층 45 : 상부 전극

Claims (7)

1. 입력 단자;
   일단이 상기 입력 단자와 전기적으로 연결되고, 선택 트랜지스터 및 상기 선택 트랜지스터의 소오스 전극에 직렬로 연결되는 문턱 스위치를 포함하는 복수 개의 게이트 라인들;
   상기 게이트 라인들과 전기적으로 연결되어 상기 게이트 라인들로부터 게이트 전압을 인가받아 문턱 전압 이상에서 소오스-드레인 전류가 급격히 증가하는 급경사 트랜지스터; 및
   상기 급경사 트랜지스터의 소오스-드레인 전류를 출력하는 출력 단자를 포함하고,
   상기 문턱 스위치는 각 게이트 라인마다 서로 다른 문턱값을 갖는 문턱 스위칭 소자인 것이며,
   상기 선택 트랜지스터와 상기 문턱 스위치는 서로 일대일 대응되도록 복수 개 형성되고, 상기 게이트 라인들은 서로 병렬로 연결되는 것인 활성화 소자.
2. 제1항에 있어서,
   상기 문턱 스위치는
   하부 전극층;
   상기 하부 전극층 상에 형성된 문턱스위칭층; 및
   상기 문턱스위칭층 상에 형성된 상부 전극층을 포함하고,
   상기 문턱스위칭층은 상기 게이트 라인들 각각 마다 서로 다른 두께를 갖는 활성화 소자.
3. 제2항에 있어서,
   상기 문턱스위칭층은 금속-절연 전이 물질을 포함하는 활성화 소자.
4. 제2항에 있어서,
   상기 문턱스위칭층은 NbO_x층이고,
   상기 하부 전극층 및 상기 상부 전극층은 텅스텐층인 활성화 소자.
5. 제2항에 있어서,
   상기 문턱스위칭층은 상기 게이트 라인들마다 서로 다른 두께를 갖는 활성화 소자.
6. 제1항에 있어서,
   상기 게이트 라인들 중 하나의 게이트 라인을 구성하는 상기 선택 트랜지스터가 온(On) 되고,
   상기 온 된 선택 트랜지스터와 직렬로 연결된 문턱 스위치에 의하여 상기 급경사 트랜지스터에 인가되는 게이트 전압이 결정되는 활성화 소자.
7. 제6항에 있어서,
   상기 문턱 스위치의 문턱값에 따라서 상기 급경사 트랜지스터에 인가되는 게이트 전압의 크기가 변화하는 활성화 소자.

Images