KR102130532B1 - 커널 하드웨어 장치 - Google Patents

커널 하드웨어 장치 Download PDF

Info

Publication number
KR102130532B1
KR102130532B1 KR1020170183339A KR20170183339A KR102130532B1 KR 102130532 B1 KR102130532 B1 KR 102130532B1 KR 1020170183339 A KR1020170183339 A KR 1020170183339A KR 20170183339 A KR20170183339 A KR 20170183339A KR 102130532 B1 KR102130532 B1 KR 102130532B1
Authority
KR
South Korea
Prior art keywords
conductive lines
conductive
kernel
input
hardware system
Prior art date
Application number
KR1020170183339A
Other languages
English (en)
Other versions
KR20190081054A (ko
Inventor
황현상
박재성
곽명훈
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020170183339A priority Critical patent/KR102130532B1/ko
Priority to PCT/KR2018/015532 priority patent/WO2019132308A1/ko
Publication of KR20190081054A publication Critical patent/KR20190081054A/ko
Application granted granted Critical
Publication of KR102130532B1 publication Critical patent/KR102130532B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

본 발명은 복수 개의 입력단들, 복수 개의 출력단들, 상기 입력단들과 전기적으로 연결되고 서로 평행하게 배치되는 제1 도전 라인들, 상기 출력단들과 전기적으로 연결되고 상기 제1 도전 라인들과 교차하는 제2 도전 라인들을 포함하고, 상기 입력 데이터는 n×n 크기를 갖는 수용 영역들로 구획되어 하나의 상기 수용 영역의 원소들에 대응하는 입력단들은 하나의 입력단 그룹으로 정의되고, 상기 입력단 그룹과 전기적으로 연결되는 상기 제1 도전 라인들은 하나의 상기 제2 도전 라인과 노드 그룹을 통해 전기적으로 연결되고, 상기 노드 그룹을 이루는 각각의 노드는 저항 변화 메모리인 커널 하드웨어 시스템을 제공한다. 복수 개의 입력단들은 수용 영역보다 큰 확장된 수용 영역들을 입력 데이터로 인가받아 직렬적인 스캐닝 동작을 최소화 할 수 있다. 또한 커널 하드웨어 시스템의 면적을 감소시켜 고집적화가 가능한 평행형 커널 하드웨어 시스템 및 3차원 커널 하드웨어 시스템을 제공한다.

Description

커널 하드웨어 장치{Kernel Hardware Device}
본 발명은 합성곱 신경망(Convolutional Neural Network)의 커널(Kernel)을 하드웨어로 구현한 커널 하드웨어 장치에 관한 것으로서, 보다 상세하게는 확장된 수용 영역을 가지는 커널 하드웨어 장치에 관한 것이다.
폰 노이만(Von Neumann) 구조의 컴퓨터는 CMOS 기술 기반의 전자 시스템 성능의 향상과 더불어 발전해왔다. 폰 노이만 구조의 컴퓨터는 CPU를 통하여 연산한 후 메모리에 저장하고, 다시 연산에 필요한 데이터를 메모리로부터 CPU로 읽어 사용한다. 따라서 수치 계산과 같은 정확도를 요구하는 연산에는 적합하지만, 대량의 데이터를 병렬적으로 처리하는 연산에 있어서는 효율성이 낮다. 최근, 인간 뇌 신경망의 구조를 본떠 만든 인공 신경망 계산 알고리즘(Neural network computation algorithm)이 주목받으며, 인간의 뇌 신경망과 같이 대규모의 데이터를 병렬적으로 처리 가능한 새로운 구조의 컴퓨터 시스템이 요구되고 있다.
인공 신경망 계산 알고리즘은 뉴런(neuron) 회로 및 시냅스(synapse)로 구성된다. 시냅스는 각각의 뉴런 회로 사이를 연결하는 연결부로, 각각의 시냅스는 중요도에 따라 무게(weight)를 갖는다. 인공 신경망 계산 알고리즘에 입력된 정보는 시냅스를 거쳐 뉴런 회로에서 합산되어 활성화(activate)되고, 활성화된 정보는 다시 시냅스를 거쳐 다음 뉴런 회로로 전달된다. 따라서 인공 신경망 계산 알고리즘에 입력된 정보는 복수 개의 뉴런 회로를 거쳐 마지막 뉴런 회로에서 최종 결과를 도출하게 된다.
합성곱 신경망(Convolution neural network, CNN)은 인공 신경망 계산 알고리즘 중에서 컴퓨터 시각 처리에 뛰어난 성능을 보여주고 있다. 합성곱 신경망은 다수의 합성곱 레이어(Convolution layer)와 완전 연결 신경망(Fully connected neural network)를 포함한다. 합성곱 레이어는 입력 이미지의 특징(feature)들을 추출하여, 완전 연결 신경망에 효과적으로 입력 가능한 피쳐맵(feature map)을 제공한다.
예를 들어 가로, 세로가 각각 32 pixel로 이루어진 컬러 이미지의 경우, 입력 이미지는 32×32×3(RGB 3채널)의 크기를 갖는다. 따라서 일반적인 인공 신경망과 같이 예를 들어 1500의 크기를 갖는 다음 레이어의 뉴런이 입력 레이어의 모든 구성 요소와 연결되는 경우, 32×32×3×1,500=4,608,000개의 연결 및 가중치를 가지게 된다. 따라서 이러한 불필요한 연결로 인한 과부하를 방지하기 위하여, 합성곱 신경망은 한 레이어의 뉴런을 이전 레이어의 모든 뉴런들이 아닌 작은 영역(수용 영역, Receptive Field)과 연결한다.
하나의 합성곱 레이어는 수용 영역 내의 각 뉴런들에 적용되는 가중치들이 이루는 커널(Kernel)을 가질 수 있다. 보폭(Stride)에 따라 수용 영역이 입력 이미지를 스캐닝(Scanning)하면서 커널에 저장된 가중치 값을 곱하여 출력한 피쳐 맵(Feature map)을 형성한다.
이러한 합성곱 신경망을 효율적으로 처리하기 위한 하드웨어 구조가 요구된다. Ligang Gao(Gao, Ligang, Pai-Yu Chen, and Shimeng Yu. "Demonstration of convolution kernel operation on resistive cross-point array." IEEE Electron Device Letters 37.7 (2016): 870-873.)는 이차원 커널 회로를 구성하고, 외부 컨트롤 회로를 이용하여 수용 영역을 이동시키며 입력 이미지를 스캐닝하는 기술에 대하여 개시하였다.
그러나 입력 이미지를 스캐닝하는 과정은 전체 합성곱 연산의 속도를 늦추는 원인이 된다. 특히 하나의 합성곱 신경망은 여러 개의 연속하는 합성곱 레이어를 가질 수 있으며, 각각의 레이어가 이러한 스캐닝 과정을 필요로 할 경우 전체 연산 과정은 과도하게 긴 시간을 요구할 수 있다. 또한 수용 영역을 이동시키기 위한 외부 컨트롤 회로를 구성하기 위한 공간을 필요로 하여, 회로의 소형화가 불가능하다는 단점이 있다.
본 발명은 상술한 문제를 해결하기 위하여, 확장된 수용 영역을 갖는 커널 하드웨어 장치를 제공한다.
본 발명이 해결하고자 하는 기술적 과제는 확장된 수용 영역을 갖는 커널 하드웨어 장치를 제공하는데 있다.
상술한 기술적 과제를 해결하기 위하여 본 발명은 행렬로 이루어진 입력 데이터의 원소들에 각각 대응하는 복수 개의 입력단들, 행렬로 이루어진 출력 데이터의 원소들에 각각 대응하는 복수 개의 출력단들, 상기 입력단들과 전기적으로 연결되고 서로 평행하게 배치되는 제1 도전 라인들, 상기 출력단들과 전기적으로 연결되고 상기 제1 도전 라인들과 교차하는 제2 도전 라인들을 포함하고, 상기 입력 데이터는 n×n 크기를 갖는 수용 영역들로 구획되어 하나의 상기 수용 영역의 원소들에 대응하는 입력단들은 하나의 입력단 그룹으로 정의되고, 상기 입력단 그룹과 전기적으로 연결되는 상기 제1 도전 라인들은 하나의 상기 제2 도전 라인과 노드 그룹을 통해 전기적으로 연결되고, 상기 노드 그룹을 이루는 각각의 노드는 저항 변화 메모리이며, 하나의 상기 노드 그룹을 이루는 각각의 노드는 커널 행렬을 구성하는 원소 값에 대응하는 저항 값을 갖고, 모든 상기 노드 그룹들이 동일한 저항 배열을 가지며, 상기 제1 도전 라인들과 상기 제2 도전 라인들이 상하로 교차하는 점들에서 상기 제1 도전 라인들과 상기 제2 도전 라인들 사이에 저항 변화층들이 형성되고, 상기 노드가 형성되는 점의 상기 저항 변화층에만 선택적으로 도전 통로가 형성되고, 상기 도전 통로의 전도도는 상기 커널 행렬의 원소 값에 대응하는 커널 하드웨어 시스템을 제공한다.
본 발명의 일 실시예는 불필요한 도전 라인을 제거한 평행형 커널 하드웨어 시스템을 제공한다. 평행형 커널 하드웨어 시스테에서 상기 복수 개의 입력단들은 서로 일정 거리 이격되어 제1 직선 상에 배치되고, 상기 복수 개의 출력단들은 서로 일정 거리 이격되어 제1 직선과 평행한 제2 직선 상에 배치되고, 상기 제1 도전 라인들은 각각 상기 입력단으로부터 시작하여 상기 노드들이 형성된 영역까지만 연장되고, 상기 제2 도전 라인들은 각각 상기 출력단으로부터 시작하여 상기 노드들이 형성된 영역까지만 연장되고, 상기 제1 도전 라인과 상기 제2 도전 라인은 서로 직교할 수 있다.
삭제
본 발명의 일 실시예는 3차원 적층을 통하여 필요 면적을 감소시킨 3차원 커널 하드웨어 시스템을 제공한다. 3차원 커널 하드웨어 시스템에서 상기 제1 도전 라인들은 서로 이격되어 기판 상에 상기 기판과 수직하게 배열되고, 상기 제2 도전 라인들은 서로 이격되어 상기 기판 상에 평행하게 적층되고, 상기 제1 도전 라인들과 상기 제2 도전 라인들은 서로 직교할 수 있다.
삭제
상기 제2 도전 라인들은 면적을 가지고, 상기 제2 도전 라인들을 투과하여 상기 제1 도전 라인들이 행렬을 이루며 배열되고, 상기 제1 도전 라인들과 상기 제2 도전 라인들이 교차하는 접촉면에 저항 변화층들이 형성되고, 상기 노드가 형성되는 점의 상기 저항변화층들에만 선택적으로 도전 통로들이 형성되고, 상기 도전 통로의 전도도는 커널 행렬의 원소 값에 대응할 수 있다.
본 발명의 실시예들에서 상기 저항 변화 메모리는 구리, 은 또는 산소 이온의 이동에 의하여 저항 변화를 할 수 있으며, 상기 저항 변화 메모리는, 상기 저항 변화층과, 하부 전극으로서 상기 제1 도전 라인과, 상부 전극으로서 상기 제2 도전 라인으로 이루어질 수 있다.
본 발명은 확장된 수용 영역을 갖는 커널 하드웨어 장치를 제공하여, 저해상도 이미지의 경우 수용 영역(receptive field)의 스캐닝 동작을 필요로 하지 않거나, 고해상도 이미지의 경우 스캐닝 동작을 최소화하여 피쳐 맵을 출력할 수 있다. 따라서 스캐닝 동작에 필요한 시간, 외부 회로로 인한 전력 소모 및 외부 회로 면적을 감소시킬 수 있다.
또한, 국부적(localized) 연결만을 필요로 하는 합성곱 신경망의 특성을 적용하여 크로스 포인트 어레이 구조의 면적을 큰 폭으로 감소시킨 평행형 커널 하드웨어 시스템을 제공한다.
출력단들과 전기적으로 연결되는 제2 도전 라인들이 기판과 평행하게 적층되고, 입력단들과 전기적으로 연결되는 제1 도전 라인들이 기판과 수직으로 배열되는 3차원 커널 하드웨어 시스템은 작은 면적을 최대한으로 활용할 수 있어 집적화에 유리하다. 또한 제1 도전 라인들이 행렬로 배열되는 경우 커널 하드웨어 시스템의 직관적인 이해를 가능하게 한다.
본 발명의 기술적 효과들은 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 합성곱 신경망 시스템의 동작을 설명하기 위한 개략도이다.
도 2는 합성곱 신경망 시스템의 입력데이터 행렬과 출력 데이터 행렬 및 커널 행렬의 연결을 도시하는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 커널 하드웨어 시스템을 도시하는 회로도이다.
도 4는 본 발명의 일 실시예에 따라 복수 개의 입력단들이 배치되는 제1 직선과 복수 개의 출력단들이 배치되는 제2 직선이 서로 직교하는 직교형 커널 하드웨어 시스템을 도시하는 회로도이다.
도 5는 본 발명의 일 실시예에 따라 복수 개의 입력단들이 배치되는 제1 직선과 복수 개의 출력단들이 배치되는 제2 직선이 서로 평행한 평행형 커널 하드웨어 시스템을 도시하는 회로도이다.
도 6은 직교형 커널 하드웨어 시스템과 평행형 커널 하드웨어 시스템의 면적을 비교하기 위한 비교도이다.
도 7은 본 발명의 일 실시예에 따른 3차원 커널 하드웨어 시스템을 도시하는 단면도이다.
도 8은 본 발명의 일 실시예에 따른 3차원 커널 하드웨어 시스템을 도시하는 평면도이다.
도 9는 본 발명의 일 실시예에 따른 3차원 커널 하드웨어 시스템의 동작을 설명하기 위한 개략도들이다.
본 발명이 여러 가지 수정 및 변형을 허용하면서도, 그 특정 실시예들이 도면들로 예시되어 나타내어지며, 이하에서 상세히 설명될 것이다. 그러나 본 발명을 개시된 특별한 형태로 한정하려는 의도는 아니며, 오히려 본 발명은 청구항들에 의해 정의된 본 발명의 사상과 합치되는 모든 수정, 균등 및 대용을 포함한다.
층, 영역 또는 기판과 같은 요소가 다른 구성요소 "상(on)"에 존재하는 것으로 언급될 때, 이것은 직접적으로 다른 요소 상에 존재하거나 또는 그 사이에 중간 요소가 존재할 수도 있다는 것을 이해할 수 있을 것이다.
비록 제1, 제2 등의 용어가 여러 가지 요소들, 성분들, 영역들, 층들 및/또는 지역들을 설명하기 위해 사용될 수 있지만, 이러한 요소들, 성분들, 영역들, 층들 및/또는 지역들은 이러한 용어에 의해 한정되어서는 안 된다는 것을 이해할 것이다.
이하 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하 도면상의 동일한 구성 요소에 대하여는 동일한 참조 부호를 사용하고, 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 합성곱 신경망 시스템의 동작을 설명하기 위한 개략도이다.
합성곱 신경망은 입력 데이터(110)를 구성하는 전체 원소(X1, X2, X3...)가 출력 데이터를 구성하는 원소(Y1, Y2, Y3...) 각각에 모두 연결되는 것이 아니라(fully-connected), 출력 데이터의 원소 각각은 입력 데이터를 구성하는 전체 원소 중 제한된 특정 영역에 의하여만 영향을 받는다는 가정 하에 동작한다.
도 1을 참조하면, 입력 데이터(110)는 3×3 크기의 행렬이고 출력 데이터(130)는 2×2 크기의 행렬일 때, 출력 데이터 행렬(130)을 이루는 원소 하나(Y1)는 입력 데이터 행렬의 수용 영역(receptive field) 내의 원소들에만 영향을 받는 것을 확인할 수 있다. 입력 데이터의 제1 수용 영역 내의 원소들(X1, X2, X4, X5)은 특징(feature)을 추출하기 위하여 각각 가중치(K1, K2, K3, K4)가 부여되고, 수용 영역 내의 원소들과 가중치를 내적한 값들의 합산 값이 출력 데이터의 원소(Y1)가 된다. 이 때 가중치는 추출하고자 하는 이미지의 특징에 따라 다른 값을 가지게 되고, 가중치 값들을 원소로 가지는 행렬을 커널 행렬(Kernel Matrix, 120)로 정의한다.
입력 데이터(110)를 스캐닝 하기 위해 수용 영역은 순차적으로 이동하며, 수용 영역이 이동하더라도 동일한 커널 행렬이 적용되어 출력 데이터의 원소를 도출한다. 즉 출력 데이터의 원소 Y2는 입력 데이터의 제2 수용 영역의 원소들(X2, X3, X5, X6)에 커널 행렬의 원소들(K1, K2, K3, K4) 각각을 내적한 값의 합산 값이 된다.
도 2는 합성곱 신경망 시스템의 입력데이터 행렬과 출력 데이터 행렬 및 커널 행렬의 연결을 도시하는 개략도이다.
도 2를 참조하면, 커널 행렬의 원소들(K1, K2, K3, K4)에 각각 색을 부여하여 선으로 나타내면, 수용 영역이 이동하며 입력 데이터 전체를 스캐닝 하였을 때 입력 데이터 행렬의 원소들(X1, X2, X3...)과 출력 데이터 행렬의 원소들(Y1, Y2, Y3...) 사이의 전체 연결 관계를 확인할 수 있다.
Y1은 X1, X2, X4, X5와 각각 K1, K2, K3, K4를 통하여 연결되고, Y2는 X2, X3, X5, X6와 각각 K1, K2, K3, K4를 통하여 연결된다. 즉 하나의 출력 데이터 원소는 입력 데이터 원소 그룹과 연결되며, 연결선에 부여되는 가중치의 배열은 동일하다.
이러한 전체 연결 관계를 하드웨어로 구현하면 입력 데이터를 구획하여 수용 영역을 이동하며 스캐닝 하는 동작을 최소화할 수 있다. 즉, 입력 이미지가 저해상도 이미지일 경우, 입력 데이터 전체를 한 번에 입력하여 스캐닝 하는 동작 없이 출력 데이터를 도출할 수 있다. 또는 입력 이미지가 고해상도 이미지일 경우에도, 본 발명의 커널 하드웨어 시스템이 입력 받을 수 있는 입력 데이터가 확장된 수용 영역(extended receptive field)로 이용되어 스캐닝 동작을 최소화할 수 있다.
실시예 1 : 직교형 커널 하드웨어 시스템
도 3은 본 발명의 일 실시예에 따른 커널 하드웨어 시스템을 도시하는 회로도이다.
도 3을 참조하면, 커널 하드웨어 시스템은 행렬로 이루어진 입력 데이터의 원소들에 각각 대응하는 복수 개의 입력단들(10), 행렬로 이루어진 출력 데이터의 원소들에 각각 대응하는 복수 개의 출력단들(30), 상기 입력단들(10)과 전기적으로 연결되고 서로 평행하게 배치되는 제1 도전 라인들(40), 상기 출력단들(30)과 전기적으로 연결되고 상기 제1 도전 라인들(40)과 교차하는 제2 도전 라인들(50)을 포함한다.
상기 입력 데이터는 n×n 크기를 갖는 수용 영역들로 구획되어, 하나의 수용 영역을 구성하는 원소들에 대응하는 입력단들은 하나의 입력단 그룹으로 정의된다. 예를 들어 제1 수용 영역을 구성하는 원소들에 대응하는 제1 입력단 그룹(11)은 X1, X2, X4, X5 입력단을 포함한다.
상기 제1 입력단 그룹(11)과 전기적으로 연결되는 상기 제1 도전 라인들(41, 42, 44, 45)은 하나의 제2 도전 라인(51)과 제1 노드 그룹(21)을 통해 전기적으로 연결된다. 상기 제1 입력단 그룹(11)에 인가된 전기적 신호는 제1 노드 그룹(21)에 의하여 가중치를 부여받고, 제2-1 도전라인(51)을 통하여 합산되어 Y1 출력단(31)으로 출력된다. 마찬가지로, 제2 입력단 그룹(11)과 전기적으로 연결되는 제1 도전 라인들(42, 43, 45, 46)은 제2-2 도전 라인(52)과 제2 노드 그룹(22)을 통해 전기적으로 연결된다.
즉, 수용 영역들에 대응하는 입력단 그룹은 그 수용 영역에 영향을 받는 출력 데이터 원소에 대응하는 출력단과 노드 그룹을 통하여 전기적으로 연결된다. 반면, 이러한 지역적(localized) 영향을 받지 않는 입력단과 출력단은 전기적으로 절연된다.
상기 노드 그룹(20)을 이루는 각각의 노드는 저항 변화 메모리일 수 있다. 예를 들어, 상기 제1 도전 라인들(40)과 상기 제2 도전 라인들(50)은 상하로 서로 교차하며 저항 변화 메모리의 상부 전극과 하부 전극을 형성하고, 도전 라인들의 교차점에서 도전 라인들 사이에 저항 변화층이 형성될 수 있다.
각각의 노드 그룹(20)은 커널 행렬을 구성하는 원소 값에 대응하는 저항 값을 갖는다. 즉, 입력 데이터에서 특징을 추출하기 위하여 적용되는 커널 행렬이 갖는 가중치 값이 저항 또는 전도도로 변환되어 저항 변화 메모리에 저장된다. 각각의 수용 영역들에 동일한 커널 행렬이 적용되므로, 마찬가지로 각각의 입력단 그룹에 적용되는 각각의 노드 그룹(20)들은 동일한 저항 배열을 갖는다. 즉 제1 노드 그룹(21)을 구성하는 1-1 노드와 제2 노드 그룹(22)을 구성하는 2-1 노드는 동일한 저항 값을 갖고, 1-2 노드와 2-2 노드는 동일한 저항 값을 갖는다.
상기 저항변화 메모리는 구리, 은 또는 산소 이온의 이동에 의하여 저항 또는 전도도가 변화할 수 있다. 즉, 저항 변화 메모리는 상기 상부 전극과 하부 전극에 해당하는 상기 제1 도전 라인(40)과 제2 도전 라인(50) 사이의 전압 차에 의하여 이온들이 도전 통로를 형성함으로서 변화된 저항 또는 전도도 값을 저장할 수 있다.
저해상도 입력 이미지의 전체, 또는 고해상도 입력 이미지의 일부 영역이 입력 단을 통하여 행렬 데이터의 형식으로 한 번에 입력된다. 각 출력단은 노드 그룹(20)을 통하여 전기적으로 연결된 입력단 그룹에 입력된 값에만 영향을 받는다. 각 입력단에 전류 또는 전압으로 인가된 전기적 신호는 노드의 전도도 또는 저항 값에 의하여 변환되고, 변환된 전기적 신호들은 제2 도전 라인을 따라 합산되어 출력단을 통하여 출력된다.
도 4는 본 발명의 일 실시예에 따라 복수 개의 입력단들이 배치되는 제1 직선과 복수 개의 출력단들이 배치되는 제2 직선이 서로 직교하는 직교형 커널 하드웨어 시스템을 도시하는 회로도이다.
도 4를 참조하면, 입력 데이터 행렬은 6×6 크기를 갖고, 출력 데이터 행렬은 4×4 크기를 가지며, 수용 영역은 3×3 크기를 갖는 것을 확인할 수 있다. 입력 데이터의 크기, 출력 데이터의 크기 및 수용 영역의 크기에 따라 각각 입력단의 수, 출력단의 수 및 노드 그룹을 구성하는 노드의 수가 달라질 수 있다.
본 실시예에 따라, 입력단들(10)이 배치되는 제1 직선(71)과 출력단들(30)이 배치되는 제2 직선(73)이 서로 직교하는 일반적인 크로스 포인트 어레이를 본 발명의 커널 하드웨어 시스템에 적용하는 경우 불필요한 교차점들이 존재하는 것을 확인할 수 있다. 즉, X1과 전기적으로 연결되는 제1-1 도전 라인(41)은 16개의 제2 도전 라인들(50)과 교차점을 갖지만, 그 중 노드가 형성되는 지점은 제1-1 도전 라인(41)과 제2-1 도전 라인(51)이 교차하는 점 뿐이다. 나머지 교차점들은 전기적으로 연결되지 않는 불필요한 영역이다.
따라서 불필요한 배선으로 인한 전력 손실을 감소시키고, 소자를 최소화하여 고집적이 가능하게 하기 위한 구조가 제안된다.
실시예 2 : 평행형 커널 하드웨어 시스템
도 5는 본 발명의 일 실시예에 따라 복수 개의 입력단들이 배치되는 제1 직선과 복수 개의 출력단들이 배치되는 제2 직선이 서로 평행한 평행형 커널 하드웨어 시스템을 도시하는 회로도이다.
도 5를 참조하면, 제2 실시예에 따른 커널 하드웨어 시스템은 서로 일정 거리 이격되어 제1 직선을 따라 배치되는 복수 개의 입력단들(10), 서로 일정 거리 이격되어 상기 제1 직선과 평행한 제2 직선을 따라 배치되는 복수 개의 출력단들(30), 상기 입력단들(10)과 전기적으로 연결되고 서로 평행하게 배치되는 제1 도전 라인들(40), 상기 출력단들(30)과 전기적으로 연결되고 상기 제1 도전 라인들(40)과 교차하는 제2 도전 라인들(50)을 포함한다.
제1 도전 라인들(40)과 제2 도전 라인들(50)은 서로 직교하고, 상기 도전 라인들(40, 50)은 각각 입력단 또는 출력단으로부터 시작하여 노드들이 형성된 영역까지만 연장된다.
예를 들어, X1과 연결되는 제1-1 도전 라인(41)은 제2-1 도전 라인(51)과 교차하는 점에 마지막 노드가 위치한다. 따라서 제1-1 도전 라인(41)은 입력단 X1으로부터 제2-1 도전 라인(51)과의 교차점 까지 연장된다. 마찬가지로, X2와 연결되는 제1-2 도전 라인(42)은 제2-2 도전 라인(52)과 교차하는 점에 상기 입력단 X2로부터 가장 먼 노드가 위치한다. 따라서 제1-2 도전 라인(42)은 입력단 X2로부터 제2-2 도전 라인(52)과의 교차점까지 연장된다. 제2 도전 라인들(50)의 경우에도 마찬가지로 적용되어, 제2-1 도전 라인(51)의 경우, 출력단 Y1으로부터 가장 먼 노드는 제1-15 도전 라인과의 교차점에 위치한다. 따라서 제2-1 도전 라인(51)은 출력단 Y1으로부터 제1-15 도전라인과의 교차점까지 연장된다.
도 6은 직교형 커널 하드웨어 시스템과 평행형 커널 하드웨어 시스템의 면적을 비교하기 위한 비교도이다.
도 6을 참조하면, 직교형 커널 하드웨어 시스템(a)의 경우 전기적인 연결이 없는 불필요한 교차점까지 도전 라인들이 연장되어 넓은 면적을 차지하는 반면, 평행형 커널 하드웨어 시스템(b)의 경우 전기적인 연결이 없는 교차점들을 대부분 제거하여 노드가 형성된 면적만을 차지하는 것을 확인할 수 있다.
따라서 제2 실시예에 따른 평행형 커널 하드웨어 시스템(b)을 이용하는 경우 시스템의 고집적화가 가능하며, 불필요한 도전 라인들로 인한 전력 소모를 감소시킬 수 있다. 또한 입력 라인과 출력 라인이 평행하게 배치됨에 따라 레이어 간의 연결을 손쉽게 구현할 수 있다.
실시예 3 : 3차원 커널 하드웨어 시스템
도 7은 본 발명의 일 실시예에 따른 3차원 커널 하드웨어 시스템을 도시하는 단면도이다.
도 7을 참조하면, 제3 실시예에 따른 커널 하드웨어 시스템은 기판(500), 행렬로 이루어진 입력 데이터의 원소들에 각각 대응하는 복수 개의 입력단들(10), 행렬로 이루어진 출력 데이터의 원소들에 각각 대응하는 복수 개의 출력단들(30), 기판(500) 상에 상기 기판(500)과 수직하게 서로 이격되어 배열된 제1 도전 라인들(540). 상기 기판(500) 상에 상기 기판(500)과 평행하게 적층된 제2 도전 라인들(550)을 포함한다.
상기 제1 도전 라인들(540)의 외주를 따라 상기 제1 도전 라인들(540)과 상기 제2 도전 라인들(550) 사이에 저항 변화층(570)이 형성된다.
상기 제1 도전 라인들(540)과 제2 도전 라인들(550)의 교차점에 위치하는 저항 변화층(570) 중 노드가 형성되는 점(560)의 저항 변화층에만 선택적으로 도전 통로들이 형성되고, 그 외의 부분은 절연 상태 또는 고저항 상태를 유지할 수 있다.
제2 도전 라인들(550) 사이에는 제2 도전 라인들(550)을 절연하고 구조를 유지하기 위한 절연층들(580)이 형성될 수 있다. 즉, 제2 도전 라인들(550)과 절연층들(580)은 교대로 적층된 구조를 가질 수 있다.
실시예 3에 따른 3차원 커널 하드웨어 시스템을 적용할 경우, 소자에 필요한 면적을 최소화하여 고집적화가 가능하다.
도 8은 본 발명의 일 실시예에 따른 3차원 커널 하드웨어 시스템을 도시하는 평면도이다.
도 8을 참조하면, 도 7에서 도시한 것과 같이 입력단들(10)은 직선을 따라 일렬로 배열(a)되거나, 입력 데이터와 같이 행렬을 이루며 배열(b)될 수 있다. 입력단들(10)은 본 실시예에 도시된 것에 제한되지 아니하고 경우에 따라 다양한 배열을 가질 수 있다.
도 9는 본 발명의 일 실시예에 따른 3차원 커널 하드웨어 시스템의 동작을 설명하기 위한 개략도들이다.
도 9 (a)를 참조하면, 도 8(b)에 도시된 것과 같이 입력단들이 행렬을 이루며 배열되고, 입력단들에 연결된 제1 도전 라인들(40)도 행렬을 이루게 된다. 제1 도전 라인들(40)과 제2 도전 라인(50)이 교차하는 점을 도 9 (b)에 평면도로 도시하였다.
일 실시예에서, 각 도전 라인들(50)은 3×3 크기의 행렬로 배열된 교차점들을 갖는다. 이 때 제2-1 도전 라인(51)의 교차점들 중 (1,1), (1,2), (2,1), (2,2)의 교차점에 제1 노드 그룹(21)이 형성된다. 마찬가지로 제2-2 도전 라인(51)의 교차점들 중 (1,2), (1,3), (2,2), (2,3)의 교차점에 제2 노드 그룹(22)이 형성된다.
입력 데이터는 제1 도전 라인들(40)을 통하여 전기적 신호로 인가되고, 동시에 노드 그룹들(20)을 통하여 제2 도전 라인들(50)로 전달된다. 각각의 노드 그룹들(20)은 동일한 저항 배열을 가진다. 인가된 입력 데이터는 노드 그룹들(20)을 거쳐 변환되고 제2 도전라인들(50)을 통하여 합산된 값이 출력단을 통하여 출력된다.
본 발명에 따른 커널 하드웨어 시스템은 수용 영역보다 큰 확장된 수용 영역 또는 이미지 전체를 입력시킬 수 있어 스캐닝 동작을 최소화 할 수 있다. 또한 커널 하드웨어 시스템이 차지하는 면적을 최소화하여 시스템의 고집적화를 가능하게 하였다.
110 : 입력 데이터 행렬 120 : 커널 행렬
130 : 출력 데이터 행렬
10 : 입력단들 11 : 제1 입력단 그룹
20 : 노드 그룹들 21 : 제1 노드 그룹
30 : 출력단들 40 : 제1 도전 라인들
50 : 제2 도전 라인들 71 : 제1 직선
73 : 제2 직선
500 : 기판 540 : 제1 도전 라인들
550 : 제2 도전 라인들 560 : 노드들
570 : 저항 변화층 580 : 절연층들

Claims (8)

  1. 행렬로 이루어진 입력 데이터의 원소들에 각각 대응하는 복수 개의 입력단들;
    행렬로 이루어진 출력 데이터의 원소들에 각각 대응하는 복수 개의 출력단들;
    상기 입력단들과 전기적으로 연결되고 서로 평행하게 배치되는 제1 도전 라인들;
    상기 출력단들과 전기적으로 연결되고 상기 제1 도전 라인들과 교차하는 제2 도전 라인들을 포함하고,
    상기 입력 데이터는 n×n 크기를 갖는 수용 영역들로 구획되어 하나의 상기 수용 영역의 원소들에 대응하는 입력단들은 하나의 입력단 그룹으로 정의되고,
    상기 입력단 그룹과 전기적으로 연결되는 상기 제1 도전 라인들은 하나의 상기 제2 도전 라인과 노드 그룹을 통해 전기적으로 연결되고,
    상기 노드 그룹을 이루는 각각의 노드는 저항 변화 메모리이며,
    하나의 상기 노드 그룹을 이루는 각각의 노드는 커널 행렬을 구성하는 원소 값에 대응하는 저항 값을 갖고,
    모든 상기 노드 그룹들이 동일한 저항 배열을 가지며,
    상기 제1 도전 라인들과 상기 제2 도전 라인들이 상하로 교차하는 점들에서 상기 제1 도전 라인들과 상기 제2 도전 라인들 사이에 저항 변화층들이 형성되고,
    상기 노드가 형성되는 점의 상기 저항 변화층에만 선택적으로 도전 통로가 형성되고,
    상기 도전 통로의 전도도는 상기 커널 행렬의 원소 값에 대응하는 커널 하드웨어 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 복수 개의 입력단들은 서로 일정 거리 이격되어 제1 직선 상에 배치되고,
    상기 복수 개의 출력단들은 서로 일정 거리 이격되어 제1 직선과 평행한 제2 직선 상에 배치되고,
    상기 제1 도전 라인들은 각각 상기 입력단으로부터 시작하여 상기 노드들이 형성된 영역까지만 연장되고,
    상기 제2 도전 라인들은 각각 상기 출력단으로부터 시작하여 상기 노드들이 형성된 영역까지만 연장되고,
    상기 제1 도전 라인과 상기 제2 도전 라인은 서로 직교하는 커널 하드웨어 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 제1 도전 라인들은 서로 이격되어 기판 상에 상기 기판과 수직하게 배열되고,
    상기 제2 도전 라인들은 서로 이격되어 상기 기판 상에 평행하게 적층되고,
    상기 제1 도전 라인들과 상기 제2 도전 라인들은 서로 직교하는 커널 하드웨어 시스템.
  6. 제5항에 있어서,
    상기 제2 도전 라인들은 면적을 가지고,
    상기 제2 도전 라인들을 투과하여 상기 제1 도전 라인들이 행렬을 이루며 배열되고,
    상기 제1 도전 라인들과 상기 제2 도전 라인들이 교차하는 접촉면에 저항 변화층들이 형성되고,
    상기 노드가 형성되는 점의 상기 저항변화층들에만 선택적으로 도전 통로들이 형성되고,
    상기 도전 통로의 전도도는 커널 행렬의 원소 값에 대응하는 커널 하드웨어 시스템.
  7. 제1항에 있어서,
    상기 저항 변화 메모리는 구리, 은 또는 산소 이온의 이동에 의하여 저항 변화를 하는 커널 하드웨어 시스템.
  8. 제1항에 있어서,
    상기 저항 변화 메모리는, 상기 저항 변화층과, 하부 전극으로서 상기 제1 도전 라인과, 상부 전극으로서 상기 제2 도전 라인으로 이루어지는 커널 하드웨어 시스템.
KR1020170183339A 2017-12-29 2017-12-29 커널 하드웨어 장치 KR102130532B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170183339A KR102130532B1 (ko) 2017-12-29 2017-12-29 커널 하드웨어 장치
PCT/KR2018/015532 WO2019132308A1 (ko) 2017-12-29 2018-12-07 커널 하드웨어 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183339A KR102130532B1 (ko) 2017-12-29 2017-12-29 커널 하드웨어 장치

Publications (2)

Publication Number Publication Date
KR20190081054A KR20190081054A (ko) 2019-07-09
KR102130532B1 true KR102130532B1 (ko) 2020-07-07

Family

ID=67067735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183339A KR102130532B1 (ko) 2017-12-29 2017-12-29 커널 하드웨어 장치

Country Status (2)

Country Link
KR (1) KR102130532B1 (ko)
WO (1) WO2019132308A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120313072A1 (en) * 2011-06-13 2012-12-13 Ingyu Baek Three-dimensional semiconductor memory devices having double cross point array and methods of fabricating the same
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4922375B2 (ja) * 2009-09-18 2012-04-25 株式会社東芝 抵抗変化型メモリ
KR101788829B1 (ko) * 2015-08-24 2017-10-20 (주)뉴로컴즈 콘볼루션 신경망 컴퓨팅 장치
US9904874B2 (en) * 2015-11-05 2018-02-27 Microsoft Technology Licensing, Llc Hardware-efficient deep convolutional neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120313072A1 (en) * 2011-06-13 2012-12-13 Ingyu Baek Three-dimensional semiconductor memory devices having double cross point array and methods of fabricating the same
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array

Also Published As

Publication number Publication date
KR20190081054A (ko) 2019-07-09
WO2019132308A1 (ko) 2019-07-04

Similar Documents

Publication Publication Date Title
US11941515B2 (en) Memristive nanofiber neural networks
US11423296B2 (en) Device and method for distributing convolutional data of a convolutional neural network
US11055608B2 (en) Convolutional neural network
Camunas-Mesa et al. An event-driven multi-kernel convolution processor module for event-driven vision sensors
Wu et al. Homogeneous spiking neuromorphic system for real-world pattern recognition
US20150088797A1 (en) Synapse circuits for connecting neuron circuits, unit cells composing neuromorphic circuit, and neuromorphic circuits
CN106201131A (zh) 指纹传感器集成式触摸屏面板
CN107851215A (zh) 神经突触芯片的三维整合
US20150286926A1 (en) Anti-hebbian and hebbian computing with thermodynamic ram
CN107368889A (zh) 基于阻变存储器三维交叉阵列的卷积、池化和激活电路
US10417475B1 (en) Fingerprint sensing circuit, electronic device and method for processing fingerprint image
CN112836810A (zh) 使用交叉阵列的电子装置以及数据处理方法
KR102130532B1 (ko) 커널 하드웨어 장치
KR20190059397A (ko) 교차점 어레이를 이용한 신경 연결망 및 그 패턴 인식방법
US3496382A (en) Learning computer element
CN114239466A (zh) 基于忆阻器bam实现多模态信息融合联想的电路及其应用
WO2021133499A1 (en) Systems and methods for accelerated neural-network convolution and training
WO2004049347A1 (en) Stacked memory device having shared bitlines
KR20230126240A (ko) 3차원 적층 신호 분배망 구조의 뉴로모픽 반도체
Oruç One-sided binary tree-crossbar switching for on-chip networks
CN111009514B (zh) 用于半导体装置的电容元件单元及其半导体装置
CN111738429B (zh) 一种计算装置及相关产品
EP4071761A1 (en) Method and apparatus for performing a mac operation in a memory array
US20230022347A1 (en) Memory array with programmable number of filters
CN115910136A (zh) 一种基于电阻式存储器的卷积加速运算阵列及其控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant