KR20200067664A - 기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법 - Google Patents

기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법 Download PDF

Info

Publication number
KR20200067664A
KR20200067664A KR1020180154758A KR20180154758A KR20200067664A KR 20200067664 A KR20200067664 A KR 20200067664A KR 1020180154758 A KR1020180154758 A KR 1020180154758A KR 20180154758 A KR20180154758 A KR 20180154758A KR 20200067664 A KR20200067664 A KR 20200067664A
Authority
KR
South Korea
Prior art keywords
machine learning
mac
quadratic
unit
accumulation
Prior art date
Application number
KR1020180154758A
Other languages
English (en)
Other versions
KR102243837B1 (ko
Inventor
조성환
서진오
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180154758A priority Critical patent/KR102243837B1/ko
Publication of KR20200067664A publication Critical patent/KR20200067664A/ko
Application granted granted Critical
Publication of KR102243837B1 publication Critical patent/KR102243837B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/16—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Power Engineering (AREA)
  • Neurology (AREA)
  • Feedback Control In General (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)

Abstract

본 발명의 실시 예에 따른 기계 학습 연산에 이용되는 곱셈 및 누산(MAC) 연산 회로는, 일단이 공급전압단에 연결되는 저항부; 상기 저항부의 타단과, 그라운드와 연결된 스위치 사이에 병렬 연결되며, 제어부의 제어 신호에 따른 상기 스위치의 스위칭에 따라, 기계 학습용 입력 값에 대응하는 게이트 신호를 인가받아, 기계 학습용 가중치 값이 적용된 전류 신호를 출력하는 복수의 단일 MOS 트랜지스터 소자; 및 상기 저항부의 타단 노드에 연결되어 상기 복수의 단일 MOS 트랜지스터 소자들의 전류 출력을 누산하여 출력하는 출력노드를 포함한다.

Description

기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법{A ANALOG CIRCUIT PROCESSING CALCULATION OF MACHINE LEARNING, A MEHTOD AND AN APPRATUS USING IT}
본 발명은 기계 학습 연산에 관한 것으로, 보다 구체적으로는 기계 학습 연산을 처리하는 아날로그 회로 및 이를 이용한 학습 장치와 학습 연산 방법에 관한 것이다.
사람의 두뇌와 같이 정보처리를 구현할 수 있는 뉴럴 네트워크는 새로운 미래 정보시스템으로 많은 주목을 받고 있다. 이러한 뉴럴 네트워크는 인공위성에서의 사진촬영, 우주선 조정 시스템, 우주비행 경로 시뮬레이션 등과 같은 미래 우주연구사업과 목적물 추적장치, 이미지 신호처리와 같은 고부가가치 미래산업에 그 활용가능성이 매우 크다.
뉴럴 네트워크에서 뉴런 사이의 시냅스 부분은 비휘발성 "메모리"와 "학습"특성을 가지고 있어서, 신호를 저장하고 저장된 정보를 인식, 발전(learning)시키는 적응형 학습특성을 담당하고 있다. 여기서, 기계 학습은 소자가 수 차례의 일반적인 신호를 처리한 후에 소자특성이 변화하는 것으로 정의될 수 있다. 그러나 시넵스 부분의 이러한 학습 특성은 플로팅-게이트(floating-gate)소자를 사용한 뉴럴 네트워크에 대한 많은 연구에도 불구하고 웨이트 조절능력과 조절시간 등에 관련한 부분이 아직 확실하게 해결되어 있지 않은 실정이다
이에 따라, 현재는 뉴럴 네트워크 기반의 디지털 기계 학습을 이용하며, 이는 클라우드(cloud) 네트워크를 통해 다량의 데이터를 송신해 원격으로 트레이닝 및 학습 한 뒤 그 결과값을 수신하여 처리하는 방식으로 발전해오고 있다. 최근 이러한 기계 학습 알고리즘은 이미지 인식, 특징 추출 등을 처리하기 위한 컴퓨터 및 모바일 디바이스 기반의 네트워크 어플리케이션의 형태로 구현되고 있다.
그러나, 현재의 네트워크 기반 기계 학습 프로세스는 클라우드 네트워크를 위한 데이터 통신을 기반으로 하기 때문에 전력 소모가 심각한 수준으로 발생하고 있다.
특히, 사물 인터넷 디바이스나 스마트폰과 같은 모바일 디바이스에서 기계 학습 연산을 처리하게 하는 경우 급격한 배터리 소모로 인해 정상적인 수준의 학습이 지속적으로 처리되지 못하는 문제점이 있다.
이러한 문제점들을 통합적으로 해결하기 위해, 원격 데이터 송수신이 아닌 기계 학습 처리 소자를 임베디드 반도체 기반의 온 칩으로 구현하여, 모바일 등의 경량화된 디바이스에도 탑재시키고자 하는 노력이 이루어지고 있다.
이를 통상적으로 인공지능 칩 또는 기계 학습 프로세서라고 할 수 있으며, 현재 이를 기반으로 동작하는 기계 학습 프로세서를 엣지 컴퓨팅이라고 칭하고 있고 이에 대한 연구가 이루어지고 있다.
다만, 현재까지 개발된 임베디드 기계 학습 칩은 디지털 곱셈 및 누산기(MAC) 회로를 포함하는 별도의 컴퓨팅 연산 유닛을 탑재시키는 것으로서, 기계 학습용 뉴럴 네트워크 구동을 위한 디지털 클럭 및 메모리를 필수적으로 요구하고 있다.
특히, 이러한 클럭 및 메모리 요구량은 뉴럴 네트워크의 처리 속도 및 학습량 증가에 따라 지속적으로 확장 요구되고 있으며, 이는 높은 전력 소모와 대역폭을 요구하게 되며, 이러한 문제로 인해 제한된 연산량만을 처리할 수 있고, 연산 정확도도 떨어지는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점들 및 현재 기술의 한계점을 해결하고자 고안된 것으로, 디지털 클럭 및 디지털 메모리가 요구되지 않는 기계 학습용 아날로그 회로를 이용하여, 전력 소모를 최소화하면서도 높은 처리속도와 연산 정확성을 갖는 기계 학습 프로세서를 온 칩으로 구현할 수 있는 기계 학습용 아날로그 회로와, 이를 이용한 학습 장치 및 그 동작 방법을 제공하는데 그 목적이 있다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 회로는, 기계 학습 연산에 이용되는 곱셈 및 누산(MAC) 연산 회로에 있어서, 일단이 공급전압단에 연결되는 저항부; 상기 저항부의 타단과, 그라운드와 연결된 스위치 사이에 병렬 연결되며, 제어부의 제어 신호에 따른 상기 스위치의 스위칭에 따라, 기계 학습용 입력 값에 대응하는 게이트 신호를 인가받아, 기계 학습용 가중치 값이 적용된 전류 신호를 출력하는 복수의 단일 MOS 트랜지스터 소자; 및 상기 저항부의 타단 노드에 연결되어 상기 복수의 단일 MOS 트랜지스터 소자들의 전류 출력을 누산하여 출력하는 출력노드를 포함한다.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 뉴럴 네트워크 기반 기계 학습 장치에 있어서, 인터페이스부를 통해 입력되는 학습 데이터가 저장되는 데이터 버퍼; 및 상기 학습 데이터에 대응하여 미리 설정된 신경망 학습 모델에 따라 입력 파라미터를 결정하고, 결정된 입력 파라미터를 이용하여 곱셈 및 누산 처리부를 제어하여, 기계 학습을 위한 반복 연산을 처리하는 제어부를 포함하고, 상기 곱셈 및 누산 처리부는, 상기 제어부의 제어에 따라 기계 학습용 입력 값에 대응하는 게이트 신호를 인가받아, 기계 학습용 가중치 값이 적용된 전류 신호를 출력하는 복수의 단일 MOS 트랜지스터 소자를 포함하는 MOS 트랜지스터 기반 아날로그 곱셉 및 누산 처리부를 포함한다.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 뉴럴 네트워크 기반 기계 학습 방법에 있어서, 인터페이스부를 통해 입력되는 학습 데이터가 저장되는 단계; 및 상기 학습 데이터에 대응하여 미리 설정된 신경망 학습 모델에 따라 입력 파라미터를 결정하고, 결정된 입력 파라미터를 이용하여, 기계 학습을 위한 반복적 MAC(곱셈 및 누산) 연산을 처리하는 단계를 포함하고, 상기 반복적 MAC 연산을 처리하는 단계는, 아날로그 MAC 처리부를 이용하여 상기 입력 파라미터의 입력값 및 가중치 값에 대응하는 쿼드라틱 MAC 연산 결과를 획득하는 단계; 상기 쿼드라틱 MAC 연산 결과에 대응하는 쿼드라틱 활성화 함수 적용 처리를 수행하는 단계; 및 상기 활성화 처리된 연산 결과 매트릭스를 출력하는 단계를 포함한다.
한편, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램 및 상기 프로그램이 기록된 기록 매체로 구현될 수 있다.
본 발명의 실시 예에 따르면, 아날로그 회로 기반의 곱셈 및 누산을 처리하는 기계 학습 소자를 이용하여, 전력 소모를 최소화하면서도 높은 처리속도와 연산 정확성을 갖는 기계 학습 프로세서를 온 칩으로 구현할 수 있다.
특히, 기존의 디지털 MAC 방식에서 요구되는 클럭 및 디지털 메모리로 인해, 연산 비트수 및 메모리 접근량 증가에 따른 MAC 면적 크기와 전력 소모가 증가되는 것을 근본적으로 방지함으로써, 온 칩 구현에 따른 모바일 디바이스용 기계 학습 프로세서의 디자인 및 생산을 용이하게 한다.
나아가, 아날로그 회로는 비트 데이터로 구분되지 않는 물리적 전류 합산 기반의 신속한 처리가 가능하게 되며, 이로 인한 데이터 손실을 방지하므로 높은 속도와 저전력 및 신호대 잡음비(SNR) 이득을 가져올 수 있다.
도 1은 본 발명의 실시 예에 따른 학습 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 실시 예에 따른 아날로그 MAC 회로 기반의 신경망 학습 모델 구조를 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 아날로그 MAC 연산부를 회로 스키마로 예시한 도면이다.
도 4는 본 발명의 실시 예에 따른 선택적 정류 연산을 처리하는 활성화 처리부를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 학습 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 쿼드라틱 정류 연산 기반 학습 처리를 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 쿼드라틱 정류 연산 기반 활성화 함수를 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 테스트 결과를 설명하기 위한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시 예들 뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 실시 예에 따른 학습 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 기계 학습 장치(100)는, 인공 신경망(ARTIFICTIAL NEURAL NETWORK) 모델 학습 기반의 트레이닝 데이터 학습 처리와, 학습 처리된 모델을 이용한 입력 데이터의 분류 처리를 수행하여 분류 결과를 출력하는 기계 학습 장치일 수 있다.
이러한 기계 학습 장치(100)는, 하나 이상의 마이크로 프로세서를 포함하는 다양한 컴퓨팅 장치로서 구현될 수 있으며, 예를 들어 퍼스널 컴퓨터, 랩탑 컴퓨터, 서버 장치일 수 있다. 또한, 본 발명의 실시 예에 따른 기계 학습 장치(100)는, 아날로그 곱셈 및 누산(MAC) 연산 회로를 포함하여 최소화된 온 칩 기계 학습 소자로 구현되어, 휴대용 또는 모바일 디바이스에 탑재될 수도 있다.
이를 구현하기 위한 본 발명의 실시 예에 따른 기계 학습 장치(100)는, 인터페이스부(110), 데이터 버퍼(120), 제어부(130), 클럭 생성부(135), MOS 트랜지스터 기반 아날로그 MAC 처리부(140), 풀링부(160) 및 저장부(170)를 포함한다.
먼저, 인터페이스부(110)는, 사용자 입력에 따른 입력 데이터를 입력받아 제어부(130)로 전달하거나, 제어부(130)로부터의 제어 신호에 따라 출력되는 출력정보를 외부로 출력할 수 있다.
또한, 인터페이스부(110)는 기계 학습 장치(100)와 연결된 다른 소자 또는 장치와의 데이터 송수신을 처리할 수 있으며, 신경망 트레이닝을 위한 학습 데이터를 수신 및 변환하여 데이터 버퍼(120)로 저장하거나, 테스트 데이터 입력에 대응하여 데이터 버퍼(120)로부터 출력되는 분류 데이터를 출력할 수 있다.
그리고, 데이터 버퍼(120)는 인터페이스부(110)를 통해 입력된 학습 데이터또는 인터페이스부(110)로 출력할 데이터를 저장 또는 임시 저장할 수 있다.
그리고, 제어부(130)는 클럭 생성부(135)에 따른 클럭 신호에 따라, 기계 학습 장치(100)의 순차적이고 반복적인 동작을 제어하기 위한 하나 이상의 마이크로 프로세서를 포함할 수 있으며, 학습 데이터에 따른 신경망 모델 학습 또는 학습된 모델에 대응하는 테스트 분류 결과 출력 처리를 수행할 수 있다.
여기서, 제어부(130)는 상기 학습 데이터에 대응하여 미리 설정된 신경망 학습 모델에 따라 입력 파라미터를 결정하고, 결정된 입력 파라미터를 이용하여 곱셈 및 누산 처리부를 제어하여, 기계 학습을 위한 반복 연산을 처리할 수 있다.
특히, 본 발명의 실시 예에 따른 제어부(130)는 학습 데이터에 대응하는 입력 파라미터를 결정하고, 이에 따른 MOS 트랜지스터 기반 아날로그 MAC 처리부(140)의 반복적 곱셈 및 누산 제어를 수행할 수 있으며, 그리고, 곱셈 및 누산 제어 처리에 따른 결과 레이어들을 풀링부(160)를 통해 풀링 처리하여, 최적화된 인공 신경망을 구성할 수 있다. 구성된 인공 신경망에 따른 신경망 모델 정보는 저장부(170)에 저장될 수 있다.
보다 구체적으로, 본 발명의 실시 예에 따른 MOS 트랜지스터 기반 아날로그 MAC 처리부(140)는, 단일 곱셈 연산을 수행하는 단일의 MOS 트랜지스터가 복수 개 병렬 연결되고, 각 단일 MOS 트랜지스터가 입력 파라미터의 입력값을 게이트 전압으로 인가받아, MOS 트랜지스터의 폭에 대응하는 가중치 값에 의한 곱 연산된 전류를 출력하며, 상기 전류 출력이 하나의 노드를 통해 합산 출력되어, 결과적으로 쿼드라틱 MAC 연산 전압값이 출력노드에 나타나는 아날로그 MAC 연산 회로를 포함할 수 있다.
제어부(130)는 이러한 MOS 트랜지스터 기반 아날로그 MAC 처리부(140)를 통해 뉴런의 입력 값과 가중치 인가 및 회로의 스위칭 제어를 처리할 수 있다. 그리고, 아날로그 MAC 처리부(140)는 그 결과 값에 대응하는 활성화 함수 처리를 통해 뉴런의 출력 값을 출력할 수 있다.
특히, MOS 트랜지스터 기반 아날로그 MAC 처리부(140)는, 상기 제어부의 제어에 따라 기계 학습용 입력 값에 대응하는 게이트 신호를 인가받아, 기계 학습용 가중치 값이 적용된 전류 신호를 출력하는 복수의 단일 MOS 트랜지스터 소자를 포함하는 MOS 트랜지스터 기반 아날로그 곱셉 및 누산 처리부를 포함할 수 있다.
이에 따라, 각 레이어에 따른 뉴런간 연결 패턴이 아날로그 MAC 처리부(140)를 통해 형성될 수 있으며, 제어부(130)는 풀링부(160)를 통해 특징 값의 배열을 유지하면서 풀링 레이어에 따라 서브샘플링하여 배열 크기를 줄이는 레이어간 풀링 처리를 수행하고, 다시 반복적으로 연결의 입력 및 가중치 정보를 갱신하는 학습 프로세스를 수행하여, 상기 신경망이 형성되도록 처리할 수 있다.
그리고, 제어부(130)는 학습 데이터에 따라 형성된 인공 신경망 모델을 이용하여, 이후의 테스트 데이터 입력을 인가하여 획득되는 분류 값을 출력할 수 있으며, 이에 따른 분류 값은 트레이닝 정확도를 산출하는데 이용될 수 있다.
도 2는 본 발명의 실시 예에 따른 아날로그 MAC 회로 기반의 신경망 학습 모델 구조를 설명하기 위한 도면이며, 도 3은 본 발명의 실시 예에 따른 아날로그 MAC 연산부를 회로 스키마로 예시한 도면이다.
먼저, 도 2를 참조하면, 본 발명의 실시 예에 따른 MOS 트랜지스터 기반 아날로그 MAC 처리부(140)는, 입력값 인가부(145), 가중치 인가부(146), 아날로그 MAC 회로(141), 활성화 처리부(150) 및 출력부(147)를 포함할 수 있으며, 제어부(130)는 각 MOS 트랜지스터 기반 아날로그 MAC 처리부(140)가 신경망 학습 모델의 하나의 뉴런에 대응되도록 구성하여, 그 파라미터와 출력 값들을 저장 및 관리할 수 있다.
그리고, 아날로그 MAC 회로(141)는 도 3에 도시된 바와 같이, 일단이 공급전압(VDD)단에 연결되는 저항부(R)과, 상기 저항부(R)의 타단과, 그라운드와 연결된 스위치(143) 사이에 병렬 연결되며, 제어부(130)의 제어 신호에 따른 상기 스위치의 스위칭에 따라, 기계 학습용 입력 값에 대응하는 게이트 신호(V1, V2, ... VN)를 인가받아, 기계 학습용 가중치 값(W1/L, W2/L, ... WN/L) 이 적용된 전류 신호를 출력하는 복수의 단일 MOS 트랜지스터 소자(141a, 141b, ..., 141n) 및 상기 저항부의 타단 노드에 연결되어 상기 복수의 단일 MOS 트랜지스터 소자(141a, 141b,..., 141n)들의 전류 출력을 누산하여 출력하는 출력노드(Vo)를 포함할 수 있다.
그리고, 예를 들어, 상기 단일 MOS 트랜지스터 소자(141a)는 소스가 상기 스위치(143)에 연결되며, 드레인이 상기 출력노드(Vo)에 연결되는 NMOS 트랜지스터 소자를 포함할 수 있다.
즉, 아날로그 MAC 회로(141)는, 부분 연산을 위한 단일 MOS 트랜지스터 소자들을 복수 개 병렬 연결한 공통 소스 증폭기(common source amplifier)의 형태로 구성될 수 있으며, N개의 입력이 MOS 트랜지스터별 가중치에의해 곱연산되고, 1개의 출력을 통해 합연산되어 출력될 수 있다.
예를 들어, 가중치 연산에 필요한 각 가중치 값은 각 부분 트랜지스터(Single-Tr)의 폭(width)에 대응할 수 있으며, 이는 하드 와이어드된 형태로서 미리 결정되어 있는 값일 수 있다.
이와 같이 구성된 아날로그 MAC 회로(141)의 연산 회로는, 단일의 MOS 트랜지스터가 게이트 단자로 입력되는 입력 전압을 입력 값으로 하여, 가중치에 따라 곱연산 처리된 전류 신호가 출력단(Vo)으로 출력되도록 함으로써, 별도의 누산 유닛이나 프로세서 없이도, 전류 도메인에서 바로 누산된 결과를 출력 전압으로 나타나게 할 수 있다.
따라서, 별도의 클럭을 사용하지 않고도 아날로그 MAC 회로(141)에로 인가된 신호는 아날로그로 신호 처리에 따라 출력되므로, 높은 속도의 데이터 처리량을 얻을 수 있으며, 또한 기존 데이터의 처리방식과 상이한 아날로그 기반의 데이터 시퀀싱이 가능한 장점을 갖는다.
특히, 단일 곱셈 연산을 수행하는 단위가 단 한 개의 MOS트랜지스터일 수 있으므로 면적 면에서 매우 큰 효율성을 보여 줄 수 있다.
한편, 각 가중치 값은 각 단일 트랜지스터의 폭 값으로 사전 정의될 수 있으며, 예를 들어, 각 소자의 가중치 값은 상기 단일 MOS 트랜지스터 소자의 폭(WIDTH) 길이에 따라 각각 결정될 수 있다.
이는 기존 기술에서 메모리에 저장되는 가중치 값을 하드 와이어드된 형태의 물리적인 값으로 형성될 수 있도록 하며, 이에 따라 별도의 디지털 메모리가 필요 없게 되며, 이에 따른 메모리 접근 전력 소모 및 부가 회로가 필요 없게 된다.
예를 들어, 인터페이스부(110)가 데이터 버퍼(120)로 비정형 데이터인 손글씨 숫자 이미지를 입력하게 하고, 제어부(130)가 그 분류 값을 결정하게 하는 경우, 소프트웨어적으로 트레이닝된 인공 신경망 모델이 사전 결정될 수 있으며, 이에 따른 상기 숫자 이미지에 대응하는 가중치 행렬 데이터가 미리 결정될 수 있다.
이에 따라, 본 발명의 실시 예에 따른 MOS 트랜지스터 기반 아날로그 MAC 처리부(140)는, 상기 가중치 행렬 데이터를 처리하여 결정된 정수 값(Wi)이 각 MOS의 기준 너비값(L)에 대한 곱으로 형성되도록 하드 와이어드 된 아날로그 MAC 회로(141)를 포함할 수 있다.
그리고, 상기 아날로그 MAC 회로(141)는 상기 MOS 트랜지스터 기반 아날로그 MAC 처리부(140) 내에 반복적으로 연결 배치됨으로써, 하드웨어적으로 연결된 아날로그 기반의 인공 신경망이 온 칩으로 구축될 수 있다.
이에 따라, 필기 숫자 인식이 어플리케이션을 통해 구동되는 경우, MOS 트랜지스터 기반 아날로그 MAC 처리부(140)를 포함하는 하드웨어 칩에 특정 크기의 픽셀 이미지 데이터를 입력하면 신경망 모델에 따라 분류된 숫자의 종류 값을 출력하게 할 수 있는 것이다.
보다 구체적으로, 도 3에 도시된 바와 같은 형태의 회로 구조에 있어서, 출력 전압 식은 하기 수학식 1과 같이 연산될 수 있다.
Figure pat00001
여기서, wi는 입력되는 가중치 값에 대응하여, 전류 출력 가중치 Wi를 갖는 트랜지스터를 결정하는 가중치 함수를 나타낼 수 있으며, Wi는 가중치 상수 ki에 비례할 수 있다. 그리고, Vi는 입력 값에 기초하여 각 트랜지스터 인가전압 Vi를 결정하는 입력 전압 함수를 나타낼 수 있다.
이에 따라, 수학식 1에 도시된 바와 같이, 출력 전압 Vo는 입력 값 및 가중치 값을 변수로 하는 곱셈 및 누산 출력 함수로 획득될 수 있으며, 특히, 입력 값에는 쿼드라틱(xi^2) 함수가 적용된 형태의 출력이 획득될 수 있다.
따라서, 상기 출력 노드의 출력 전압은 입력 값들에 대응하는 쿼드라틱 MAC 연산 결과를 나타낼 수 있다.
이에 따라, 활성화 처리부(150)는 상기 출력노드에 연결되어, 상기 쿼드라틱 MAC 연산 결과에 대응하는 쿼드라틱 정류 기반 활성화 함수 처리를 수행하여, 활성화 처리된 기계 학습 연산 값을 출력할 수 있다.
보다 구체적으로, 도 4는 본 발명의 실시 예에 따른 선택적 정류 연산을 처리하는 활성화 처리부를 도시한 도면으로서, 본 발명의 실시 예에 따르면, 활성화 처리부(150)는 리니어 정류 연산부(151) 및 쿼드라틱 정류 연산부(152)를 포함하여, 활성화 함수 처리를 위한 정류 연산을 선택적으로 수행할 수 있다.
리니어 정류 연산부(151)는 상기 입력 파라미터에 따라, 디지털 곱셈 및 누산 처리에 따른 리니어 정류 연산을 처리하며, 쿼드라틱 정류 연산부(152)는 상기 입력 파라미터에 따라, 아날로그 곱셈 및 누산 처리에 따른 쿼드라틱 정류 연산을 처리하고, 제어부(130)는 상기 리니어 정류 연산부 및 상기 쿼드라틱 정류 연산부를 선택적으로 제어하여, 입력 값의 리니어 또는 쿼드라틱 MAC 연산 결과에 대한 정류 처리를 수행할 수 있다.
여기서, 리니어 정류 연산부(151)는, 기존의 소프트웨어 프로세스에 따라, 리니어 곱셈 및 누산이 처리되는 경우의 출력 값에 대응하는 리니어 정류 유닛(Rectified Linear Unit, ReLU) 기반 활성화 연산을 처리할 수 있으며, 따라서 이러한 연산부는 전술한 아날로그 MAC 회로(141)를 이용하지 않는 경우의 출력 값의 처리에 이용될 수 있다.
반면, 본 발명의 실시 예에 따른 쿼드라틱 정류 연산부(152)는, 전술한 아날로그 MAC 회로(141)를 이용한 출력에 대응하여 쿼드라틱 정류 기반 활성화 함수 처리를 수행할 수 있다. 따라서, 활성화 처리부(150)는, 쿼드라틱 정류 연산부(152)를 통해, 쿼드라틱 정류 유닛(Rectified Quadratic Unit, ReQU) 기반 활성화 처리를 수행할 수 있다.
전술한 바와 같이, 본 발명의 실시 예에 따른 아날로그 MAC 회로(141)의 출력은 입력 전압과 출력 전압간 쿼드라틱 출력 특성이 나타나는 것을 확인할 수 있는 바, 이는 도 5에 도시된 그래프와 같이 설명될 수 있다.
도 5는 본 발명의 실시 예에 따른 쿼드라틱 정류 연산 기반 활성화 함수를 설명하기 위한 도면으로서, 도 5를 참조하면, 입력 대비 출력 전압이 특정 임계치(threshold)까지는 제로 값(zero-value)이며, 그 이후로는 쿼드라틱(quadratic)으로 증가하는 함수를 나타냄을 확인할 수 있으며, 따라서, 이는 기존에 알려진 일반적인 기계 학습 연산 후에 리니어 기반 ReLU (Rectified Linear Unit)의 활성화 함수와 달리, 임계치 이후의 증가 양상이 쿼드라틱이므로, 별도의 쿼드라틱 정류 유닛 기반 활성화 함수 처리가 필요함을 확인할 수 있다.
이에 따라, 본 발명의 실시 예에 따르면 쿼드라틱 정류 유닛 기반 활성화 함수 처리를 선택적으로 수행하기 위한 학습 방법을 제안하는 바, 이는 도 6 및 도 7에 개시된 흐름도에 기초하여 설명하도록 한다.
도 6은 본 발명의 실시 예에 따른 학습 장치의 동작 방법을 설명하기 위한 흐름도이며, 도 7은 본 발명의 실시 예에 따른 쿼드라틱 정류 연산 기반 학습 처리를 설명하기 위한 흐름도이다.
도 6 및 도 7을 참조하면, 먼저, 인터페이스부(110)는 데이터 버퍼(120)로 학습을 위한 트레이닝 입력 데이터를 로드한다(S101).
그리고, 제어부(130)는 사전 결정된 신경망 모델에 따라, 입력 데이터로부터 입력 데이터를 분류하기 위한 입력 파라미터를 결정한다(S103).
그리고, 제어부(130)는 입력 파라미터에 따라 쿼드라틱 정류 연산이 요구되는 학습 프로세스인지 여부를 판단하며(S105), 쿼트라틱 정류 연산이 요구되지 않는 프로세스의 경우, 리니어 연산에 대한 레이어 초과여부를 판단한다(S107).
그리고, 제어부(130)는 초과되지 않은 경우 신경망 모델에 리니어 레이어를 추가 생성하고(S109), 생성된 레이어에 대해 통상의 소프트웨어 기반의 리니어 정류 연산(reLU)을 기반으로, 리니어 정류 연산부(151)로부터 활성화된 출력을 획득하는 학습 처리를 수행한다(S111).
한편, 제어부(130)는 쿼드라틱 정류 연산이 요구되는 경우, 쿼드라틱 연산을 위한 레이어 초과여부를 판단한다(S113).
그리고, 제어부(130)는 레이어가 초과되지 않는 경우 모델에 쿼드라틱 레이어를 추가 생성하며(S115), 생성된 레이어에 대해, 전술한 본 발명의 실시 예에 따른 아날로그 MAC 회로(141)를 이용하여 획득된 쿼드라틱 출력에 대한 쿼드라틱 정류 연산(reQU)을 기반으로, 쿼드라틱 정류 연산부(152)로부터 활성화된 출력을 획득하는 학습 처리를 수행한다(S117).
여기서, 쿼드라틱 레이어의 입력 파라미터는 예를 들어, 레이어 내 배치, 높이, 폭 및 채널(학습가능한 정보를 공유하는 축 변수) 변수가 예시될 수 있으며, 예를 들어 레이어 xi+1에 대한 Layer_ReQU(W, x, power_i, power_w)와 같은 생성 함수가 예시될 수 있다. 여기서, W는 가중치, x는 입력, power_i 및 power_w는 채널 파라미터일 수 있다.
이후, 제어부(130)는 학습 처리에 따라 형성된 뉴럴 네트워크를 이용한 모델 데이터를 컴파일할 수 있으며(S119), 이후 입력되는 트레이닝 데이터에 대응하는 분류 값을 출력하고, 이에 대응하는 정확도를 산출할 수 있다(S121).
여기서, 쿼드라틱 정류 유닛 기반 활성화 연산 프로세스는, f(x) = 0 for x < 0 이고, f(x) = x^2 for x > = 0인 함수를 이용한 아날로그 MAC 회로(141) 출력의 정류 프로세스를 포함할 수 있으며, 전술한 입력 파라미터에 따라 쿼드라틱 연산이 식별되고, 이에 따른 활성화 함수 적용이 처리될 수 있다.
도 7은 전술한 S117 단계를 보다 구체적으로 설명하기 위한 것으로, 먼저 제어부(130)는 입력 값 및 가중치 매트릭스를 입력받아(S201), 이에 대응하는 쿼드라틱 연산 파라미터를 결정하여(S203), MOS 트랜지스터 기반 아날로그 MAC 처리부(140)로 전달함으로써, 아날로그 회로 기반의 MAC 연산 처리가 수행되도록 한다(S205).
여기서, 가중치 매트릭스는 가중치 W 및 입력 x를 포함하는 입력 매트릭스일 수 있고, 입력 파라미터는 power_i 및 power_w 변수를 포함할 수 있는 바, 아날로그 MAC 회로(141)의 곱셈 및 누산 처리에 따라 출력 값은 Y = Wpower _w * xpower_i의 형태로 획득될 수 있다.
따라서, 제어부(130)는 상기 power_i 변수가 2인 경우에 상기 아날로그 MAC 회로(141)의 출력을 이용한 쿼드라틱 연산이 처리됨을 판단할 수 있으며, 이에 따른 쿼드라틱 정류 연산부(152)의 처리를 수행하게 할 수 있다.
이후, 제어부(130)는 결과값에 대응하는 활성화(ACTIVATION)가 필요한지 여부를 판단하고(S207), 필요한 경우 활성화 처리부(150)를 통해, 쿼드라틱 정류 유닛 기반의 활성화 연산을 처리하며(S209), 연산 결과 매트릭스를 인터페이스부(110)를 통해 출력할 수 있다(S211).
도 8은 본 발명의 실시 예에 따른 연산 파라미터와, 이에 따른 테스트 결과를 설명하기 위한 도면이다.
도 8을 참조하면, 입력 값 및 가중치 매트릭스에 따른 쿼드라틱 연산 파라미터는 쿼드라틱 정류 유닛 기반 활성화 연산 프로세스의 입력 값으로서, 그 weight변수가 2차로 지정될 수 있으며, 결과 데이터에 대한 정확도를 시뮬레이션하여 확인한 결과, 기존의 리니어 정류 연산을 사용한 정확도 결과(0.9648)와, 본 발명의 실시 예에 따른 쿼드라틱 정류 연산을 이용한 정확도(0.9612)간 거의 차이가 없음을 확인할 수 있다.
따라서, 본 발명의 실시 예에 따른 아날로그 MAC 회로(141)를 이용한 쿼드라틱 정류 연산은 저전력이며 높은 속도를 보장하면서도, 그 정확도에 있어서는 리니어 정류 연산과의 차이가 거의 없는 높은 정확도가 나타나는 것을 확인할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 회로는 그 구성 및 동작 방법이 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (13)

  1. 기계 학습 연산에 이용되는 곱셈 및 누산(MAC) 연산 회로에 있어서,
    일단이 공급전압단에 연결되는 저항부;
    상기 저항부의 타단과, 그라운드와 연결된 스위치 사이에 병렬 연결되며, 제어부의 제어 신호에 따른 상기 스위치의 스위칭에 따라, 기계 학습용 입력 값에 대응하는 게이트 신호를 인가받아, 기계 학습용 가중치 값이 적용된 전류 신호를 출력하는 복수의 단일 MOS 트랜지스터 소자; 및
    상기 저항부의 타단 노드에 연결되어 상기 복수의 단일 MOS 트랜지스터 소자들의 전류 출력을 누산하여 출력하는 출력노드를 포함하는
    아날로그 곱셈 및 누산(MAC) 연산 회로.
  2. 제1항에 있어서,
    상기 가중치 값은 상기 단일 MOS 트랜지스터 소자의 폭(WIDTH) 길이에 따라 각각 결정되는 것을 특징으로 하는
    아날로그 곱셈 및 누산(MAC) 연산 회로.
  3. 제1항에 있어서,
    상기 단일 MOS 트랜지스터 소자는 소스가 상기 스위치에 연결되며, 드레인이 상기 출력노드에 연결되는 NMOS 트랜지스터 소자를 포함하는
    아날로그 곱셈 및 누산(MAC) 연산 회로.
  4. 제1항에 있어서,
    상기 출력 노드의 출력 전압은 입력 값들에 대응하는 쿼드라틱 MAC 연산 결과를 나타내는 것을 특징으로 하는
    아날로그 곱셈 및 누산(MAC) 연산 회로.
  5. 제4항에 있어서,
    상기 출력노드에 연결되며, 상기 쿼드라틱 MAC 연산 결과에 대응하는 쿼드라틱 정류 기반 활성화 함수 처리를 수행하여, 활성화 처리된 기계 학습 연산 값을 출력하는 활성화 처리부를 더 포함하는
    아날로그 곱셈 및 누산(MAC) 연산 회로.
  6. 뉴럴 네트워크 기반 기계 학습 장치에 있어서,
    인터페이스부를 통해 입력되는 학습 데이터가 저장되는 데이터 버퍼; 및
    상기 학습 데이터에 대응하여 미리 설정된 신경망 학습 모델에 따라 입력 파라미터를 결정하고, 결정된 입력 파라미터를 이용하여 곱셈 및 누산 처리부를 제어하여, 기계 학습을 위한 반복 연산을 처리하는 제어부를 포함하고,
    상기 곱셈 및 누산 처리부는,
    상기 제어부의 제어에 따라 기계 학습용 입력 값에 대응하는 게이트 신호를 인가받아, 기계 학습용 가중치 값이 적용된 전류 신호를 출력하는 복수의 단일 MOS 트랜지스터 소자를 포함하는 MOS 트랜지스터 기반 아날로그 곱셉 및 누산 처리부를 포함하는
    뉴럴 네트워크 기반 기계 학습 장치.
  7. 제1항에 있어서,
    상기 아날로그 곱셉 및 누산 처리부는,
    상기 단일 MOS 트랜지스터의 전류 출력 누산에 따라, 상기 입력 값들에 대응하는 쿼드라틱 MAC 연산 결과를 출력하는 아날로그 MAC 회로부를 포함하는
    뉴럴 네트워크 기반 기계 학습 장치.
  8. 제7항에 있어서,
    상기 아날로그 곱셉 및 누산 처리부는,
    상기 쿼드라틱 MAC 연산 결과에 대응하는 쿼드라틱 정류 기반 활성화 함수 처리를 수행하여, 활성화 처리된 기계 학습 연산 값을 출력하는 활성화 처리부를 더 포함하는
    뉴럴 네트워크 기반 기계 학습 장치.
  9. 제8항에 있어서,
    상기 아날로그 곱셉 및 누산 처리부의 활성화된 결과값으로부터 레이어 기반의 풀링 처리를 수행하는 풀링부를 더 포함하는
    뉴럴 네트워크 기반 기계 학습 장치.
  10. 제6항에 있어서,
    상기 곱셈 및 누산 처리부는,
    상기 입력 파라미터에 따라, 디지털 곱셈 및 누산 처리에 따른 리니어 정류 연산을 처리하는 리니어 정류 연산부; 및
    상기 상기 입력 파라미터에 따라, 아날로그 곱셈 및 누산 처리에 따른 쿼드라틱 정류 연산을 처리하는 쿼드라틱 정류 연산부;를 포함하는
    뉴럴 네트워크 기반 기계 학습 장치.
  11. 제10항에 있어서,
    상기 제어부는 상기 입력 파라미터에 따라 상기 리니어 정류 연산부 및 상기 쿼드라틱 정류 연산부를 선택적으로 제어하여, 상기 리니어 정류 연산부 또는 상기 쿼드라틱 정류 연산부가 입력 값의 곱셈 및 누산 처리에 따른 출력 신호의 정류 연산을 처리하게 하는
    뉴럴 네트워크 기반 기계 학습 장치.
  12. 뉴럴 네트워크 기반 기계 학습 방법에 있어서,
    인터페이스부를 통해 입력되는 학습 데이터가 저장되는 단계; 및
    상기 학습 데이터에 대응하여 미리 설정된 신경망 학습 모델에 따라 입력 파라미터를 결정하고, 결정된 입력 파라미터를 이용하여, 기계 학습을 위한 반복적 MAC(곱셈 및 누산) 연산을 처리하는 단계를 포함하고,
    상기 반복적 MAC 연산을 처리하는 단계는,
    아날로그 MAC 처리부를 이용하여 상기 입력 파라미터의 입력값 및 가중치 매트릭스에 대응하는 쿼드라틱 MAC 연산 결과를 획득하는 단계;
    상기 쿼드라틱 MAC 연산 결과에 대응하는 쿼드라틱 활성화 함수 적용 처리를 수행하는 단계; 및
    상기 활성화 처리된 연산 결과 매트릭스를 출력하는 단계를 포함하는
    뉴럴 네트워크 기반 기계 학습 방법.
  13. 제12항에 있어서,
    상기 아날로그 MAC 처리부는,
    복수의 단일 MOS 트랜지스터 소자에 상기 입력 파라미터에 대응하는 게이트 신호를 인가하여, 기계 학습용 가중치 값이 적용된 출력 신호를 획득하고, 상기 출력 신호를 누산하여 출력하는
    뉴럴 네트워크 기반 기계 학습 방법.
KR1020180154758A 2018-12-04 2018-12-04 기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법 KR102243837B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180154758A KR102243837B1 (ko) 2018-12-04 2018-12-04 기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180154758A KR102243837B1 (ko) 2018-12-04 2018-12-04 기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법

Publications (2)

Publication Number Publication Date
KR20200067664A true KR20200067664A (ko) 2020-06-12
KR102243837B1 KR102243837B1 (ko) 2021-04-23

Family

ID=71088348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180154758A KR102243837B1 (ko) 2018-12-04 2018-12-04 기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법

Country Status (1)

Country Link
KR (1) KR102243837B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083429A (ko) * 2003-10-16 2006-07-20 캐논 가부시끼가이샤 적화 연산 회로 및 방법
KR20170137761A (ko) * 2015-04-16 2017-12-13 휴렛 팩커드 엔터프라이즈 디벨롭먼트 엘피 곱셈 누적 연산을 수행하는 저항성 메모리 어레이
KR20180114135A (ko) * 2016-02-22 2018-10-17 유니베르시태트 취리히 아날로그 전자 뉴럴 네트워크

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083429A (ko) * 2003-10-16 2006-07-20 캐논 가부시끼가이샤 적화 연산 회로 및 방법
KR20170137761A (ko) * 2015-04-16 2017-12-13 휴렛 팩커드 엔터프라이즈 디벨롭먼트 엘피 곱셈 누적 연산을 수행하는 저항성 메모리 어레이
KR20180114135A (ko) * 2016-02-22 2018-10-17 유니베르시태트 취리히 아날로그 전자 뉴럴 네트워크

Also Published As

Publication number Publication date
KR102243837B1 (ko) 2021-04-23

Similar Documents

Publication Publication Date Title
US10909449B2 (en) Monolithic multi-bit weight cell for neuromorphic computing
US10708522B2 (en) Image sensor with analog sample and hold circuit control for analog neural networks
US11880226B2 (en) Digital backed flash refresh
WO2019190340A1 (en) Channel pruning of a convolutional network based on gradient descent optimization
US11216723B2 (en) Pulse-width modulated multiplier
US20180330275A1 (en) Resource-efficient machine learning
US11868876B2 (en) Systems and methods for sparsity exploiting
US20190065962A1 (en) Systems And Methods For Determining Circuit-Level Effects On Classifier Accuracy
Chen et al. Highly parallelized memristive binary neural network
WO2019018606A1 (en) SYSTEMS AND METHODS FOR OVERLAPPING COMPENSATION
US20240005157A1 (en) Methods and systems for unstructured pruning of a neural network
KR102243837B1 (ko) 기계 학습 연산을 처리하는 아날로그 회로, 이를 포함하는 학습 장치 및 이를 이용한 기계 학습 연산 방법
US20230066080A1 (en) Data sequence prediction and resource allocation
US20210374514A1 (en) Efficient tile mapping for row-by-row convolutional neural network mapping for analog artificial intelligence network inference
Wang et al. A Weight Importance Analysis Technique for Area-and Power-Efficient Binary Weight Neural Network Processor Design
EP4137935A1 (en) Apparatus and method with in-memory computing
US20240037394A1 (en) System and method for neural network multiple task adaptation
CN117574975A (zh) 用于部分数字再训练的系统和方法
Spoon et al. Accelerating Deep Neural Networks with Phase-Change Memory Devices
CN111656360B (zh) 稀疏性利用的系统和方法
CN115796250A (zh) 权重部署方法及装置、电子设备和存储介质
Moons et al. Hardware-Algorithm Co-optimizations
Verkest Bringing AI to the Edge
CN117808062A (zh) 计算装置、电子装置以及用于计算装置的操作方法
CN117933071A (zh) 基于随机二值电阻阵列的储备池计算模型的硬件实现方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant