KR20230149141A - 저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법 - Google Patents

저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법 Download PDF

Info

Publication number
KR20230149141A
KR20230149141A KR1020220048483A KR20220048483A KR20230149141A KR 20230149141 A KR20230149141 A KR 20230149141A KR 1020220048483 A KR1020220048483 A KR 1020220048483A KR 20220048483 A KR20220048483 A KR 20220048483A KR 20230149141 A KR20230149141 A KR 20230149141A
Authority
KR
South Korea
Prior art keywords
learning
neural network
artificial neural
resistive element
data
Prior art date
Application number
KR1020220048483A
Other languages
English (en)
Inventor
황현상
최우석
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020220048483A priority Critical patent/KR20230149141A/ko
Priority to EP22938660.2A priority patent/EP4421688A1/en
Priority to PCT/KR2022/018066 priority patent/WO2023204371A1/ko
Publication of KR20230149141A publication Critical patent/KR20230149141A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치는, 제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 제1학습부 및 디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 제2학습부를 포함할 수 있다.

Description

저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법{APPARATUS AND METHOD FOR LEARNING ARTIFICIAL INTELLIGENCE FOR EDGE DEVICE USING RESISTIVE ELEMENT, ANALYSIS APPARATUS AND METHOD USING THE SAME}
본원은 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법에 관한 것이다.
심층 신경망(Deep Neural Network)의 발전 덕분에 인공지능(Artificial Intelligence, AI)은 객체 및 신호 분류와 같은 실제 응용 프로그램에서 놀라운 성과를 보여 왔으며, 사물 인터넷(Internet of Things, IoT)의 도래로 인공지능 서비스가 구현되는 위치가 클라우드에서 엣지로 전환되고 있는 추세이다. 그러나, 클라우드 컴퓨팅에서와 달리, 신경망의 수많은 훈련 매개변수와 전력 제약은 엣지 컴퓨팅 기반의 인공지능 구현에 상당한 문제를 야기한다.
따라서, 최근의 엣지 컴퓨팅 기반의 인공지능 하드웨어는 애플리케이션 별 작업에 특화된 형태로만 추론을 수행하도록 구현되는 것이 일반적이나, 이러한 추론 전용 인공지능 서비스는 디바이스가 실제로 사용되는 환경의 변화에 쉽게 영향을 받기 때문에 작은 변화에도 심각한 정확도 손실이 발생할 수 있다는 문제가 있다.
아울러, 종래의 하드웨어 신경망은 대부분 사용 목적에 따라 각 시냅스 가중치가 고정되어 있는 형태로 구현되어 디바이스가 실제로 사용되는 환경의 변화를 반영하지 못하는 한계가 있었다.
예를 들어, 심전도 신호(ECG) 분류와 같은 생물의학 응용 분야에 적용되는 엣지 인공지능 서비스 기반 추론 결과는 실제로 계측되는 생체 신호와 오차가 큰 신호 패턴을 출력하게 될 가능성이 높기 때문에, 비용 효율적으로 훈련 가능하여 입력 신호를 고정밀도로 감지할 수 있는 인공지능 센서의 개발에 대한 요구가 증가하고 있다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1686827호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 저항성 시냅스 소자를 이용하여 엣지 디바이스에서 효율적으로 인공지능을 학습 및 추론할 수 있도록 고정 저항 소자와 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자를 이용하여 신경망을 하드웨어적으로 구현하는 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 실생활, 의료 및 상업 등 다양한 분야와 관련하여 사용 환경이 변동적인 엣지 기반의 환경에서 인공지능 모델이 구현될 수 있도록 하는 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 깊고 복잡한 심층 신경망에서 높은 해상도의 가중치 값을 가지는 시냅스를 구현하기 위해 고정저항 시냅스를 사용하되, 일부분의 가중치만 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자로 시냅스를 구현하여 엣지에서 동작하는 인공지능 칩의 학습 정확도와 효율성을 높이려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치는, 제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 제1학습부 및 디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 제2학습부를 포함할 수 있다.
또한, 상기 제1저항성 소자는 고정 저항 소자를 포함할 수 있다.
또한, 상기 제2저항성 소자는 비휘발성 메모리(non-volatile memory) 소자를 포함할 수 있다.
또한, 상기 제1학습부는 어레이 형태로 배치되는 복수 개의 제1저항성 소자를 포함할 수 있다.
또한, 상기 제2학습부는 어레이 형태로 배치되는 복수 개의 제2저항성 소자를 포함할 수 있다.
또한, 상기 고정 저항 소자의 폭, 길이 및 단면적 중 적어도 하나는 상기 결정된 가중치의 크기에 기초하여 결정될 수 있다.
또한, 상기 고정 저항 소자는 금속 산화막 층을 포함하거나 Si, Ni, Cr, Al, Ta 및 이들의 조합으로 이루어진 군에서 선택된 물질로 이루어질 수 있다.
또한, 상기 비휘발성 메모리 소자는 NAND 플래시 메모리(Flash Memory), NOR 플래시 메모리(Flash Memory), PCRAM(Phase-change Random Access Memory) 소자, RRAM(Resistive random-access memory) 소자, FRAM(Ferroelectrics Random Access Memory) 소자 및 MRAM(Magnetic Random Access Memory) 소자 중 적어도 하나를 포함할 수 있다.
또한, 상기 RRAM 소자는 제1금속층, 절연체층 및 제2금속층이 수직으로 적층된 구조로 구비될 수 있다.
또한, 상기 제1학습 데이터 및 상기 제2학습 데이터는 심전도 신호 데이터일 수 있다.
또한, 상기 인공 신경망은 상기 디바이스를 통해 수집되는 심전도 신호 데이터인 분석 대상 데이터의 특성을 미리 설정된 카테고리에 대하여 분류하는 추론을 수행하도록 학습될 수 있다.
한편, 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 기반의 분석 장치는, 제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 제1학습부, 디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 제2학습부 및 상기 디바이스를 이용하여 분석 대상 데이터를 획득하고, 상기 인공 신경망을 기초로 하여 상기 분석 대상 데이터에 대한 추론을 수행하는 추론부를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 방법은, 제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 단계 및 디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 기반의 분석 방법은, 제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 단계, 디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 단계 및 상기 디바이스를 이용하여 분석 대상 데이터를 획득하고, 상기 인공 신경망을 기초로 하여 상기 분석 대상 데이터에 대한 추론을 수행하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 저항성 시냅스 소자를 이용하여 엣지 디바이스에서 효율적으로 인공지능을 학습 및 추론할 수 있도록 고정 저항 소자와 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자를 이용하여 신경망을 하드웨어적으로 구현하는 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 실생활, 의료 및 상업 등 다양한 분야와 관련하여 사용 환경이 변동적인 엣지 기반의 환경에서 인공지능 모델이 구현될 수 있도록 하는 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 안정적인 고정저항을 기반으로 기본적인 주요 코어를 담당하는 네트워크를 구현하고, 저항 변화가 가능한 비휘발성 메모리(non-volatile memory) 소자를 부분적으로 사용하여 안정적으로 고성능 학습을 수행할 수 있는 엣지 AI 칩을 구현할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 깊고 복잡한 심층 신경망에서 높은 해상도의 가중치 값을 가지는 시냅스를 구현하기 위해 고정저항 시냅스를 사용하되, 일부분의 가중치만 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자로 시냅스를 구현하여 엣지에서 동작하는 인공지능 칩의 학습 정확도와 효율성을 높일 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 인공 신경망 기반 분석 시스템의 개략적인 구성도이다.
도 2 및 도 3은 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 학습 프로세스를 설명하기 위한 개념도이다.
도 4는 복수 개의 저항성 소자의 교차구조 어레이의 형태를 설명하기 위한 개념도이다.
도 5는 제1학습부와 제2학습부의 병렬 연결 방식과 직렬 연결 방식을 설명하기 위한 개념도이다.
도 6은 제1저항성 소자의 세부 구조를 나타낸 도면이다.
도 7은 WOx 와 W 전극의 동종물질 기반 접촉을 나타낸 개념도이다.
도 8은 복수의 제1저항성 소자를 포함하는 어레이 구조 및 어레이 구조의 특성 변화를 나타낸 도면이다.
도 9는 이산 웨이블릿 변환(DWT)을 이용하여 정상 신호와 비정상 신호의 주요 특징을 추출하는 과정을 나타낸 도면이다.
도 10은 제2저항성 소자의 세부 구조를 나타낸 도면이다.
도 11은 심전도 신호 데이터를 미리 설정된 카테고리에 대하여 분류하는 추론을 위한 인공 신경망을 설명하기 위한 개념도이다.
도 12는 고정 저항 소자로만 구현되는 인공 신경망과 비휘발성 메모리(non-volatile memory) 소자를 사용하여 부분적인 가중치 학습을 수행한 인공 신경망의 엣지 환경에서의 정확도 및 효율성을 비교하여 나타낸 그래프이다.
도 13은 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 학습 장치의 개략적인 구성도이다.
도 14는 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 기반의 분석 장치의 개략적인 구성도이다.
도 15는 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 학습 방법에 대한 동작 흐름도이다.
도 16은 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 기반의 분석 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 인공 신경망 기반 분석 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 인공 신경망 기반 분석 시스템(10)은, 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 학습 장치(100)(이하, '학습 장치(100)'라 한다.), 디바이스(200) 및 사용자 단말(300)을 포함할 수 있다.
사용자 단말(300)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다. 참고로, 본원의 실시예에 관한 설명에서 사용자 단말(300)은 오픈 소스 데이터 등을 포함하는 제1학습 데이터에 기초한 소프트웨어(SW) 기반의 인공 신경망 학습을 수행하는 디바이스를 지칭하는 것으로서, 제2학습 데이터에 기반하여 인공 신경망의 가중치를 업데이트 하고, 가중치가 업데이트 된 인공 신경망을 이용하여 분석 대상 데이터에 대한 추론을 수행하도록 동작하는 본원에서의 디바이스(200)와 구분되는 것일 수 있다.
한편, 본원의 실시예에 관한 설명에서 저항성 소자를 이용한 인공 신경망 기반의 분석 장치(100')(이하, '분석 장치(100')라 한다.)는 분석 장치(100')가 획득한 분석 대상 데이터에 대한 추론을 수행하는 것일 수 있다. 달리 말해, 본원의 실시예에 관한 설명에서 학습 장치(100) 및 분석 장치(100')는 저항성 소자를 이용하여 인공 신경망을 학습시키기 위한 하위 구성을 공통적으로 포함하는 것일 수 있으며, 이하에서는 설명의 편의를 위하여 학습 장치(100)에 의해 인공 신경망(도 1의 NN)이 구축되는 것을 기준으로 하여 본원의 실시예를 설명하도록 한다.
또한, 본원의 실시예에 관한 설명에서 디바이스(200)는 사물 인터넷(Internet of Things) 기반의 엣지 디바이스를 의미하는 것일 수 있다. 예를 들어, 디바이스(200)는 인공 신경망을 위한 추론을 수행하기 위한 분석 대상 데이터를 계측하기 위한 장치로서, 디바이스(200)에서 수집된 분석 대상 데이터에 대한 추론(분석)이 별도의 외부 서버 또는 데이터베이스로 전송되지 않고도 디바이스(200)에 탑재되는 분석 장치(100')에 의해 디바이스(200) 단에서 직접 수행되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 학습 장치(100) 또는 분석 장치(100')는 인공지능(Artificial Intelligence) 기능을 하드웨어 방식으로 구현한 칩 형태로 디바이스(200)에 탑재되는 것일 수 있다.
예를 들어, 디바이스(200)는 사용자의 신체에 부착되거나 착용된 상태로 사용자의 생체 정보 등을 수집하기 위한 스마트 워치(Smart Watch), 스마트 밴드(Smart Band) 등의 웨어러블 디바이스일 수 있으나 이에만 한정되는 것은 아니다. 다른 예로, 디바이스(200)는 머리 착용형(Head-worn) 디바이스, 스트랩(Strap)형 디바이스, 의류형 디바이스, 발 착용형(Shoe-won/Foot pods) 디바이스 등 다양한 위치에 착용되어 사용자의 생체 정보를 획득할 수 있는 기기를 폭넓게 의미하는 것일 수 있다. 또한, 예시적으로, 디바이스(200)는 Fitbit, Jawbone Up, Nike+ FuelBand, Apple Watch, Samsung Gear 등일 수 있다. 또한, 웨어러블 디바이스(200)와 사용자 단말(300)은 하나의 사용자에 대한 동일 계정 정보에 기초하여 상호 연동된 것일 수 있다. 또한, 본원의 구현예에 따라서는 디바이스(200)는 넓은 범위에서 사용자 단말(300)에 포함되는 것으로 이해될 수 있다.
보다 구체적으로 본원의 일 실시예에 따르면, 디바이스(200)는 사용자의 신체에 부착되어 사용자의 심전도 신호 데이터(예를 들면, ECG 데이터 등)를 획득하는 생체 계측용 단말일 수 있다. 이와 관련하여, 본원의 일 실시예에 따르면, 인공 신경망의 학습을 위한 제1학습 데이터와 제2학습 데이터 및 디바이스(200)를 통해 수집되어 인공 신경망에 의한 추론(분석)의 대상이 되는 분석 대상 데이터는 심전도 신호 데이터일 수 있으며, 이에 대응하여 인공 신경망은 심전도 신호 데이터인 분석 대상 데이터의 특성을 미리 설정된 카테고리에 대하여 분류하는 추론을 수행하도록 학습되는 것일 수 있다.
예를 들어, 인공 신경망(도 1의 NN)은 심전도 신호 데이터인 분석 대상 데이터를 정상 신호(N), 조기 심실 수축(Premature Ventricular Contraction, PVC) 신호, 좌각차단(Left Bundle Branch Block, LBBB) 신호, 우각차단(Right Bundle Branch Block, RBBB) 신호 등을 포함하는 복수의 카테고리 중 어느 하나로 분류하는 추론을 수행하도록 학습되는 것일 수 있다.
이하에서는 도 2 내지 도 11을 참조하여 학습 장치(100)의 구체적인 기능 및 동작에 대하여 설명하도록 한다.
도 2 및 도 3은 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 학습 프로세스를 설명하기 위한 개념도이다.
도 2 및 도 3을 참조하면, 학습 장치(100)는 제1학습 데이터에 기초한 학습을 통해 인공 신경망(NN)의 가중치를 결정하고, 결정된 가중치를 제1저항성 소자(111)에 반영할 수 있다. 이와 관련하여, 본원의 실시예에 관한 설명에서 제1저항성 소자는 고정 저항 소자를 포함할 수 있다. 또한, 본원의 일 실시예에 따르면, 학습 장치(100)는 어레이 형태로 배치되는 복수 개의 제1저항성 소자를 포함할 수 있다.
도 2 및 도 3을 참조하면, 학습 장치(100)는 제1학습 데이터를 이용한 Ex-situ 학습을 통해 획득되는 가중치 맵을 고정 저항 소자로 이루어지는 어레이(도 3의 'Resistor array')로 구현하여 신경망의 시냅스 저항을 구현할 수 있다.
본원의 일 실시예에 따르면, 제1학습 데이터는 예를 들어 오픈 소스 데이터(Open-source data)일 수 있으며, 제1학습 데이터에 기초한 학습은 예를 들어 사용자 단말(300) 등을 이용하여 수행되는 소프트웨어(SW) 기반의 학습을 의미하는 것일 수 있다. 또한, 이와 관련하여, 제1학습 데이터에 기초한 학습 결과 도출된 가중치(또는 가중치 맵)이 제1저항성 소자(111)인 고정 저항 소자에 반영되는 방식으로 구축되는 신경망은 사전 학습 신경망(pre-trained NN, NN1)으로 지칭될 수 있다.
이와 관련하여, 본원에서 개시하는 학습 장치(100)는 인공 신경망의 정확도를 향상시키기 위하여, 사후적인 프로그래밍이 불가한 메인 코어에 해당하는 제1저항성 소자(111)를 이용한 사전 학습 신경망을 1차적으로 구축하고, 이하에서 상세히 설명하는 바와 같이 프로그래밍이 가능한 서브 코어에 해당하는 제2저항성 소자를 이용하여 엣지 디바이스 단에서 수집된 데이터(제2학습 데이터, 도 2의 'New data at Edge)를 활용하여 사전 학습 신경망에서의 적어도 일부의 가중치를 업데이트 함으로써 최종적으로 구축되는 인공 신경망이 디바이스(200)의 엣지 환경에서 보다 정확도 있게 추론을 수행하도록 구현될 수 있다.
달리 말해, 학습 장치(100)는 사전 학습 신경망의 가중치가 제1저항성 소자(111)에 반영(기록)되고 나면, 디바이스(200)를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 업데이트하고, 업데이트된 가중치를 제2저항성 소자에 반영할 수 있다.
본원의 일 실시예에 따르면, 제2저항성 소자는 저항 변화가 가능하여 가중치의 변경이 가능한 비휘발성 메모리(non-volatile memory) 소자를 포함할 수 있다. 즉, 학습 장치(100)는 디바이스(200)를 통해 실제 엣지 환경에서 수집된 제2학습 데이터를 이용한 In-situ 학습을 통해 가중치 또는 가중치 맵을 업데이트 할 수 있다.
또한, 본원의 일 실시예에 따르면, 학습 장치(100)는 어레이 형태로 배치되는 복수 개의 제2저항성 소자(도 3의 'RAM array')를 포함할 수 있다.
도 4는 복수 개의 저항성 소자의 교차구조 어레이의 형태를 설명하기 위한 개념도이다.
도 4를 참조하면, 인공 신경망의 가중치를 구현하기 위한 저항성 소자 중 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자는 전원이 공급되지 않을 때 저장된 데이터를 유지하여 영구 데이터를 제공할 수 있으며, 구체적으로 예를 들어, NAND 플래시 메모리(Flash Memory), NOR 플래시 메모리(Flash Memory), PCRAM(Phase-change Random Access Memory) 소자, RRAM(Resistive random-access memory) 소자, FRAM(Ferroelectrics Random Access Memory) 소자, MRAM(Magnetic Random Access Memory) 소자 등을 포함할 수 있다.
예를 들어, 비휘발성 메모리(non-volatile memory) 소자는 고집적화가 가능한 MIM(metal-insulator(electrolyte)-metal) 수직구조로 이루어지는 RRAM(resistive random access memory) 소자일 수 있다. 또한, 이에 대응하여 고정 저항 소자 또한 RRAM과 대응되는 수직 구조의 저항으로 제작함으로써 4F2의 고집적 시냅스 어레이를 구현할 수 있다.
또한, 본원의 일 실시예에 따르면, 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자는 RRAM(Resistive random-access memory) 소자를 포함할 수 있으며, 이러한 RRAM 소자는 제1금속층, 절연체층 및 제2금속층이 수직으로 적층된 구조로 구비될 수 있다.
도 5는 제1학습부와 제2학습부의 병렬 연결 방식과 직렬 연결 방식을 설명하기 위한 개념도이다.
도 5를 참조하면, 학습 장치(100)의 고정 저항 소자로 이루어지는 어레이(Resistor array)와 비휘발성 메모리(non-volatile memory) 소자로 이루어지는 어레이(RAM array)는 병렬 방식으로 상호 통합(도 5의 (a) 참조)되거나, 직렬 방식으로 상호 통합(도 5의 (b) 참조)되는 것일 수 있다.
도 6은 제1저항성 소자의 세부 구조를 나타낸 도면이다.
도 6을 참조하면, 고정 저항 소자에 해당하는 제1저항성 소자는 금속 산화막 층을 포함하거나 규소(Si), 니켈(Ni), 크롬(Cr), 알루미늄(Al), 탄탈럼(Ta) 및 이들의 조합으로 이루어진 군에서 선택된 물질로 이루어질 수 있다. 예를 들어, 금속 산화막 층은 산화텅스텐(WOx) 층, 산화티타늄(TiOx) 층, 산화몰리브덴(MoOx) 층을 포함할 수 있으나, 이에만 한정되는 것은 아니다.
보다 구체적으로 예시하면, 제1저항성 소자는 산화텅스텐 층을 포함하는 재질로 형성될 수 있다. 또한, 도 6을 참조하면, 고정 저항 소자 어레이에 포함된 고정 저항 소자 각각의 폭, 길이 및 단면적 중 적어도 하나는 제1학습 데이터를 이용한 학습을 통해 결정된 각각의 시냅스의 가중치 크기에 기초하여 결정될 수 있다.
이와 관련하여, 제1학습 데이터를 이용하여 사전 학습 신경망을 구현하기 위하여는 가중치를 고정 저항 소자 어레이로 반영하여야 하며, 이에 따라 저전력으로 정밀도가 높은 신경망을 구현하기 위하여는 높은 선형성을 가지는 저항 소자가 필요하며, 이와 관련하여 WOx 층(필름)은 스퍼터링 동안 높은 I-V 선형성을 갖는 MΩ 수준의 나노 단위 저항을 제조하기에 적합한 전도도를 나타내는 점에서 이점이 있다. 특히, 본원에서 개시하는 고정 저항 소자는 낮은 전기 음성도를 갖는 텅스텐(W) 전극을 사용함으로써, 전극과 산화텅스텐 층의 접촉을 통해 전도도 균일성을 크게 향상시킬 수 있다.
도 7은 WOx 와 W 전극의 동종물질 기반 접촉을 나타낸 개념도이다.
도 7을 참조하면, 본원에서 개시하는 고정 저항 소자는 저항층과 동종의 물질을 사용한 전극을 통한 균질 접촉(Homogeneous contact)에 기반하여 균일한 계면을 형성함으로써 소자의 균일성을 보다 향상시킬 수 있다. 구체적으로 예시하면, 본원의 일 실시예에 따른 고정 저항 소자는 WOx 층 및 텅스텐(W) 전극에 기반한 동종물질 기반의 접촉을 통해 균일성이 향상될 수 있다.
도 8은 복수의 제1저항성 소자를 포함하는 어레이 구조 및 어레이 구조의 특성 변화를 나타낸 도면이다.
구체적으로, 도 8의 (a) 및 도 8의 (b)는 기생 효과가 존재하는 실제 고정 저항 소자의 어레이의 측정 데이터에 기반한 시뮬레이션 데이터를 나타내며, 산화 텅스텐 층을 통해 구현되는 높은 저항값과 선형성에 의해 기생 효과의 영향이 저감되는 것을 확인할 수 있으며, 이는 도 8의 (c)를 참조하면, 에너지 효율적인 엣지 디바이스 측에서 인공 신경망을 구현하는 데 매우 중요한 요소임을 확인할 수 있다.
도 9는 이산 웨이블릿 변환(DWT)을 이용하여 정상 신호와 비정상 신호의 주요 특징을 추출하는 과정을 나타낸 도면이다.
도 9를 참조하면, 산화 텅스텐 층을 포함하는 시냅스 저항을 이용한 사전 학습 신경망의 구현 시에는 다중 스케일의 주파수 분석을 통한 이산 웨이블릿 변환을 통해 학습 데이터에 포함된 신호 데이터의 특성을 추출할 수 있으며, 도 8의 (b)는 이러한 이산 웨이블릿 변환(DWT) 매트릭스를 시각화하여 나타낸 것이다.
도 10은 제2저항성 소자의 세부 구조를 나타낸 도면이다.
도 10을 참조하면, 제2저항성 소자는 TiOx RRAM 시냅스 소자일 수 있으며, 웨이퍼 상에 구현될 수 있다.
도 11은 심전도 신호 데이터를 미리 설정된 카테고리에 대하여 분류하는 추론을 위한 인공 신경망을 설명하기 위한 개념도이다.
도 11을 참조하면, 학습 장치(100)에 의해 구축되는 인공 신경망은 디바이스(200)를 통해 수집되는 심전도 신호 데이터인 분석 대상 데이터의 특성을 미리 설정된 카테고리에 대하여 분류하는 추론을 수행하도록 학습되는 것일 수 있다.
도 12는 고정 저항 소자로만 구현되는 인공 신경망과 비휘발성 메모리(non-volatile memory) 소자를 사용하여 부분적인 가중치 학습을 수행한 인공 신경망의 엣지 환경에서의 정확도 및 효율성을 비교하여 나타낸 그래프이다.
도 12의 (a)를 참조하면, 엣지 환경에서 실제로 수집되는 데이터를 이용한 추론을 수행할 때, 사전 학습 신경망(달리 말해, 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자를 이용한 가중치 업데이트가 미적용된 고정 저항 소자만으로 구현되는 신경망)의 정확도가 학습 시 달성된 목표 정확도 수준 대비 매우 저하되는 것을 확인할 수 있으며, 이는 피사체(대상자)에 따라 생체 신호가 수집되는 패턴이 매우 상이해질 수 있기 때문으로 해석될 수 있다.
이와 관련하여, 도 12의 (b)를 참조하면, 비휘발성 메모리(non-volatile memory) 소자를 이용한 가중치 업데이트(Edge Learning)가 적용된 인공 신경망의 정확도 성능은 사전 학습 신경망 대비 대부분의 측면에서 개선되는 것을 확인할 수 있으며, 인공 신경망의 셀 레벨이 상대적으로 적은 경우에도(예를 들면, 8 레벨 수준 등) 정확도 성능이 유의미하게 향상되는 것을 확인할 수 있다. 또한, 도 12의 (c)를 참조하면, 전체 가중치를 업데이트 하는 것이 아니라 기 학습된 사전 학습 신경망의 가중치 일부만을 엣지 측에서 실제로 수집되는 데이터(제2학습 데이터)를 이용하여 갱신함으로써 정확도 성능이 개선될 수 있어, 20 개의 정도의 비교적 적은 학습 데이터만으로 유의미한 정확도 성능 향상이 이루어질 수 있음을 확인할 수 있다.
도 13은 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 학습 장치의 개략적인 구성도이다.
도 13을 참조하면, 학습 장치(100)는 제1학습부(110) 및 제2학습부(120)를 포함할 수 있다.
제1학습부(110)는 제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 결정된 가중치를 제1저항성 소자(111)에 반영할 수 있다.
제2학습부(120)는 디바이스(200)를 통해 제2학습 데이터를 수집하고, 제2학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 업데이트할 수 있다. 또한, 제2학습부(120, 120')는 업데이트된 가중치를 제2저항성 소자에 반영할 수 있다.
도 14는 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 기반의 분석 장치의 개략적인 구성도이다.
도 14를 참조하면, 분석 장치(100')는 제1학습부(110'), 제2학습부(120') 및 추론부(130')를 포함할 수 있다. 한편, 본원의 실시예에 관한 설명에서 분석 장치(100')의 제1학습부(110') 및 제2학습부(120')는 전술한 학습 장치(100)의 제1학습부(110) 및 제2학습부(120)와 각각 동등한 기능을 수행하는 하위 모듈인바, 이에 대한 설명은 생략하도록 한다.
추론부(130')는 디바이스(200)를 이용하여 분석 대상 데이터를 획득하고, 제1학습부(110') 및 제2학습부(120')에 의해 구축된 인공 신경망을 기초로 하여 분석 대상 데이터에 대한 추론을 수행할 수 있다.
본원의 일 실시예에 따르면, 제1학습 데이터, 제2학습 데이터 및 분석 대상 데이터가 대상자의 심전도 신호 데이터 유형인 경우, 추론부(130')는 디바이스(200)를 통해 수집되는 심전도 신호 데이터인 분석 대상 데이터의 특성을 미리 설정된 카테고리에 대하여 분류하는 추론을 구축된 인공 신경망을 이용하여 수행하는 것일 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 15는 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 학습 방법에 대한 동작 흐름도이다.
도 15에 도시된 저항성 소자를 이용한 인공 신경망 학습 방법은 앞서 설명된 학습 장치(100) 내지 분석 장치(100')에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 학습 장치(100) 또는 분석 장치(100')에 대하여 설명된 내용은 저항성 소자를 이용한 인공 신경망 학습 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 15를 참조하면, 단계 S11에서 제1학습부(110, 110')는 제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정할 수 있다.
다음으로, 단계 S12에서 제1학습부(110, 110')는 단계 S11에서 결정된 가중치를 제1저항성 소자(111)에 반영할 수 있다.
다음으로, 단계 S13에서 제2학습부(120, 120')는 디바이스(200)를 통해 제2학습 데이터를 수집할 수 있다.
다음으로, 단계 S14에서 제2학습부(120, 120')는 제2학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 업데이트할 수 있다.
다음으로, 단계 S15에서 제2학습부(120, 120')는 업데이트된 가중치를 제2저항성 소자에 반영할 수 있다.
상술한 설명에서, 단계 S11 내지 S15는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 16은 본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 기반의 분석 방법에 대한 동작 흐름도이다.
도 16에 도시된 저항성 소자를 이용한 인공 신경망 기반의 분석 방법은 앞서 설명된 분석 장치(100')에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 분석 장치(100')에 대하여 설명된 내용은 저항성 소자를 이용한 인공 신경망 기반의 분석 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 16을 참조하면, 단계 S21에서 제1학습부(110')는 제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정할 수 있다.
다음으로, 단계 S22에서 제1학습부(110')는 단계 S21에서 결정된 가중치를 제1저항성 소자(111)에 반영할 수 있다.
다음으로, 단계 S23에서 제2학습부(120')는 디바이스(200)를 통해 제2학습 데이터를 수집할 수 있다.
다음으로, 단계 S24에서 제2학습부(120')는 제2학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 업데이트할 수 있다.
다음으로, 단계 S25에서 제2학습부(120')는 업데이트된 가중치를 제2저항성 소자에 반영할 수 있다.
다음으로, 단계 S26에서 추론부(130')는 디바이스(200)를 이용하여 분석 대상 데이터를 획득할 수 있다.
다음으로, 단계 S27에서 추론부(130')는 구축된 인공 신경망을 기초로 하여 분석 대상 데이터에 대한 추론을 수행할 수 있다.
상술한 설명에서, 단계 S22 내지 S27은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 저항성 소자를 이용한 인공 신경망 학습 방법 내지 저항성 소자를 이용한 인공 신경망 기반의 분석 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 저항성 소자를 이용한 인공 신경망 학습 방법 내지 저항성 소자를 이용한 인공 신경망 기반의 분석 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 인공 신경망 기반 분석 시스템
100: 저항성 소자를 이용한 인공 신경망 학습 장치
110: 제1학습부
120: 제2학습부
100': 저항성 소자를 이용한 인공 신경망 기반의 분석 장치
110': 제1학습부
120': 제2학습부
130': 추론부
200: 디바이스
300: 사용자 단말

Claims (18)

  1. 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 장치에 있어서,
    제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 제1학습부; 및
    디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 제2학습부,
    를 포함하는, 학습 장치.
  2. 제1항에 있어서,
    상기 제1저항성 소자는 고정 저항 소자를 포함하고,
    상기 제2저항성 소자는 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자를 포함하는 것인, 학습 장치.
  3. 제1항에 있어서,
    상기 제1학습부는 어레이 형태로 배치되는 복수 개의 제1저항성 소자를 포함하고,
    상기 제2학습부는 어레이 형태로 배치되는 복수 개의 제2저항성 소자를 포함하는 것인, 학습 장치.
  4. 제2항에 있어서,
    상기 고정 저항 소자의 폭, 길이 및 단면적 중 적어도 하나가 상기 결정된 가중치의 크기에 기초하여 결정되는 것을 특징으로 하는, 학습 장치.
  5. 제2항에 있어서,
    상기 고정 저항 소자는 금속 산화막 층을 포함하거나 Si, Ni, Cr, Al, Ta 및 이들의 조합으로 이루어진 군에서 선택된 물질로 이루어지는 것인, 학습 장치.
  6. 제2항에 있어서,
    상기 프로그래밍이 가능한 비휘발성 메모리 소자는 NAND 플래시 메모리(Flash Memory), NOR 플래시 메모리(Flash Memory), PCRAM(Phase-change Random Access Memory) 소자, RRAM(Resistive random-access memory) 소자, FRAM(Ferroelectrics Random Access Memory) 소자 및 MRAM(Magnetic Random Access Memory) 소자 중 적어도 하나를 포함하는 것을 특징으로 하는, 학습 장치.
  7. 제6항에 있어서,
    상기 RRAM 소자는 제1금속층, 절연체층 및 제2금속층이 수직으로 적층된 구조로 구비되는 것인, 학습 장치.
  8. 제1항에 있어서,
    상기 제1학습 데이터 및 상기 제2학습 데이터는 심전도 신호 데이터이고,
    상기 인공 신경망은 상기 디바이스를 통해 수집되는 심전도 신호 데이터인 분석 대상 데이터의 특성을 미리 설정된 카테고리에 대하여 분류하는 추론을 수행하도록 학습되는 것인, 학습 장치.
  9. 저항성 소자를 이용한 인공 신경망 기반의 분석 장치에 있어서,
    제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 제1학습부;
    디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 제2학습부; 및
    상기 디바이스를 이용하여 분석 대상 데이터를 획득하고, 상기 인공 신경망을 기초로 하여 상기 분석 대상 데이터에 대한 추론을 수행하는 추론부,
    를 포함하는, 분석 장치.
  10. 저항성 소자를 이용한 엣지 디바이스 구현을 위한 학습 방법에 있어서,
    제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 단계; 및
    디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 단계,
    를 포함하는, 학습 방법.
  11. 제10항에 있어서,
    상기 제1저항성 소자는 고정 저항 소자를 포함하고,
    상기 제2저항성 소자는 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자를 포함하는 것인, 학습 방법.
  12. 제10항에 있어서,
    상기 제1저항성 소자는 어레이 형태로 배치되는 복수 개로 구비되고,
    상기 제2저항성 소자는 어레이 형태로 배치되는 복수 개로 구비되는 것인, 학습 방법.
  13. 제11항에 있어서,
    상기 고정 저항 소자의 폭, 길이 및 단면적 중 적어도 하나가 상기 결정된 가중치의 크기에 기초하여 결정되는 것을 특징으로 하는, 학습 방법.
  14. 제11항에 있어서,
    상기 고정 저항 소자는 금속 산화막 층을 포함하거나 Si, Ni, Cr, Al, Ta 및 이들의 조합으로 이루어진 군에서 선택된 물질로 이루어지는 것인, 학습 방법.
  15. 제11항에 있어서,
    상기 프로그래밍이 가능한 비휘발성 메모리(non-volatile memory) 소자는 NAND 플래시 메모리(Flash Memory), NOR 플래시 메모리(Flash Memory), PCRAM(Phase-change Random Access Memory) 소자, RRAM(Resistive random-access memory) 소자, FRAM(Ferroelectrics Random Access Memory) 소자 및 MRAM(Magnetic Random Access Memory) 소자 중 적어도 하나를 포함하는 것을 특징으로 하는, 학습 방법.
  16. 제15항에 있어서,
    상기 RRAM 소자는 제1금속층, 절연체층 및 제2금속층이 수직으로 적층된 구조로 구비되는 것인, 학습 방법.
  17. 제10항에 있어서,
    상기 제1학습 데이터 및 상기 제2학습 데이터는 심전도 신호 데이터이고,
    상기 인공 신경망은 상기 디바이스를 통해 수집되는 심전도 신호 데이터인 분석 대상 데이터의 특성을 미리 설정된 카테고리에 대하여 분류하는 추론을 수행하도록 학습되는 것인, 학습 방법.
  18. 저항성 소자를 이용한 인공 신경망 기반의 분석 방법에 있어서,
    제1학습 데이터에 기초한 학습을 통해 인공 신경망의 가중치를 결정하고, 상기 결정된 가중치를 제1저항성 소자에 반영하는 단계;
    디바이스를 통해 수집된 제2학습 데이터에 기초한 학습을 통해 상기 인공 신경망의 가중치를 업데이트하고, 상기 업데이트된 가중치를 제2저항성 소자에 반영하는 단계; 및
    상기 디바이스를 이용하여 분석 대상 데이터를 획득하고, 상기 인공 신경망을 기초로 하여 상기 분석 대상 데이터에 대한 추론을 수행하는 단계,
    를 포함하는, 분석 방법.
KR1020220048483A 2022-04-19 2022-04-19 저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법 KR20230149141A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220048483A KR20230149141A (ko) 2022-04-19 2022-04-19 저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법
EP22938660.2A EP4421688A1 (en) 2022-04-19 2022-11-16 Training apparatus and method for implementing edge artificial intelligence device by using resistive elements, and analysis apparatus and method using same
PCT/KR2022/018066 WO2023204371A1 (ko) 2022-04-19 2022-11-16 저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220048483A KR20230149141A (ko) 2022-04-19 2022-04-19 저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230149141A true KR20230149141A (ko) 2023-10-26

Family

ID=88420161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220048483A KR20230149141A (ko) 2022-04-19 2022-04-19 저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법

Country Status (3)

Country Link
EP (1) EP4421688A1 (ko)
KR (1) KR20230149141A (ko)
WO (1) WO2023204371A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101686827B1 (ko) 2015-03-17 2016-12-16 인천대학교 산학협력단 인공 신경망의 뉴로모픽 하드웨어 구현 방법
KR102243644B1 (ko) * 2018-12-07 2021-04-23 서울대학교 산학협력단 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델
JP2020135141A (ja) * 2019-02-14 2020-08-31 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 訓練装置、訓練方法及び予測装置
KR102504522B1 (ko) * 2020-06-19 2023-02-27 포항공과대학교 산학협력단 저항 변화 메모리 어레이 기반의 가중 시냅스를 이용한 뉴럴 네트워크

Also Published As

Publication number Publication date
WO2023204371A1 (ko) 2023-10-26
EP4421688A1 (en) 2024-08-28

Similar Documents

Publication Publication Date Title
Dalgaty et al. In situ learning using intrinsic memristor variability via Markov chain Monte Carlo sampling
Krestinskaya et al. Neuromemristive circuits for edge computing: A review
Choubey et al. Performance evaluation of classification methods with PCA and PSO for diabetes
Alhamdoosh et al. Fast decorrelated neural network ensembles with random weights
Cortez et al. Using sensitivity analysis and visualization techniques to open black box data mining models
Kim et al. Fuzzy clustering of categorical data using fuzzy centroids
US12045723B2 (en) Neural network method and apparatus
Koryakin et al. Balanced echo state networks
Sreeja et al. Pattern matching based classification using ant colony optimization based feature selection
Stasinakis et al. Forecasting US unemployment with radial basis neural networks, Kalman filters and support vector regressions
US11568197B2 (en) Method, system, and apparatus for generating and training a digital signal processor for evaluating graph data
Li et al. In situ parallel training of analog neural network using electrochemical random-access memory
David et al. Hierarchical data organization, clustering and denoising via localized diffusion folders
Hu et al. The MBPEP: a deep ensemble pruning algorithm providing high quality uncertainty prediction
Dong et al. Hybrid dual‐complementary metal–oxide–semiconductor/memristor synapse‐based neural network with its applications in image super‐resolution
CN108108762A (zh) 一种用于冠心病数据分类的基于核极限学习机及并行化的随机森林分类方法
CN114822855B (zh) 基于ftrl模型的认知训练任务推送方法、系统及构建方法
Narassiguin et al. An extensive empirical comparison of ensemble learning methods for binary classification
CN110222751A (zh) 一种基于正交多种群正余弦算法来构建预测模型的方法
Cheriguene et al. A new hybrid classifier selection model based on mRMR method and diversity measures
Sindhu et al. A hybrid SCA inspired BBO for feature selection problems
Ruiz-Euler et al. Dopant network processing units: towards efficient neural network emulators with high-capacity nanoelectronic nodes
Wang et al. Research progress in architecture and application of RRAM with computing-in-memory
Goudjerkan et al. Predicting 30-day hospital readmission for diabetes patients using multilayer perceptron
Ramasamy et al. Classification of healthcare data using hybridised fuzzy and convolutional neural network