KR102508106B1 - 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법 - Google Patents

뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법 Download PDF

Info

Publication number
KR102508106B1
KR102508106B1 KR1020200159400A KR20200159400A KR102508106B1 KR 102508106 B1 KR102508106 B1 KR 102508106B1 KR 1020200159400 A KR1020200159400 A KR 1020200159400A KR 20200159400 A KR20200159400 A KR 20200159400A KR 102508106 B1 KR102508106 B1 KR 102508106B1
Authority
KR
South Korea
Prior art keywords
neurons
input
neural network
hardware
network model
Prior art date
Application number
KR1020200159400A
Other languages
English (en)
Other versions
KR20220071823A (ko
Inventor
정진만
윤영선
김서연
김재희
정재혁
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020200159400A priority Critical patent/KR102508106B1/ko
Publication of KR20220071823A publication Critical patent/KR20220071823A/ko
Application granted granted Critical
Publication of KR102508106B1 publication Critical patent/KR102508106B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법에 관한 것으로서, 더욱 상세하게는 개발자가 입력하는 이미지의 스케일을 줄이기 위한 이미지 변환율(λ)을 입력받고, 데이터를 처리하기 위한 하드웨어 사용률(η)을 입력받아 자동으로 뉴런수를 결정하여 신경망모델을 생성하는 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법에 대한 것이다.

Description

뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법 {IoT Application Generation Automation Method for supporting Neuromorphic Hardware}
본 발명은 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법에 관한 것으로서, 더욱 상세하게는 개발자가 입력하는 이미지의 스케일을 줄이기 위한 이미지 변환율(λ)을 입력받고, 데이터를 처리하기 위한 하드웨어 사용률(η)을 입력받아 자동으로 뉴런수를 결정하여 신경망모델을 생성하는 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법에 대한 것이다.
종래의 IoT(Internet of Things) 기술은 자율적인 기능을 지원하며 기계학습을 적용하여 데이터를 높은 수준으로 처리할 수 있는 지능형 연구를 요구하고 있다.
특히 뉴로모픽 하드웨어는 CPU에 탑재하여 실행되는 일반적인 프로세서와 구별되도록 단말 장치를 이용하여 연산을 수행하기 때문에 속도가 빠르고 효율성을 높일 수 있다. 하지만 뉴로모픽 하드웨어의 데이터 처리는 인간의 두뇌와 유사한 형태의 차세대 신경망인 SNN(Spiking Neural Network)와 같은 신경망을 이해하는 데 어려움이 있어 개발자가 쉽게 접근하기에는 한계가 있었다.
뉴로모픽 하드웨어는 자원 제약적인 특성이 있어 제공되는 자원이 한정적이며 보드 종류에 따라 자원의 상한이 달라 개발자는 이를 확인하고 성능에 직접적인 영향을 주는 신경망 각 계층의 레이어의 뉴런의 수를 결정해야 했다.
뉴로모픽 하드웨어 사용의 일실시예로 사용된 Nengo FPGA 보드는 제한된 크기의 모델을 제공하며, 일례로 PYNQ와 DE1-SoC는 하기 표 1과 같이 서로 다른 크기의 제원을 가진다.
이때, 뉴런(Neuron)과 차원(Dimension), 그리고 이 둘을 곱한 값은 모두 제한적이며 뉴런과 차원의 수가 상한보다 작더라도 두 수의 곱이 상한보다 클 경우 FPGA에서 실행할 수 없다.
Board Name Neurons(N) Dimensions(D) N x D(
Figure 112020126670211-pat00001
)
DE1-SoC 16K 1K 16K
PYNQ 16K 1K 32K
즉, 상기 DE1-SoC에서 수행하는 MNIST 데이터셋의 경우 이미지 크기가 28×28로 784개의 뉴런이 필요하며 뉴런과 차원의 곱이 16K보다 낮아야 하므로 히든 레이어의 뉴런 수를 20개만 사용하게 되어 학습이 제대로 되지 않을 수 있었다.
따라서 제대로 학습을 수행하기 위해서는 개발자가 데이터셋의 이미지 크기를 14×14로 재조정하여 레이어의 뉴런수를 81개로 증가시켜야 했다.
이와 같이, 개발자는 자신이 사용할 뉴로모픽 하드웨어의 제원을 일일이 파악하여 데이터셋의 이미지크기 및 뉴런의 수를 직접 조정하여 환경을 설정해야 했다. 따라서 개발자가 뉴로모픽 하드웨어의 정확한 제원을 일일이 파악하고 있어야 했으며, 더불어 처리할 데이터에 따른 뉴런수를 직접 계산하여 적용해야만 하는 번거로움으로 인하여 IoT에 신경망모델을 적용하는데 개발 난이도가 증가하여 총 개발시간 및 개발에 소요되는 비용이 증가하는 문제가 있었다.
한국공개특허 제10-2017-0094355호(2017.08.17. 공개)
이와 같은 문제를 해결하기 위해 안출된 본 발명은 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법에 관한 것으로서, 더욱 상세하게는 개발자가 입력하는 이미지의 스케일을 줄이기 위한 이미지 변환율(λ)을 입력받고, 데이터를 처리하기 위한 하드웨어 사용률(η)을 입력받아 자동으로 뉴런수를 결정하여 신경망모델을 생성하는 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법에 관한 것이다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일실시예에 따른 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법은,
이미지 변환율(λ)을 입력받는 변환율입력단계(S01),
상기 변환율입력단계(S01)에서 입력받은 이미지 변환율에 따라 입력데이터를 전처리하는 입력데이터전처리단계(S02),
상기 입력데이터전처리단계(S02)에서 전처리된 데이터를 처리하기 위한 하드웨어 사용률(η)을 입력받는 하드웨어사용률입력단계(S03),
상기 하드웨어사용률입력단계(S03)에서 입력받은 하드웨어 사용률에 맞추어 뉴런의 개수를 결정하는 뉴런수결정단계(S04),
상기 뉴런수결정단계(S04)에서 결정된 뉴런의 개수를 레이어 계층설정에 반영하는 레이어환경설정단계(S05),
상기 레이어환경설정단계(S05)의 정보에 맞추어 신경망 모델을 생성하는 신경망모델생성단계(S06) 및
상기 신경망모델생성단계(S06)를 통하여 생성된 신경망 모델을 이용하여 상기 입력데이터전처리단계(S02)에서 전처리된 데이터를 처리하는 데이터처리단계(S07)로 구성될 수 있다.
이때, 상기 변환율입력단계(S01)는 0.5에서 1 사이의 실수 중에서 입력받을 수 있다.
더불어, 상기 하드웨어사용률입력단계(S03)는 0에서 1 사이의 실수 중에서 입력받을 수 있다.
또한, 상기 레이어환경설정단계(S05)는 상기 뉴런수결정단계(S04)에서 결정된 뉴런의 개수를 반영하여 레이어환경을 구성하는 뉴런수설정단계(S05a)와, 뉴런설정을 위한 기타 세부설정을 진행하는 뉴런모델세부설정단계(S05b)를 더 포함할 수 있다.
이때, 상기 레이어환경설정단계(S05)는 상기 뉴런수설정단계(S05a)를 수행하고 추가적인 신경망 모델 설정이 필요하지 않을 경우 상기 신경망모델생성단계(S06)를 실행할 수 있다.
본 발명의 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법은,
개발자가 직접 뉴로모픽 하드웨어의 제원 및 처리 데이터를 확인하여 신경망모델을 설정하는 것이 아니라, 이미지 변환율(λ)과 하드웨어 사용률(η)을 입력하면 신경망모델이 생성되어 개발시간 및 개발비용을 줄일 수 있으며, 신경망모델 환경설정의 문제로 신경망모델을 통한 학습이 이루어지지 않는 문제를 미연에 방지할 수 있다.
더불어, 뉴런모델세부설정단계를 통하여 직접적인 세부설정이 가능하여 필요에 따라서 신경망모델의 자동생성 및 반자동생성이 가능하여 개발자에게 다양한 선택의 기회를 제공할 수 있다.
도 1은 본 발명 IoT 응용 생성 자동화 방법의 일실시예
도 2는 본 발명의 뉴런수에 따라 정확도와 수행 시간의 일실시예
도 3은 본 발명 레이어환경설정단계의 일실시예
도 4는 본 발명 뉴런모델세부설정단계의 일실시예
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.
도 1은 본 발명 IoT 응용 생성 자동화 방법의 일실시예이고, 도 2는 본 발명의 뉴런수에 따라 정확도와 수행 시간의 일실시예이며, 도 3은 본 발명 레이어환경설정단계의 일실시예이고, 도 4는 본 발명 뉴런모델세부설정단계의 일실시예이다.
본 발명의 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법은, 도 1에서 도시하고 있는 바와 같이,
이미지 변환율(λ)을 입력받는 변환율입력단계(S01), 상기 변환율입력단계(S01)에서 입력받은 이미지 변환율에 따라 입력데이터를 전처리하는 입력데이터전처리단계(S02), 상기 입력데이터전처리단계(S02)에서 전처리된 데이터를 처리하기 위한 하드웨어 사용률(η)을 입력받는 하드웨어사용률입력단계(S03), 상기 하드웨어사용률입력단계(S03)에서 입력받은 하드웨어 사용률에 맞추어 뉴런의 개수를 결정하는 뉴런수결정단계(S04), 상기 뉴런수결정단계(S04)에서 결정된 뉴런의 개수를 반영하여 레이어 계층을 설정하는 레이어환경설정단계(S05), 상기 레이어환경설정단계(S05)의 정보에 맞추어 신경망 모델을 생성하는 신경망모델생성단계(S06) 및 상기 신경망모델생성단계(S06)를 통하여 생성된 신경망모델을 이용하여 상기 입력데이터전처리단계(S02)에서 전처리된 데이터를 처리하는 데이터처리단계(S07)로 구성될 수 있다.
즉, 상기 변환율 입력단계(S01)에서 이미지의 스케일을 줄이기 위한 이미지 변환율(λ)을 개발자가 입력하여 데이터셋의 크기를 조절한다. 입력된 이미지 변환율(λ)에 따라 자동적으로 학습에 필요한 뉴런수가 계산되며, 뉴런수에 따라 정확도와 수행 시간이 달라진다.
이에 대한 일실시예로, 뉴로모픽 하드웨어 중 DE1-SOC에서 MNIST에 대한 정확도와 시간에 따른 성능평가를 진행하였다. 성능평가 기준은 DE1-SOC에서 제공하는 뉴런을 최대 사용 가능한 뉴런의 수에서 100%, 80%, 60%, 40%를 사용하여 서로 다른 200개의 데이터를 50번씩, 총 10,000개의 데이터를 측정하여 정확도와 수행 시간을 측정하였으며 측정 결과는 아래의 표 2와 도 1에 제시된다. 히든 레이어의 뉴런은 사용률이 떨어질수록 정확도는 낮아졌으며, 수행 시간은 더 빨라짐을 확인하였다.
Measure 100% 80% 60% 40%
Accuracy(%) 84.61 80.28 79.96 64.2
Time(ms) 1.64 1.576 1.557 1.317
이때, 상기 변환율입력단계(S01)에서 입력받는 이미지 변환율(λ)은 0.5부터 1까지의 실수이며, 이미지 변환율(λ)의 조절을 통해 이미지를 줄여 더 많은 뉴런을 사용하도록 설정할 수 있다.
보다 자세히 설명하자면, i번째 뉴런의 수
Figure 112020126670211-pat00002
과 i번째 입력 차원의 수
Figure 112020126670211-pat00003
, 레이어의 수
Figure 112020126670211-pat00004
은 최대 지원 가능한 FPGA보드의 메모리 상한보다 작아야 하며 아래 수식 1과 같이 표현될 수 있다.
Figure 112020126670211-pat00005
Figure 112020126670211-pat00006
은 레이어의 수로, 뉴로모픽 하드웨어에서 제공하는 레이어의 수는 하나이므로 L=1로 간단히 정리할 수 있다. 차원의 수
Figure 112020126670211-pat00007
는
Figure 112020126670211-pat00008
로 나타낼 수 있으며 아래 수식 2와 같이 표현할 수 있다.
Figure 112020126670211-pat00009
수식 2에서 입력된 데이터의 Rank, Shape에 따라 뉴로몰픽 하드웨어에서 차지하는 메모리를 많이 사용하기 때문에 정확도 성능을 향상시키기 위해서는 입력 데이터의 차원을 변환하는 것이 요구될 수도 있다. 이를 IoT 개발자 관점에서 편리하게 입력 데이터를 제어하기 위해 이미지 변환율(λ)을 도입하였다. 이미지 변환율 λ(
Figure 112020126670211-pat00010
)를 개발자에게 입력받으며, 기본은 1로서 입력된 이미지 원형을 사용한다. 수식 2를 수식 1에 대입하여 정리하면 아래와 같은 수식 3을 만족하게 된다.
Figure 112020126670211-pat00011
Board Name Neurons(N) Dimensions(D) N x D(
Figure 112020126670211-pat00012
)
DE1-SoC 16K 1K 16K
PYNQ 16K 1K 32K
또한, 위의 표 3과 같이 뉴런의 수(N)와 차원(D)을 곱한 상한뿐만 아니라 자체적인 뉴런의 수의 상한을 넘어서는 안 되기 때문에 설계된 신경망모델을 뉴로모픽 하드웨어에서 수행 가능하려면 아래의 수식 4를 만족시켜야한다.
Figure 112020126670211-pat00013
상기 입력데이터전처리단계(S02)는 상기 변환율입력단계(S01)에서 입력받은 이미지 변환율에 따라 입력데이터를 전처리하여 개발자가 원하는 크기로 조정하며, 상기 하드웨어사용률입력단계(S03)는 상기 입력데이터전처리단계(S02)에서 전처리된 데이터를 처리하기 위한 하드웨어 사용률(η)을 입력받는다.
또한 상기 뉴런수결정단계(S04)는 상기 하드웨어사용률입력단계(S03)에서 입력받은 하드웨어 사용률에 맞추어 뉴런의 개수를 결정할 수 있다.
즉, 개발자는 개발된 신경망모델을 하드웨어에서 수행가능하기 위해 하드웨어에 따라 수행 가능한지를 확인하고 이에 맞게 수정해야 하는 작업을 직접 수행하여야 했다. 신경망모델 개발 시 이러한 작업을 간소화하고 자동화하기 위해 다음과 같이 뉴로모픽 하드웨어 사용률(η)을 정의하고 개발자의 간단한 설정에 의해 신경망모델을 설정한다.
Figure 112020126670211-pat00014
예를 들어, 위의 수식 5에서 나타낸 바와 같이, η=1이면 하드웨어의 최대 용량을 사용하도록 최대 뉴런수로 설정된다. 즉, 개발자는 단순히 하드웨어 용량의 사용할 이용율을 선택하면 자동으로 그것에 맞게 뉴런의 수가 결정되는 알고리즘을 제공한다.
이를 통해 개발자가 뉴로모픽 하드웨어 제원을 일일이 확인하지 않고도 하드웨어 상한 범위 내에서 자유롭게 프로그래밍이 가능하다. 이를 통하여 신경망모델이 생성되어 개발시간 및 개발비용을 줄일 수 있으며, 신경망모델 환경설정의 문제로 신경망모델을 통한 학습이 이루어지지 않는 문제를 미연에 방지할 수 있다.
또한, 도 3에서 도시한 바와 같이, 상기 레이어환경설정단계(S05)는 상기 뉴런수결정단계(S04)에서 결정된 뉴런수를 반영하여 레이어환경을 구성하는 뉴런수설정단계(S05a)와, 뉴런설정을 위한 기타 세부설정을 진행하는 뉴런모델세부설정단계(S05b)를 더 포함할 수 있다.
즉, 상기 뉴런수결정단계(S04)에서 레이어의 뉴런수가 결정되어 상기 뉴런수설정단계(S05a)에서 레이어의 뉴런수를 설정하였지만 기타 뉴런모델 설정값들과 세부적인 파라미터를 추가적으로 입력할 수 있다.
세부적인 파라미터로 뉴런모델의 종류, 시냅스의 사용 여부와 정도, 뉴런이 작동하기 위한 firing rate, Intercepts 등으로 구성될 수 있다.
이러한 뉴런모델세부설정단계(S05b)를 통하여 직접적인 세부설정이 가능하여 필요에 따라서 신경망모델의 자동생성 및 반자동생성이 가능하여 개발자에게 다양한 선택의 기회를 제공할 수 있다.
이때, 상기 레이어환경설정단계(S05)는 상기 뉴런수설정단계(S05a)를 수행하고 추가적인 신경망 모델 설정이 필요하지 않을 경우 상기 신경망모델생성단계(S06)를 실행할 수 있다.
즉, 자동으로 생성된 뉴런수 외에 별다른 설정이 필요하지 않을 경우 상기 뉴런모델세부설정단계(S05b)를 실행하지 않고 바로 상기 신경망모델생성단계(S06)를 실행하여 불필요한 설정값 변경으로 인해 발생될 수 있는 휴먼에러를 최소화 할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
S01: 변환율입력단계
S02: 입력데이터전처리단계
S03: 하드웨어사용률입력단계
S04: 뉴런수결정단계
S05: 레이어환경설정단계
S05a: 뉴런수설정단계 S05b: 뉴런모델세부설정단계
S06: 신경망모델생성단계
S07: 데이터처리단계

Claims (6)

  1. 이미지 변환율(λ)을 입력받는 변환율입력단계(S01);
    상기 변환율입력단계(S01)에서 입력받은 이미지 변환율에 따라 입력데이터를 전처리하는 입력데이터전처리단계(S02);
    상기 입력데이터전처리단계(S02)에서 전처리된 데이터를 처리하기 위한 하드웨어 사용률(η)을 입력받는 하드웨어사용률입력단계(S03);
    상기 하드웨어사용률입력단계(S03)에서 입력받은 하드웨어 사용률에 맞추어 뉴런의 개수를 결정하는 뉴런수결정단계(S04);
    상기 뉴런수결정단계(S04)에서 결정된 뉴런의 개수를 레이어 계층설정에 반영하는 레이어환경설정단계(S05);
    상기 레이어환경설정단계(S05)에서 생성된 레이어 계층설정 정보에 맞추어 신경망 모델을 생성하는 신경망모델생성단계(S06); 및
    상기 신경망모델생성단계(S06)를 통하여 생성된 신경망모델을 이용하여 상기 입력데이터전처리단계(S02)에서 전처리된 데이터를 처리하는 데이터처리단계(S07);를 포함하는 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법에 있어서,
    상기 변환율입력단계(S01)는 이미지의 스케일을 줄이기 위한 이미지 변환율(λ)을 입력하고, 상기 입력데이터전처리단계(S02)는 입력받은 이미지 변환율에 따라 입력데이터를 전처리하여 데이터셋의 크기를 조절하며, 입력된 이미지 변환율(λ)에 따라 자동적으로 학습에 필요한 뉴런의 개수가 계산되고,
    상기 뉴런수결정단계(S04)는 하드웨어 사용률(η)을 입력하면 자동으로 그것에 맞게 뉴런의 수가 결정되므로 뉴로모픽 하드웨어 제원을 일일이 확인하지 않고도 하드웨어 상한 범위 내에서 프로그래밍이 가능하고, 이를 통해 신경망모델이 생성되어 개발시간 및 개발비용을 줄일 수 있고, 신경망모델 환경설정의 문제로 신경망모델을 통한 학습이 이루어지지 않는 문제를 방지하며,
    상기 레이어환경설정단계(S05)는
    상기 뉴런수결정단계(S04)에서 결정된 뉴런의 개수를 반영하여 레이어환경을 구성하는 뉴런수설정단계(S05a)와,
    뉴런설정을 위한 세부설정을 진행하는 뉴런모델세부설정단계(S05b)를 포함하며,
    상기 뉴런모델세부설정단계(S05b)의 세부설정은 뉴런모델의 종류 및 뉴런이 작동하기 위한 firing rate를 포함하고,
    상기 뉴런모델세부설정단계(S05b)를 통하여 직접적인 세부설정이 가능하여 신경망모델의 자동생성 및 반자동생성이 가능하며,
    상기 레이어환경설정단계(S05)는
    상기 뉴런수설정단계(S05a)를 수행하고 추가적인 신경망 모델 설정이 필요하지 않을 경우 상기 신경망모델생성단계(S06)를 실행하며,
    자동으로 생성된 뉴런 수 외에 별다른 설정이 필요하지 않을 경우 상기 뉴런모델세부설정단계(S05b)를 실행하지 않고 바로 상기 신경망모델생성단계(S06)를 실행하여 불필요한 설정값 변경으로 인해 발생될 수 있는 휴먼에러를 최소화하는 것을 특징으로 하는 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법.
  2. 제1항에 있어서,
    상기 변환율입력단계(S01)는
    0.5에서 1 사이의 실수 중에서 선택된 이미지 변환율을 입력받는 것을 특징으로 하는 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법.
  3. 제2항에 있어서,
    상기 하드웨어사용률입력단계(S03)는
    0보다 크고 1 이하인 실수 중에서 선택된 하드웨어 사용률을 입력받는 것을 특징으로 하는 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법.
  4. 삭제
  5. 삭제
  6. 삭제
KR1020200159400A 2020-11-24 2020-11-24 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법 KR102508106B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200159400A KR102508106B1 (ko) 2020-11-24 2020-11-24 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200159400A KR102508106B1 (ko) 2020-11-24 2020-11-24 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법

Publications (2)

Publication Number Publication Date
KR20220071823A KR20220071823A (ko) 2022-05-31
KR102508106B1 true KR102508106B1 (ko) 2023-03-08

Family

ID=81780235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159400A KR102508106B1 (ko) 2020-11-24 2020-11-24 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법

Country Status (1)

Country Link
KR (1) KR102508106B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234132A1 (en) * 2019-01-23 2020-07-23 Google Llc Compound model scaling for neural networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373062B2 (en) 2014-12-12 2019-08-06 Omni Ai, Inc. Mapper component for a neuro-linguistic behavior recognition system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234132A1 (en) * 2019-01-23 2020-07-23 Google Llc Compound model scaling for neural networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Daniel Rasmussen. "NengoDL: Combining Deep Learning and Neuromorphic Modelling Methods"*
Yixing Fu. "Image classification via fine-tuning with EfficientNet"*

Also Published As

Publication number Publication date
KR20220071823A (ko) 2022-05-31

Similar Documents

Publication Publication Date Title
US11704553B2 (en) Neural network system for single processing common operation group of neural network models, application processor including the same, and operation method of neural network system
US20190188570A1 (en) Methods and apparatus for model parallelism in artificial neural networks
US11481637B2 (en) Configuring computational elements for performing a training operation for a generative adversarial network
JP2023523029A (ja) 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体
WO2024041480A1 (zh) 一种数据处理方法以及相关装置
CN114078195A (zh) 分类模型的训练方法、超参数的搜索方法以及装置
Ellis et al. Scalable inference for sparse deep neural networks using Kokkos kernels
US11580458B2 (en) Method and system for performance tuning and performance tuning device
JP2020107042A (ja) 学習モデル生成装置、学習モデル生成方法、及びプログラム
CN114201107A (zh) 存储装置、操作存储装置的方法以及电子装置
KR102508106B1 (ko) 뉴로모픽 하드웨어 지원 IoT 응용 생성 자동화 방법
CN113688988A (zh) 精度调整方法及装置、存储介质
CN113159188B (zh) 用于图像分类的模型生成方法、装置、设备及存储介质
US20200097439A1 (en) Systems and methods for improving the interpretability and transparency of machine learning models
CN113222014A (zh) 图像分类模型训练方法、装置、计算机设备和存储介质
WO2022242471A1 (en) Neural network configuration parameter training and deployment method and apparatus for coping with device mismatch
EP3933703A1 (en) Dynamic loading neural network inference at dram/on-bus sram/serial flash for power optimization
US20220147810A1 (en) Discovery of hardware characteristics of deep learning accelerators for optimization via compiler
CN114241234A (zh) 细粒度图像分类方法、装置、设备及介质
KR20210157636A (ko) 가속기, 가속기의 동작 방법 및 이를 포함한 가속기 시스템
CN111143148A (zh) 一种模型参数确定方法、装置及存储介质
CN112242157B (zh) 数据读电压的确定方法、参数确定方法、装置及设备
JP7461433B2 (ja) リソース再設定可能な深層ニューラルネットワーク加速器、システムおよび方法
US20230064481A1 (en) Reconfigurable execution of machine learning networks
KR102375896B1 (ko) 딥 뉴럴 네트워크를 양자화하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant