KR101549796B1 - 스파스 접속성을 야기하는 로컬 경쟁 학습 규칙을 위한 방법 및 장치 - Google Patents

스파스 접속성을 야기하는 로컬 경쟁 학습 규칙을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101549796B1
KR101549796B1 KR1020147001698A KR20147001698A KR101549796B1 KR 101549796 B1 KR101549796 B1 KR 101549796B1 KR 1020147001698 A KR1020147001698 A KR 1020147001698A KR 20147001698 A KR20147001698 A KR 20147001698A KR 101549796 B1 KR101549796 B1 KR 101549796B1
Authority
KR
South Korea
Prior art keywords
weights
weight
local training
processing unit
rule
Prior art date
Application number
KR1020147001698A
Other languages
English (en)
Other versions
KR20140027498A (ko
Inventor
블라디미르 아파린
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140027498A publication Critical patent/KR20140027498A/ko
Application granted granted Critical
Publication of KR101549796B1 publication Critical patent/KR101549796B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/024—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)
  • Medicines Containing Plant Substances (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 개시물의 어떤 양태들은 네트워크의 프로세싱 유닛들 중 스파스 접속성을 초래하는 계산 네트워크에 적용되는 로컬 경쟁 학습 규칙을 지원한다. 본 개시물은 Oja 학습 규칙에 대한 수정을 제공하여, Oja 규칙에서 제곱된 웨이트들의 합에 대한 제한을 수정한다. 이러한 제한은 공통으로 사용되는 승산 및 감산 정규화에 반대로 본질적이고 국부적일 수 있으며, 이는 명시적이고 프로세싱 유닛의 모든 입력 웨이트들에 대한 지식을 요구하여 그들의 각각을 개별적으로 업데이트한다. 제시된 규칙은 오리지널 Oja 규칙에 의해 학습된 웨이트 벡터보다 더 스파스한 (즉, 더 많은 제로 엘리먼트들을 갖는) 웨이트 벡터로의 수렴을 제공한다. 이러한 스파스 접속성은 특정 특징들에 대해 프로세싱 유닛들의 보다 높은 선택도를 초래할 수 있고, 그것은 네트워크 구성을 저장하는 데 보다 적은 메모리를 요구할 수도 있고 그리고 그것을 동작시키는 데 보다 적은 에너지를 요구할 수도 있다.

Description

스파스 접속성을 야기하는 로컬 경쟁 학습 규칙을 위한 방법 및 장치{METHOD AND APPARATUS FOR A LOCAL COMPETITIVE LEARNING RULE THAT LEADS TO SPARSE CONNECTIVITY}
본 개시물의 어떤 양태들은 전반적으로 스냅스 네트워크 공학에 관한 것이고, 보다 구체적으로는, 스파스 접속성을 생성하는 로컬 트레이닝 규칙을 이용하여 계산 네트워크를 트레이닝하는 방법 및 장치에 관한 것이다.
인간 및 동물의 발달하는 뇌는 대규모 시냅스 프루닝 (massive synaptic pruning) 다음에 오는 유아기에 시냅스 성장 스퍼트를 경험하는데, 성년기까지 시냅스들의 대략 절반을 제거한다. 시냅스 리와이어링 (구조적 가소성) 은 성숙한 뇌에서, 그러나 느린 속도로 계속된다. 시냅스 프루닝은, 활동 의존적이고 보다 약한 시냅스들을 제거하는 것으로 밝혀졌다. 그 때문에, 그것은, 시냅스들이 신경영양학적 인자들과 같은 유한 리소스들을 두고 경쟁하는 시냅스 가소성에 의해 설명될 수도 있다. 시냅스 프루닝은 뇌 효율성을 증가시키는 것을 돕는데, 이는 일반적으로 몇 개의 시냅스들과 동일한 기능성으로 정의될 수 있다. 시냅스들을 통한 신호들의 송신이 에너지를 요구하므로, 보다 높은 효율은 또한 보다 낮은 에너지를 의미한다.
기존의 비감독된 학습 규칙들은, 증가하는 또는 감소하는 정규화에 의해 명시적으로, 또는 암시적으로, 제한된 리소스들에 대한 시냅스 경쟁을 모델링한다. 그러나, 명시적 정규화들은, 비국소적일 수도 있는데, 다시 말해, 그들은 그들 서로를 개별적으로 업데이트하기 위해 신경 세포의 모든 입력 웨이트들에 대한 지식을 요구한다. 그러나, 이것은 생물학적으로 타당하지 않을 수도 있다. 반면, Oja 규칙은, 그의 웨이트 업데이트를 컴퓨팅하기 위해 시냅스에 이용가능한 로컬 정보만을 이용하지만, 그것은 제곱된 웨이트들의 합을 점근적으로 제한하는데, 이는 생물학적인 정당한 근거를 갖지는 않는다.
본 개시물의 어떤 양태들은 컴퓨터 네트워크를 트레이닝하는 방법을 제공한다. 이 방법은 일반적으로 적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 컴퓨터 네트워크에서 프로세싱 유닛의 출력을 컴퓨팅하는 단계, 및 로컬 트레이닝 규칙을 이용하여 프로세싱 유닛의 적어도 하나의 웨이트를 변경하는 단계를 포함하며, 로컬 트레이닝 규칙은 컴퓨터 네트워크의 프로세싱 유닛들 사이에서의 스파스 접속성을 생성한다.
본 개시물의 어떤 양태들은 컴퓨터 네트워크의 장치를 제공한다. 이 장치는 일반적으로 적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 컴퓨터 네트워크에서 장치의 출력을 컴퓨팅하도록 구성된 제 1 회로, 및 로컬 트레이닝 규칙을 이용하여 이 장치의 적어도 하나의 웨이트를 변경하도록 구성된 제 2 회로를 포함하며, 로컬 트레이닝 규칙은 컴퓨터 네트워크의 장치들 사이에서의 스파스 접속성을 생성한다.
본 개시물의 어떤 양태들은 컴퓨터 네트워크의 장치를 제공한다. 이 장치는 일반적으로 적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 컴퓨터 네트워크에서 장치의 출력을 컴퓨팅하는 수단, 및 로컬 트레이닝 규칙을 이용하여 프로세싱 유닛의 적어도 하나의 웨이트를 변경하는 수단을 포함하며, 로컬 트레이닝 규칙은 컴퓨터 네트워크의 장치들 사이에서의 스파스 접속성을 생성한다.
본 개시물의 어떤 양태들은 컴퓨터 네트워크를 트레이닝하는 컴퓨터 프로그램 제품을 제공한다. 이 컴퓨터 프로그램 제품은 일반적으로 코드를 포함하는 컴퓨터 판독가능 매체를 포함하고, 코드는 적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 컴퓨터 네트워크에서 프로세싱 유닛의 출력을 컴퓨팅하고 그리고 로컬 트레이닝 규칙을 이용하여 프로세싱 유닛의 적어도 하나의 웨이트를 변경하며, 로컬 트레이닝 규칙은 컴퓨터 네트워크의 프로세싱 유닛들 사이에서의 스파스 접속성을 생성한다.
본 개시물의 전술된 특징들이 개시하는 방식이 상세히 이해될 수 있도록 하기 위해, 위에서 간단히 약술된 보다 구체적인 설명은 첨부한 도면에서 일부가 예시되는 양태들을 참조할 수도 있다. 그러나, 첨부한 도면은 본 개시물의 어떤 일반적인 양태들만을 예시하며, 그에 따라 그의 범주의 제한으로 간주되지 않고, 설명을 위해 다른 동일하게 효과적인 양태들로 인정할 수도 있음에 유의해야 할 것이다.
도 1 은 본 개시물의 어떤 양태들에 따른 신경계의 예시적인 프로세싱 유닛을 예시한다.
도 2 의 (A) 내지 (D) 는 본 개시물의 어떤 양태들에 따른 점근적 솔루션들 (asymptotic solutions) 의 예시적인 기하학적 분석을 예시한다.
도 3 은 본 개시물의 어떤 양태들에 따른 로컬 트레이닝 규칙을 이용하여 신경계의 시냅스 웨이트들을 업데이트하는 동작들을 예시한다.
도 3a 는 도 3 에 예시된 동작들을 수행할 수 있는 예시적인 콤포넌트들을 예시한다.
도 4 의 (A) 내지 (D) 는 본 개시물의 어떤 양태들에 따라 4 개의 상이한 규칙들에 의해 트레이닝된 단순 세포의 구심성 수용 필드들을 예시한다.
도 5 의 (A) 내지 (D) 는 본 개시물의 어떤 양태들에 따라 망막 절세포 (Retinal Ganglion Cell) 대 단순 세포 (RGC-to-S1) 웨이트들의 분배를 예시한다.
도 6 의 (A) 내지 (D) 는 본 개시물의 어떤 양태들에 따라 단순 세포들의 풀 (pool) 로부터 동일한 복합 세포까지의 커넥션들을 갖는 단순 세포 지향성 맵 (simple-cell orientation map) 을 예시한다.
도 7 의 (A) 내지 (D) 는 본 개시물의 어떤 양태들에 따라 4 개의 상이한 규칙들에 의해 트레이닝된 단순 세포 대 복합 세포 (S1-to-C1) 웨이트들의 분배를 예시한다.
도 8 은 본 개시물의 어떤 양태들에 따른, 범용 프로세서를 사용한 로컬 트레이닝 규칙의 예시적인 소프트웨어 구현을 예시한다.
도 9 는 본 개시물의 어떤 양태들에 따라 웨이트 메모리가 개별 분배된 프로세싱유닛들과 인터페이싱되는 로컬 트레이닝 규칙의 예시적인 구현형태를 예시한다.
도 10 은 본 개시물의 어떤 양태들에 따른, 분배된 웨이트 메모리들 및 분배된 프로세싱 유닛들에 기초한 로컬 트레이닝 규칙의 예시적인 구현형태를 예시한다.
본 개시물의 다양한 양태들은 첨부한 도면을 참조하여 이하에서 보다 충분히 설명된다. 그러나, 본 개시물은 많은 여러 가지 형태들로 구현될 수도 있으며, 본 개시물 전반에 제시된 임의의 특정 구조 또는 기능으로 제한되는 것으로 이해되어서는 안 된다. 오히려, 이들 양태들은 본 개시물이 철저하고 완전하게 되도록 그리고 본 개시물의 범주를 당업자에게 충분히 전달하도록 제공된다. 본 명세세의 교시사항들에 기초하여, 당업자는, 본 개시물의 임의의 다른 양태와는 독립적으로 구현되든 또는 그와 조합되든, 본 개시물의 범주가 본 명세서에 개시된 본 개시물의 임의의 양태를 커버하도록 의도된다는 것을 이해해야 한다. 예를 들어, 장치는 본 명세서에서 설명되는 임의의 수의 양태들을 이용하여 실시될 수도 있다. 추가로, 본 개시물의 범주는 본 명세서에서 설명되는 개시물의 다양한 양태들에 더해 또는 그 외에 다른 구조, 기능성, 또는 구조를 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에서 개시되는 개시물의 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있음이 이해되어야 한다.
단어 "예시적인" 은 "실시형태로서, 예시로서 또는 예증으로서 서빙하는 것" 을 의미하는 데 사용된다. 본 명세서에서 "예시적인" 것으로 설명되는 임의의 양태는 다른 양태들에 비해 반드시 더 선호되거나 또는 더 유익한 것으로 해석될 필요는 없다.
특정 양태들이 본 명세서에서 설명되지만, 이들 양태들의 많은 변형들 및 치환들이 본 개시물의 범주 내에 있다. 바람직한 양태들의 몇몇 이득들 및 이점들이 언급되지만, 개시물의 범주는 특정 이득들, 이용들 또는 목적들로 제한되는 것으로는 의도되지 않는다. 오히려, 본 개시물의 양태들은, 일부가 바람직한 양태들의 다음 설명 및 도면들에서 실시예로서 예시되는, 상이한 기술들, 시스템 구성들, 네트워크들 및 프로토콜들에 폭넓게 적용가능한 것으로 의도된다. 상세한 설명 및 도면은 첨부한 청구범위 및 그의 등가물들에 의해 정의되는 개시물의 범주를 제한하는 것이 아니라 개시물의 예시하는 것에 불과하다.
예시적인 신경계
도 1 은 본 개시물의 어떤 양태들에 따른 컴퓨터 네트워크 (예컨대, 신경계) 의 프로세싱 유닛 (예컨대, 신경 세포)(102) 의 실시예 (100) 를 예시한다. 신경 세포 (102) 는, 신경계 외부의 신호일 수도 있고, 또는 동일한 신경계의 다른 신경 세포들에 의해 생성된 신호일 수도 있고, 또는 양측 모두의 신호일 수도 있는 다수의 입력 신호들 (1041-104N (x1-xN)) 을 수신할 수도 있다. 입력 신호는 실수 값 또는 복소 값의 전류 또는 전압일 수도 있다. 입력 신호는 고정 소수점 또는 부동 소수점 표현을 갖는 수치 값을 포함할 수도 있다. 이들 입력 신호들은 조절가능한 시냅스 웨이트들 (1061-106N (w1-wN)) 에 따라 신호들을 스케일링하는 시냅스 커넥션들을 통해 신경 세포 (102) 에 전달될 수도 있다 (여기서, N 은 신경 세포 (102) 의 입력 커넥션들의 총 개수일 수도 있다).
신경 세포 (102) 는 스케일링된 입력 신호들을 조합할 수도 있고, 조합된 스케일링된 입력들을 이용하여 출력 신호 (108)(즉, 신호 y) 를 생성할 수도 있다. 출력 신호 (108) 는 실수 값 또는 복소 값의 전류 또는 전압일 수도 있다. 출력 신호는 고정 소수점 또는 부동 소수점 표현을 갖는 수치 값을 포함할 수도 있다. 그 후, 출력 신호 (108) 는 동일한 신경계의 다른 신경 세포들로의 입력 신호로서, 또는 동일한 신경 세포 (102) 로의 입력 신호로서, 또는 신경계의 출력으로서 이송될 수도 있다.
프로세싱 유닛 (신경 세포)(102) 은 전기 회로에 의해 에뮬레이트될 수도 있고, 그의 입력 및 출력 커넥션들은 시냅스 회로들과의 와이어들에 의해 에뮬레이트될 수도 있다. 프로세싱 유닛 (102), 그의 입력 및 출력 커넥션들은 또한 소프트웨어 코드에 의해 시뮬레이트될 수도 있다. 프로세싱 유닛 (102) 은 또한 전기 회로에 의해 에뮬레이트될 수도 있고, 그 반면에 그의 입력 및 출력 커넥션들은 소프트웨어 코드에 의해 에뮬레이트될 수도 있다. 본 개시물의 일 양태에서, 계산 네트워크에서의 프로세싱 유닛 (102) 은 아날로그 전기 회로를 포함할 수도 있다. 다른 양태에서, 프로세싱 유닛 (102) 은 디지털 전기 회로를 포함할 수도 있다. 또 다른 양태에서, 프로세싱 유닛 (102) 은 아날로그 및 디지털 콤포넌트들 양측 모두를 갖는 혼합된 신호 전기 회로를 포함할 수도 있다. 계산 네트워크는 전술된 형태들 중 임의의 형태인 프로세싱 유닛들을 포함할 수도 있다. 이러한 프로세싱 유닛들을 사용하는 계산 네트워크 (신경계) 는 이미지 및 패턴 인식, 머신 학습, 모터 제어 등과 같은 광범위한 애플리케이션들에서 이용될 수도 있다.
L 1 제한을 갖는 로컬 경쟁 학습 규칙
본 개시물의 어떤 양태들은 도 1 에 예시된 웨이트들 (1061-106N) 과 같은 계산 네트워크 (신경계) 의 하나 이상의 프로세싱 유닛들 (신경 세포들) 과 연관된 웨이트들을 업데이트하는 로컬 경쟁 학습 규칙을 지원한다. 적용되는 로컬 경쟁 학습 규칙은 프로세싱 유닛들 사이의 스파스 접속성을 야기할 수도 있는데, 다시 말해 일단 학습 프로세스가 완료되면, 웨이트들의 일부는 제로가 될 수도 있고, 또는 어떤 임계치 값 아래일 수도 있다.
일 양태에서, 시냅스 웨이트들의 일반적인 Hebb 의 학습 규칙은 다음과 같이 표현될 수도 있다:
Figure 112014006369788-pct00001
여기서 Δwi 는 i 번째 시냅스 웨이트 wi 의 변화이고, η 는 학습률이고, xi 는 i 번째 입력 (시냅스전 (presynaptic) 응답) 이고, y 는 신경 세포 출력 (시냅스후 (postsynaptic) 응답) 이다. 식 (1) 에 의해 정의된 규칙은 무한한 웨이트 성장을 야기하여, 시냅스 강화 작용 (synaptic potentiation) 에 대한 뇌의 제한된 리소스들 및 이들 리소스들에 대한 시냅스들 사이의 생성된 경쟁을 설명하지 못할 수도 있다.
Hebb 의 규칙에 대한 여러 수정안들이 그의 단점들을 극복하는 것을 도울 수도 있다. 예를 들어, 패시브 웨이트 쇠퇴 (passive weight decay) 항이 식 (1) 에 추가되어 웨이트 성장을 제한할 수도 있다:
Figure 112014006369788-pct00002
이 규칙은 낮은 활동성을 갖는 커넥션들을 프루닝 (prune) 할 수도 있으며, 그것은 γ 가 주의깊게 선택되지 않는다면 모든 커넥션들을 프루닝할 수도 있다. 또한, 쇠퇴 항이 시냅스후 활동성 y 로 게이트될 수도 있는 소위 "인스타 규칙 (instar rule)" 은 이 문제를 다음에 의해 주어지는 바와 같이 회피될 수도 있다:
Figure 112014006369788-pct00003
식 (3) 에 의해 정의된 것과 유사한 규칙은 자기 조직화 맵들 (self-organizing maps) 에서 활용될 수도 있다. 이 규칙은 wi = xi 로 수렴할 수도 있음에 유의해야 한다.
xi 및 y 의 비제로 평균으로 인한 Hebb 의 규칙의 편향을 제거할 수도 있고 동시에 다음에 의해 주어지는 바와 같이 시냅스 저하 (synaptic depression) 를 추가할 수도 있다:
Figure 112014006369788-pct00004
여기서 <xi> 및 <y> 는 각각 평균 시냅스전 및 시냅스후 활동성들이다. Hebb 의 규칙과 같이, 식 (4) 에 의해 정의된 규칙은 웨이트 성장을 제한하지 않을 수도 있으며, 시냅스 경쟁을 강요하지 않을 수도 있다.
시냅스 경쟁을 달성하기 위해, 평균 시냅스후 활동성 <y> 과 함께 선형적인 것보다는 빠르게 성장하는 시냅스후 임계치가 이용될 수도 있다. BCM 규칙 (Bienenstock-Cooper-Munro 규칙) 이라 지칭되는 생성된 학습 규칙은 다음과 같이 기록될 수도 있다:
Figure 112014006369788-pct00005
여기서 y0 은 <y> 에 대한 점근적 타깃을 나타내고, p > 1 은 상수이다.
웨이트들의 무제한적 성장을 방지하기 위해, 웨이트들은 그들을 다음에 의해 주어지는 바와 같이 일정하게 유지하도록 그들의 합으로 나누어질 수도 있다:
Figure 112014006369788-pct00006
여기서,
Figure 112014006369788-pct00007
, α 는
Figure 112014006369788-pct00008
이고, t 는 시간 인덱스이다. 이러한 타입의 웨이트 바운딩은 곱셈 정규화 (multiplicative normalization) 로 지칭될 수 있다. 그것의 오리지널 형태에서, 곱셈 정규화는 단극성 웨이트들에 적용될 수도 있다. 그러나, 그것은 식 (6) 에서의 분모를 L1-놈
Figure 112014006369788-pct00009
으로 변경함으로써 양극성 웨이트들로 확장될 수도 있다. 그것은 또한 분모를
Figure 112014006369788-pct00010
로 변경함으로써 웨이트 벡터 길이 (L2-놈) 를 제한하도록 수정될 수 있다. 식 (6) 에서의 웨이트들이 Hebb 의 규칙에 의해 트레이닝될 수도 있고 그 후에 공통 인자에 의해 스케일링될 수도 있기 때문에, 식 (1) 및 식 (6) 에 의해 정의된 양측 학습 규칙들 모두는 동일한 방향으로 가리키지만 상이한 길이들을 갖는 웨이트 벡터들로 수렴할 수도 있다.
또한 그들이 식 (1) 에 의해 정의된 학습 규칙에 의해 수정된 후 각각의 웨이트로부터 동일한 양을 감산할 수도 있으며, 그 양은 웨이트들의 총 합이 일정하게 유지될 수도 있도록 선택된다:
Figure 112014006369788-pct00011
N 은 입력들의 개수이다. 이러한 타입의 웨이트 바운딩은 감산 정규화 (subtractive normalization) 로 지칭될 수 있다.
Figure 112014010244404-pct00012
를 식 (7) 에 대입하고
Figure 112014010244404-pct00013
를 고려하면, (7) 에 의해 정의된 학습 규칙은 다음으로 감소할 수도 있다:
Figure 112014006369788-pct00014
감산 정규화는 일반적으로 단극성 웨이트들에 적용될 수도 있으며, 그에 따라 웨이트들의 부호를 변경하는 것으로부터 웨이트들을 방지하기 위해 제로 바운드를 요구할 수도 있다. 제로 바운드로, 식 (7) 에 의해 트레이닝되는 신경 세포의 모든 입력 웨이트들은 1 개의 웨이트를 제외하면 0 에 점근적으로 수렴할 수도 있다. 하나의 비제로 웨이트를 방지하기 위해, 웨이트 크기에 대한 상위 바운드가 또한 부과될 수도 있다. 곱셈 및 감산 정규화 양측 모두의 주 단점은 그들이 비로컬적이라는 것, 즉 그들이 각각의 웨이트를 개별적으로 컴퓨팅하기 위해 신경 세포의 모든 입력 웨이트들 또는 입력들의 지식을 요구할 수도 있다는 것일 수도 있다.
Oja 학습 규칙으로 공지된 로컬 학습 규칙은 평형점 (equilibrium point) 에서 입력 웨이트 벡터의 L2 놈을 제한할 수도 있다. 일반적인 형태에서, Oja 규칙은 다음과 같이 기록될 수도 있다:
Figure 112014006369788-pct00015
여기서 α 는 평형점에서
Figure 112014006369788-pct00016
에 대한 타깃이다. 이 규칙은 제한된 리소스들에 대한 시냅스 웨이트들 사이의 경쟁을 생성할 수도 있지만, 이들 리소스들을 제곱된 웨이트들의 합으로서 모델링하는 것은 생물학적으로 정당화되지 못할 수도 있다.
전술된 학습 규칙들은 일반적으로 단극성 웨이트들에 적용되어, 흥분성 신경 세포들로부터의 어떤 커넥션들이 양의 웨이트들을 가질 필요가 있을 수도 있고 억제성 신경 세포들로부터의 어떤 커넥션들이 음의 웨이트들을 가질 필요가 있을 수도 있는지에 따른 원리를 따르도록 할 수도 있다. 일 양태에서, 웨이트들은 제로 바운드를 이용하여 그들의 부호를 변경하도록 허용되지 않을 수도 있다. 규칙이 구심성 신경들을 분리할 수 있다면, 제로 바운드는 많은 제로 엘리먼트들을 갖는 웨이트 벡터들 (스파스 벡터들) 을 종종 야기할 수도 있다. 그러나, 웨이트들이 그들의 부호를 변경하도록 허용된다면, 전술된 규칙들은 몇 개의 제로 엘리먼트들을 갖는 웨이트 벡터들 (넌-스파스 (non-sparse) 벡터들) 에 수렴할 수도 있다.
본 개시물의 어떤 양태들에 따르면, 식 (9) 에 의해 정의된 Oja 규칙에 대한 수정은 다음에 의해 주어지는 바와 같이 제안된다:
Figure 112014006369788-pct00017
여기서 Δwi 은 i 번째 시냅스 웨이트 wi 에서의 변화이고, η 는 학습율이고, xi 는 i 번째 입력 (시냅스전 응답) 이고, y 는 신경 세포 출력 (시냅스 후 응답) 이고, α 는
Figure 112014006369788-pct00018
에 대한 타깃이고, sig() 는 부호 함수이다.
식 (10) 에 의해 주어진 제안된 규칙이 평형점에서 α 에 대해
Figure 112014006369788-pct00019
을 제한함을 입증하기 위해, 출력 y 가 신경 세포의 입력들의 웨이트된 합으로서 생성된다는 것을 상정할 수 있다, 즉:
Figure 112014006369788-pct00020
식 (11) 을 식 (10) 에 대입하고, 입력 패턴들이 제시되는 시간에 대해 웨이트 변화들이 느리다는 상정에 따른 결과의 시간 평균 <> 을 취하는 것은:
Figure 112014006369788-pct00021
또는, 매트릭스 형태로,
Figure 112014006369788-pct00022
을 초래할 수도 있으며, 여기서 w 는 입력 웨이트 벡터이고, 윗첨자에서의 T 는 전치를 의미하고, 엘리먼트
Figure 112014006369788-pct00023
를 갖는 매트릭스 C 는 입력들의 상관 매트릭스이다.
평형점에서, 평균 웨이트는 제로와 동일해야 한다, 즉
Figure 112014006369788-pct00024
식 (14) 의 양변을 좌변으로부터의 wT 로 곱하고, 생성된 식을 스칼라 [wT Cw] 로 나누고, 항들을 재정렬하는 것은:
Figure 112014006369788-pct00025
를 초래할 수도 있는데, 다시 말해, 웨이트 벡터 w 의 L1-놈은 평형점에서 α 와 동일할 수도 있다.
유사한 방식으로, 다음 규칙은 평형점에서 웨이트 벡터의 L0-놈을 제한할 수도 있다:
Figure 112014006369788-pct00026
여기서, β 는 상수 (예를 들어, β = 1 또는 β = 0) 이고, α 는 w 에서의 비제로 엘리먼트들의 카운트에 대한 타깃이다. wi 로 나누기 때문에, 식 (16) 에 의해 정의된 규칙은 wi 가 0 에 가까울 때 큰 Δwi 업데이트들을 생성하여, 제로 바운드가 이용되지 않는다면, 그것을 0 근처에서 발진하게 하고 타깃에 결코 도달하지 않게 할 수도 있다. 한편, 식 (10) 에 의해 정의된 학습 규칙은 그러한 거동을 보이지 않을 수도 있으며, 하기에서 보다 상세히 도시되는 바와 같이, 제로 바운드를 갖든 갖지 않든 스파스 w 에 수렴할 수도 있다.
간단한 실시예로서, 2 개의 입력들 x1 및 x2 를 갖는 선형 신경 세포 및 대응하는 웨이트들 w1 및 w2 가 고려될 수 있다. 그 후, 신경 세포 출력은 다음에 의해 주어질 수도 있다:
Figure 112014006369788-pct00027
여기서 모든 양들은 양, 음 또는 제로 중 어느 하나일 수도 있다. 입력들이 제로 평균이면, 출력 y 는 또한 제로 평균일 수도 있고, 식 (4) 에 의해 정의된 공분산 규칙은 식 (1) 에 의해 정의된 Hebb 의 규칙으로 감소할 수도 있다. Hebb 의 규칙은 비용 함수 E 의 그레디언트의 방향에서 최적화 단계로서 보일 수 있다:
Figure 112014006369788-pct00028
E = y2/2, 즉 Hebb 의 규칙은 신경 세포 에너지를 최대화할 수도 있고, 그에 따라 웨이트 크기들의 무제한 성장을 최대화할 수도 있음이 나타내질 수 있다. y 의 초기 값에 따라, 포물선 y2/2 의 좌측 (y < 0) 및 우측 (y > 0) 을 따르는 그레디언트 상승의 2 개의 가능한 솔루션 경로들이 있다. 간소성을 위해, 이 초기 값은 양인 것으로 상정될 수도 있고, 그에 따라 식 (18) 에 의해 정의된 학습 규칙은 포물선 y2/2 의 우측을 따라 이동할 수도 있다. 이 경우에 있어서, y2/2 의 최대화는 y 의 최대화와 동일할 수도 있다. 무제한 웨이트 성장을 방지하기 위해, 웨이트 크기들에 대해 제한이 부과될 수도 있다:
Figure 112014006369788-pct00029
및
Figure 112014006369788-pct00030
. 이 제한은 도 2 의 (A) 에 예시된 바와 같이, (w1;w2) 평면 상에서 정사각형 (202) 을 묘화할 수도 있다. 직선 (204) 은 주어진 y, x1 및 x2 에 대한 모든 가능한 (w1;w2) 솔루션들을 묘화할 수도 있다. 선 (204) 의 기울기는 -x1/x2 에 의해 결정될 수도 있고, 중심에 대한 그의 포지션은 y/x2 에 의해 결정될 수도 있다. y 의 최대화는 (x2 > 0 인 경우에는 위로 또는 x2< 0 인 경우에는 아래로) 중심으로부터 멀어지도록 선 (204) 을 이동시킬 수도 있다. 점근적 솔루션
Figure 112014006369788-pct00031
는, x1 = 0 또는 x2 = 0 이 아니면, 항상 코너들 중 하나일 수도 있는 단 하나의 포인트에서 정사각형 (202) 에 도달할 때까지 y 를 증가시키는 방향으로 선 (204) 을 이동시킴으로써 발견될 수도 있다. 그것이 도 2 의 (A) 에서 관찰될 수 있는 바와 같이, 입력들의 대다수에 대해, 특정된 바운드들을 갖는 Hebb 의 규칙은 모든 웨이트가 최대 크기를 갖는다, 즉
Figure 112014006369788-pct00032
라는 솔루션을 초래할 수도 있다.
식 (7) 에 의해 정의된 감산 정규화를 갖는 Hebb 의 규칙은 웨이트들의 총 합을 일정하게 유지할 수도 있다, 즉 w1 + w2 = α. 이 제한은 도 2 의 (B) 에 예시된 바와 같이 (w1;w2) 면 상에서 (α, 0) 및 (0, α) 를 통해 지나는 직선 (206) 을 묘화할 수도 있다. 2 개의 제한들이 예시된다: 선 (206) 은 음이 아닌 웨이트들과 연관될 수도 있고, 다른 선 (208) 은 양극성 웨이트들과 연관될 수도 있다. 가능한 점근적 솔루션들은 210 으로 마킹된다. 감산 정규화는 음이 아닌 웨이트들에 일반적으로 적용될 수도 있고, 이 경우에 α > 0 및 웨이트들은 제로에서 바운드된다, 즉
Figure 112014006369788-pct00033
및
Figure 112014006369788-pct00034
. 점근적 솔루션들은 (α, 0) 및 (0, α) 일 수도 있고, 이들 양측 모두는 스파스하다. 웨이트들이 그들의 부호를 변경하도록 허용되면, 점근적 솔루션들은 바운드들이 가용되지 않을 수도 있다면 바운드되지 않을 수도 있다. 최대 웨이트 크기가 α 에서 제한되면, 점근적 솔루션들은 (-α, α) 및 (α, -α) 이며, 양측 모두 스파스하지 않다.
1 차 근사화를 위해, 식 (9) 에 의해 정의된 Oja 규칙은 Hebb 의 항 (식 (9) 의 괄호들에서의 제 1 항) 및 제한 항 (식 (9) 의 괄호들에서의 제 2 항) 으로 분해될 수도 있다. Hebb 의 항은 초기 출력 y 가 양임을 상정하면 출력 y 를 최대화할 수도 있고, 제 2 항은 점근적 솔루션 상에
Figure 112014006369788-pct00035
을 부과할 수도 있다. 이 제한은 도 2 의 (C) 에 예시된 바와 같이 (w1;w2) 면 상에 반경
Figure 112014006369788-pct00036
을 갖는 원 (212) 을 묘화할 수도 있다. 점근적 솔루션
Figure 112014006369788-pct00037
은 식 (17) 에 의해 정의된 솔루션 라인 (214)이 원 (212) 에 대해 탄젠트인 점으로서 발견될 수도 있다. 도 2 의 (C) 에서 관찰될 수 있는 바와 같이, x1 = 0 또는 x2 = 0 이 아니면, Oja 규칙으로 스파스 솔루션을 얻는 것은 불가능할 수도 있다. 보다 엄격한 분석은, Oja 규칙이
Figure 112014006369788-pct00038
를 갖는 데이터 공분산 매트릭스 C 의 주요 고유벡터에 수렴할 수도 있음을 보여줄 수 있다.
본 개시물의 어떤 양태들은 식 (10) 에 의해 정의된 로컬 학습 규칙을 지원하며, 이는 점근적 제한
Figure 112014006369788-pct00039
을 부과할 수도 있다. 이 제한은, 도 2 의 (D) 에 예시된 바와 같이, (w1;w2) 면 상에서의
Figure 112014006369788-pct00040
와 동일한 모든 측들을 갖는 마름모 (216) 를 묘화할 수도 있다. 점근적 솔루션
Figure 112014006369788-pct00041
은,
Figure 112014006369788-pct00042
가 아니면, 항상 버텍스들 중 하나일 수도 있는 단 하나의 점에서 마름모 (216) 에 도달할 때까지 식 (17) 에 의해 정의된 솔루션 라인 (218) 을 이동시킴으로써 발견될 수도 있다. 따라서, 입력들의 대다수에 대해, 제안된 규칙은 스파스 솔루션을 제공할 수도 있다 (즉, 2 개의 웨이트들 중 하나가 제로일 수도 있다).
N 개의 입력 웨이트들의 일반적인 경우에 있어서, 식 (10) 에 의해 정의된 규칙은 이론적으로 크기 α 의 단 하나의 비제로 웨이트를 갖는 솔루션에 수렴할 수도 있다. 웨이트 벡터가 1 보다 큰 비제로 엘리먼트를 갖도록 하는 것이 바람직할 수도 있다. 그것을 달성하기 위해, 각각의 웨이트 크기에 대한 상한 wmax 은
Figure 112014006369788-pct00043
이 되도록 부과될 수도 있으며, 여기서
Figure 112014006369788-pct00044
는 w 에서의 비제로 엘리먼트들의 카운트에 대한 타깃일 수도 있다. 일 양태에서, α 의 선택은 임의적일 수도 있다. 그러나, 네트워크에서의 모든 입력들 및 출력들이 동일한바운드 내에 있는 것 (예를 들면,
Figure 112014006369788-pct00045
및
Figure 112014006369788-pct00046
) 이 희망되면, α 에 대한 적절한 값은 1 일 수도 있다. 이 경우에 있어서, 학습 규칙에 요구되는 유일한 입력 파라미터들은 학습률 η 및 웨이트 크기 한도
Figure 112014006369788-pct00047
일 수도 있다.
식 (16) 에 의해 정의된 L0-제한 규칙은 또한 최대 웨이트 크기를
Figure 112014010244404-pct00048
으로 제한함으로써 네트워크 입력들 및 출력들을 동일한 바운드들 내에 유지시키도록 강요될 수도 있으며, 여기서 α 는 각각의 웨이트 벡터에서의 비제로 엘리먼트들의 개수이다.
도 3 은 본 개시물의 양태들에 따른 계산 네트워크 (신경 네트워크) 를 트레이닝하는 예시적인 동작들 (300) 을 예시한다. 302 에서, 계산 네트워크에서의 프로세싱 유닛 (신경 세포) 의 출력은 적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 계산될 수도 있다. 304 에서, 프로세싱 유닛의 적어도 하나의 웨이트는 로컬 트레이닝 규칙을 이용하여 변경될 수도 있고, 여기서 로컬 트레이닝 규칙은 계산 네트워크의 프로세싱 유닛들 사이에 스파스 접속성 (sparse connectivity) 을 생성할 수도 있다.
본 개시물의 어떤 양태들에 따르면, 로컬 트레이닝 규칙을 이용하여 적어도 하나의 웨이트를 변경하는 것은, 프로세싱 유닛에서의 하나 이상의 입력들, 출력, 또는 변경 전의 적어도 하나의 기존 웨이트 중 적어도 하나에 기초하여 적어도 하나의 웨이트를 업데이트하는 것을 포함할 수도 있다. 어떤 실시형태들에 따르면, 스파스 접속성은 적어도 하나의 웨이트의 다수 업데이트 후에 생성될 수도 있다.
본 개시물의 어떤 실시형태들을 설명하기 위해, 식 (10) 에 의해 정의된 학습 규칙 및 이것과 다른 규칙들과의 차이는 일차 시각적 피질 (V1) 신경 네트워크 모델에서 피드-포워드 커넥션 웨이트들을 트레이닝하는 데 이용될 수도 있다. 네트워크는 4 개의 2-차원 층들: 광수용체들, 망막 신경절 세포들 (RGC들), V1 단순 세포들 (S1들), 및 V1 복합 세포들 (C1들)로 이루어질 수도 있다. 광수용체들은 입력 이미지의 픽셀들에 대해 1:1 로 매핑될 수도 있다. 각각의 광수용체는 범위 [-1, 1] 에서 대응하는 픽셀의 광도 (luminosity) 를 코딩할 수도 있다. 광수용체 출력들은 DoG (Difference of Gaussians) 를 갖는 입력 이미지의 공간적 필터링을 수행하는 고정 웨이트 커넥션들을 통해 망막 국소적으로 (retinotopically) 매핑되도록 공급될 수도 있다.
각각의 RGC 의 출력은 웨이트된 입력들의 선형 합으로서 계산될 수도 있다. 그것은 양, 음 또는 제로 중 어느 하나일 수도 있다. 그러한 RGC 는 ON 및 OFF 세포들을 동일한 입력들 및 반대 극성 입력 웨이트들과 조합할 수도 있다. 그의 출력은 대응하는 ON 및 OFF 셀 출력들의 차이와 동일할 수도 있다. RGC 출력들은 적응적 양극성 웨이트들을 통해 단순 세포들에 공급될 수도 있으며, 이는 대응하는 ON 및 OFF 셀들로부터의 웨이트들 사이의 차이를 모델링할 수도 있다. 이들 RGC-대-S1 웨이트들은 단순 세포들의 수용 분야들을 결정할 수도 있다. S1 은 단거리 여기 및 장거리 억제를 갖는 횡방향 커넥션들을 가질 수도 있다. 이들 횡방향 커넥션들은 단순 세포들을 핀휠들 및 선형 구역들을 갖는 지향성 맵 내에 자기 조직화하는 것을 도울 수도 있다. 각각의 단순 세포 S1 은 반파 정류기를 통해 전달되는 웨이트된 입력들의 합으로서 모델링될 수도 있는데, 이는 출력의 양의 부분을 보존할 수도 있고 음의 부분을 제로로 클립할 수도 있다. S1들의 양의 출력들은 적응적 양의 웨이트들을 통해 C1들에 공급될 수도 있다.
먼저, RGC-대-S1 커넥션들은 4 개의 규칙들: 식 (7) 에 의해 정의된 감산 정규화를 갖는 Hebb 의 규칙, 식 (9) 에 의해 정의된 Oja 의 규칙, 식 (10) 에 의해 정의된 제안된 로컬 학습 규칙, 및 식 (16) 에 의해 정의된 수정된 로컬 학습 규칙. 모든 4 개의 규칙들은 웨이트 바운딩을 초래할 수도 있으며, 여기서 학습되고 있는 웨이트들은
Figure 112014006369788-pct00049
에 바운드될 수도 있다.
도 4 의 (A) 내지 (D) 는 융기된 RGC-대-S1 웨이트 매트릭스들의 실시예들을 예시하며, 여기서 충진된 원들은 양의 웨이트들 (ON 영역) 을 나타내고, 중공 원들은 음의 웨이트들 (OFF 영역) 을 나타낸다. 원 직경은 웨이트 크기에 비례할 수도 있다. 웨이트들은
Figure 112014006369788-pct00050
바운딩을 갖는 4 개의 전술된 규칙들에 의해 트레이닝될 수도 있다. 도 4 의 (A) 는 감산 정규화를 갖는 Hebb 의 규칙에 의해 트레이닝된 웨이트들을 예시한다. 도 4 의 (B) 는 Oja 규칙에 의해 트레이닝된 웨이트들을 예시한다. 도 4 의 (C) 는 L1 제한을 갖는 식 (10) 에 의해 정의된 규칙에 의해 트레이닝된 웨이트들을 예시한다. 도 4 의 (D) 는 식 (16) 에 의해 정의된 L0 제한을 갖는 규칙에 의해 트레이닝된 웨이트들을 예시한다.
도 5 의 (A) 내지 (D) 는 모든 RGC-대-S1 웨이트들의 대응하는 분배들을 예시한다. 도 5 의(A) 에 예시된 바와 같이, 감산 정규화를 갖는 Hebb 의 규칙은 최대 크기의 웨이트들에 수렴할 수도 있다. 도 5 의 (B) 에 예시된 Oja 규칙은 일부가 작지만 비제로인 값을 가질 수도 있는 그레이드된 웨이트들에 수렴할 수도 있다. 도 5 의 (C) 에서 예시된, 식 (10) 에 의해 정의된 제안된 규칙은 잘 정의된 ON 및 OFF 영역들과 많은 제로 근접 엘리먼트들을 갖는 웨이트 매트릭스에 수렴할 수도 있다. 도 5 의(D) 에 예시된, 식 (16) 에 의해 정의된 규칙은 wi 에 의한 나눗셈 때문에 스파스 웨이트 매트릭스에 수렴하지 못할 수도 있어, 작은 웨이트들이 제로 근처에서 발진하게 할 수도 있다. 규칙들 중 임의의 것에서 제로 바운드를 갖지 않고 정확히 제로인 웨이트들을 얻는 것은 불가능할 수도 있다. 따라서, 웨이트 매트릭스들의 희소성 (sparsity) 을 추정하기 위해, 선택된 라운딩 에러 내에서 제로인 웨이트들이 카운트될 수도 있다. 0:01wmax 의 라운딩 에러로, 식 (10) 에 의해 정의된 제안된 규칙에 의해 트레이닝되는 RGC-대-S1 웨이트들의 약 54% 는 제로일 수도 있고, 그 반면, 다른 3 개의 규칙들에 의해 트레이닝되는 웨이트들의 3% 미만은 제로일 수도 있다.
도 6 의 (A) 내지 (D) 는 S1-대-C1 커넥션들을 트레이닝하는 데 이용되는 동일한 4 개의 규칙들을 예시한다. 이 때, 각각의 규칙은 [0, wmax] 에 대한 추가된 웨이트 바운딩을 가질 수도 있다. S1 층의 프래그먼트는 도 6 의 (A) 내지 (D) 에 예시되며, 단순 세포들의 2 차원 배열을 그들의 바람직한 배향들의 동-지향성 (iso-orientation) 컨투어 플롯으로서 도시한다 (컨투어들을 통한 값들은 이들 컨투어들 아래에 위치된 단순 세포들의 바람직한 지향성들을 나타낸다). 박스들 (602, 604, 606, 608) 은 S1 셀들의 풀에 대한 개요를 설명할 수도 있고, 이들의 출력들은 동일한 복합 세포에 공급될 수도 있다. 박스들 내부의 중공 원들 (612, 614, 616, 618) 은 이들 단순 세포들로부터, 선택된 복합 세포까지의 커넥션 세기들을 나타낼 수도 있다. 도 6 의 (A) 는 감산 정규화를 갖는 Hebb 의 규칙에 의해 트레이닝된 웨이트들을 예시한다. 도 6 의 (B) 는 Oja 규칙에 의해 트레이닝된 웨이트들을 예시한다. 도 6 의 (C) 는 L1 제한을 갖는 식 (10) 에 의해 정의된 규칙에 의해 트레이닝된 웨이트들을 예시한다. 도 6 의 (D) 는 L0 제한을 갖는 식 (16) 에 의해 정의된 규칙에 의해 트레이닝된 웨이트들을 예시한다.
도 7 의 (A) 내지 (D) 는 모든 S1-대-C1 웨이트들의 대응하는 분배들을 예시한다. 도 7 의 (A) 에서, 감산 정규화를 갖는 Hebb 의 규칙이 제로 하위 바운드로 인해 스파스 S1-대-C1 접속성을 생성할 수도 있음을 관찰할 수 있다. 도 7 의 (B) 는 박스 내의 모든 단순 세포들, 심지어 직교 방위들을 갖는 것들에 대한 가변 세기의 커넥션들을 생성함을 예시한다. 본 개시물의 어떤 양태들에 따르면, 도 7 의 (C) 에 예시된 바와 같이, 식 (10) 에 의해 정의된 제안된 로컬 학습 규칙은 유사한 방위들의 단순 세포들로의 강한 커넥션들 및 다른 방위들의 단순 세포들로의 제로 세기 커넥션들을 생성할 수도 있으며, 이는 방위 선택적 및 시프트 불변 복합 세포들의 생물학적 데이터와 일치할 수도 있다. 식 (16) 에 의해 정의된 학습 규칙은, 또한, 도 7 의 (D) 에 예시된 바와 같이, 음의 웨이트들을 제로로 클리핑하는 것으로 인해 스파스 S1-대-C1 접속성을 생성할 수도 있다.
도 8 은 본 개시물의 어떤 양태들에 따른, 범용 프로세서 (802) 를 사용한 전술된 로컬 트레이닝 규칙의 예시적인 소프트웨어 구현형태 (800) 를 예시한다. 계산 네트워크 (신경 네트워크) 의 각각의 프로세싱 유닛 (신경 세포) 과 함께 연관된 기존의 웨이트들은 메모리 블록 (804) 에 저장될 수도 있고, 범용 프로세서 (802) 에서 실행되고 있는 로컬 트레이닝 규칙에 관련된 명령들은 프로그램 메모리 (806) 로부터 로딩될 수도 있다. 본 개시물의 어떤 양태들에 따르면, 로딩된 명령들은 메모리 블록 (804) 에 저장된 적어도 하나의 기존의 웨이트에 적어도 부분적으로 기초하여 계산 네트워크에서의 각각의 프로세싱 유닛의 출력을 컴퓨팅하는 코드를 포함할 수도 있다. 또한, 로딩된 명령들은 로컬 트레이닝 규칙에 따라 그 프로세싱 유닛의 적어도 하나의 웨이트를 변경하는 코드를 포함할 수도 있으며, 여기서 로컬 트레이닝 규칙은 계산 네트워크의 프로세싱 유닛들 사이에 스파스 접속성을 생성할 수도 있다. 본 개시물의 일 양태에서, 그 프로세싱 유닛의 적어도 하나의 웨이트를 변경하는 코드는 그 프로세싱 유닛에서의 하나 이상의 입력들, 이전에 컴퓨팅된 출력, 또는 변경 이전의 적어도 하나의 기존 웨이트 중 적어도 하나에 기초하여 적어도 하나의 웨이트를 업데이트하는 코드를 포함할 수도 있다. 업데이트된 웨이트들은 메모리 블록 (804) 에 저장되어 구 웨이트들을 대체할 수도 있다.
도 9 는 전술된 로컬 트레이닝 규칙의 예시적인 구현형태 (900) 를 예시하며, 여기서 웨이트 메모리 (902) 는 본 개시물의 어떤 양태들에 따라 계산 네트워크 (신경 네트워크) 의 개별 (분배된) 프로세싱 유닛들 (신경 세포들)(906) 을 갖는 상호접속 네트워크 (904) 를 통해 인터페이싱된다. 프로세싱 유닛 (906) 과 연관된 적어도 하나의 기존 웨이트는 그 프로세싱 유닛 (906) 내로의 상호접속 네트워크 (904) 의 커넥션(들)을 통해 메모리 (902) 로부터 로딩될 수도 있다. 프로세싱 유닛 (906) 은 적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 그의 출력을 컴퓨팅하도록 구성될 수도 있다. 또한, 프로세싱 유닛 (906) 은 로컬 트레이닝 규칙에 따라 그 프로세싱 유닛과 연관된 적어도 하나의 웨이트를 변경하도록 구성될 수도 있으며, 여기서 로컬 트레이닝 규칙은 계산 네트워크의 프로세싱 유닛들 (906) 사이에 스파스 접속성을 생성할 수도 있다. 본 개시물의 일 양태에서, 로컬 트레이닝 규칙을 이용하여 적어도 하나의 웨이트를 변경하는 것은, 프로세싱 유닛 (906) 에서의 하나 이상의 입력들, 프로세싱 유닛 (906) 의 이전에 컴퓨팅된 출력, 또는 변경 전의 적어도 하나의 기존 웨이트 중 적어도 하나에 기초하여 적어도 하나의 웨이트를 업데이트하는 것을 더 포함할 수도 있다. 업데이트된 웨이트들은 메모리 (904) 에 저장되어 그 프로세싱 유닛 (906) 과 연관된 구 웨이트들을 대체할 수도 있다.
도 10 은 본 개시물의 어떤 양태들에 따른, 분배된 웨이트 메모리들 (1002) 및 분배된 프로세싱 유닛들 (1004) 에 기초한 전술된 로컬 트레이닝 규칙의 예시적인 구현형태 (1000) 를 예시한다. 도 10 에 예시된 바와 같이, 하나의 웨이트 메모리 뱅크 (1002) 는 컴퓨터 네트워크 (신경 네트워크) 의 하나의 프로세싱 유닛 (신경 세포)(1004) 과 직접 인터페이싱될 수도 있으며, 여기서 그 메모리 뱅크 (1002) 는 그 프로세싱 유닛 (1004) 과 연관된 적어도 하나의 기존 웨이트를 저장할 수도 있다. 프로세싱 유닛 (1004) 은 대응하는 웨이트 메모리 뱅크 (1002) 로부터 로딩된 적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 그의 출력을 컴퓨팅하도록 구성될 수도 있다. 또한, 프로세싱 유닛 (1004) 은 로컬 트레이닝 규칙에 따라 그 프로세싱 유닛과 연관된 적어도 하나의 웨이트를 변경하도록 구성될 수도 있으며, 여기서 로컬 트레이닝 규칙은 계산 네트워크의 프로세싱 유닛들 (1004) 사이에 스파스 접속성을 생성할 수도 있다. 본 개시물의 일 양태에서, 로컬 트레이닝 규칙에 따라 프로세싱 유닛 (1004) 에 의해 적어도 하나의 웨이트를 변경하는 것은, 프로세싱 유닛 (1004) 에서의 하나 이상의 입력들, 프로세싱 유닛 (1004) 의 이전에 컴퓨팅된 출력, 또는 변경 전의 적어도 하나의 기존 웨이트 중 적어도 하나에 기초하여 적어도 하나의 웨이트를 업데이트하는 것을 더 포함할 수도 있다. 업데이트된 웨이트들은 대응하는 메모리 뱅크 (1002) 에 저장되어 구 웨이트들을 대체할 수도 있다.
본 개시물의 양태들에 따르면, 제안된 학습 규칙은 평형점에서 신경 세포의 입력 웨이트 벡터의 L1-놈을 제한할 수도 있다. 학습 규칙은 국소적이고 본질적일 수도 있으며, 이는 소프트웨어 및 하드웨어 구현형태들을 보다 단순하게 만들 수도 있다. 이 규칙은 제로 바운드가 있든 없든 오리지널 Oja 규칙에 의해 학습된 것보다 더 스파스한 웨이트 벡터에 수렴할 수도 있다. 이러한 스파스 접속성은 특정 특징들에 대한 신경 세포들의 보다 높은 선택도를 초래할 수도 있고, 이는 많은 생물학적 연구들에서 찾아질 수도 있다. L2-놈 대신 L1-놈을 제한하는 다른 이점은 α = 1 을 선택함으로써 동일한 바운드들 내의 네트워크에서 입력들 및 출력들을 유지하는 단순성일 수도 있다.
전술된 방법들의 다양한 동작들은 대응하는 기능들을 수행할 수 있는 임의의 적합한 수단에 의해 수행될 수도 있다. 수단은 회로, 주문형 반도체 (ASIC), 또는 프로세서를 포함하지만 이들로 제한되지는 않는 다양한 하드웨어 및/또는 소프트웨어 콤포넌트(들) 및/또는 모듈(들) 을 포함할 수도 있다. 일반적으로, 도면에 동작들이 예시되어 있는 경우, 이들 동작들은 유사한 번호매김을 갖는 대응하는 상응 수단-플러스-기능 콤포넌트들을 가질 수도 있다. 예를 들어, 도 3 에 예시된 동작들 (300) 은 도 3a 에 예시된 콤포넌트들 (300A) 에 대응한다.
본 명세서에서 사용된 바와 같이, 용어 "결정하는" 은 광범위한 액션들을 포괄한다. 예를 들어, "결정하는" 은 계산하는, 컴퓨팅하는, 프로세싱하는, 도출하는, 조사하는, 찾아보는 (예를 들면, 테이블, 데이터베이스 또는 다른 데이터 구조에서 찾아 보는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는" 은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (예를 들면, 메모리의 데이터에 액세스하는) 등을 포함할 수도 있다. 또한, "결정하는" 은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수도 있다.
본 명세서에서 사용되는 바와 같이, 아이템들의 리스트 "중 적어도 하나" 를 지칭하는 구문은 단일 부재들을 포함하는 그들 아이템들의 임의의 조합을 지칭한다. 일 실시예로서, "a, b, 또는 c 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 포괄하도록 의도된다.
전술된 방법들의 다양한 동작들은 다양한 하드웨어 및/또는 소프트웨어 콤포넌트(들), 회로들, 및/또는 모듈(들) 과 같은 동작들을 수행할 수 있는 임의의 적합한 수단에 의해 수행될 수도 있다. 일반적으로, 도면에 예시된 임의의 동작들은 동작들을 수행할 수 있는 대응하는 기능적 수단에 의해 수행될 수도 있다.
본 개시물과 관련하여 설명된 여러가지 예증적인 논리 블록들, 모듈들, 및 회로들은 본 명세서에서 개시된 기능들을 수행하도록 디자인된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 콤포넌트들, 또는 이들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.
본 명세서에서 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 당업계에 공지된 임의의 형태의 저장 매체에 존재할 수도 있다. 사용될 수도 있는 저장 매체들의 몇몇 실시예들은 RAM, ROM, 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드디스크, 탈착식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령 또는 많은 명령들을 포함할 수도 있으며, 상이한 프로그램들 중에서 여러 상이한 코드 세그먼트들을 통해 그리고 다수의 저장 매체들에 걸쳐서 분배될 수도 있다. 저장 매체는 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기록할 수 있도록 프로세서에 커플링될 수도 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다.
본 명세서에서 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구범위의 범주를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 단계들 또는 액션들의 구체적인 순서가 특정되지 않는다면, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 청구범위의 범주로부터 벗어나지 않으면서 수정될 수도 있다.
설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들 또는 코드로서 저장되거나 또는 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한, 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독 가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독가능 매체라고 적절히 칭해진다. 예를 들면, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본 명세서에서 사용된 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, DVD (digital versatile disc), 플로피 디스크, 및 블루 레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는데 반해, 디스크 (disc) 들은 레이저를 이용하여 데이터를 광학적으로 재생한다. 따라서 몇몇 양태들에서, 컴퓨터 판독가능 매체들은 비일시적 컴퓨터 판독가능 매체들 (예를 들면, 유형적 매체들) 을 포함할 수도 있다. 추가로, 다른 양태들에 대해, 컴퓨터 판독가능 매체들은 일시적 컴퓨터 판독가능 매체들 (예컨대, 신호) 를 포함할 수도 있다. 위의 조합들도 컴퓨터 판독가능 매체들의 범주 내에 포함되어야 한다.
따라서, 어떤 양태들은 본 명세서에서 제시되는 동작들을 수행하는 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 이러한 컴퓨터 프로그램 제품은 명령들이 저장된 (그리고/또는 인코딩된) 컴퓨터 판독가능 매체를 포함할 수도 있으며, 명령들은 본 명세서에서 설명된 동작들을 수행하도록 하나 이상의 프로세서들에 의해 실행가능하다. 어떤 양태들에서, 컴퓨터 프로그램 제품은 재료를 패키징하는 것을 포함할 수도 있다.
소프트웨어 또는 명령들은 또한 송신 매체를 통해 송신될 수도 있다. 예를 들어, 소프트웨어가 동축 케이블, 광 섬유 케이블, 연선, 디지털 가입자 회선 (digital subscriber line; DSL), 또는 적외선, 무선, 및/또는 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광 섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의 내에 포함된다
또한, 본 명세서에서 설명된 방법들 및 기법들을 수행하는 모듈들 및/또는 다른 적절한 수단은 적용가능하다면 사용자 단말기 및/또는 기지국에 의해 다운로드 및/또는 다른 방식으로 획득될 수 있다. 예를 들면, 본원에서 설명된 방법들을 수행하기 위한 수단의전송을 용이하게 하기 위한 서버에 디바이스가 커플링될 수 있다. 대안으로, 본 명세서에서 설명된 다양한 방법들은 저장 수단 (예를 들면, RAM, ROM, CD (compact disc) 또는 플로피디스크 등과 같은 물리적 저장 매체 등) 을 통해 제공될 수 있고, 따라서, 저장 수단을 디바이스에 커플링하거나 제공할 때 다양한 방법들을 얻을 수 있다. 또한, 본 명세서에서 설명된 방법들 및 기법들을 디바이스에 제공하기 위한 임의의 다른 적절한 기법들이 활용될 수 있다.
청구범위는 전술된 정확한 구성 및 컴포넌트들로 제한되는 것이 아님을 이해해야 한다. 청구범위의 범주를 벗어나지 않으면서, 본 명세서에서 설명된 방법들 및 장치의 배열, 동작 및 세부사항들에서 다양한 수정, 변경 및 변형이 이루어질 수도 있다.
전술한 사항이 본 개시물의 양태들에 관한 것이지만, 본 개시물의 다른 및 추가 양태들은 그의 기본 범주로부터 벗어나지 않고 개조될 수도 있고, 그의 범주는 하기의 청구범위에 의해 결정된다.

Claims (60)

  1. 계산 네트워크를 트레이닝하는 방법으로서,
    적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 상기 계산 네트워크에서의 프로세싱 유닛의 출력을 컴퓨팅하는 단계; 및
    로컬 트레이닝 규칙을 이용하여 상기 프로세싱 유닛의 적어도 하나의 웨이트를 변경하는 단계로서, 상기 로컬 트레이닝 규칙은 상기 계산 네트워크의 프로세싱 유닛들 사이에 스파스 접속성 (sparse connectivity) 을 생성하는, 상기 적어도 하나의 웨이트를 변경하는 단계를 포함하고,
    상기 로컬 트레이닝 규칙은 평형점 (equilibrium point) 에서 상기 프로세싱 유닛에 대한 입력 커넥션들과 연관되는 입력 웨이트 벡터의 L1-놈을 제한하는, 계산 네트워크를 트레이닝하는 방법.
  2. 제 1 항에 있어서,
    상기 로컬 트레이닝 규칙을 이용하여 상기 적어도 하나의 웨이트를 변경하는 단계는
    상기 프로세싱 유닛에서의 하나 이상의 입력들, 상기 출력, 또는 변경 전의 상기 적어도 하나의 기존 웨이트 중 적어도 하나에 기초하여 상기 적어도 하나의 웨이트를 업데이트하는 단계를 포함하는, 계산 네트워크를 트레이닝하는 방법.
  3. 제 2 항에 있어서,
    상기 스파스 접속성은 상기 적어도 하나의 웨이트의 다수의 업데이트 후에 생성되는, 계산 네트워크를 트레이닝하는 방법.
  4. 제 1 항에 있어서,
    상기 계산 네트워크는 신경 네트워크 (neural network) 를 포함하고,
    상기 프로세싱 유닛은 신경 회로를 포함하는, 계산 네트워크를 트레이닝하는 방법.
  5. 제 1 항에 있어서,
    상기 로컬 트레이닝 규칙은 웨이트들의 절대 값들의 합에 대해 제한을 부과하는, 계산 네트워크를 트레이닝하는 방법.
  6. 제 5 항에 있어서,
    제한된 상기 웨이트들은 상기 프로세싱 유닛에 대한 입력 커넥션들과 연관되는, 계산 네트워크를 트레이닝하는 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 로컬 트레이닝 규칙은 비제로 웨이트들의 개수를 제한하는, 계산 네트워크를 트레이닝하는 방법.
  9. 제 8 항에 있어서,
    제한된 상기 웨이트들은 상기 프로세싱 유닛에 대한 입력 커넥션들과 연관되는, 계산 네트워크를 트레이닝하는 방법.
  10. 제 1 항에 있어서,
    상기 프로세싱 유닛은 하나 이상의 비선형 동작들을 이용하는, 계산 네트워크를 트레이닝하는 방법.
  11. 제 1 항에 있어서,
    상기 로컬 트레이닝 규칙은 상기 프로세싱 유닛에 대한 입력 커넥션들과 연관되는 개별 웨이트들에 대한 바운드들을 부과하는, 계산 네트워크를 트레이닝하는 방법.
  12. 제 11 항에 있어서,
    상기 개별 웨이트들의 최대 값은 상위 바운드에 의해 바운드되는, 계산 네트워크를 트레이닝하는 방법.
  13. 제 11 항에 있어서,
    상기 개별 웨이트들의 최소 값은 하위 바운드에 의해 바운드되는, 계산 네트워크를 트레이닝하는 방법.
  14. 제 11 항에 있어서,
    상기 개별 웨이트들의 최대 및 최소 값들 양측 모두는 바운드되는, 계산 네트워크를 트레이닝하는 방법.
  15. 제 11 항에 있어서,
    상기 바운드들은 상기 개별 웨이트들에 대해 변화하는, 계산 네트워크를 트레이닝하는 방법.
  16. 계산 네트워크의 장치로서,
    적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 상기 계산 네트워크에서의 상기 장치의 출력을 컴퓨팅하도록 구성된 제 1 회로; 및
    로컬 트레이닝 규칙을 이용하여 상기 장치의 적어도 하나의 웨이트를 변경하도록 구성된 제 2 회로로서, 상기 로컬 트레이닝 규칙은 상기 계산 네트워크의 장치들 사이에 스파스 접속성을 생성하는, 상기 제 2 회로를 포함하고,
    상기 로컬 트레이닝 규칙은 평형점 (equilibrium point) 에서 상기 계산 네트워크의 장치에 대한 입력 커넥션들과 연관되는 입력 웨이트 벡터의 L1-놈을 제한하는, 계산 네트워크의 장치.
  17. 제 16 항에 있어서,
    상기 제 2 회로는 상기 장치에서의 하나 이상의 입력들, 상기 출력, 또는 변경 전의 상기 적어도 하나의 기존 웨이트 중 적어도 하나에 기초하여 상기 적어도 하나의 웨이트를 업데이트하도록 또한 구성된, 계산 네트워크의 장치.
  18. 제 17 항에 있어서,
    상기 스파스 접속성은 상기 적어도 하나의 웨이트의 다수의 업데이트 후에 생성되는, 계산 네트워크의 장치.
  19. 제 16 항에 있어서,
    상기 계산 네트워크는 신경 네트워크를 포함하고,
    상기 장치는 신경 회로를 포함하는, 계산 네트워크의 장치.
  20. 제 16 항에 있어서,
    상기 로컬 트레이닝 규칙은 웨이트들의 절대 값들의 합에 대해 제한을 부과하는, 계산 네트워크의 장치.
  21. 제 20 항에 있어서,
    제한된 상기 웨이트들은 상기 장치에 대한 입력 커넥션들과 연관되는, 계산 네트워크의 장치.
  22. 삭제
  23. 제 16 항에 있어서,
    상기 로컬 트레이닝 규칙은 비제로 웨이트들의 개수를 제한하는, 계산 네트워크의 장치.
  24. 제 23 항에 있어서,
    제한된 상기 웨이트들은 상기 장치에 대한 입력 커넥션들과 연관되는, 계산 네트워크의 장치.
  25. 제 16 항에 있어서,
    상기 장치는 하나 이상의 비선형 동작들을 이용하는, 계산 네트워크의 장치.
  26. 제 16 항에 있어서,
    상기 로컬 트레이닝 규칙은 상기 장치에 대한 입력 커넥션들과 연관되는 개별 웨이트들에 대한 바운드들을 부과하는, 계산 네트워크의 장치.
  27. 제 26 항에 있어서,
    상기 개별 웨이트들의 최대 값은 상위 바운드에 의해 바운드되는, 계산 네트워크의 장치.
  28. 제 26 항에 있어서,
    상기 개별 웨이트들의 최소 값은 하위 바운드에 의해 바운드되는, 계산 네트워크의 장치.
  29. 제 26 항에 있어서,
    상기 개별 웨이트들의 최대 및 최소 값들 양측 모두는 바운드되는, 계산 네트워크의 장치.
  30. 제 26 항에 있어서,
    상기 바운드들은 상기 개별 웨이트들에 대해 변화하는, 계산 네트워크의 장치.
  31. 계산 네트워크의 장치로서,
    적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 상기 계산 네트워크에서의 장치의 출력을 컴퓨팅하는 수단; 및
    로컬 트레이닝 규칙을 이용하여 상기 계산 네트워크의 장치의 적어도 하나의 웨이트를 변경하는 수단으로서, 상기 로컬 트레이닝 규칙은 상기 계산 네트워크의 장치들 사이에 스파스 접속성을 생성하는, 상기 적어도 하나의 웨이트를 변경하는 수단을 포함하고,
    상기 로컬 트레이닝 규칙은 평형점 (equilibrium point) 에서 상기 계산 네트워크의 장치에 대한 입력 커넥션들과 연관되는 입력 웨이트 벡터의 L1-놈을 제한하는, 계산 네트워크의 장치.
  32. 제 31 항에 있어서,
    상기 로컬 트레이닝 규칙을 이용하여 상기 적어도 하나의 웨이트를 변경하는 수단은
    상기 장치에서의 하나 이상의 입력들, 상기 출력, 또는 변경 전의 상기 적어도 하나의 기존 웨이트 중 적어도 하나에 기초하여 상기 적어도 하나의 웨이트를 업데이트하는 수단을 포함하는, 계산 네트워크의 장치.
  33. 제 32 항에 있어서,
    상기 스파스 접속성은 상기 적어도 하나의 웨이트의 다수의 업데이트 후에 생성되는, 계산 네트워크의 장치.
  34. 제 31 항에 있어서,
    상기 계산 네트워크는 신경 네트워크를 포함하고,
    상기 장치는 신경 회로를 포함하는, 계산 네트워크의 장치.
  35. 제 31 항에 있어서,
    상기 로컬 트레이닝 규칙은 웨이트들의 절대 값들의 합에 대해 제한을 부과하는, 계산 네트워크의 장치.
  36. 제 35 항에 있어서,
    제한된 상기 웨이트들은 상기 장치에 대한 입력 커넥션들과 연관되는, 계산 네트워크의 장치.
  37. 삭제
  38. 제 31 항에 있어서,
    상기 로컬 트레이닝 규칙은 비제로 웨이트들의 개수를 제한하는, 계산 네트워크의 장치.
  39. 제 38 항에 있어서,
    제한된 상기 웨이트들은 상기 장치에 대한 입력 커넥션들과 연관되는, 계산 네트워크의 장치.
  40. 제 31 항에 있어서,
    상기 장치는 하나 이상의 비선형 동작들을 이용하는, 계산 네트워크의 장치.
  41. 제 31 항에 있어서,
    상기 로컬 트레이닝 규칙은 상기 장치에 대한 입력 커넥션들과 연관되는 개별 웨이트들에 대한 바운드들을 부과하는, 계산 네트워크의 장치.
  42. 제 41 항에 있어서,
    상기 개별 웨이트들의 최대 값은 상위 바운드에 의해 바운드되는, 계산 네트워크의 장치.
  43. 제 41 항에 있어서,
    상기 개별 웨이트들의 최소 값은 하위 바운드에 의해 바운드되는, 계산 네트워크의 장치.
  44. 제 41 항에 있어서,
    상기 개별 웨이트들의 최대 및 최소 값들 양측 모두는 바운드되는, 계산 네트워크의 장치.
  45. 제 41 항에 있어서,
    상기 바운드들은 상기 개별 웨이트들에 대해 변화하는, 계산 네트워크의 장치.
  46. 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 판독가능 저장 매체는,
    적어도 하나의 기존 웨이트에 적어도 부분적으로 기초하여 계산 네트워크에서의 프로세싱 유닛의 출력을 컴퓨팅하는 코드; 및
    로컬 트레이닝 규칙을 이용하여 상기 프로세싱 유닛의 적어도 하나의 웨이트를 변경하는 코드로서, 상기 로컬 트레이닝 규칙은 상기 계산 네트워크의 프로세싱 유닛들 사이에 스파스 접속성을 생성하는, 상기 적어도 하나의 웨이트를 변경하는 코드를 포함하고,
    상기 로컬 트레이닝 규칙은 평형점 (equilibrium point) 에서 상기 프로세싱 유닛에 대한 입력 커넥션들과 연관되는 입력 웨이트 벡터의 L1-놈을 제한하는, 컴퓨터 판독가능 저장 매체.
  47. 제 46 항에 있어서,
    상기 컴퓨터 판독가능 저장 매체는,
    상기 프로세싱 유닛에서의 하나 이상의 입력들, 상기 출력, 또는 변경 전의 상기 적어도 하나의 기존 웨이트 중 적어도 하나에 기초하여 상기 적어도 하나의 웨이트를 업데이트하는 코드를 더 포함하는, 컴퓨터 판독가능 저장 매체.
  48. 제 47 항에 있어서,
    상기 스파스 접속성은 상기 적어도 하나의 웨이트의 다수의 업데이트 후에 생성되는, 컴퓨터 판독가능 저장 매체.
  49. 제 46 항에 있어서,
    상기 계산 네트워크는 신경 네트워크를 포함하고,
    상기 프로세싱 유닛은 신경 회로를 포함하는, 컴퓨터 판독가능 저장 매체.
  50. 제 46 항에 있어서,
    상기 로컬 트레이닝 규칙은 웨이트들의 절대 값들의 합에 대해 제한을 부과하는, 컴퓨터 판독가능 저장 매체.
  51. 제 50 항에 있어서,
    제한된 상기 웨이트들은 상기 프로세싱 유닛에 대한 입력 커넥션들과 연관되는, 컴퓨터 판독가능 저장 매체.
  52. 삭제
  53. 제 46 항에 있어서,
    상기 로컬 트레이닝 규칙은 비제로 웨이트들의 개수를 제한하는, 컴퓨터 판독가능 저장 매체.
  54. 제 53 항에 있어서,
    제한된 상기 웨이트들은 상기 프로세싱 유닛에 대한 입력 커넥션들과 연관되는, 컴퓨터 판독가능 저장 매체.
  55. 제 46 항에 있어서,
    상기 프로세싱 유닛은 하나 이상의 비선형 동작들을 이용하는, 컴퓨터 판독가능 저장 매체.
  56. 제 46 항에 있어서,
    상기 로컬 트레이닝 규칙은 상기 프로세싱 유닛에 대한 입력 커넥션들과 연관되는 개별 웨이트들에 대한 바운드들을 부과하는, 컴퓨터 판독가능 저장 매체.
  57. 제 56 항에 있어서,
    상기 개별 웨이트들의 최대 값은 상위 바운드에 의해 바운드되는, 컴퓨터 판독가능 저장 매체.
  58. 제 56 항에 있어서,
    상기 개별 웨이트들의 최소 값은 하위 바운드에 의해 바운드되는, 컴퓨터 판독가능 저장 매체.
  59. 제 56 항에 있어서,
    상기 개별 웨이트들의 최대 및 최소 값들 양측 모두는 바운드되는, 컴퓨터 판독가능 저장 매체.
  60. 제 56 항에 있어서,
    상기 바운드들은 상기 개별 웨이트들에 대해 변화하는, 컴퓨터 판독가능 저장 매체.
KR1020147001698A 2011-06-22 2012-06-21 스파스 접속성을 야기하는 로컬 경쟁 학습 규칙을 위한 방법 및 장치 KR101549796B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/166,269 2011-06-22
US13/166,269 US9129222B2 (en) 2011-06-22 2011-06-22 Method and apparatus for a local competitive learning rule that leads to sparse connectivity
PCT/US2012/043594 WO2012177913A1 (en) 2011-06-22 2012-06-21 Method and apparatus for a local competitive learning rule that leads to sparse connectivity

Publications (2)

Publication Number Publication Date
KR20140027498A KR20140027498A (ko) 2014-03-06
KR101549796B1 true KR101549796B1 (ko) 2015-09-11

Family

ID=46384523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147001698A KR101549796B1 (ko) 2011-06-22 2012-06-21 스파스 접속성을 야기하는 로컬 경쟁 학습 규칙을 위한 방법 및 장치

Country Status (9)

Country Link
US (1) US9129222B2 (ko)
EP (1) EP2724297B1 (ko)
JP (1) JP5819522B2 (ko)
KR (1) KR101549796B1 (ko)
CN (1) CN103620624B (ko)
BR (1) BR112013032604A2 (ko)
CA (1) CA2839279C (ko)
RU (1) RU2586864C2 (ko)
WO (1) WO2012177913A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8583577B2 (en) * 2011-05-25 2013-11-12 Qualcomm Incorporated Method and apparatus for unsupervised training of input synapses of primary visual cortex simple cells and other neural circuits
US8843426B2 (en) * 2011-05-25 2014-09-23 Qualcomm Incorporated Method and apparatus of primary visual cortex simple cell training and operation
US11289175B1 (en) * 2012-11-30 2022-03-29 Hrl Laboratories, Llc Method of modeling functions of orientation and adaptation on visual cortex
JP5953414B1 (ja) * 2015-09-30 2016-07-20 美濃窯業株式会社 加熱炉の炉壁構造
EP3295381B1 (en) * 2016-02-05 2022-08-24 DeepMind Technologies Limited Augmenting neural networks with sparsely-accessed external memory
CN110298443B (zh) * 2016-09-29 2021-09-17 中科寒武纪科技股份有限公司 神经网络运算装置及方法
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11568237B2 (en) 2018-05-10 2023-01-31 Samsung Electronics Co., Ltd. Electronic apparatus for compressing recurrent neural network and method thereof
RU2702978C1 (ru) * 2018-10-15 2019-10-14 Самсунг Электроникс Ко., Лтд. Байесовское разреживание рекуррентных нейронных сетей
CN109740739B (zh) * 2018-12-29 2020-04-24 中科寒武纪科技股份有限公司 神经网络计算装置、神经网络计算方法及相关产品
US11461645B2 (en) * 2019-12-02 2022-10-04 International Business Machines Corporation Initialization of memory networks
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293456A (en) * 1991-06-28 1994-03-08 E. I. Du Pont De Nemours And Company Object recognition system employing a sparse comparison neural network
US5706400A (en) * 1995-03-08 1998-01-06 Nec Research Institute, Inc. Fault-tolerant implementation of finite-state automata in recurrent neural networks
JP2002024199A (ja) * 1998-02-20 2002-01-25 Souwa Kenkyusho:Kk 二値システムの学習方法
US6366897B1 (en) 1999-07-26 2002-04-02 Hnc Software, Inc. Cortronic neural networks with distributed processing
MXPA02009001A (es) 2000-03-16 2004-10-15 Yuan Yan Chen Aparato y metodo para analisis confuso de evidencia.
US7080053B2 (en) 2000-08-16 2006-07-18 Research Foundation Of State University Of New York Neural network device for evolving appropriate connections
US6954744B2 (en) * 2001-08-29 2005-10-11 Honeywell International, Inc. Combinatorial approach for supervised neural network learning
US20040034633A1 (en) * 2002-08-05 2004-02-19 Rickard John Terrell Data search system and method using mutual subsethood measures
JP4975287B2 (ja) 2005-08-08 2012-07-11 パナソニック株式会社 予測装置
US7962429B2 (en) 2007-05-24 2011-06-14 Paul Adams Neuromorphic device for proofreading connection adjustments in hardware artificial neural networks
CN100580698C (zh) * 2007-09-10 2010-01-13 东北大学 稀疏数据过程建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
P. FOLDIAK. Forming sparse representations by local anti-Hebbian learning. Biological Cybernetics, Vol. 64, No. 2, pp.165-170, 1990.12.01.
Yiwen Wang et al. Comparison of TDNN Training Algorithms in Brain Machine Interfaces. Proceedings of International Joint Conference on Neural Networks, Montreal, Canada, pp.2459-2462, 2005.07.31.-08.0*

Also Published As

Publication number Publication date
EP2724297A1 (en) 2014-04-30
RU2014101717A (ru) 2015-07-27
CA2839279C (en) 2017-10-03
JP5819522B2 (ja) 2015-11-24
BR112013032604A2 (pt) 2017-08-01
CN103620624B (zh) 2016-10-19
CN103620624A (zh) 2014-03-05
WO2012177913A1 (en) 2012-12-27
EP2724297B1 (en) 2018-09-05
US20120330870A1 (en) 2012-12-27
JP2014520349A (ja) 2014-08-21
KR20140027498A (ko) 2014-03-06
CA2839279A1 (en) 2012-12-27
RU2586864C2 (ru) 2016-06-10
US9129222B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
KR101549796B1 (ko) 스파스 접속성을 야기하는 로컬 경쟁 학습 규칙을 위한 방법 및 장치
CN109460817B (zh) 一种基于非易失存储器的卷积神经网络片上学习系统
Yue et al. Matching guided distillation
WO2019091020A1 (zh) 权重数据存储方法和基于该方法的神经网络处理器
EP3564869A1 (en) Training of deep neural networks on the basis of distributions of paired similarity measures
CN108805270A (zh) 一种基于存储器的卷积神经网络系统
CN108780519A (zh) 卷积神经网络中的结构学习
Cho et al. Exponentially increasing the capacity-to-computation ratio for conditional computation in deep learning
CN108710906A (zh) 基于轻量级网络LightPointNet的实时点云模型分类方法
Fu et al. An ensemble unsupervised spiking neural network for objective recognition
Zhou et al. A novel complex valued cuckoo search algorithm
Krichmar et al. Large-scale spiking neural networks using neuromorphic hardware compatible models
CN109145342A (zh) 自动布线系统及方法
Zhang et al. Evolving neural network classifiers and feature subset using artificial fish swarm
Romero et al. Towards a General Purpose CNN for Long Range Dependencies in $ N $ D
CN110188621A (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法
Ames et al. Persuading computers to act more like brains
CN110543888A (zh) 一种基于群集递归神经网络的图像分类方法
Lacko From perceptrons to deep neural networks
Li et al. Sparse Restricted Boltzmann Machine Based on Multiobjective Optimization
Eghbali et al. Deep Convolutional Neural Network (CNN) for Large-Scale Images Classification
US20230206059A1 (en) Training brain emulation neural networks using biologically-plausible algorithms
Zhang et al. Shaping up simple cell's receptive field of animal vision by ICA and its application in navigation system
Faye et al. Context Normalization for Robust Image Classification
WO2021102479A2 (en) Multi-node neural network constructed from pre-trained small networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5