KR100293607B1 - 신경망을갖는정보처리시스템 - Google Patents

신경망을갖는정보처리시스템 Download PDF

Info

Publication number
KR100293607B1
KR100293607B1 KR1019940004199A KR19940004199A KR100293607B1 KR 100293607 B1 KR100293607 B1 KR 100293607B1 KR 1019940004199 A KR1019940004199 A KR 1019940004199A KR 19940004199 A KR19940004199 A KR 19940004199A KR 100293607 B1 KR100293607 B1 KR 100293607B1
Authority
KR
South Korea
Prior art keywords
neural network
response
processing system
information processing
output
Prior art date
Application number
KR1019940004199A
Other languages
English (en)
Other versions
KR940022301A (ko
Inventor
세트브라이언코랙
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR940022301A publication Critical patent/KR940022301A/ko
Application granted granted Critical
Publication of KR100293607B1 publication Critical patent/KR100293607B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G06N99/007—Molecular computers, i.e. using inorganic molecules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B82—NANOTECHNOLOGY
    • B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
    • B82Y10/00—Nanotechnology for information processing, storage or transmission, e.g. quantum computing or single electron logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Nanotechnology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Semiconductor Memories (AREA)

Abstract

정보 처리 시스템은 입력에서 출력으로 응답 전계를 전달하기 위해 공간적으로 불균질한 매체에서 완전히 분포된 뉴런 및 시냅스 기능들을 갖는 신경망을 구비한다. 응답 전계는 다수의 입력 신호들에 대한 매체의 반응이고 입력 신호에 비선형적으로 의존한다. 응답 전계는 또한 불균질성에 의해 결정된다. 하나의 특정한 위치에서 전계값은 신경망의 하나이상의 출력 신호를 표시한다.

Description

신경망을 갖는 정보 처리 시스템
제1도는 종래의 계층화된 신경망의 아키텍쳐를 도시한 도면.
제2도는 불균질의 비선형 전기 도전층을 갖는 본 발명의 신경망의 예를 도시한 도면.
제3도 및 제4도는 제2도의 실시예에 대한 자극-응답 다이어그램을 도시한 도면.
제6도는 제2도의 층에서 불균질성의 기능적인 분포도.
제6 및 7도는 배경 정보를 비선형 불균질층 동작에 관계하는 텍스트의 식에 제공하는 도면.
제8도, 제9도, 제10도 및 제11도는 본 발명의 신경망 동작을 간단히 양적으로 도시한 도면.
제12도, 제13도, 제14도, 제15도 및 제16도는 본 발명의 신경망에서 계층화된 구조의 상세한 예를 도시한 도면.
* 도면의 주요 부분에 대한 부호의 설명
10 : 신경망 22 : 상호 접속(시냅스)
24 : 소스 뉴런 26 : 목적지 뉴런
110 : 전원
[본 발명의 분야]
본 발명은 시냅스들(synapses)에 의해 상호 접속된 뉴런들(neurons)로 기능적으로 이루어진 신경망을 갖는 정보 처리 시스템에 관한 것이다. 상기 신경망은 다수의 입력 신호를 수신하는 입력 수단과, 적어도 하나의 출력 신호를 제공하는 출력 수단 및 다수의 입력 신호를 신경 변환시켜 출력 신호를 발생시키기 위하여 상기 입력 수단 및 상기 출력 수단간에 배치된 장치를 구비한다.
[배경 기술].
과거 10년동안, 신경망은 신호 처리기로서 관심이 계속적으로 증가되어 왔다. 신호 처리기의 필수적인 특성은 공간적으로 분포된 소자(spatially distributed elements)를 이용하여 입력 신호들을 출력 신호들상에 비선형 매핑(non-linear mapping)하고, 고밀도로 상호 접속된 구조로 대량 병렬 정보 처리를 하는 것이다. 이와같은 처리기는 견고하면서 고장 방지(fault-tolerant)하는 처리 장치이다. 게다가, 신경망은 종래의 마이크로프로세서 분야에서와 같이 알고리즘 명령들을 규정하는 것에 의해서 라기보다 오히려 예들(examples)을 토대로한 훈련(training)에 의해 프로그램될 수 있다. 감독자가 있든 없든 훈련이 수행될 수 있는데, 감독자가 없는 버전을 소위 "자기-학습(self learning)"이라 칭한다. 신경망은 특히 관계 메모리들(associative memories), 분류기(classifier), 패턴 인식(pattern recognition) 및 최적화 문제 분야에서 중요한 역할을 하게 된다. 일반적인 서론으로, IEEE ASSP 매거진, 1987년 4월판, PP. 4 내지 22에 R.P.Lippmann이 발표한 "신경망으로 계산하는 서론"를 참조하라.
신경망 제어 또는 신경망 시뮬레이션을 위해 창안된 일부 수학적인 알고리즘이 특정 문제에 대한 소프트웨어 해결책으로서 유용하지만, 신경망 방식의 실질적인 이점은 전용 하드웨어에 의해서만 얻어질 수 있다고 믿어지고 있다. 신경망의 다양한 전자적이고 광학적인 하드웨어 수행 방식이 과거 10년 동안 빛을 보아왔다. 예를들어, Laboratories d'E'lectronique de Philips사는 상업적으로 활용되는 모듈러 신경망 아키텍쳐(architectures)용 전자식이면서 완전 디지털로 동작하는 훈련가능한 신경칩을 가장 먼저 개발하였다. 이에 대해선 미국특허 제 4,994,982 호를 참조하라. 아나로그 신경망의 전자식 수행은 예를들어 미국특허 제 4,866,645 호에 공지되어 있다. 광학 신경망은 1987년 3월판 Scientific American 256, pp. 66-73에 T.S. Abu-Mostafa 및 D. Psaltis가 발표한 "광학 신경 컴퓨터"에서 기술되어 있다.
종종, 한정된 공간에서 뉴런들 및 시냅스들의 수를 충분히 많게 하기 위해서는 공간적으로 타이트한 설계가 요구된다. 훈련가능한 신경망은 자신의 학습 단계(learning phase)에서 가중치를 개별적으로 정확하게 변경시키기 위해 부가적인 회로를 필요로하는데, 이로인해 시스템의 크기 및 복잡도가 증가하게 된다. 뉴런 및 상호 접속의 수가 증가됨에 따라서 신경망의 처리 능력이 증가하기 때문에, 오늘날, 신경망 기술에서 뉴런 및 상호 접속의 밀도를 증가시키고자 하는 노력이 집중되고 있다. 예를들어, 전자적인 실시예의 설계에서 부딪치는 주요한 문제는 단일 칩상에서 수행되는 기능성 뉴런들 또는 뉴런(neurons or neuron functionallities)의 수가 제한된다는 것이다. 통상적으로, 상기 기술을 이용하여 칩에 집적될 수 있는 기능성 뉴런들 또는 뉴런의 최대수는 1000개 이하이다. 게다가, 이와같이 많은 수의 뉴런들을 포함하는 신경의 학습 능력을 수행하기 위해 필요로되는 부가적인 구성요소의 양 및 복잡도는 적어도 비례적으로 높게된다.
상술된 예는 통상적으로 관계된 아키텍쳐가 주로 럼프된 캐릭터(lumped character)를 갖는다는 것이다. 즉, 뉴런들 및 시냅스들과 같은, 기본적인 계산을 수행하는 신경망의 다양한 기능 요소들 각각은 물리적으로 별개의 장치 또는 회로에 의해 수행된다. 이들 장치 및 회로는 가중 승산, 합산과 같은 동작 및 S 자형 함수(sigmoid function)를 적용하는데 전용으로 사용된다.
뉴런들 또는 뉴런 층수를 감소시키고, 상호 접속 방식을 간단화시키고 효율을 증가시키기 위한 방법들중 한가지 방법은 신경망에 공급되는 고차항(제곱, 곱, 세제곱 등)들의 입력 신호들을 작용한다. 예를들어, 1987년판 Apple. Opt. 26권, pp. 4972 내지 4978에 C. Lee Giles등이 발표한 "고차 신경망의 학습, 불변 및 일반화(Learning, Invariance and Generalization)"을 참조하라. 고차수 의존성(dependencies)은 미리 결정되고 사전 처리된 입력 데이터 처럼 간주될 수 있는데, 상기 사전 처리는 신경망이 해결하려는 일종의 문제들을 사전에 어느정도 인식하고 있다는 것을 토대로 한다. 예를들어, 신경망에 의해 취급될 여러 가지 분류(classification) 문제들은 입력 신호들간의 다양한 형태의 비선형 상관을 필요로 할 수 있다.
[발명의 목적]
상술된 바에 따라서, 본 발명의 목적은 많은수의 기능성 뉴런들을 집적하고 기술 독립성이 높은 완전히 새로운 신경망 아키텍쳐를 구비하는 정보 처리 시스템을 제공하는 것이다.
[본 발명의 요약]
이를 위하여, 본 발명은 시냅스들에 의해 상호 접속된 뉴런들로 기능적으로 이루어진 신경망을 갖는 정보 처리 시스템을 제공하는 것이다. 이 신경망은 다수의 입력 신호를 수신하는 입력 수단과, 적어도 하나의 출력 신호를 제공하는 출력 수단과, 상기 다수의 입력 신호를 신경 변환시켜 출력 신호를 발생시키기 위하여 입력 수단 및 출력 수단간에 배치되는 장치를 갖는다. 본 발명에 따르면, 상기 입력 수단 및 출력 수단간에 배치되는 장치는 다수의 입력 신호에 응답하여 매체를 통해서 응답 필드를 전달시키기 위해 동작하는 물리적인 매체를 구비하는데, 상기 응답 필드는 입력 신호들중 적어도 하나의 신호에 비선형적으로 의존한다. 이 매체는 상기 필드의 공간 의존성에 영향을 미치기 위해 동작하는 하나 이상의 공간적으로 분포된 불균질성(inhomogeneities)을 갖는다. 상기 매체는 자신의 제 1 위치에서 발생하는 필드를 나타내는, 적어도 제1 응답을 출력 수단에 결합시에 출력 시호를 발생시키도록 동작된다.
본 발명은 매체의 접지 상태의 에너지 레벨이 적용되는 경계 조건에 의존한다는 시각을 근거로 한다. 여기(exciting)시, 각각의 다른 경계 조건하의 매체는 각각의 다른 최저 상태에 있는 매체로 될 것이다. 이 방법에서, 경계 조건은 입력 신호로서 작용하고 관계된 최저 에너지 형태는 출력 신호로서 작용하며, 입력 신호에 대한 상기 출력 신호의 비선형 관계는 적용되는 특정한 경계 조건에 의해 결정된다. 상기 방식에서, 신경망 동작에 필요로되는 매핑은 공간적으로 불균질한 매체의 완전하고 실질적으로 연속적으로 분포되고 집합적이며 물리적인 특성들을 이용하여 달성될 수 있다. 상기 매체는 무정질이거나 구조적인 재료(amorphous or structured material)일 수 있고, 고체, 액체, 개스, 플라즈마등을 포함할 수 있다. 관계 특성은 예를들어, 전기적, 자기적이고, 전기 역학적이거나 음향 필드와 관계되거나 예를들어 전기 필드에서 음향 필드등으로 변환시키는 현상과 관계된다.
비선형 매핑 및 상호 신호 상관은 기능성 뉴런 및 시냅스에 대한 위치를 반드시 명백하게 규정함이 없이 공간적으로 완전히 분포되고 병렬인 방식으로 성취된다. 이것은 신경망에 적합한 견고한 특성을 더욱 증강시키고 특히, 종래의 전체 시스템의 공간적인 제한을 피하게 한다. 결국, 기능성 뉴런 및 시냅스의 밀도를 높히는 것은 본 발명에서 성취될 수 있다. 게다가, 본 발명의 수행은 신경망 동작에서 필요로되는 비선형성을 다수의 재료 및 장치로부터 이루어질 수 있는 특성들에 부합시키는 가능성(possibility)에 의존한다. 모든 재료가 어떤 방식 또는 또다른 비선형 작용으로 나타내기 때문에, 본 발명은 신경망을 기능적으로 실현시키는데 적합한 기술 분야를 상당히 확장시킨다.
신경망의 내부 동작의 필수적인 양상은 신호 금지(inhibition) 및 신호 교차(crossing)를 포함한다. 신호 금지는 집중적인 작용(collective behaviour)에 대한 신호의 기여도를 감소시키거나 반전시키기 위한 신호 동작이다. 신호 교차는 두 개 이상의 입력 신호 각각이 개별적으로 두 개 이상의 출력 신호에 영향을 미칠 때 발생한다. 비선형 특성이 사용되는 파라미터 범위내에서 실질적으로 단조적인(monotonous) 경우, 신호 금지 및 신호 교차를 얻기 위한 부가적인 설비가 필요로 될 수 있다.
매체의 자극-응답(stimulus-response) 특성이 실질적으로 변화가 없는 경우, 상기 장치는 물리적인 매체를 출력 수단에 결합시키는 인코딩 수단을 구비하여 제1 응답 및 제2응답을 서로 상관시킬 때 출력 신호를 발생시킨다. 인코딩 동작은, 예를들어, 한쌍의 응답간의 차, 각 응답비 및 응답의 총합을 포함하거나 입력 신호들중 특정한 하나의 입력 신호 변화에 의해 발생된 각각의 응답 변화를 포함할 수 있다.
입력 신호들은 상호 다른 차원들(dimensionalities)을 갖을 수 있다. 예를들어, 하나의 입력 신호는 dc 전압 또는 광자 에너지 차원을 가지고, 또다른 하나의 입력 신호는 전류 또는 ac 전압일 수 있다.
상기 장치는 매체내의 적어도 제1 위치 및 제2 위치간에 접속 수단을 구비하여 제 2 위치에서의 응답 필드 및 제 3 위치에서의 응답 필드간을 상호 작용시킨다. 이와같은 상호 접속 수단은 스크린닝(screening)으로 인한 단 범위 효과(short range effects)를 회피하게 한다. 스크린닝 효과는 어떤 상호 작용 범위에 비해서 크게 되는 시스템에서 발생한다. 이들 효과는 여러 가지 입력 신호들의 세트에 대한 응답들간을 판별하는데 나쁜 영향을 미친다. 그러므로, 본 발명의 소정의 시스템 크기를 초과하는 해상도 및 잡음이 중요하게 된다. 이들 결점을 보상하는 한가지 방법은 더 많은 접촉부를 사용하여 결합된 출력 신호를 발생시키는 더 많은 응답을 추출하는 것이다. 또다른 방법은 소수의 장 범위의 상호 접속부를 제공하는 것이다.
양호하게, 상기 장치는 적어도 위치, 크기 또는 강도에 관계하여 공간적으로 분포된 불균질성을 선택적으로 수정시키기 위한 제어 수단을 구비한다. 언급한 바와같이, 불균질성은 매체에서 연속적인 필드와 상호작용한다. 본 발명의 신경망에 학습 특성을 제공하기 위하여 선택적으로 불균질성을 수정한다.
본 발명에서 신경망을 수행시키는 것은 입력 접촉부 및 출력 접촉부간에 분포된 비선형 도전 경로로 이루어진 2 차원의 전자 운반(transport) 층이다. 상기 운반층은 반도체 전계-효과 장치의 서브-임계 도전을 사용하거나 유기 재료 또는 초전도 재료로 이루어진 도전 그래뉼러(granular)층을 사용하므로써 수행될 수 있다. 반도체 실시예에서, 불균질성은 충전된 플로팅(floating) 게이트에 의해 발생된 공핍층 및 반전층에 의해 형성될 수 있다. 이와같은 플로팅 게이트에서 트랩된 전하를 변경하는 메카니즘에 의해, 불균질성이 사용된다.
또다른 실시예는 상술된 비선형 전자 운반층 대신에 비선형 광학 시스템을 이용한다. 그리고나서, 이와같은 시스템은 예를들어 스펙클(speckle) 패턴, 즉, 산란에 의해 발생되는 간섭 패턴, 또는 레이저 광을 받을 때 광 세기 의존하는 굴절율을 갖는 재료의 제 2 고조파 패턴 발생을 토대로 한 것이다.
종래 기술의 문헌은 스핀 유리 시스템을 갖는 홉필드(Hopfield) 신경망과 관계된다. 스핀 유리 시스템은 마이크로스코픽(microscopic) 스핀의 집합적인 작동을 토대로 한 매크로스코픽 상태라고 가정한다. 일단 여기되면, 스핀 유리는 평형이 초기 여기에 따라 달성될 때 까지 매우 긴 시퀀스의 집합적인 스핀 상태를 거쳐간다. 이것은 몇시간 또는 심지어 몇날이 걸릴 수 있다. 예를들어, 1982년 4월판 Proc. Natl. Acad. Sci. USA, 79권, PP2554-2558 에 J.J. Hopfield가 발표한 "주목받고 있는 집합적인 계산 능력을 갖는 신경망 및 물리적인 시스템(Neural networks and physical systems with emergent collective computational abilities)"과, Bild der Wissenschaft 1-1988, PP. 37-47에 W. Kinzel 등이 발표한 "Der ganz andere computer : Denken nach Menschen Art"를 참조하라. 스핀 유리 시스템은 Au(Fe) 및 Cu (Mn) 합금 및 Cdl-xMnxTe 반자기 (semi-magnetic) 반도체, 전자적인 쌍극자 유리 (KO.8 NaO. 2Ta03), 전자 유리(보상된 Si 또는 GaAs) 및 초전도체 접합 배열의 보아텍스(Vortex) 유리와 같은 재료에서 발생된다. 비실질적인 완화(relaxation) 시간과 별개로, 나노 스케일 (nanoscale) 레벨로 접촉하고 학습하는 것은 적어도 오늘날의 기술로써는 사실상 해결하기 불가능한 문제이다. 게다가, 유리 성질의 시스템 모델에서 가정되는 완전한 접속성은 물리적인 상호 작용의 유한 범위로 인해 이들 물리적인 시스템에서 실제로 발생되지 않는다.
[본 실시예의 상세한 설명]
본 발명이 이하부터 첨부 도면을 참조하여 상세하게 설명될 것이다.
이들 아키텍쳐를 많이 변화시켰음에도 불구하고, 신경망에 의해 수행되는 기본 동작은 입력을 병렬로, 바람직하게는 적응 방식으로 출력에 비선형 매핑시키는 것이다. 이하에, 비선형 자극-응답 특성을 갖는 불균질의 물리적인 물질이 신경망을 나타내기 위해 원리상 어떻게 이용되는 지가 도시되어 있다. 이와같은 본 발명의 신경망의 전자적인 예가 후술된다.
본 발명은 본래 기술적으로 독립된 것이고 본 발명의 원리는 전자적인 실시예에 국한되지 않는다.
[종래 기술]
신경망은 고도로 상호접속된 간단한 프로세서들의 집합으로 이루어져 있는데, 이 프로세서에서 가장 관심있는 버전 프로그램을 적응적으로 상호접속시켜 소정의 문제를 해결한다. 신경망 시스템의 성능을 실제로 우수하게 하는 것은 프로세서들간의 고도로 변화되는 상호 접속 형태이다. 이들 형태는 층 대 층으로 상호 접속된 순방향 신경망으로부터 완전히 상호 접속된 홉필드 신경망으로 어디서나 변화할 수 있는 신경망 아키텍쳐를 결정한다. 이들 아키텍쳐의 큰 변화에도 불구하고, 신경망에 의해 수행되는 기본 동작은 여전히 병렬 형태로 입력을 출력으로 적응적인 비선형 매핑이다. 이 비선형 매핑은 제 1 도에 간단화된 3개 층의 신경망으로 도시되어 있다.
제 1 도는 신경망(10)의 종래 아키텍쳐를 도시한 도면이다. 신경망(10)은 입력(18) 및 출력(20)간의 다수의 연속적으로 상호 접속된 뉴런 층들(12, 14, 및 16)을 구비한다. 각각의 상호 접속(시냅스), 예를들어(22)은 소스 뉴런, 예를들어(24)에 의해 제공된 신호를 특정한 팩터(시냅스 계수)로 가중시키고 가중된 신호를 목적지 뉴런(destination neuron)의 입력, 예를들어 다음층의 (26)에 공급한다. 목적지 뉴런(26)은 이에 따라서 모든 소스 뉴런들의 가중화된 기여도(scaled contributions)를 합산하고 이 합산 결과에 비선형 함수(예를들어, S자형 함수)를 가하여 시냅스(30)를 경유해 다음 연속층의 뉴런(28)에 차례대로 공급되는 출력신호를 발생시킨다. 신경망(10)의 필수적인 동작은 입력을 출력으로 함수적으로 분포되고 병렬로 비선형 매핑하는 것이다.
[완전히 분포된 실시예의 원리]
본 발명은 제 1 도의 신경망과 유사하게 비선형 매핑을 성취하는 장치를 제공하지만, 신경망의 전체 부분을 완전하고 실질적으로 연속적이며, 공간적으로 분포된 기능들로 신경망의 부분을 대체한다.
제 2 도는 본 발명의 신경망(100)의 예를 도시한 것이다. 신경망(100)은 비선형 멀티-포트 불균질 전자층(102), 다수의 입력 접촉부(104) 및 다수의 출력 접촉부(106)를 포함한다. 층(102)으로의 입력 정보는 접촉부(104)에 접속된 한 세트의 N개의 스위치(108)를 통해 공급된다. 스위치(108)중 특정 스위치 "i"(i=1, 2, ---, N)의 2 진(온 또는 오프)상태는 Xi로 표시된다. 상기 상태 Xi는 접촉부(104)중 어느 접촉부가 바이어스 전압 V을 제공하는 전원(110)에 접속되는 지를 결정한다. 층(102)으로부터의 원래 출력은 한 세트의 응답 전류 Ij(j=1, 2, .... M)로 가정하고, 이 응답 전류는 적은 저항기(112)를 통해 장치에서 접지로 흐른다. 입력 및 출력이 또한 완전히 용량성이 될 지라도, 이 예는 오옴 (104 및 106)를 통과한 dc 여기(excitation)에 대한 신경망(100)의 응답을 고려한다. 이것은 실제 수행시 그렇게 될 필요는 없지만, 접촉부(104 및 106)는 층(102) 주변에서 배열되도록 도시된다. 신경망(100)의 실시예는 이 예에서 이 수행을 용이할 수 있는 평면 장치(planar device)라고 가정된다. 후술된 벡터 매핑 형태는 연속적인 입력 신호라기 보다 오히려 2 진 입력 벡터 성분을 강조한다. 이것은 상기 예의 분석을 간단화하기 위하여 행해진다.
입력 벡터 Xm이 스위치(108)의 일련의 2 진 상태(열림 = 0 ; 닫힘 = 1)로 제공되어 있다라고 가정한다. 지수 "m"는 다른 세트의 2 진 입력 신호에 대응하는 벡터를 구별한다. 관계된 응답, 즉 전류 벡터 Im의 성분은 입력 벡터 성분 Xmi 및 신경망(100)의 내용간의 비선형 상관 관계를 도시한다. 신경망(100)의 내용은 신경의 "가중치"로서 역할하는 불균질성 및 비선형성의 분포 패턴(114)으로 표시된다. 응답 전류 Im의 일반적인 형태는 다음과 같이 기록될 수 있다.
여기서 Gm은 패턴 m 및 바이어스 전압 V에 따른 신경망의 비선형 컨덕턴스 텐서(conductance tensor)이다. 식(i)의 구조는 오옴 법칙의 구조를 반영한 것이다. 인덱스(index)된 성분으로 고쳐쓰면, 식(ⅱ)은 다음과 같다.
연구중에 있는 이 시스템은 우선 부(negative)의 차동 저항(NDR) 특성을 나타내지 않는다라고 가정된다. 후술되는 바와같이, 층(102)이 NDR을 갖는다면, 본원에서 언급된 다수의 인코딩 기술은 간단화된다.
[신호 다이어그램]
NDR 효과가 포함되지 않는다고 가정되기 때문에, 입력 바이어스 레벨 V 및 입력 벡터 성분 Xmi의 함수로서 예측되는 응답 전류 Imj는 제 3 및 4 도에 개략적으로 도시되어 있다. 제 3 도는 입력 패턴 Xm에 응답하여 출력 접촉부 "K"에서 발생된 전류 Imk의 바이어스 전압 V의 의존성을 도시한다. 명백한 바와같이, 전류 Imk는 V의 단조 함수이다. 제 4 도는 닫혀진 스위치(108)의 총수 "n"에 대한 전류의 의존성 Imk을 도시한다. 또다시, 전류 Imk는 합에 대한 가산의 단조 함수, 즉 스위치(108)들중 닫혀진 스위치들의 총수의 단조 함수이다. 제 4 도에 도시된 Xm의 함수로써 출력 접촉부(106)의 개략적인 응답이 신경-MOSFET를 이루기 위해 단일 출력 전류(소스-드레인)에 다수의 용량성 (게이트) 입력을 결합시키는 기능적인 MOS 트랜지스터로부터 얻어진 응답과 유사하다는 것을 주목하라. 1992년 판 IEEE 트랜스. (Trans) 전자 장치, 39권, PP.1444-1455에 티.시바따등이 발표한 "게이트 레벨 가중된 합 및 임계 동작을 특징으로하는 기능적인 MOS 트랜지스터 특성"을 참고하라.
비선형층(102)의 단조 출력 응답으로 인해, 출력 신호는 다음과 같이 간단하게 정의된다.
(ⅲ) Om=Im-Ithreshold
그리고 나서, 스위칭(108)들중 부가적인 하나의 스위치를 닫고 바이어스 레벨을 V+dV로 증가시키면은 출력 신호 0에서 고정된 극성 변화, 즉 상기 예에서의 증가를 초래시킨다. 다시 말하면, 식(ⅲ)에 따른 출력 정보를 인코딩하는 것은 금지(inhibitory) 동작을 제공하지 않는다. 신경망에서 처럼 비선형 매핑이 이루어지면, 부의 기여도(negative contributions) 또는 금지와 같은 역효과는 일부 입력신호 Xmi에 의해 발생되어야만 한다. 게다가, 2개의 대향 교차 결합된 쌍의 입력 및 출력 접촉부간을 교차하는 전자 신호는 신호 상관을 이룰 수 있다. 이를 위하여, 상기 시스템의 비선형성은 출력에서 정보를 인코딩하는데 사용될 수 있다. 비선형성은 본 시스템으로부터의 신경망(총(total)) 응답의 단극성 특성에 대향되는 바와 같은 정극성 또는 부극성 부호를 갖을 수 있다. 비선형 도전층(102)으로 부터의 응답의 또다른 유용한 인코딩 타잎은 높은 고차 효과(high order effects)를 향상시키므로써 얻어진다. 이 향상은 차동 출력 신호 또는 상대적인 출력 신호를 이용하므로써 이루어진다. 예를 들어, 다음의 인코딩 방식이 사용될 수 있다.
(ⅳ) Omj=Imk=Imp
(ⅴ) Omj=Imj/Imtot
(ⅵ) Omj=δv(Imj)
식(ⅳ)에서 제1옵션은 인덱스 "K"를 갖는 출력 및 인덱스 "p"를 갖는 출력에서 공급된 응답 전류들간의 차이로서 출력 신호 Om의 성분 j를 규정한다. 식(Ⅴ)에서 제2 옵션은 온/오프 스위치 패턴 "m"과 관련된 총 전류로 표준화된 전류 Imj로서 Om의 출력 성분 j을 제공한다. 식(ⅵ)의 제 3 옵션은 바이어스 Ⅴ의 변화 함수에 따른 차동 출력이고, 이것은 원래 입력 신호 Xmj에 행하는 바와 같은 응답 전류에 영향을 미치는 입력 신호로서 간주된다. 바이어스 전압 변화는, 예를들어, 램프(ramped)되고, 사인파의 또는 펄스화된 여기일 수 있다. 후자의 경우와 관련해서, 그것은 바이어스 전압 변화의 여러 가지 신호 고조파 진폭의 정보를 또한 인코드할 수 있다. 출력 함수(ⅳ)-(ⅵ), 특히(ⅳ) 및 (ⅴ)는 오히려 간단하고 출력에서 손쉽게 수행 될 수 있다는 것을 주목하자. 임계 전류 Ithreshold, j는 임의의 전류 Imj로부터 감산되어 각 경우의 결과의 극성을 검출한다. 이들 정의에 따라서, 상술된 인코딩은 종래의 신경망에서 출력 뉴런 기능과 유사하다.
인코딩(ⅳ)-(ⅵ)의 타잎이 유사한 금지 및 신호 교차에 영향을 미친다는 것을 이하에 간단한 예로 도시되어 있다. 이를 위하여, 식(ⅱ)은 급수 확장(series expansion)으로서 재기록된다.
추가 분석하기 위하여, 2개의 입력 접촉부(104) 및 2개의 출력 접촉부(106)만을 갖는 비선형 도전면(102)을 고려한다. 그리고 나서, 인덱스 m은 각각의 입력 벡터 Xm(0,0), (1,0) 및 (1,1)에 대해 값=0, 1, 2 및 3을 취한다. 게다가, 상기 시스템의 비선형성은 제 2차항만으로 제한된다고 가정한다. 이 경우, 식(ⅶ)의 전류는 다음과 같이 기록된다.
여기에 사용된 계수 "a" 및 "c"는 각기 선형 및 비선형 컨덕턴스 (G1 및 G2)를 대체한다. 식(ⅷ)은 2개의 전류에 대해서 V의 2 차식인 8개의 식으로 이루어진 집합을 표시한다. 식(ⅷ), 및(ⅳ)-(ⅵ)의 인코딩 옵션들을 사용해서, 2개의 입력 및 출력 접촉부를 갖는 본 발명의 간단화된 비선형 도전층 신경망에서 금지 효과 및 신호 교차를 어떻게 얻는지가 이하에 도시되어 있다.
제 1 인코딩 옵션(ⅳ)에 대해, 이 경우에 Om1가 2개의 출력 접촉부에서 전류간의 차이를 사용하기 때문에 단지 하나의 실제 출력만이 고려되도록 한다. 상기 식에 따라서, X3=(1,1)에 대한 신경망의 출력 신호가 다음과 같이 된다.
(ⅸ) O31=O11+O21+2(C112-C212)V2;
식(ⅸ)은 부가 될 수 있는 최종항 때문에, O31는 (O11+O21)보다 작게되고 도전율 C112 및 C212를 적절하게 선택함에 따라서 더욱 부(negative)가 된다는 것을 보여준다. 이와같은 출력에 따라서, XOR 동작은 각각의 전류 Imj에서 어떠한 부극성 없이도 신경망(100)에서 실현될 수 있다. 종래의 신경망이 XOR 동작을 성취하기 위하여 부의 접속 또는 금지를 필요로하기 때문에, 상기 주어진 결과는 비선형성이 적절하게 선택되면, 비선형 도전층(102)의 상대적인 응답이 또한 금지 정보를 이동시킨다는 것을 보여준다. 이와같은 결과를 완전한 선형층으로 이루는 것은 불가능한데, 왜냐하면 (ⅸ)의 최종항이 사라지기 때문이다.
신호 교차를 보여주기 위하여, 즉, 제1 및 제2 출력 신호가 하나 이상의 입력 신호에 의해 발생된 기여도로 각각 이루어져 있다는 것을 보여주기 위하여, 적어도 2개의 입력 및 2개의 출력 접촉부(104 및 106)가 필요로된다. 간단화된 2-입력/2-출력 도전층(102)인 경우에, (V)의 인코딩 옵션이 선택된다. 입력 벡터 Xm(0,0), (1,0), (0,1) 및 (1,1) 각각에 대한 m=0, 1, 2 및 3인 상기 표기법(notation) 및 약간의 대수관계를 사용하여, 신호를 교차시키기 위하여 다음의 상태들이 이루어진다는 것을 증명할 필요가 있다.
(ⅹ) (O11-O21)<0 and (O12-O22)>0;
즉, 간단히 말하면, 접촉부 "i=2"에서 입력의 기여도가 접촉부 "K=1"에서 출력을 좌우하고 접촉부 "i=1"에서 입력의 기여도가 "k=2"에서 출력을 좌우한다는 것이 증명될 필요가 있다. 조건(X)의 유효성을 증명하는 것은 차가
(xi) △=I22I11-I12I21
부가 된다는 것을 보여주는 것이다. 선형 도전층(102)에서, 이 조건은 a11 a22<a12 a21로 해석되는데, 이것은 더 큰 전류가 가장 멀리 떨어진 활성화된 입력 접촉부에서 발생되기 때문에 물리적으로 수용될 수 없다. △가 비선형 도전층으로 인해부(negative)가 될 수 있다는 것을 보여주기 위하여, 선형 컨덕턴스 매트릭스의 모든 선형 소자가 동일하고 비선형성이 적은 동요(perturbations)로서 취급된다고 가정하자. 이들 조건에 따라서, △<0은 다음과 같이 해석된다.
(xii) c122+c211<c111+c222;
이 마지막 조건은 서브(sub) - 선형(포화)의 직접적인 컨덕턴스 및 초선형(superlinear) 교차 컨덕턴스에 의해 손쉽게 만족될 수 있다. 각각의 분기(branch)가 비선형 저항기를 포함하는 하나의 분기를 제외한 선형 저항기를 포함하는, "Y" 저항기 회로망에서 이 효과를 보여주는 것은 매우 쉽다. 만일, a) 출력들중 하나의 출력이 비선형 저항기에 접속되고 나머지 출력이 선형 저항기에 접속되고, b) 입력들중 하나의 입력이 나머지 선형 저항기에 접속되고 나머지 다른 입력이 중심노드에 접속되면, (1,0) 및 (0,1) 입력들을 인가하면은 저항값 및 비선형성의 적절한 선택으로 인해 차동(0,1) 및 (1,0) 출력을 발생시킨다. 유사한 예는 (Vi)에서 언급된 인코딩 기술을 위해 제공될 수 있다. 서두에 설명한 바와같이, 상기 마지막 경우, 또한 주기적인 입력 신호의 출력 고조파는 컨덕턴스 변화의 기울기(slope)에 부가해서 사용될 수 있다.
[물리적인 동작]
더욱 상세하게 하기 위해, 전계 효과 장치에서 불균질한 표면 반전층을 표시하는 2차원 비선형 도전층을 갖는 장치를 고려하자. 이 층이 표면 전위 분포 차이 때문에 서로 다른 전자 밀도를 갖는 전자 푸들(electron puddle)의 어레이로 이루어진다고 가정한다. 이와같이 가장 간단한 형태로 비선형 표면 도전층의 고유의 비선형 벡터 매핑 능력을 성취할 수 있다는 것이 이하에 도시되어 있다. 그리고나서, 나중 단계에서 도입된 어떤 부가적인 특성이 이 효과를 향상시킨다. 본원에서 연구된 장치 개념의 물리학은 상기 인용된 시바따의 실험적인 MOS 장치와 유사하다고 간주될 수 있다. 그러나 시바따의 종래 기술의 장치만이 단일 뉴런의 시냅스 접속을 수행하는 역할을 한다. 인용된 기술과 대조적으로, 본 발명의 비선형 전자층이 분포된 신경 변형 시스템으로서 사용되어 다수의 입력과 다수의 출력 단자간의 완전한 신경망으로서 동작한다. 이 중대한 차이는 필요로되는 정보를 얻을 수 있도록 앞서 설명된 바와같은 적절한 인코딩을 필요로 할 수 있다.
제 5 도는 본 발명의 장치(300)를 개략적으로 도시한 것이다. 장치(300)는 전계 효과 장치의 불균질 표면 반전층에서 (302 및 304)와 같은 자유 전자 푸들(puddles) 위치를 나타내는 도트(dots)의 불균질한 배열을 기능적으로 구비한다. 푸들(302 및 304)은 표면의 절연체(도시되지 않음)내의 트랩된 (trapped) 양의 전하로 표면에서 형성된다. 이들 전자 푸들은 서로 결합되는데, 본원에선 개략적으로 도시된 푸들 쌍(302 및 304)만이 비선형 캐패시턴스(306) 및 비선형 컨덕턴스(308)에 의해 서로 전기적으로 결합되어 있다. 각각의 푸들은 또한 접지에 용량적으로 결합되는데, 본원에선 캐패시턴스(312)에 의해 하나의 푸들(310)이 결합되어 있는 것을 도시하고 있다. 입력/출력 신호는 선형 저항기를 통해서 주변의 접촉부에 제공되고, 상기 선형 저항기중에서, 단지 저항기(314 및 316)만이 도시되어 있다. 상술된 바와같이, 입력/출력 접촉부는 항상 주변에 있는 것이 아니라, 표면 에리어내에서 또한 분포된다. 후자의 옵션은 예를들어 입력이 2차원 신호로서 전면 표면에 선택적으로 공급되는 영상 처리 장치에서 특히 유용하다.
제 5 도에 도시된 층에서 운반은 큰 에리어의 서브-임계 반도체 장치의 불균질 표면 반전층에서 도전의 기본적인 특징에 가까운 단순화되고 정상화된 식에 의해 모델링 된다. 물리적인 면의 배경 정보는 시바따를 참고하라. 푸들중에 흐르는 비선형 전류는 다음과 같이 주어진다.
(xiii) α<0인 경우, Idot,i=exp(α/T);
α≥0인 경우, idot,i=1+(α/T);
여기서 Idot,i는 푸들로 흐르는 신경망 전자 전류를 나타내고, 푸들은 인덱스 "i"로 표시되고, α는 다음과 같이 정의된다.
(xiv) α=(EF,i-Ebar,i);
EF,i는 푸들 "i"와 관계되는 페르미 레벨이고, Ebar,i는 푸들 "i" 및 그 이웃들 "j" 중 하나간의 전위 장벽 높이를 표시하고, 여기서 T는 표준화된 절대 온도를 나타낸다. 실제 장치에서의 장벽 높이(Ebar,i)는 전자 푸들간에 나타나는 전위에 좌우되고 다음의 실험적인 관계식으로 주어진다.
(xv) Ebar,i=Ec,i+[b0-b1(Ec,i+1-Ec,i)];
여기서, Ec,i는 도전 대역 에지이고 bo 및 b1은 일정하다. 상기 양적인 표현에 대해서는 제 6 도를 참고하라.
2개의 푸들간의 캐피시턴스는 상기 푸들내에 포함된 캐리어 수에 좌우된다고 가정하고 그들은 다음과 같이 주어진다.
(xvi) Cij=d0/(d1-qi-qj)
여기서 d0 및 d1는 일전하고 qi 및 qj는 푸들 "i" 및 이웃 푸들 "j"에서의 전하수를 표시한다. 이 식은 훨씬 적은 전하를 포함하는 푸들간의 캐패시턴스(306)가 더 적어진다는 사실을 간단히 근사화 시킨 것이다. 각각의 푸들 및 접지간의 캐패시턴스(312)는 일정한 것으로 간주된다. 이들 식들에서 표현되는 형태 또는 파라미터들을 실제 장치에 맞추기 위해 특별한 주의를 기울이지 않아도 된다. 이를 위해, MOS 물리학을 적절하게 취급하는 장치 레벨식(상기 예에서)으로 시작해야 만 한다. 일반적인 비선형층에서 벡터 매핑의 기본 개념만이 제공되어 있기 때문에, 그것은 현재로서는 필요로 되지 않는다. 비선형성의 정확한 형태는 벡터 매핑 망과 같이 도전층 동작에 중요치 않다. 상술된 모델 시스템 응답은 이산된 포이즌(discretizised poisson) 식 및 전류 연속성 식을 사용해서 수치적으로 계산된다.
상술된 모델에 따라서, 층의 컨덕턴스(308)의 입력 바이어스 의존성이 우선적으로 검사된다. 이것은 장치 입력들중 오직 하나의 입력에서 입력 바이어스 전압V를 인가하고 입력 바이어스 값 V의 함수로써 장치 양단에서 총 전류를 관찰함으로써 행해진다. 입력/출력 저항(314 및 316)의 2개의 서로다른 값에 대한 상기 결과가 제 7 도에 도시되어 있다. 상기 특성의 기본 형태는 단일 MOSFET의 서브-임계 응답과 유사하다. 그러나, 본 경우에, 일군의 상호 접속된 플로팅 서브-임계 MOSFETs를 기능적으로 갖는다. 상기 도면의 결과는 또한 장치의 푸들을 통해 바이어스-의존 "퍼콜레이션(percolation)"으로서 해석될 수 있다. 계산에서 고려된 비제로 온도 파라미터 때문에, 실질적인 퍼콜레이티브 모델과 대조적으로, 저바이어스에서 제로 전류로의 급격한 차단이 존재하지 않는다. 다음, 입력/출력 관계는 제 8, 9 및 10도를 참조하여 장치(300)의 3-입력/5-입력 예(400)에 대해 논의된다. 장치(400)는 스위치(410, 412 및 414)를 통해 전원(V)에 접속되는 3개의 입력 접촉부(404, 406 및 408)를 갖는 비선형 도전층(402)을 구비한다. 층(402)은 5개의 출력 접촉부(416, 418, 420, 422 및 424)를 또한 구비하여 스위치 중 어느 스위치가 닫혀져 있는지에 따라 응답 전류(I1-I5)를 공급한다. 상기 응답 전류는 회로(426)에 공급되어 상기 식(ⅳ)에 논의된 바와같은 했듯이 차동량(differential quantities)을 결정한다. 회로(426)는 단순히 2개의 출력 접촉부간에 결합된 저항이 될 수 있다. 상기 저항기를 통한 전압은 저항을 통한 신경망 전류를 표시한다.
제9도는 스위치들(410-414)중 개방되거나 닫혀진 스위치들의입력 패턴(X)의 함수로서 소정의 단위, 예를들어 mA로 응답 전류(I1-I5)값을 도시한 표1 이다. 벡터 표시법에서, X=(X1, X2, X3)T이고, 여기서 X1은 스위치(410)상태에 대응하며, X2는 스위치(412) 상태에 대응하고 X3는 스위치(414)상태에 대응한다. 스위치들(410-414)중 관계된 하나의 스위치가 닫혀지면 성분(Xi)는 1과 동일하게 되므로써, 접촉부들(404-406)중 적절한 하나의 접초부 전원(V)를 연결하고, 그렇지 않으면 제로가 된다. 출력 접촉부(422)는 이 예에서 접속되지 않는다고 가정한다. 제10도는 전류(12 및 I1)간, 및 전류(I3 및 I5)간에 차동값을 제공하는 표Ⅱ를 제공한 것이다. 표Ⅱ의 정보는 제 11도의 다이어그램에서 가시화된다. 제11도는 출력 신호(I5-I3)가 정극성에서 부극성으로 어떻게 변하는지를 명확하게 나타내고 있는데, 다시 말하면, 상기 시스템이 더 많은 입력 신호들을 수신할 때 반전을 제공하는 것이다. 예를들어, 입력 벡터들(100), (010), (110) 및 (100)이, 3, 5와 동일한 I2-I1 레벨과 관계하여 각각(+), (+), (-) 및 (-) 극성의 출력을 발생할 때, 다른 한편으로 출력 신호(I2-I1)는 XOR 동작을 및 신호 교차를 도시한다. 논리 출력 신호는 적절한 임계 및 다음의 제한에 의해 간단히 발생된다. 식(V) 및 (ⅵ)의 출력과 같은 차동 출력을 제공하는 것과 다른 인코딩 방식은 또한 반전 및 신호 교차를 제공한다. 비선형 층(402)을 도전시킨후 제공된 출력 예들은 안정한 평형 상태에 도달된다. 이와같은 안정된 상태가 도달되기전 출력 전류값이 시험되면, 도전면에서 출력 전류들의 상대적인 값들은 표 Ⅱ에 있는 값들과 전체적으로 다르다. 이와같은 과도 상태(transient regime)에서 신호의 혼합은 안정된 상태에서 혼합과 비교하여 더욱 쉽게 이루어질수 있다는 것이 입증되었다.
부의 차동 저항(NDR) 효과는 전자 푸들 양단의 증가하는 바이어스 전압차의 함수에 따라서 전류를 다소 감소시키므로써 불균질 반전층 어레이에서 얻어진다. 이 NDR로 인해, 출력 전류값의 상대적인 위치는 서로다른 입력 벡터 형태의 경우에 주로 혼합된다. 게다가, 입력 노드 전류값들은 또한 이와같은 비선형 혼합을 도시한다. 이와같은 응답은 (ⅳ), (ⅴ) 및 (ⅵ)에서 제공된 임의의 코딩 방법을 적용할 필요없이 간단한 임계에 의해 비-트리비얼(trivial) 비-선형 벡터를 초래한다.
제 12 도는 본 발명의 신경망에서 층(102)으로서 사용하기 위한 비선형 불균질의 전기적으로 도전되는 운반 구조(500) 부분을 도시한 것이다. 구조(500)는 반도체 기판(502), 예를들어 P도핑된 실리콘 및 전기적인 절연층(504), 예를들어 실리콘 이산화물을 구비한다. 층(504)은 예를들어 다결정 실리콘 또는 실리콘 질화물의 전하 트래핑 영역(506, 508, 510, 512, 514 및 516)을 포함한다. 하나이상의 영역 (506-516)에서 트랩되고 상기 예에서 소정의 정극성 형태의 전하는 (518, 520, 522 및 524)와 같은 반전 영역 및 절연층(504)에 가까운 기판(502)에서 (526 및 528)과 같은 공핍 영역을 초래한다. 본원에서 상기 정극성 형태와 다른 그외 나머지 부극성의 트랩된 전하는 절연층(504)에 가까운 기판(502)에서 (530)과 같은 축적 영역을 유도한다. 따라서, 트랩된 전하는 전계 효과 동작을 근거로한 전기적 운반 구조(500)를 설정하는 기판(502)에서 위치-의존 도전성을 나타내고 있다.
제 13 도는 본 발명의 신경망에서 구조(500)의 일부분(600)을 도시한 것이다. 이 부분(600)은 제 12 도에서 설명한 기판(520) 및 절연층(504) 부분을 포함한다. 절연층(504)은 전하 트래핑 영역(606, 608, 610, 및 612)을 하우징하여(house) 상술된 반전 영역, 공핍 영역 및 축적 영역을 만든다. P 도핑된 기판(502)에서 N 도핑된 영역(616)에 대한 예를들어 알루미늄으로 된 오옴 접촉부(614)는 입력 신호를 공급하거나 입력 신호에 의해 그 위치에서 영향받는 응답 전류를 운반하는 데 사용된다. 또한, 접촉부(614)는 두 개 이상의 기판(502)의 원거리 에리어를 갈버니적으로 (galvanically) 또는 용량적으로 결합시키기 위하여 부가적인 긴 범위 상호 접속으로써 사용되어 예를들어 스크린닝에 기인한 단 범위 효과를 피한다. 접촉부(618 및 620)는 (620)과 같이 직접적으로 또는 전하 저장 영역(608 및 610)을 통해서 간접적으로 기판(502)으로의 용량적인 입력으로서 사용된다. 다시, 접촉부(618 및 620) 각각은 피드백 메커니즘에 의해 외부적으로 발생된 입력 신호 또는 내부적으로 발생된 신호를 인가하기 위해 사용된다.
제 13 도의 구조는 매우 균질하고 실제로 균일하게 도핑된 기판(520)을 활용한다. 영역(606-610)에서 트랩된 전하에 의해 유도된 불균질성은 균질한 형태로 중첩된 단지 동요이다. 이와같은 간단한 장치는 종래의 신경망에서 처럼 비선형이고 완전히 분포된 매핑을 이루기에 충분하다. 그러나, 기판(502)은 부가적으로 N 도핑된 영역(본원에 도시안됨) 또는 절연층(504)에 인접한 헤테로구조(heterostrucure) 영역(본원에 도시안됨)의 어레이를 포함하여 부의 차동 저항 또는 광전자 효과를 제공함으로써 전기 운반 특성을 향상시킨다.
[장 범위]
상술된 스크린닝 효과는 어떤 상호 작용 범위에 관련해서 큰 시스템에서 발생할 것이다. 이들 효과는 다른 입력 신호들의 세트에 대한 응답간의 판별에 역효과를 발생시킬 것이다. 그러므로, 본 발명의 소정의 시스템 크기를 초과할 때, 해상도 및 잡음이 중요하게 된다. 이들 결점을 보상하는 한 방법은 결합된 출력 신호를 발생시키는 더욱 많은 응답을 추출하기 위하여 더욱 많은 접촉부를 사용한다는 것이다. 이미 간략하게 언급된 또다른 방법은 장치에 대해 분포된 다수의 위치들간에 도전적이거나 용량적인 소수의 장 범위의 상호 접속을 제공하는 것이다. 이것은 상호 접속된 위치들간의 실질적으로 동일한 컨덕턴스 거리의 패턴에 의해 얻어질 수 있다. 제 14 도는 제 13 도의 부분(600)에 대한 기술과 유사한 기술로 수행되는 장치(700)의 예를 도시한다. 장치(700)는 다수의 입력 접촉부 및 출력 접촉부(704 및 706), 다수의 불균일 도메인(708 및 710), 다수의 장 범위 접속부(712, 714 및 716)와 더불어 반도체 기판(702)으로 이루어진다. 장 범위 상호 접속부(712-716)는 입력-출력 접촉쌍들의 다른 쌍들간에 평균 전기 경로를 같게하는 역할을 한다. 장치(700)가 또한 도전 상태에서 큰 스케일로써 불균질하기 때문에, 장 범위 상호 접속부(712-716)수는 상대적으로 적게 된다. 웨이퍼-스케일 집적도는 이와같은 시스템의 거대한 버젼(versions)을 수행하기 위한 적절한 기술이다.
[학습]
학습 설비를 제공하기 위해, 예를들어 트래핑 영역(506-516)에서 트랩된 전하량을 수정하므로써 기판(502)의 운반 특성을 선택적으로 수정시키는 어떤 방식이 필요로 된다. 공지된 바와같이, 종래의 신경망은 예를들어 트레인닝을 토대로 한 시냅스 세기(또는 가중치 또는 시냅스 계수)를 적응시키므로써 학습한다. 널리 공지된 학습 전략은 제 1 도에서와 같이 계층화된 신경망에 적용된 백프로퍼게이팅(backpropagating) 메커니즘이다. 여기에서, 층(16)의 얻어진 출력 신호 및 소망의 출력 신호간의 불일치는 가장 가파른 하강 알고리즘에 따라 시냅틱 계수를 변화시키므로써 최소화되는 에러량을 규정하는 것이다. 상기 방법은 각 뉴런 함수 및 각 시냅스 함수의 개별도를 토대로 한 것이다. 본 발명에서 개별적인 뉴런 및 개별적인 시냅스는 구별되지 않는다는 것에 주목하라.
제 15 도는 학습 설비를 포함하는 전기적인 운반 구조(800)를 구비하는 본 발명의 신경망의 예이다. 구조(800)가 부분(600)과 부분적으로 유사하기 때문에, 참고는 제 13 도 및 전기적인 운반면에 대해서는 상기 논의된 바를 참고로한다. 구조(800)는 예를들어 P 도핑된 실리콘으로 이루어진 반도체 기판(802), 예를들어 실리콘 이산화물로 이루어진 전기적 절연층(804), 예를들어 다결정 실리콘으로 이루어진 전하 트래핑 층(806), 절연층(804)에 매립된 다결정 실리콘 또는 실리콘 질화물로이루어진 아이슬란드(islands), 기계적인 스테레스 파를 전파하고 층(806)으로부터 전기적으로 격리된 예를들어 아연 산화물로 이루어진 압전기층(808), 예를 들어 실리콘 산화물로 이루어진 절연층(810) 및 전계 효과 트랜지스터와 같은 (글로벌) 게이트로서 기능하는 알루미늄 또는 텅스텐과 같은 전기적인 도전층(812)을 구비한다.
학습은 다음과 같다. 층(806)에서 초기에 트랩된 전하 분포는 특정한 소정의 입력 신호의 세트가 제공될 때, 부정확한 응답을 발생시킨다. 기계적인 스트레스파는 한정된 크기의 압전기 층(108)에서 발생된다. 이 파는 확률론적이다. 스탠딩 파 패턴은 층(808)을 통한 반사에 기인해서 설정된다. 이것은 층(806)의 트랩된 전하의 전계이외에 기판(802)의 전기적 운반 특성에 영향을 미치는 스탠딩 전계 패턴을 발생시킨다. 스트레스 패턴은 응답을 개선시키거나 악화시킨다. 스트레스 패턴이 응답을 개선시키면, 연관된 전계에 의해 발생된 동요는 없어진다. 스트레스 전계 효과는 트랩된 전하 분포의 수정에 의해 대체되다. 이것을 행하는 한가지 방법은 글로벌 게이트(812)에서 바이어스 전압을 인가하는 것이다. 이와같은 바이어스 전압은 전하 트래핑층(806) 및 기판(802)간의 터널링 임계값의 바로 아래야만 한다. 이것은 EEPROMs 의 기록/소거 임계값과 비교될 수 있다. 공간적으로 변하는 스트레스 전계에 의해 발생된 전계는 글로벌 게이트(812)의 일정한 바이어스에 가산된다. 따라서, 전하 트래핑 층 및 기판 (802)간의 전체적인 전계는 임계값 이하를 국부적으로 초과하거나 임계값 이하에 머물도록 선택적으로 제어되므로써 선택적으로 전하 터널링을 실행한다. 이 형태의 학습을 "확률론적인 학습(stochastic Learning)"이라 칭한다.
바이어스, 스트레스 전계 및 전하 트래핑의 적용시에 각종 변화가 있을 수 있다. 예를들어, 적당한 설계에 따라서, 글로벌 게이트(812)로 전화를 운반하거나 글로벌 게이트(812)로부터 전하 운반에 의해 충전이 이루어진다. 다수의상호 전기적으로 격리된 글로벌 게이트(812)는 소정의 기하학적 패턴으로 제공된다. 예를들어, GaAs 는 압전기라는 것을 주목하라. 절연층에 의해 GaAs 기판으로부터 분리된 에피택셜 GaAs 층은 압전기 설비 및 전자 신호 운반 둘다를 제공할 수 있다. 또한 층(806-810)은 강유전체 재료층으로 대체된다. 공지된 바와같이, 강유전체는 도메인을 갖는 재료이고, 그것의 전기 쌍극자 전계는 선택적으로 수정된다. 강유전체 재료는 어떤 타잎의 비휘발성 메모리에 사용된다.
제 16 도는 광 전자를 토대로한 본 발명의 학습 신경망에서 셀로서 사용하기 위한 계층화된 구조(900)의 또다른 예를 도시한 것이다. 구조(900)는 예를들어 P도핑된 실리콘으로 이루어진 반도체 기판(902), 예를들어 실리콘 이산화물로 이루어진 절연층(904), 절연층(904)에 매립된 예를 들어 다결정 실리콘으로 이루어진 전하 트래핑 영역(906)을 구비한다. 구조(900)의 상부 표면(908)은 전원(도시안됨)의 반대 극에 접속된 전극(910 및 912)을 운반한다. 전극(912)은 광다이오드(914)에 접속되고 전극(910)은 저항기(916)에 접속된다. 광 다이오드(914) 및 저항기(916)는 전하 트래핑 영역(906)에 가깝게 위치된 노드(918)를 경유하여 상호접속된다. 광다이오드(914)상에 입사되는 광선(920)은 노드(918)의 전위를 변화시켜, 전하 분포 및 기판의 운반 특성에 국부적으로 영향을 미친다. 이들 변화에 기인한 신경망의 개선된 출력(학습)의 경우, 영역(906)의 트랩된 전하는 예를들어 전극(910 또는 912)을 통해서 큰 바이어스 전압을 인가하므로써 전극 및 충전된 트랩 영역(906)간에 터널링을 초래하도록 적응된다. 광다이오드 및 저항기의 다수의 셀은 소정의 형태, 예를들어 직사각형 그리드 또는 방사 형태로 배열되어 망막(retina)를 제한시켜, 패턴을 인식한다. 그리고나서, 영상의 각 화소는 대응하는 광 다이오드로 맵(map)됨으로써 공핍 층(920) 및 반전층(922)과 관계하여 관련된 운반 특성에 영향을 미친다.

Claims (11)

  1. 시냅스들에 의해 상호 접속된 뉴런들로 기능적으로 이루어진 신경망을 갖는 정보 처리 시스템으로서, 상기 신경망은 다수의 입력 신호들을 수신하는 입력 수단과, 적어도 하나의 출력 신호를 제공하는 출력 수단과, 상기 다수의 입력 신호들을 신경 변화시켜 상기 출력 신호를 발생시키기 위하여 입력 수단 및 출력 수단간의 장치를 구비하는, 신경망을 갖는 정보 처리 시스템에 있어서,
    상기 장치는 상기 다수의 입력 신호들에 응답하여 매체를 통해 응답 전계를 전달하도록 동작하는 매체를 구비하며, 상기 응답 전계는 상기 입력 신호들중 적어도 하나의 입력 신호에 따라서 비선형적으로 되며, 상기 매체는 응답 전계의 공간적인 의존성에 영향을 미치도록 동작하는 적어도 하나의 불균질성을 가지며, 상기 매체는, 상기 매체의 제 1 위치에서 발생하는 응답 전계를 나타내는 적어도 하나의 제 1 응답을 상기 출력 수단에 결합시 상기 출력 신호를 발생시키도록 동작하는 것을 특징으로 하는 신경망을 갖는 정보 처리 시스템.
  2. 제1항에 있어서, 상기 장치는 상기 제1 응답 및 제2응답을 상호 상관시킬 때 상기 출력 신호를 발생시키기 위하여 물리적인 매체를 출력 수단에 결합시키는 인코딩 수단을 구비하는 신경망을 갖는 정보 처리 시스템.
  3. 제2항에 있어서, 인코딩 수단은 다음의 상관들: 즉
    - 각 응답들의 쌍간의 차를 포함하는 각 출력 신호를 발생시키며,
    - 각 응답비 및 응답 합계를 포함하는 각 출력 신호를 발생시키며,
    - 상기 입력 신호들중 특정한 하나의 입력 신호의 변화에 의해 발생되는 각 응답 변화를 포함하는 각 출력 신호를 발생시키는 상관들 중 적어도 하나의 상관을 수행하도록 동작되는 신경망을 갖는 정보 처리 시스템.
  4. 제1항, 제2항 또는 3항중 어느 한항에 있어서, 상기 입력 신호들 중 제1신호는 제1물리적인 차원성을 갖고 상기 입력 신호들중 제2입력 신호는 상기 제1물리적인 차원성과 다른 제2물리적인 차원성을 갖는 신경망을 갖는 정보 처리 시스템.
  5. 제1항에 있어서, 상기 장치는 제2위치의 응답 전계 및 제3위치의 응답 전계간의 상호 동작을 행하도록 동작하는 매체에서 적어도 제2위치 및 제3위치간의 접속 수단을 구비하는 신경망을 갖는 정보 처리 시스템.
  6. 제1항에 있어서, 상기 장치는 적어도 위치, 크기 또는 세기와 관계하는 적어도 하나의 불균질성을 선택적으로 수정하도록 동작하는 제어 수단을 구비하는 신경망을 갖는 정보 처리 시스템.
  7. 제1항에 있어서, 상기 장치는 반도체 기판을 구비하며, 상기 불균질성은 적어도 하나의 공핍 영역 또는 반전 영역을 구비하는 신경망을 갖는 정보 처리 시스템.
  8. 제7항에 있어서, 상기 장치는 상기 공핍 영역 또는 상기 반전 영역을 야기시키도록 동작하는 전하 트래핑 영역을 구비하는 신경망을 갖는 정보 처리 시스템.
  9. 제1항에 있어서, 상기 장치는 적어도 위치, 크기 또는 세기에 관계하는 적어도 하나의 불균질성을 선택적으로 수정하도록 동작하는 제어 수단을 구비하며, 상기 장치는 상기 공핍 영역 또는 상기 반전 영역을 야기시키도록 동작하는 전하 트래핑 영역을 구비하고, 상기 제어 수단은 압전기층을 통해 스트레스 파를 전파시 위치 의존하는 전계를 제공하고 전하 트래핑 영역에 또는 전하 트래핑 영역으로부터의 전하에 대한 터널링 임계값을 선택적으로 결정하는 압전 기층을 구비하는 신경망을 갖는 정보 처리 시스템.
  10. 제1항에 있어서, 상기 장치는 적어도 위치, 크기 또는 세기에 관계하는 적어도 하나의 불균질성을 선택적으로 수정하도록 동작하는 제어 수단을 구비하고, 상기 장치는 상기 공핍 영역 또는 상기 반전 영역을 야기시키도록 동작하는 전하 트래핑 영역을 구비하고, 상기 제어 수단은 광-의존하는 전압을 제공하고 전하 트래핑 영역에 또는 전하 트래핑 영역으로부터의 전하에 대한 터널링 임계값을 선택적으로 결정하는 광전 소자를 구비하는 신경망을 갖는 정보 처리 시스템.
  11. 제1항에 있어서, 상기 장치는 적어도 위치, 크기 또는 세기에 관계하는 적어도 하나의 불균질성을 선택적으로 수정하도록 동작하는 제어 수단을 구비하고, 상기 장치는 반도체 기판을 구비하고, 상기 불균질성은 적어도 하나의 공핍 영역 또는 반전 영역을 포함하고, 상기 제어 수단은 강유전체층에서 강유전체 도메인의 분극 회전(polarization ratation)을 선택적으로 결정하므로써 위치 의존하는 전계를 제공하도록 동작하는 강유전체층을 구비하는 신경망을 갖는 정보 처리 시스템.
KR1019940004199A 1993-03-03 1994-03-02 신경망을갖는정보처리시스템 KR100293607B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL93200603.4 1993-03-03
EP93200603.4 1993-03-03
EP93200603 1993-03-03

Publications (2)

Publication Number Publication Date
KR940022301A KR940022301A (ko) 1994-10-20
KR100293607B1 true KR100293607B1 (ko) 2001-09-17

Family

ID=8213668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940004199A KR100293607B1 (ko) 1993-03-03 1994-03-02 신경망을갖는정보처리시스템

Country Status (8)

Country Link
US (2) US5666467A (ko)
EP (1) EP0614157B1 (ko)
JP (1) JPH06290162A (ko)
KR (1) KR100293607B1 (ko)
CN (1) CN1098503C (ko)
DE (1) DE69421106T2 (ko)
SG (1) SG44026A1 (ko)
TW (1) TW230246B (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469237B2 (en) * 1996-05-02 2008-12-23 Cooper David L Method and apparatus for fractal computation
US5753954A (en) * 1996-07-19 1998-05-19 National Semiconductor Corporation Single-poly neuron MOS transistor
WO2000002135A2 (de) * 1998-07-02 2000-01-13 Siemens Aktiengesellschaft Verfahren und anordnung zur ermittlung eines ausgangssignals zu einem vorgegebenen eingangssignal und verfahren zum trainieren der anordnung
US6473798B1 (en) 1998-12-15 2002-10-29 Cisco Technology, Inc. Method and system for testing a layer-2 tunnel in a data communication network
US6560582B1 (en) * 2000-01-05 2003-05-06 The United States Of America As Represented By The Secretary Of The Navy Dynamic memory processor
US6768815B2 (en) 2001-05-10 2004-07-27 The United States Of America As Represented By The Secretary Of The Navy Color sensor
US7412428B2 (en) 2002-03-12 2008-08-12 Knowmtech, Llc. Application of hebbian and anti-hebbian learning to nanotechnology-based physical neural networks
US6889216B2 (en) 2002-03-12 2005-05-03 Knowm Tech, Llc Physical neural network design incorporating nanotechnology
US9269043B2 (en) 2002-03-12 2016-02-23 Knowm Tech, Llc Memristive neural processor utilizing anti-hebbian and hebbian technology
US20040039717A1 (en) * 2002-08-22 2004-02-26 Alex Nugent High-density synapse chip using nanoparticles
US7392230B2 (en) * 2002-03-12 2008-06-24 Knowmtech, Llc Physical neural network liquid state machine utilizing nanotechnology
US8156057B2 (en) * 2003-03-27 2012-04-10 Knowm Tech, Llc Adaptive neural network utilizing nanotechnology-based components
US7398259B2 (en) * 2002-03-12 2008-07-08 Knowmtech, Llc Training of a physical neural network
US20040193558A1 (en) * 2003-03-27 2004-09-30 Alex Nugent Adaptive neural network utilizing nanotechnology-based components
US20030236760A1 (en) * 2002-06-05 2003-12-25 Alex Nugent Multi-layer training in a physical neural network formed utilizing nanotechnology
US7752151B2 (en) * 2002-06-05 2010-07-06 Knowmtech, Llc Multilayer training in a physical neural network formed utilizing nanotechnology
US7827131B2 (en) * 2002-08-22 2010-11-02 Knowm Tech, Llc High density synapse chip using nanoparticles
CN100392723C (zh) * 2002-12-11 2008-06-04 索夫塔马克斯公司 在稳定性约束下使用独立分量分析的语音处理系统和方法
RU2005128554A (ru) * 2003-02-14 2006-01-27 Клиерсайт Системз Инк. (Us) Способ и программируемое устройство для квантовых вычислений
US7426501B2 (en) * 2003-07-18 2008-09-16 Knowntech, Llc Nanotechnology neural network methods and systems
US7223027B2 (en) * 2003-12-30 2007-05-29 Intel Corporation Optical communications adapter module configured for use inside a XENPAK-sized module
DE102004011170B4 (de) * 2004-03-08 2006-03-23 Siemens Ag Manipulationssichere Erzeugung von echten Zufallszahlen
US7409375B2 (en) * 2005-05-23 2008-08-05 Knowmtech, Llc Plasticity-induced self organizing nanotechnology for the extraction of independent components from a data stream
US7502769B2 (en) * 2005-01-31 2009-03-10 Knowmtech, Llc Fractal memory and computational methods and systems based on nanotechnology
US7420396B2 (en) * 2005-06-17 2008-09-02 Knowmtech, Llc Universal logic gate utilizing nanotechnology
US7599895B2 (en) 2005-07-07 2009-10-06 Knowm Tech, Llc Methodology for the configuration and repair of unreliable switching elements
KR100699899B1 (ko) * 2006-05-08 2007-03-28 삼성전자주식회사 집적회로 장치 제조용 마스크 검사 장치 및 그 검사 방법
US7930257B2 (en) 2007-01-05 2011-04-19 Knowm Tech, Llc Hierarchical temporal memory utilizing nanotechnology
US7958071B2 (en) * 2007-04-19 2011-06-07 Hewlett-Packard Development Company, L.P. Computational nodes and computational-node networks that include dynamical-nanodevice connections
US20090028921A1 (en) 2007-06-18 2009-01-29 New Jersey Institute Of Technology Electrospun Ceramic-Polymer Composite As A Scaffold For Tissue Repair
US8068674B2 (en) * 2007-09-04 2011-11-29 Evolution Robotics Retail, Inc. UPC substitution fraud prevention
US20090325296A1 (en) 2008-03-25 2009-12-31 New Jersey Institute Of Technology Electrospun electroactive polymers for regenerative medicine applications
TW201037529A (en) 2009-03-02 2010-10-16 David Reynolds Belief propagation processor
TWI527385B (zh) * 2009-03-02 2016-03-21 美國亞德諾半導體公司 信號映射技術
US8458114B2 (en) 2009-03-02 2013-06-04 Analog Devices, Inc. Analog computation using numerical representations with uncertainty
US8115513B2 (en) 2009-03-02 2012-02-14 Mitsubishi Electric Research Laboratories, Inc. Circuits for soft logical functions
US8633732B2 (en) 2009-03-02 2014-01-21 Mitsubishi Electric Research Laboratories, Inc. Circuits for soft logical functions
US8572144B2 (en) 2009-03-02 2013-10-29 Analog Devices, Inc. Signal mapping
US9771557B2 (en) 2009-03-12 2017-09-26 New Jersey Institute Of Technology Piezoelectric scaffold for nerve growth and repair
US9192655B2 (en) 2009-03-12 2015-11-24 New Jersey Institute Of Technology System and method for a hydrogel and hydrogel composite for cartilage repair applications
US9334476B2 (en) * 2009-03-12 2016-05-10 New Jersey Institute Of Technology Method for nerve growth and repair using a piezoelectric scaffold
US9476026B2 (en) 2009-03-12 2016-10-25 New Jersey Institute Of Technology Method of tissue repair using a piezoelectric scaffold
WO2011085355A1 (en) 2010-01-11 2011-07-14 David Reynolds Belief propagation processor
US8792602B2 (en) 2010-02-22 2014-07-29 Analog Devices, Inc. Mixed signal stochastic belief propagation
US9047153B2 (en) 2010-02-22 2015-06-02 Analog Devices, Inc. Selective delay of data receipt in stochastic computation
US9180166B2 (en) 2010-03-12 2015-11-10 New Jersey Institute Of Technology Cartilage repair systems and applications utilizing a glycosaminoglycan mimic
US10081794B2 (en) 2011-04-13 2018-09-25 New Jersey Institute Of Technology System and method for electrospun biodegradable scaffold for bone repair
US10210452B2 (en) 2011-09-21 2019-02-19 Qualcomm Incorporated High level neuromorphic network description apparatus and methods
CN104620236B (zh) * 2012-03-15 2019-02-15 高通股份有限公司 用于神经网络的基于标记的装置和方法
WO2014203038A1 (en) * 2013-06-19 2014-12-24 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi System and method for implementing reservoir computing in magnetic resonance imaging device using elastography techniques
KR101766010B1 (ko) 2015-04-29 2017-08-08 (주)예네 고효율 왕복동식 피스톤 전자펌프
US11138501B2 (en) * 2018-02-22 2021-10-05 International Business Machines Corporation Hardware-implemented training of an artificial neural network
WO2020009949A1 (en) * 2018-07-05 2020-01-09 Boston Scientific Scimed, Inc. Devices, systems, and methods for determining inflammation and/or fibrosis
US11468309B1 (en) 2019-03-07 2022-10-11 Miguel Alberto Adan Wave interaction processor
US11856877B2 (en) 2019-12-23 2023-12-26 The University Of Canterbury Electrical contacts for nanoparticle networks

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876668A (en) * 1985-07-31 1989-10-24 California Institute Of Technology Thin film memory matrix using amorphous and high resistive layers
FR2621757A1 (fr) * 1987-10-09 1989-04-14 Thomson Csf Reseau neuronal programmable a polymere ferroelectrique
FR2625347B1 (fr) * 1987-12-23 1990-05-04 Labo Electronique Physique Structure de reseau de neurones et circuit et arrangement de reseaux de neurones
US4866645A (en) * 1987-12-23 1989-09-12 North American Philips Corporation Neural network with dynamic refresh capability
US5214745A (en) * 1988-08-25 1993-05-25 Sutherland John G Artificial neural device utilizing phase orientation in the complex number domain to encode and decode stimulus response patterns
DE69032680T2 (de) * 1989-01-06 1999-06-02 Hitachi Ltd Neuronaler Rechner
JP2752442B2 (ja) * 1989-06-28 1998-05-18 三菱電機株式会社 視覚情報処理素子
US5267347A (en) * 1989-06-28 1993-11-30 Mitsubishi Denki Kabushiki Kaisha Information processing element
DE3929132A1 (de) * 1989-09-01 1991-03-07 Siemens Ag Neuronales netzwerk mit optischer programmierung in duennfilmtechnologie
US5039871A (en) * 1990-05-21 1991-08-13 General Electric Company Capacitive structures for weighted summation as used in neural nets
US5367612A (en) * 1990-10-30 1994-11-22 Science Applications International Corporation Neurocontrolled adaptive process control system
JP2795015B2 (ja) * 1991-01-09 1998-09-10 松下電器産業株式会社 空間光変調素子および神経ネットワーク回路
US5319737A (en) * 1991-01-15 1994-06-07 Smiths Industries Aerospace & Defense Systems, Inc. Network structure for path generation
US5422982A (en) * 1991-05-02 1995-06-06 Dow Corning Corporation Neural networks containing variable resistors as synapses
US5204521A (en) * 1992-03-03 1993-04-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration GaAS-based optoelectronic neurons
US5371834A (en) * 1992-08-28 1994-12-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Adaptive neuron model--an architecture for the rapid learning of nonlinear topological transformations

Also Published As

Publication number Publication date
US5706404A (en) 1998-01-06
JPH06290162A (ja) 1994-10-18
US5666467A (en) 1997-09-09
KR940022301A (ko) 1994-10-20
DE69421106T2 (de) 2000-05-25
TW230246B (ko) 1994-09-11
CN1098503C (zh) 2003-01-08
EP0614157A1 (en) 1994-09-07
SG44026A1 (en) 1997-11-14
CN1094831A (zh) 1994-11-09
EP0614157B1 (en) 1999-10-13
DE69421106D1 (de) 1999-11-18

Similar Documents

Publication Publication Date Title
KR100293607B1 (ko) 신경망을갖는정보처리시스템
US20210142157A1 (en) Spin orbit torque based electronic neuron
Ishiwara Proposal of adaptive-learning neuron circuits with ferroelectric analog-memory weights
EP0377908B1 (en) Neural network having an associative memory that learns by example
USRE41658E1 (en) Low-voltage, very-low-power conductance mode neuron
US10635970B2 (en) Racetrack synapse for neuromorphic applications
US5237210A (en) Neural network accomodating parallel synaptic weight adjustments for correlation learning algorithms
Liu et al. Bayesian neural networks using magnetic tunnel junction-based probabilistic in-memory computing
Ananthakrishnan et al. All-passive hardware implementation of multilayer perceptron classifiers
Pagliarini et al. A probabilistic synapse with strained MTJs for spiking neural networks
Kang et al. Hardware-based spiking neural network using a TFT-type AND flash memory array architecture based on direct feedback alignment
US4961005A (en) Programmable neural circuit implementable in CMOS very large scale integration
Borgstrom et al. Programmable current-mode neural network for implementation in analogue MOS VLSI
US5247206A (en) Neural network accommodating parallel synaptic weight adjustments in a single cycle
US5220202A (en) Memory device and memory apparatus using the same suitable for neural network
Kornfield et al. An optically programmed neural network
Liu et al. Cryogenic in-memory computing using tunable chiral edge states
JPH04281584A (ja) 複数の入力信号の重みづけられた複数の加算を行う装置
Clark et al. Ferroelectric thin-film memory for electrically programmable IC neural networks
Sage et al. MNOS/CCD circuits for neural network implementations
EP3798914A1 (en) Artificial synapse
US20240161792A1 (en) Compensation for conductance drift in analog memory
Zhao et al. Silicon neuron transistor based on CMOS negative differential resistance (NDR)
Rose et al. Amorphous Silicon Analogue Memory Devices for Artificial Neural Networks
Khaddam-Aljameh Computational Memory Design

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee