KR970007006B1 - 인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조 - Google Patents

인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조 Download PDF

Info

Publication number
KR970007006B1
KR970007006B1 KR1019930027865A KR930027865A KR970007006B1 KR 970007006 B1 KR970007006 B1 KR 970007006B1 KR 1019930027865 A KR1019930027865 A KR 1019930027865A KR 930027865 A KR930027865 A KR 930027865A KR 970007006 B1 KR970007006 B1 KR 970007006B1
Authority
KR
South Korea
Prior art keywords
output
predetermined
pattern
neural
signal
Prior art date
Application number
KR1019930027865A
Other languages
English (en)
Other versions
KR950006630A (ko
Inventor
신종한
Original Assignee
한국전자통신연구원
양승택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 양승택 filed Critical 한국전자통신연구원
Priority to KR1019930027865A priority Critical patent/KR970007006B1/ko
Publication of KR950006630A publication Critical patent/KR950006630A/ko
Application granted granted Critical
Publication of KR970007006B1 publication Critical patent/KR970007006B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Neurology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Analogue/Digital Conversion (AREA)
  • Logic Circuits (AREA)
  • Character Discrimination (AREA)

Abstract

내용없음

Description

인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조
제1도는 전형적인 생물학적 신경의 구조.
제2도의 (a) 및 (b)는 종래의 신경망에서 발생되는 불완전한 문자 인식의 예.
제3도는 본 발명에 따른 신경 회로의 제1실시예.
제4도는 제2도의 축색 돌기 회로에 대한 테스트 결과.
제5도는 잡음 궤환 펄스 코딩의 블럭도.
제6도는 잡음 궤환 펄스 코딩을 이용한 축색 돌기 회로.
제7도는 본 발명에 따른 신경 회로의 제2실시예.
제8도는 제5도의 축색 돌기 회로에 대한 테스트 결과.
제9도의 (a)는 본 발명에 따른 신경 회로에 의해 구성되는 발진 신경 회로 망의 구성을 나타낸 것이고,
(b)는 본 발명에 따른 신경망이 삼각형 패턴을 인식하는 과정을 설명하기 위한 도면.
제10도는 (a)는, 컴퓨터 모의 실험에 의해, 본 발명의 따른 신경망의 한글 문자 인식 결과를 나타낸 도면이고,
(b) 및 (c)는 삼각형 인식 결과를 나타낸 도면.
* 도면의 주요부분에 대한 부호의 설명
1 : 수상돌기 2 : 신경몸체
3 : 축색돌기 4 : 시냅스
10 : 시냅스회로 20 : 신경몸체회로
30 : 축색돌기회로 31 : 비교기
32 : 랜덤파형발생기 33 : AND 게이트
34 : RC 적분회로
본 발명은 스토캐스틱 펄스 코딩(stochastic pulse coding 이하 'SPC'라 약칭함) 또는 잡음 궤환 펄스코딩(noise feedback pulse coding 이하 'NFPC'라 약칭함)에 기초한 인공 신경 회로(artificial neural circuits) 및 그것을 이용한 발진 신경망의 구조에 관한 것이다.
신경(neuron)이라고 불리는 기본적인 신경세포(elmentary nerve cel1)는 생물학적 신경회로망(biological neural network)의 기본적인 빌딩 블럭(basic bulding block)이다.
제1도는 수상 돌기(Dendrites)(1), 신경 몸체(Neuron body)(2), 축색 돌기(Axson hillock)(3)로 이루어진 전형적인 신경세포의 구조를 나타낸 것이다.
상기 수상 돌기(1)는 다른 신경의 수상 돌기와의 시냅스 연결(synapse contact)로 입력부로서 역할하며, 그 입력 전류들은 상기 신경 몸체(2)의 커패시턴스에 의해 시-공간적(spacio_temporally)으로 적분된다.
상기 신경몸체(2)에서 적분된 아날로그 전압은 축색 돌기(3)의 시작점(intial segment)에서 펄스 열(pulse seguence)로 부호화되어, 다른 신경의 수상돌기와의 시냅스 연결점으로 전파된다.
시냅스(4)는 신경 시스템에서 핵심적인 정보처리 요소중의 하나인데, 연결된 세포막으로의 전류 흐름을 조절한다.
위에서 서술한 생물학적 신경과 유사하게 동작하는 효율적인 새로운 정보 처리 소자로서 전자 신경 회로가 제안되었다.
종래의 신경 회로에서는 아날로그 전압이나 이진 디지탈 값을 펄스 열로 변환하기 위하여 스토캐스틱펄스 코딩(SPC)기법이 사용되었는데, 이 방식에서는 아날로그 전압을 정확히 변환하기 위하여 많은 수의 펄스를 필요로 하고, 독립적인 랜덤 펄스 발생기(random pulse generator)들이 필요하다는 단점이 있다.
한편, 신경망을 이용하여 문자나 도형을 이루는 여러개의 복합된 패턴을 인식함에 있어서, 종래의 기술에 의하면, 보다 정확한 패턴의 인식을 위해서는 복수 종류의 패턴들로 이루어지는 복합 패턴으로 부터 각종의 패턴을 개별적으로 분리하는 과정이 선행되어야 하는데, 또한 패턴의 분리가 제대로 이루어지도록 하기 위해서는 우선적으로 개별적 패턴이 인식되지 않으면 않된다는 모순된 문제점이 있었다.
생물학적 신경 세포에 의한 패턴의 인식에 있어서는 먼저, 시각 신경 조직에 의해 입력 장면의 국부적인 특징들이 추출되고, 이어 뇌에 공간적으로 분리되어 있는 신경 조직에 의해 병렬적으로 처리되어 특정 패턴을 인식할 수 있는 것으로 알려져 있다.
또한, 2개 이상의 대상물이 하나의 장면에 포함되어 있을 때에는 각 대상물로 부터 생성된 국부적인 특징들을 연결시켜주어 각 대상물이 분리된 물상임을 알 수 있도록 하는 메카니즘(mechanism)이 존재한다는 것도 잘 알려져 있다.
따라서, 생물학적 신경망과 유사하게 동작하는 인공 신경망을 구성하기 위해서는 이와 같은 메카니즘의 구현이 요구되는데, 이러한 메카니즘으로서 신경 펄스 출력들의 동기화(synchronization)에 기초한 특성 결합 메카니즘(feature binding mechanism)이 제안되었는데, 최근의 실험적 사실들이 그 흥미있는 아이디어를 지지하고 있다.
또한, 뇌에서의 위상 돌기(phase-locking) 현상을 설명하기 위해 실험적 사실에 근거하여 많은 이론적 모델들이 개시된 바 있다.
필기체 문자들을 인식하도록 훈련된 error backpropagation network와 neocognitron 같은 잘 알려진 패턴 인식 회로망들은 현재 패턴 분리라는 어려운 문제점에 봉착하고 있다.
예를 들어, 패턴 분리의 문제가 neocognitron에서 어떻게 인식 결과에 영향을 미치고 있는 가를 알아 보자.
제2도의 (a)에서, 간단한 한글 문자 "니"는 흔히 완전히 다른 문자인 "넉"으로 인식되어 진다.
자소(字素)"- ㅣ"가 "ㅣ"대신 얻어지는데, 이는 "ㄴ"의 하단 끝부분 때문이다.
즉, "ㄴ"이 " ㅣ"에 충분히 가까이 있을 때 "ㄴ"의 밑 부분과 " ㅣ"로 부터 "ㄱ" 이 부가적으로 탐지된다.
이와 유사하게, 제2도의 (b)에 도시된 바와 같이, "41"은 신경망이 영문 알파벳과 숫자들을 모두 인식할 수 있도록 훈련되었을 때 "4H"로 인식될 수 있다.
이와 같은 문제는 입력 문자들의 알파벳을 적절하게 분리함으로써 제거될 수 있으나, 종래의 기술에서는 어떤 문자를 인식하기 전에는 패턴을 분리할 수 없고 패턴을 인식하기 전에는 그 문자를 인식할 수 없다는 문제가 있으므로 결국 상술한 종래의 문제를 해결하기 위해서는 패턴의 분리와 인식이 동시에 이루어져야 할 것이다.
본 발명은 상기한 바와같은 종래의 문제점을 배제하기 위해 안출된 것으로서, 스토캐스틱 펄스 코팅(SPC) 및 잡음 궤환 펄스 코팅(NFPC)을 이용한 새로운 아날로그-디지탈 혼합 신호처리 방식의 신경 회로를 제공하는데 그 주된 목적이 있다.
본 발명의 다른 목적은 패턴의 분리 및 인식을 동시에 수행하는 발진 신경망을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 신경 회로는 잡음 궤환 펄스 코딩(NFPC)을 이용한 축색 돌기 회로와, 전류 적분기로 구성된 신경 몸체 회로와, 다른 신경 회로에서의 펄스 출력에 따라 가중치(weight value)에 비례하는 전류를 신경 몸체 회로로 흘려 주거나 흡수하는 시냅스(Synapse)회로를 포함하는 것이 특징이다.
상기한 목적을 달성하기 위한 본 발명에 따른 신경 회로망은 복합된 패턴의 입력을 위한 입력판과, 상기의 인공 신경 회로로 각각 이루어지는 복수의 단위 요소들을 포함하고 이 요소들 중 상기 입력 판으로 부터 제공되는 입력 패턴에 의해 활성화되는 단위 요소들을 통하여 상기 복합된 패턴의 특징을 추출하는 특징 추출층과, 상기의 인공 신경 회로로 각각 이루어 지는 복수의 단위 요소들을 포함하고 상기 특징 추출층과 양방향성으로 결합되되 상기 특징 추출 층과 다른 별도의 연결선들을 가지며, 상기 특징 추출층으로 부터 제공되는 상기 복합된 패턴의 특징에 따라 상기 입력 패턴을 분리함과 동시에 인식하는 패턴 검출 층을 포함하는 것이 특징이다.
본 발명에 따른 신경 회로 망의 다른 특징에 따르면, 상기 특징 추출 층 및 상기 패턴 검출 층을 각각 구성하는 복수의 단위 요소를 사이의 위상 결합은 상위 계층 단위 요소의 발진이 하위 계층 단위 요소로 궤환되어 결정되고, 상기 상위 계층 단위 요소의 선택적 발진은 하위 계층에서 상위 계층으로의 연결 강도패턴과 입력 패턴과의 매칭에 의해 상호 억제 경쟁적으로 결정된다.
이하 첨부된 도면들을 참조하면서 본 발명에 대해 상세히 설명한다.
제3도는 본 발명에 따른 신경 회로의 제1의 바람직한 실시예를 나타낸 것으로, 스토캐스틱 펄스 코팅(SPC)을 이용한 새로운 전자 신경 회로의 구조를 나타낸 것이다.
본 실시예에서, 시냅스 회로(10)는 3개의 NMOS 트랜지스터(M1,M2,M3)의 조합에 의하여 구현된다.
즉, 제1트랜지스터(M1)의 드레인은 제1의 기준 전압원(Vr1)과 연결되고 소스는 제2트랜지스터(M2)의 드레인과 연결됨과 아울러 제3트랜지스터(M3)의 드레인과 연결된다.
상기 제2트랜지스터(M2)의 소스는 제2의 기준 전압원(Vr2)과 연결되고 상기 제3트랜지스터(M3)의 소스는 신경 몸체 회로(20)의 입력단과 연결되며, 상기의 트랜지스터 M1,M2,M3 각각의 게이트에는 가중치 전압(weight voltage) Wij 제3의 기준 전압원 Vr3, 다른 신경 회로로 부터의 입력 신호 Sj(t)가 각각 제공 된다.
제1트랜지스터(M1)의 게이트와 접지 사이에 연결된 커패시터(C1)는 노이즈 제거를 위한 것이다.
이 시냅스 회로(10)에서 트랜지스터 M1과 M2는 선형 영역에서 동작하도록 바이어스되며, 이 회로(10)는 트랜지스터(M3)의 게이트로 들어오는 다른 신경 회로의 펄스 출력이 있을 때 가중 전압(Wij)에 비례하는 전류를 방출하거나 흡수한다.
상기 시냅스회로(10)의 출력 전류 I3는, 연산 증폭기(OP)와 커패시터(Cf) 및 저항(Rf)을 포함하는 전류적분 수단으로 이루어지는 신경 몸체 회로(20)에서, 출력 시간 동안 적분되어 최종적으로 가중 전압(Wij)과 입력(Sj)의 곱이 계산되어 진다.
마지막으로, 축색 돌기 회로(30)의 시작부는 비교기(31)와 랜덤 파형 발생기(32)로 이루어지는데, 출력펄스의 듀티 율(duty rate)을 0.5로 하기 위하여 AND 게이트(33)를 사용한다.
상기 시냅스 회로(10)의 출력 전류 I3는 아래와 같이 주어진다.
(1)
여기서, Cox는 단위 면적 당 옥사이드(oxide) 커패시턴스, u는 캐리어(carrier) 이동도, W는 채널 폭, L은 채널 길이이다.
Vgs, Vt 그리고 Vds는 각 트랜지스터(Ml,M2,M3)의 게이트-소스 전압, 문턱 전압 그리고 드레인-소스 전압, 그리고 첨자 1과 2는 각각 트랜지스터 M1과 M2를 지칭하는 것이다.
이때 시냅스 회로(10) 내의 트랜지스터 M1과 M2가 정합(matching)되어 있고, Vr1=-Vr2라면, 트랜지스터 M3가 온(on)되어있을때, 트랜지스터 M1과 M2 및 M3의 접합점은 가상접지(virtually grounded)되어, Vdsl=Vds2이 된다.
따라서 상기의 (1)식은 아래의 식으로 간략화된다.
(2)
(2)식에서, I3는 시냅스 가중치를 나타내는 전압 Vgs1에 의해 제어된다.
즉, 시냅스 회로(10)는 Vgs1<Vgs2일때 흥분성 시냅스(excit-atory synapse)로서 역할을 수행하고, Vgs1>Vgs2일때 억제성 시냅스(inhibitory synapse)로서 역할을 수행한다.
신경 몸체 회로(20)를 구성하는 전류 적분기는 시냅스 전류들의 시-공간적 합을 구한다.
만일, 연산 증폭기(OP)가 고이득의 증폭기이면, 이 신경 몸체회로(20)의 출력전압 Xi(t)는 다음과 같은 방정식을 만족해야 한다.
(3)
제3도에서의 상기 축색 돌기 회로(30)는 스토캐스틱 펄스 코팅(SPC) 방식으로 아날로그 전압을 펄스열로 변환한다.
만일, 랜덤 파형 발생기(32)가 상기 신경 몸체 회로(20)의 출력 전압 Xi(t)의 최대 변화 영역과 같은 영역에 대하여 균일한 확률 밀도 분포(uniform probability density distribution) 함수를 갖는다면, 상기 축색돌기 회로(30)의 출력 Si(t)는
(4)
그러므로, 확률 p{Si(t)=1}은 스토캐스틱 펄스 열로서 처리되거나 전송될 수 있는 아날로그 신경 전압Xi(t)의 펄스 코딩값을 나타낸다.
이때, 간섭(interfering)하는 펄스들의 갯수가 적으면 그 에러는 미미하다.
이상적으로, 주어진 시간 구간에 대한 본 실시예의 출력 Si(t)의 적분 값은 동일시간 구간 동안에 신경몸체 회로(20)의 출력 Xi(t)를 적분한 값과 같다.
실제적으로는, 이 두 값들 사이에 에러 값이 아래와 같은 분산 값으로 표현될 수 있다.
(5)
여기서, S는 주어진 축적 시간 T동안의 펄스 열 Si(t)의 적분이고, X는 신경 몸체 회로(20)의 출력 전압Xi(t)의 T시간 동안의 평균 값이다.
그리고 tc는 클럭 주기이므로 Tㆍp/tc는 T시간동안에 발생되는 펄스들의 평균 갯수이다.
상기의 식(5)가 의미하는 바는 스토캐스틱 펄스 코딩(SPC)에 의해 펄스 열에 존재하는 잡음을 나타낸다.
이 잡음 성분은 소정의 시간 T 동안의 펄스 갯수가 늘어남에 따라 감소하기 때문에, 시간 T를 길게하면 잡음이 줄어드나 이때 신경 몸체 회로(20)의 사상수도 늘어나야만 한다.
제3도의 신경 회로는 신경 몸체 회로(20)의 비선형 특성과, 축색 돌기 회로(30) 내 랜덤 파형 발생기(32)의 분포 함수에 따른 시그모이드 함수(sigmoidal function)의 특성을 갖게 된다.
스토캐스틱 펄스 코팅(SPC)를 이용한 축색 돌기 회로(30)의 효율성을 시간 T동안 코딩에 사용될 펄스의 최대 수와 신호 대 잡음 비(signal-to-noise rato)의 관계로 평가하기 위하여 제3도에서의 축색 돌기회로(30)에 테스트용 정현파 신호를 가한후 그 출력을 FFT(fast Fourier transform)를 이용하여 분석한 것으로 다음과 같은 테스트 조건을 설정하였다.
축적 시간=0.125ms, 테스트 입력 신호=±0.5V 범위의 2875Hz 정현파, 클럭 주파수=512KHz, 랜덤 파형 발생기(32)의 출력 영역=±1V.
이들 조건들에서 출력 펄스 열은 최대 넓게 펄스들(0.l25ms/512Hz)의 길이를 갖고, 제4도의 (i)에서 제시된 것처럼 약18dB의 신호 대 잡음 비(SNR)값을 갖는 것을 알 수 있었다.
또 다른 테스트가 다른 조건은 변동없이 클럭주파수만 262MHz로 변동하였을 때 실행되었는데, 이때 출력 펄스 열은 최대 125개의 펄스들(0.125ms×262MHz)로 구성되고, 출력의 신호 대 잡음 비(SNR)는 제4도의 (ii)에서와 같이 대부분의 신경 망 알고리즘의 구현에 적합한 45dB의 값을 갖는다는 것을 알 수 있었다.
이들 테스트 결과는 식(5)에서 예상한 결과를 확인해 주고 있다.
즉 코딩 잡음이 클럭 주파수와 축적 시간이 증가할 수록 감소함을 알 수 있다.
잡음 궤환 코딩(NFPC)방식은 코딩 잡음을 궤환시켜, 다음 입력에서 그것을 빼줌으로써 잡음을 줄이는 방식으로, 이 방식의 신호 흐름을 나타낸 블럭도가 제4도에 도시되어 있다.
잡음 궤환 코딩(NFPC) 시스템에서 입력 Xn은 -1과 1사이의 값을 갖고 출력 Sn은 +1 또는 -1값만을 가지며, 상기 잡음궤환 코딩(NFPC) 시스템은 아래와 같은 비선형 순환 방정식(nonlinear reacursive equation)에 의하여 표현된다.
Un=Xn-en-1 (6)
Sn=q(Un) (7)
en=sn-un(8)
궤환에 의해 수정된 값 Un은 비선형 사인 함수 q에 의해 Sn으로 코딩된다.
그러므로, Sn은 Un이 양인지 음인지에 따라 +1과 -1의 값을 갖는다.
에러 en(=q(Un)-Un)은 다음 코딩시에 영향을 미친다.
즉, 새로운 수정 값을 만들기 위하여 다음 입력 값에서 빼어지고, 그 값은 새로운 펄스 출력을 만들고, 새로운 에러 값을 발생시킨다.
상기의 (6)식과 (8)식은 아래와 같이 변형될 수 있다.
en-en-1=Sn-Xn(9)
Un=(sn-sn-1)=Un-1(10)
(9)식에 Z 변환을 취하면, 코딩 잡음은 아래와 같이 표현된다.
(11)
식(11)에서, 고역 필터링(High pass filtering)에 기인하여 저주파 대역의 코딩 잡음이 감소함을 알 수 있다.
그리고 고주파 대역에서의 코딩 잡음은 펄스 열이 전달되는 신경 몸체 회로의 저역 필터링 특성 때문에 제거될 수 있다.
결과적으로, 제3도의 스토캐스틱 펄스 코팅을 이용한 신경회로 보다 같은 조건 하에서 더 큰 신호 대 잡음비(SNR)값을 가질 수 있다.
즉, 잡음 궤환 펄스 코딩(NFPC)을 이용한 신경 회로가 스토캐스틱 펄스 코팅을 이용한 신경 회로 보다 같은 신호 대 잡음 비(SNR) 조건 하에서 훨씬 적은 수의 최대 펄스 갯수가 소요된다.
제6도는 식(10)에 기초하여 만든 연속 모드 축색 돌기 회로(continuous mode axon hillock circuit)의 바람직한 실시예이다.
제6도에서, RC 회로(34)는 적분기로서 역할을 하는데, 입력 신호 X(t)와 출력 펄스 열 S(t)의 차가 상기 RC회로(34)에 의해 적분된다.
이렇게 적분된 상기 두 신호(X(t), S(t))의 차 신호는 비교기(31)에서 문턱 전압 Vth와 비교되고 그 결과는 래치된다.
래치된 비교기의 클럭 동기 출력은 AND 게이트(33)를 거쳐 듀티율 0.5로 만들어진 후 기준 전압 스위치인 제4트랜지스터(M4)의 게이트로 입력되어 상기 적분기(34)에 -Vfef의 기준 전압을 궤환시키게 된다.
따라서, 상기 적분기(34)에서는 전압차 X(t)-Vref값이 적분 된다.
이러한 음 궤환(negative feedback) 작용으로 인하여 적분된 차 신호는 입력 신호가 너무 크지 않는 한, 비교기(31)의 문턱 전압으로 접근해 간다.
이러한 조건 하에서, 출력 펄스의 밀도가 입력 신호의 크기에 대한 정를 전달하게 된다.
한편, 상기의 경우는 입력 신호 X(t)가 양의 극성을 가질 때의 경우이고, 입력 신호 X(t)가 양과 음의 성분을 가질 때에는 두개의 궤환 기준 전압이 -Vref와 +Vref가 각각 필요하게 된다.
즉, 상기 입력 신호 X(t)가 두가지(음, 양) 성분의 극성을 가질 때에는 상기 제4트랜지스터(M4)의 드레인에 소스가 연결되고, 드레인은 양의 기준 전압 +Vref와 연결되며, 게이트가 AND게이트(33)의 출력단과 연결되는 다른 하나의 트랜지스터(바람직하게는 PMOS 트랜지스터)가 부가된다.
제7도는 본 발명에 따른 신경 회로의 제2실시예를 나타낸 것으로서, 잡음 궤환 펄스 코딩 방식의 회로를 나타낸 것이다.
본 실시예의 회로는 축색 돌기 회로로서 제6도에 도시된 회로가 채용되는 것 이외에는 앞에서 설명된 제1실시예의 회로 구성과 동일한 구성을 갖는다.
본 실시예서 시그모이드 특성은 신경 몸체 회로(20)의 비선형 특성과 축색 돌기 회로(30)의 코딩 특성에 의해서 결정될 수 있다.
제7도의 축색 돌기 회로(30)의 성능을 테스트하기 위하여 제4도 (i)의 경우와 동일한 조건 하에서 테스트한 결과가 제8도에 도시되어 있는데, 본 실시예에 따른 축색 돌기 회로(30)는 약 45dB 정도의 신호 대잡음 비(SNR)값을 갖는 것을 알 수 있다.
결과적으로, 45dB 정도의 신호 대 잡음 비(SNR)를 갖는 코딩 펄스 열을 얻기 위해서 스토캐스틱 펄스코딩을 이용하는 축색 돌기 회로는 최대 215개의 펄스가 필요하게 되나, 본 실시예와 같이 잡음 궤환 펄스코딩을 이용하는 축색 돌기 회로는 최대 26개의 펄스 만이 필요하게 된다.
이와같은 사실은 동일한 최대 펄스 주파수가 사용되었을 때, 잡음 궤환 신경 회로가 스토캐스틱 신경 회로 보다 가중 합계산과 통신에 소요되는 시간이 512배 정도나 줄어들게 된다는 것을 의미한다.
본 명세서에 개시되는 두가지의 신경 회로는 신경망의 기본 단위 요소로서 사용될 수 있다.
제9도의 (a)는 본 발명에 따른 발진 신경 망의 바람직한 실시예에 따른 구성을 나타낸 것이다.
본 발명에 다른 발진 신경 망은 입력 판(input plane)(100)과, 특징 추출 층(feature extraction layer)(200)과, 패턴 검출 층(pattern detection layer)(300)을 포함한다.
상기 특징 추출 층(200)과 상기 패턴 검출 층(300)을 각각 구성하는 모든 단위 요소들은 앞에서 설명된 인공 전자 신경 회로에 의해 각각 구성된다.
입력 판(100)을 이루는 요소들 중 한글 문자의 입력에 의해 활성화된 요소들은 특징 추출 층(200)을 이루는 요소들로 패턴 입력(Ii)을 제공한다.
특징 추출 층(200)은 입력판(l00)으로 부터 제공되는 입력 패턴(Ii)으로 부터 특징을 추출해 내는데, 본 예에서는 패턴을 이루는 획(stroke)들 중 동일한 방향을 갖는 획(또는 선)을 특징으로서 채용한다.
특징 추출 층(200)과 패턴 검출 층(300) 사이의 결합 세기는 neocognitron에서와 같이 특정한 패턴(알파벳)을 검출하기 위한 템플레이트 매칭(template matching)에 기초하여 이루어진다.
이들 간의 결합은 양방향성이지만 상호 별도의 연결선을 갖는다.
패턴 검출 층(300)을 구성하는 모든 단위 요소들은 서로 상이한 위상을 갖도록 상호 연결된다.
상기 특징 추출 층(200) 및 상기 패턴 검출 층(300)을 각각 구성하는 복수의 단위 요소들 사이의 위상 결합은 상위 계층 단위 요소의 발진이 하의 계층 단위 요소로 궤환되어 결정된다.
또한 상기 상위 계층 단위 요소의 선택적 발진은 하위 계층에서 상위 계층으로의 연결 강도 패턴과 입력 패턴과의 매칭에 의해 상호 억제 경쟁적으로 결정된다.
이로써, 한가지 위상을 동기화된 특징 추출 신경 회로의 발진은 하나의 특정한 패턴에 대응되고, 서로 다른 패턴에 대해서는 각각에 대응되는 특징 추출 신경 회로가 서로 다른 위상으로 발진한다.
이상과 같이 구성되는 본 발명에 따른 신경 망의 실시예에 대한 설명의 간략화를 위해서 여기서는 한글인식과 삼각형의 인식을 예로서 들어 본 실시예의 작용에 대해 상세히 설명한다.
예를들어, 제9도의 (a)에 도시된 바와 같이, 필기체 한글 문자 ''니"가 입력 판(100)에 주어진 특징 추출층(200)을 구성하는 요소들 중 활성화되는 요소들이 발생하는데, 제9도의 (a)에서 0부터 3까지의 번호가 부여된 부분들이 상술한 바와 같이 활성화된 요소들을 나타낸 것이다.
이와 같이 활성화되는 요소들에 의해 입력 문자 패턴의 4가지 특징(제9도의 Unit 0∼Unit 3 참조)이 얻어진다.
상기 특징 추출 층(200)에 의해 얻어지는 4가지의 특징에 의해 패턴 검출 층(300)은, 제10도의 (a)에 도시된 바와 같이, 입력 문자의 패턴을 분리하고, 한글 알파벳 "ㄴ(Uit 4)"과 "l(Unit 5)" 만을 검출함으로써 한글 문자 "니"를 보다 정확하게 인식할 수 있게 된다.
즉, 앞에서 설명된 종래의 neocognitron 형태의 회로 망에서 두가지의 한글 알파벳 "ㄴ"(Unit 4)과 '' l(Unit 5)" 이외에도 두가지의 한글 알파벳 "_ ㅣ(Unit 6)"와 "ㄱ (Unit 7)"이 추가로 검출되는 것에 비해, 제10도의 (a)와 같이, 본 실시예에서는 알파벳 "- ㅣ(Unit 6)"와 "ㄱ (Unit 7)"은 그들의 특징 요소 간의 비동기발진에 의해 급격히 감소됨으로써 알파벳 "ㄴ(Unit 4)"과 " ㅣ(Unit 5)"만이 검출됨을 볼 수가 있다.
제10도의 (a)에서, Unit 0과 Unit 1의 위상은 Unit 4에 의해 동기(locking)되고, Unit 2와 Unit 3의 위상은 Unit 5에 의해 동기된다.
그러나, Unit 4와 Unit 5는 상기의 Unit 0∼Unit 3과 상이한 위상을 갖는다.
제9도의 (b)와 제10도의 (b) 및 (c)는 본 발명의 발진 신경 망이 삼각형의 패턴을 분리하여 인식하는 과정 및 그 결과를 설명하기 위한 도면으로, 이들을 참조하면서 삼각형이 어떻게 인식되는 지에 대해 설명하면 다음과 같다.
입력 패턴은 0에서 부터 8까지의 번호가 부여된 아홉개의 선들로 이루어진다.
적절하게 배치된 3개의 선들이 하나의 삼각형으로서 검출된다.
종래의 neocogintron 형태의 회로 망은 제9도의 (b)에 도시된 바와 같이 흔히 5개의 삼각형들을 검출하게된다.
이에 반해, 본 발명에 따른 발진 신경 회로 망은 제10도의 (b)에 도시된 바와 같이 2개의 삼각형 만을 검출하게 된다.
이와 같은 결과는 인간의 인지 결과와 매우 유사한 것이다
여기서, 특징 추출 층(200)에 의해 얻어지는 특징 요소들의 위상들은 패턴 검출 층(300)에 의해 검출되는 삼각형 패턴 요소들의 위상에 동기(locking)된다.
이상에서 재시된 바와같은 본 발명에 따른 신경 회로는 여러 신경망 구조에서 기본 단위 요소로서 사용될 수 있다.

Claims (8)

  1. 생물학적 신경의 동작 원리를 적용한 인공 신경 회로에 있어서; 제1의 전원(Vr1)과 제2의 전원(Vr2) 사이에 접속되고 게이트에 가중 전압 신호(Wij)가 제공되는 제1의 트랜지스터(M1)와, 게이트에 소정의 신호(Vr3)가 제공되는 제2의 트랜지스터(M2) 및, 상기 두 트랜지스터들(M1, M2) 사이에 연결되고 게이트에 소정의 입력 신호(Sj(t))가 제공되는 제3의 트랜지스터(M3)를 포함하고, 상기 소정의 입력 신호(Sj(t))가 제공될 때 상기 가중 전압 신호(Wij)에 비례하는 전류(I3)를 방출하거나 흡수하는 시냅스 수단(10)과; 상기 시냅스 수단(10)으로 부터의 상기 전류(I3)를 시-공간적으로 적분하는 신경 몸체 수단(20)과; 소정의 기준신호에 의해 상기 신경 몸체 수단(20)의 출력 신호를 소정의 펄스 열로 변환하는 축색 돌기 수단(30)을 포함하는 것을 특징으로 하는 인공 신경 회로.
  2. 제1항에 있어서, 상기 축색 돌기 수단은 상기 소정의 기준 신호를 발생하는 랜덤 파형 발생 수단(32)과, 상기 랜덤 파형 발생 수단의 출력과 상기 신경 몸체 수단(20)의 출력을 비교하는 비교 수단(31)과, 상기 비교 수단의 출력을 받아들여 소정의 듀티 율을 갖는 펄스 열로 변환하는 수단(33)을 포함하는 것을 특징으로 하는 인공 신경 회로.
  3. 제1항에 있어서, 상기 축색 돌기 수단은 상기 신경 몸체 수단의 출력을 적분하는 적분 수단(34)과 상기 적분 수단의 출력과 제1의 기준신호(Vth)를 비교하는 비교 수단(31)과, 상기 비교 수단의 출력을 받아들여 소정의 듀티 율을 갖는 펄스 열로 변환하는 듀티 율 변환 수단과, 상기 듀티 율 변환 수단의 출력에 의해 구동되어 제2의 기준 신호(-Vref)를 상기 적분 수단에 궤환시키는 수단(M4)을 포함하는 것을 특징으로 하는 인공 신경 회로.
  4. 제1항에 있어서, 상기 축색 돌기 수단은 소정의 두 레벨 값 증 하나를 갖는 코딩 출력을 다음의 입력전류와 기준 전류와의 차를 구한 후 적분을 하여 얻어지는 임의의 값이 소정의 임계 치를 넘으면 소정의 폭을 갖는 펄스를 발생하고, 이 펄스의 폭에 해당하는 시간 동안 다음의 입력 전류와 기준 전류의 차를 구하는 것을 반복적으로 수행하여 펄스 열을 발생시키는 것을 특징으로 하는 인공 신경 회로.
  5. 제1항에 있어서, 상기 신경 몸체 수단은 커패시터(Cf)와 저항(Rf)을 병렬로 연결하여 시상수를 조절하는 것에 의해 시냅스 전류의 시-공간적합을 계산하는 시간을 조절하는 것을 특징으로 하는 인공 신경 희로.
  6. 패턴의 분리 및 인식을 위한 신경 회로 망에 있어서; 복합된 패턴의 입력을 위한 입력 판(100)과; 인공 신경 회로로 각각 이루어지는 복수의 단위 요소들을 포함하고, 이 요소들 중 상기 입력 판(100)으로 부터 제공되는 입력 패턴에 의해 활성화되는 단위 요소들을 통하여 상기 복합된 패턴의 특징을 추출하는특징추출층(200)과; 상기 인공 신경 회로로 각각 이루어지는 복수의 단위 요소들을 포함하고, 상기 특징 추출층(200)과 양 방향성으로 결합되되 상기 특징 추출 층(200)과 다른 별도의 연결선들을 가지며, 상기 특징 추출 층(200)으로 부터 제공되는 상기 복합된 패턴의 특징에 따라 상기 입력 패턴을 분리 및 인식을 수행하는 패턴 검출층(300)을 포함하고; 상기 인공 신경 회로는 제1의 전원(Vrl)과 제2의 전원(Vr2) 사이에 접속되고 게이트에 가중 전압 신호(Wij)가 제공되는 제1의 트랜지스터(M1)와, 게이트에 소정의 신호(Vr3)가 제공되는 제2의 트랜지스터(M2) 및, 상기 두 트랜지스터들(M1, M2) 사이에 연결되고 게이트에 소정의 입력신호(Sj(t))가 제공되는 제3의 트랜지스터(M3)를 포함하고, 상기 소정의 입력 신호(Sj(t))가 제공될 때 상기 가중 전압 신호(Wij)에 비례하는 전류(I3)를 방출하거나 흡수하는 시냅스 수단(10)과; 상기 시냅스 수단(10)으로 부터의 상기 전류(I3)를 시-공간적으로 적분하는 신경 몸체 수단(20)과; 소정의 기준 신호에 의해 상기 신경 몸체 수단(20)의 출력 신호를 소정의 펄스 열로 변환하는 축색 돌기 수단(30)을 포함하며; 상기 인공 신경 회로의 위상 정보를 이용하여 패턴의 분리 및 인식을 동시에 수행하는 것을 특징으로 하는 패턴분리 및 인식용 발진 신경 망의 구조.
  7. 제6항에 있어서, 상기 축색 돌기 수단은 상기 소정의 기준 신호를 발생하는 랜덤 파형 발생 수단(32)과, 상기 랜덤 파형 발생수단의 출력과 상기 신경 몸체 수단(20)의 출력을 비교하는 비교수단(31)과, 상기 비교 수단의 출력을 받아들여 소정의 듀티율을 갖는 펄스 열로 변환하는 수단(33)을 포함하고; 상기 축색돌기 수단은 상기 신경 몸체 수단의 출력을 적분하는 적분수단(34)과, 상기 적분 수단의 출력과 제1의 기준신호(Vth)를 비교하는 비교수단(31)과, 상기 비교수단의 출력을 받아들여 소정의 듀티 율을 갖는 펄스 열로 변환하는 듀티 율 변환 수단과, 상기 듀티 율 변환 수단의 출력에 의해 구동되어 제2의 기준신호(-Vref)를 상기 적분 수단에 궤환시키는 수단(M4)을 포함하고; 상기 축색 돌기 수단은 소정의 두 레벨 값 중 하나를 갖는 코딩 출력을 다음의 입력 전류와 기준 전류와의 차를 구한 후 적분을 하여 얻어지는 임의의 값이 소정의 임계치를 넘으면 소정의 폭을 갖는 펄스를 발생하고, 이 펄스의 폭에 해당하는 시간 동안 다음의 입력 전류와 기준 전류의 차를 구하는 것을 반복적으로 수행하여 펄스 열을 발생시키며; 상기 신경 몸체 수단은 커패시터(cf)와 저항(Rf)을 병렬로 연결하여 시상수를 조절하는 것에 의해 시냅스 전류의 시-공간적합을 계산하는 시간을 조절하는 것을 특징으로 하는 패턴 분리 및 인식용 발진 신경 망의 구조.
  8. 제6항 또는 제7항에 있어서, 상기 특징 추출 층(200) 및 상기 패턴 검출 층(300)을 각각 구성하는 복수의 단위 요소를 사이의 위상 결합은 상위 계층 단위 요소의 발진이 하위 계층 단위 요소로 궤환되어 결정되고, 상기 상위 계층 단위 요소의 선택적 발진은 하위 계층에서 상위 계층으로의 연결 강도 패턴과 입력 패턴과의 매칭에 의해 상호 억제 경쟁적으로 결정하는 것을 특징으로 하는 패턴 분리 및 인식용 발진 신경망의 구조.
KR1019930027865A 1993-08-31 1993-12-15 인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조 KR970007006B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019930027865A KR970007006B1 (ko) 1993-08-31 1993-12-15 인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR930017280 1993-08-31
KR93-17820 1993-08-31
KR1019930027865A KR970007006B1 (ko) 1993-08-31 1993-12-15 인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조

Publications (2)

Publication Number Publication Date
KR950006630A KR950006630A (ko) 1995-03-21
KR970007006B1 true KR970007006B1 (ko) 1997-05-01

Family

ID=19362529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019930027865A KR970007006B1 (ko) 1993-08-31 1993-12-15 인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조

Country Status (6)

Country Link
US (1) US5633989A (ko)
JP (1) JP2539177B2 (ko)
KR (1) KR970007006B1 (ko)
CA (1) CA2130983A1 (ko)
DE (1) DE4430977C2 (ko)
GB (1) GB2281430B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101018019B1 (ko) * 2008-08-20 2011-03-02 재단법인 포항지능로봇연구소 아날로그 뉴런 기반의 로봇 제어 시스템

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5907299A (en) * 1996-10-23 1999-05-25 Sonix Technologies, Inc. Analog-to digital converter with delta-sigma modulator
EP1149595A1 (en) * 2000-04-25 2001-10-31 The Procter & Gamble Company Odour control system comprising a cationic polysaccharide and an odour controlling agent
US7429923B2 (en) * 2004-10-22 2008-09-30 Honeywell International Inc. Neuronal sensor networks
JP4728055B2 (ja) 2005-06-24 2011-07-20 エルピーダメモリ株式会社 人工神経回路
ES2389351B1 (es) * 2010-04-20 2013-09-02 Moyano Jose Ruano Amplificador para variador de frecuencia.
US9418333B2 (en) 2013-06-10 2016-08-16 Samsung Electronics Co., Ltd. Synapse array, pulse shaper circuit and neuromorphic system
WO2015001697A1 (ja) * 2013-07-04 2015-01-08 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
JP6501146B2 (ja) * 2014-03-18 2019-04-17 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路およびその学習方法
EP3202033A4 (en) 2014-09-30 2019-02-27 The Regents of The University of California HIGH DYNAMIC RANGE DETECTION FRONT FOR NERVOUS SIGNAL RECORDING SYSTEMS
US11025215B2 (en) 2016-12-07 2021-06-01 The Regents Of The University Of California High input impedance, high dynamic range, common-mode-interferer tolerant sensing front-end for neuromodulation systems
US11507429B2 (en) 2017-09-14 2022-11-22 Electronics And Telecommunications Research Institute Neural network accelerator including bidirectional processing element array
KR102610842B1 (ko) 2017-12-01 2023-12-07 한국전자통신연구원 뉴럴 네트워크에서의 프로세싱 엘리먼트 및 그 동작 방법
CN109635943B (zh) * 2018-12-13 2022-03-18 佛山眼图科技有限公司 数模混合神经元电路
US11625583B2 (en) * 2019-02-13 2023-04-11 Mipsology SAS Quality monitoring and hidden quantization in artificial neural network computations
CN112580790B (zh) * 2019-09-29 2023-06-30 华为技术有限公司 神经网络计算电路、芯片及系统
CN113033793B (zh) * 2021-03-02 2023-08-22 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
CN114819121B (zh) * 2022-03-28 2022-09-27 中国科学院自动化研究所 基于脉冲神经网络的信号处理装置及信号处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807168A (en) * 1987-06-10 1989-02-21 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Hybrid analog-digital associative neural network
JPH0277871A (ja) * 1988-06-14 1990-03-16 Mitsubishi Electric Corp 神経回路網
US5055897A (en) * 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US5381515A (en) * 1988-12-09 1995-01-10 Synaptics, Incorporated Two layer neural network comprised of neurons with improved input range and input offset
US5331215A (en) * 1988-12-09 1994-07-19 Synaptics, Incorporated Electrically adaptable neural network with post-processing circuitry
JPH0782481B2 (ja) * 1989-12-26 1995-09-06 三菱電機株式会社 半導体神経回路網
JPH03209553A (ja) * 1990-01-11 1991-09-12 Mitsubishi Electric Corp 自己組織化機能を備えた神経回路網装置
KR920008268B1 (ko) * 1990-04-03 1992-09-26 정호선 분류회로(Sorting Gircuit)
US5353382A (en) * 1990-10-15 1994-10-04 California Institute Of Technology Programmable synapse for neural network applications
IT1244911B (it) * 1991-01-31 1994-09-13 Texas Instruments Italia Spa Architettura per rete neuronica fisicamente inseribile nel processo di apprendimento.
US5206541A (en) * 1991-04-30 1993-04-27 The Johns Hopkins University Current-mode based analog circuits for synthetic neural systems
KR940004429B1 (ko) * 1991-11-01 1994-05-25 한국전기통신공사 가변저항형 mosfet 아날로그 곱셈기
US5274748A (en) * 1991-12-27 1993-12-28 At&T Bell Laboratories Electronic synapse circuit for artificial neural network
US5329610A (en) * 1992-05-19 1994-07-12 Intel Corporation Neural network employing absolute value calculating synapse
KR960013367B1 (ko) * 1992-05-30 1996-10-04 정호선 프로그램이 가능한 다층 신경회로망
US5343555A (en) * 1992-07-06 1994-08-30 The Regents Of The University Of California Artificial neuron with switched-capacitor synapses using analog storage of synaptic weights
KR0178805B1 (ko) * 1992-08-27 1999-05-15 정호선 스스로 학습이 가능한 다층 신경회로망 및 학습 방법
US5341051A (en) * 1992-11-25 1994-08-23 California Institute Of Technology N-dimensional basis function circuit

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101018019B1 (ko) * 2008-08-20 2011-03-02 재단법인 포항지능로봇연구소 아날로그 뉴런 기반의 로봇 제어 시스템

Also Published As

Publication number Publication date
DE4430977C2 (de) 1995-09-07
GB2281430A (en) 1995-03-01
GB2281430B (en) 1997-11-19
JP2539177B2 (ja) 1996-10-02
GB9417283D0 (en) 1994-10-19
JPH07168901A (ja) 1995-07-04
US5633989A (en) 1997-05-27
CA2130983A1 (en) 1995-03-01
DE4430977A1 (de) 1995-03-02
KR950006630A (ko) 1995-03-21

Similar Documents

Publication Publication Date Title
KR970007006B1 (ko) 인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조
Eckhorn et al. Feature linking via stimulus-evoked oscillations: experimental results from cat visual cortex and functional implications from a network model
US5067095A (en) Spann: sequence processing artificial neural network
Tanaka et al. A CMOS spiking neural network circuit with symmetric/asymmetric STDP function
US10671911B2 (en) Current mirror scheme for an integrating neuron circuit
US11615298B2 (en) STDP with synaptic fatigue for learning of spike-time-coded patterns in the presence of parallel rate-coding
Wang et al. Anticipation-based temporal pattern generation
Amari Statistical neurodynamics of various versions of correlation associative memory
CN113614729A (zh) 算术装置和乘法累加系统
EP0606213A1 (en) Charge domain synapse cell
Pelayo et al. VLSI implementation of a neural model using spikes
SHINT et al. Novel neural circuits based on stochastic pulse coding and noise feedback pulse coding
Rodríguez et al. Characterization of triphasic rhythms in central pattern generators (ii): Burst information analysis
Napp-Zinn et al. Recognition and tracking of impulse patterns with delay adaptation in biology-inspired pulse processing neural net (BPN) hardware
Barua Neural networks and their applications to computer data security
Rachkovskij et al. On audio signals recognition by multilevel neural network
Shin New Impulse Neuron Circuit for Oscillatory Neural Networks
Kopets et al. Simulation of a Small-Scale Chemical Reservoir Computer for Pattern Recognition
Taur et al. Prediction-based networks with ECG application
Woodburn et al. Computing with uncertainty in probabilistic neural networks on silicon
Westerman et al. Antidromic spikes drive Hebbian learning in an artificial dendritic tree
Shiomi et al. A hardware-efficient ergodic sequential logic neuron network for brain prosthetic FPGA
Racca Can periodic perceptrons replace multi-layer perceptrons?
Shin Novel impulse neural circuits for pulsed neural network
Wang et al. An electronic habituation chip

Legal Events

Date Code Title Description
A201 Request for examination
G160 Decision to publish patent application
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070730

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee