KR20160106063A - 패턴 인식 시스템 및 방법 - Google Patents

패턴 인식 시스템 및 방법 Download PDF

Info

Publication number
KR20160106063A
KR20160106063A KR1020167017850A KR20167017850A KR20160106063A KR 20160106063 A KR20160106063 A KR 20160106063A KR 1020167017850 A KR1020167017850 A KR 1020167017850A KR 20167017850 A KR20167017850 A KR 20167017850A KR 20160106063 A KR20160106063 A KR 20160106063A
Authority
KR
South Korea
Prior art keywords
activation
output
activation cell
pattern
cell
Prior art date
Application number
KR1020167017850A
Other languages
English (en)
Inventor
한스 가이거
Original Assignee
마이크 아게
진테라 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크 아게, 진테라 코포레이션 filed Critical 마이크 아게
Publication of KR20160106063A publication Critical patent/KR20160106063A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)

Abstract

복수의 센서, 각각이 하나 이상의 센서에 연결되는 복수의 제1 활성화 셀, 복수의 제2 활성화 셀로서, 제1 활성화 셀의 중첩하는 서브 세트가 각각의 제2 활성화 셀에 연결되는, 복수의 제2 활성화 셀, 및 결과를 생성하도록 적어도 복수의 제2 활성화 셀의 서브 세트로부터의 출력을 더하는 출력을 포함하는 패턴 인식 시스템.

Description

패턴 인식 시스템 및 방법{PATTERN RECOGNITION SYSTEM AND METHOD}
본 발명은 패턴, 예를 들어, 시각 패턴의 인식을 위한 방법 및 장치에 관한 것이다. 본 발명의 하나의 적용예는 피부학적 적용을 위한 것이다.
인공 신경망(artificial neural network(ANN))은 계산 모델이며, 기계 학습 및 패턴 인식을 할 수 있는 동물 중추 신경계, 특히 뇌의 영감을 받는다. ANN은 보통 입력으로부터의 정보를 ANN을 통해 공급함으로써 입력으로부터의 값을 계산할 수 있는 "시냅스(synapse)"에 의해 연결된 "뉴런(neuron)" 또는 노드 시스템으로서 제공된다. 시냅스는 하나의 뉴런이 다른 뉴런으로 신호를 전달하게 하는 메커니즘이다.
ANN의 일례는 필기 인식을 위한 것이다. 입력 뉴런 세트는 글자 또는 숫자를 나타내는 입력 이미지의 카메라 내의 픽셀에 의해 활성화될 수 있다. 그 다음, 최종적으로 어느 문자(글자 또는 숫자)가 이미지화되었는지 판단하는 출력 뉴런이 활성화될 때까지, 이러한 입력 뉴런의 활성화가 ANN의 설계자에 의해 판정되고, 가중치가 부여되어 다른 뉴런으로 변환된다. ANN은, 컴퓨터 영상 및 음성 인식을 포함하는 보통의 규칙 기반 프로그래밍을 이용하여 해결하기 어려운 매우 다양한 작업을 해결하는데 사용된다.
ANN의 유일한 공식적인 정의는 없다. 일반적으로, 클래스가 적응적 가중치(adaptive weight) 세트(학습 알고리즘에 의해 조정된 수치 파라미터)로 이루어지고 통계적 모델의 입력의 비선형 함수를 근사화할 수 있다면, 통계적 모델 클래스는 "신경(neural)"이라 불릴 것이다. 적응적 가중치는 뉴런들 사이의 연결(시냅스)의 강도(strength)로 고려될 수 있다.
ANN은 이해할 수 있는 결과를 생성하도록 훈련되어야 한다. 다음의 3가지 학습 패러다임이 있다: 지도 학습(supervised learning), 자율 학습(unsupervised learning) 및 강화 학습(reinforcement learning).
지도 학습에서, 학습 패러다임은 사전 분석된 데이터 세트, 예를 들어 이미지 세트가 ANN에 의해 분석되고, ANN에서 뉴런들 사이의 연결(시냅스)의 가중치가 ANN의 출력이 알려진 이미지와 상관되도록 조정된다는 점을 모두 공통적으로 지닌다. 이 학습에 관련된 비용이 있다. ANN의 결과의 효율 개선은 훈련 세트에서 더 많은 수의 데이터 항목을 이용함으로써 획득될 수 있다. 그러나, 더 많은 수의 항목은 정확한 계산을 얻기 위해서 분석을 위한 계산력 및 시간에서의 증가를 필요로 한다. 따라서, ANN을 훈련시키기 위하여 소요되는 시간 및 결과의 정확성 사이에 트레이드 오프가 설정될 필요가 있다.
ANN에서의 최근 발전은 이른바 "딥 러닝(deep learning)"을 포함한다. 딥 러닝은 입력의 계층 모델을 사용하려고 시도하는 알고리즘 세트이다. 토론토 대학교의 Jeffrey Heaton은 Trends in Cognitive Sciences에서 발행된 리뷰 논문 'Learning Multiple Layers of Representation', vol. 11, No. 10, 428 - 434 페이지, 2007에서 딥 러닝을 논의하였다. 이 문헌은, 단순히 데이터를 분류하는 대신에, 감각 데이터(sensory data)를 생성하기 위하여 한 번에 한 층씩 다층 신경망의 하향식(top-down) 연결 및 훈련을 포함하는 다층 신경망을 설명한다.
종래 기술의 ANN에서의 뉴런 활동은 일련의 이산 시간 단계 동안 그리고 연속 파라미터를 이용하지 않고 계산된다. 일반적으로 뉴런의 활동 레벨은, 일반적으로, 0 또는 1로 설정되고 시간 단계 t에서 "활동 전위(action potential)"룰 설명하는 이른바 "활동 값(activity value)"에 의해 정의된다. 뉴런들 사이의 연결, 즉 시냅스는, 일반적으로 구간 [-1.0, +1.0]에서의 값을 갖도록 선택된 가중 계수로 가중치가 부여된다. 가중 계수의 음의 값은 "억제성 시냅스(inhibitory synapse)"를 나타내고, 가중 계수의 양의 값은 "흥분성 시냅스(excitatory synapse)"를 나타낸다. ANN에서의 활동 값의 계산은 뉴런에서 시냅스 상에서 수신된 활성 입력의 일부 또는 전부의 가중치가 부여된 것이 뉴런의 (고정된) 임계값과 비교되는 단순 선형 덧셈 모델을 이용한다. 덧셈이 임계값보다 큰 값을 제공하면, 다음 뉴런이 활성화된다.
학습 시스템의 일례는 국제특허출원공보 WO 199 8027 511 (Geiger)에서 설명되며, 이는 크기 또는 위치에 관계없이 이미지 특성을 검출하는 방법을 개시한다. 방법은, 출력이 비선형 조합 함수를 이용하여 평가된 특성의 형태로 이미지 정보를 나타내는 여러 신호 생성 장치를 이용하는 것을 포함한다.
국제특허출원공보 WO 2003 017252는 음성 시퀀스(phonetic sound sequence)와 문자 시퀀스(character sequence)를 인식하는 방법에 관한 것이다. 음성 시퀀스 또는 문자 시퀀스는 초기에 신경망으로 공급되고, 특성 시퀀스가 문자 스트링 시퀀스에 기초하는 저장된 음성 및/또는 어휘 정보를 고려하여 음성 시퀀스 또는 문자 시퀀스로부터 형성된다. 장치는 이전에 프로그래밍된 대형 지식 저장소를 이용하여 음성 및 문자 시퀀스를 인식한다.
또한, Informatik-Fachreichte, Springer-Verlag, 1990에서 발행된 Hand Geiger와 Thomas Waschulzak의 논문 'Theorie und Anwendung strukturierte konnektionistische Systeme', 페이지 143 - 152도 신경망의 구현을 설명한다. 이 논문의 ANN에서의 뉴런은 0과 255 사이의 활동 값을 가진다. 각각의 뉴런의 활동 값은, 뉴런에 대한 입력이 변경되지 않는 상태를 유지하더라도, 시간에 따라 변동한다. 뉴런의 출력 활동 값은 시간에 대하여 변동할 수 있다. 이 논문은 임의의 노드의 활동 값이 이전 활동의 결과에 적어도 부분적으로 의존한다는 개념을 개시한다. 또한 논문은 시스템이 개발될 수 있는 방식에 대한 간단한 상세를 포함한다.
본 개시 내용에서 설명된 패턴 인식 방법 및 장치에 대한 원리는 이른바 BNN(biologically-inspired neural network)에 기초한다. BNN에서 임의의 뉴런의 활동은 생물 물리학(bio-physical) 과정으로서 시뮬레이션된다. 뉴런의 기본 신경 특성은, (습성(wet)) 생물학에서, 막(membrane)에서 이온 채널에 의해 영향을 받는 "막 전압(membrane voltage)"이다. 뉴런의 활동 전위는 이 막 전압에 의존하여 생성되지만, 동작 전위의 확률만이 계산되는 확률론적(stochastic)(무작위(random)) 성분을 포함한다. 활동 전위 자체는 무작위 방식으로 생성된다. 막은 생물학에서 본 개시 내용의 BNN에 자동적으로 포함된, 절대 및 상대 불응기(refractory period), 순응(adaptation) 및 감작(sensitization)과 같은 일부 추가의 전기 화학 특성 효과를 가진다.
하나의 뉴런으로부터 다른 하나의 뉴런으로 전달된 기본 정보는 활동 전위(또는 후술하는 바와 같은 활동 빈도(firing rate))뿐만 아니라, 활동 전위의 시간 종속 패턴이다. 활동 전위의 이러한 시간 종속 패턴은 단일 스파이크 모델(single spike model(SSM))로서 설명된다. 이것은, 임의의 두 개의 뉴런으로부터의 입력 사이의 상호 작용이 활동의 단순한 선형 덧셈보다 더 복잡하다는 것을 의미한다.
뉴런들 사이의 연결(시냅스)은 상이한 종류를 가질 수 있다. 시냅스는 거의 흥분성 또는 억제성일 뿐만 아니라(ANN의 경우와 같이), 다른 특성을 가질 수 있다. 예를 들어, 개별 뉴런을 연결하는 모수석 트리(dendritic tree)의 토폴러지도 고려될 수 있다. 또한, 모수석 트리에서의 모수석 상의 2개의 입력 뉴런으로부터의 시냅스의 상대 위치도 2개의 뉴런 사이의 방향에 큰 영향을 미친다.
본 개시 내용의 방법 및 장치는 피부과적 장애 및 피부 상태의 판단에 사용될 수 있다.
도 1은 본 개시 내용의 시스템의 일례를 도시한다.
본 발명은 도면에 기초하여 설명된다. 여기에서 설명된 본 발명의 실시예 및 양태는 단지 예이며, 어떠한 방식으로도 청구범위의 보호 범위를 제한하지 않는다는 것이 이해될 것이다. 본 발명은 청구범위와 이의 균등물에 의해서 정의된다. 본 발명의 하나의 양태 또는 실시예의 특징은 본 발명의 다른 양태 또는 양태들 및/또는 실시예의 특징과 결합될 수 있다는 것이 이해될 것이다.
도 1은 본 발명의 패턴 인식 시스템(10)의 제1 예를 도시한다. 패턴 인식 시스템(10)은 패턴(15)으로부터 신호를 수신하는 센서 입력(25)을 갖는 복수의 센서(20)를 갖는다. 패턴(15)은 시각 패턴 또는 오디오 패턴일 수 있다. 따라서, 센서 입력(25)은 광파 또는 음파일 수 있고, 복수의 센서(20)는 예를 들어 마이크인 오디오 센서 또는 예를 들어 비디오 또는 스틸 카메라인 시각 센서일 수 있다.
센서(20)는, 복수의 제1 활성화 셀(activation cell)(30)에 대한 제1 입력(32) 역할을 하는 센서 출력을 생성한다. 제1 활성화 셀(30)은 일대일(one-to-one) 관계로 센서(20)와 연결되거나, 일대다(one-to-many) 관계로 센서(20)와 연결된다. 다른 말로 하면, 제1 활성화 셀(30)의 각각은 하나 또는 그보다 많은 센서(20)에 연결된다. 연결의 개수는, 예를 들어 카메라 내의 픽셀의 개수인 센서(20)의 개수와, 제1 활성 셀(30)의 개수에 의존한다. 본 발명의 일 양태에서, 센서(20)를 형성하는 비디오 카메라로부터의 4개의 픽셀이 있으며, 4개의 픽셀은 제1 활성화 셀(30) 중 하나에 공통으로 연결된다.
제1 활성화 셀(30)은 출력 주파수로 방출되는 복수의 스파이크(spike)를 포함하는 제1 출력(37)을 가진다. "휴식 모드(rest mode)"에서, 즉 제1 입력(32)에서 센서(20)로부터 어떠한 신호도 없을 때, 제1 활성화 셀(30)은 200 kHz의 예시적인 출력 주파수로 복수의 스파이크를 생성한다. 따라서, 제1 활성화 셀(30)은 단일 스파이크 모델의 일례이다. 제1 입력(32)에서의 센서 신호의 인가는 센서(2)로부터의 센서 신호의 강도에 따라 출력 주파수를 증가시키며, 예를 들어 400Hz까지 증가시킨다. 본 발명의 일 양태에서, 출력 주파수에서의 변화는 제1 입력(32)에서의 센서 신호의 인가 및 제거에 실질적으로 즉시 따른다. 따라서, 제1 활성화 셀(30)은 패턴(15)에서의 변동에 거의 즉시 반응한다.
복수의 제1 활성화 셀(30)은 다대다(many-to-many) 관계로 복수의 제2 활성화 셀(40)과 연결된다. 간략함을 위하여, 하나의 제2 활성화 셀(40)과 예시적인 개수의 제1 활성화 셀(30) 사이의 연결만이 도 1에 도시된다. 연결된 제1 활성화 셀로부터의 제1 출력(37)은 연결된 제2 활성화 셀(40)에서 소정의 기간 동안 더해진다.
또한, 출력(37)의 값은 (이 경우에는) 3개의 중심에 있는 제1 활성화 셀(30)로부터의 출력(37')은 더해지고, 외부에 있는 제1 활성화 셀(30)로부터의 출력(37'')은 전체 출력(37)으로부터 빼지도록 결합된다. 다른 말로 하면, 중심의 3개의 센서(20')는 제2 활성화 셀(40)의 입력(42)에서 수신된 신호에 양으로 기여하고, 외부 센서(20'')로부터의 신호는 빼진다. 제1 활성화 셀(30)로부터의 출력 신호(37)가 서로 상쇄될 것이기 때문에, 이러한 덧셈/뺄셈의 효과는 단일의 변하지 않는 눈에 보이는 형상과 색상을 포함하는 패턴(15)이, 예를 들어, 제1 활성화 셀(30)의 적어도 일부를 활성화할 것이지만, 제2 활성화 셀(40)을 활성화하지 않을 것이라는 것이다. 3개의 중심에 있는 제1 활성화 셀(30)과 외부의 제1 활성화 셀(30)의 양태는 단지 예일 뿐이라는 것이 이해될 것이다. 더 많은 개수의 제1 활성화 셀(30)이 사용될 수 있다.
출력(37' 및 37'')은 단지 출력(37)이 일반적으로 결합될 수 있는 방식의 일례이다. 뉴런 또는 활성화 셀 사이의 연결(시냅스)이 일반적으로 선형 덧셈 모델에서 결합되지 않고 확률론적 성분을 가진다는 것이 본 설명의 도입부에서 설명되었다. 제1 활성화 셀(30)이 센서(20) 및 제2 활성화 셀(40)에 연결되는 본 발명의 이러한 확률론적 양태는 단지 본 발명의 일 양태이다. 연결은 본 발명의 용도에 적합하게 수정될 수 있다.
제2 활성화 셀(40)은 상이한 활동 레벨과 응답 시간을 가진다. 또한, 제1 활성화 셀(40)은 소정의 주파수로 스파이크를 생성하며, 주파수는 입력 신호(42)에서의 스파이크의 주파수에 의존하여 증가한다. 제2 활성화 셀(40)의 출력 주파수와 입력 신호(42)의 입력 주파수 사이에 일대일 관계는 없다. 일반적으로, 출력 주파수는 입력 신호(42)의 증가에 따라 증가할 것이고 임계값에서 포화한다. 의존성은 제2 활성화 셀(40) 별로 변동하고, 확률론적 또는 무작위 성분을 가진다. 또한, 제2 활성화 셀(40)의 응답 시간도 변동한다. 일부 제2 활성화 셀(40)은 입력 신호(42)에서의 변화에 거의 즉시 반응하는 반면, 일부 제2 활성화 셀(40)은 제1 활성화 셀(40)이 반응하기 전에 여러 기간을 필요로 한다. 일부 제2 활성화 셀(40)은 휴식 상태로 전환되어, 입력 신호(42)가 제거될 때 증가된 스파이크 주파수를 갖는 제2 출력 신호(47)를 발행하지 않는 반면, 일부 제2 활성화 셀(40)은 입력 신호(42)가 제거되더라도 활성화된 상태를 유지한다. 따라서, 제2 활성화 셀(40)의 활성화 지속 시간은 복수의 활성화 셀(40)에 걸쳐 다르다. 또한, 제2 활성화 셀(40)은 그 활동 전위가 활동 전위의 이전 값에 의존하는 "메모리"를 가진다. 활동 전위의 이전 값은 감쇠 인자(decay-factor)에 의해 가중치가 더 부여되어, 제2 활성화 셀(40)의 더 최근의 활동이 모든 것보다 더 강하게 활동 전위에 영향을 미친다.
제2 출력(47)은 복수의 층(80)으로 배열된 복수의 제3 활성화 셀(70)에 전달된다. 복수의 층(80)의 각각은, 제2 출력(47)에 연결된 중간층(85)과, 다른 층(87)에서 제3 활성화 셀(70)에 연결된 하나 이상의 추가층(87)을 포함한다. 도면의 예에서, 단지 5개의 층(80)이 도시되지만, 이는 단지 예시적인 것이다. 시각 패턴(15)의 인식을 위한 본 발명의 양태에서, 여러 층이 존재한다. 동일하게, 더 많은 개수의 층(80)이 가능할 것이지만, 이는 필요한 계산력의 양을 증가시킬 것이다.
제2 출력(47)은 제2 활성화 셀(40)과 다대다 관계로 연결된다.
또한, 제3 활성화 셀(70)은, 제2 활성화 셀(40)에 관하여 논의된 바와 같이, 상이한 활동 레벨과 상이한 활동 시간을 가진다. 제2 활성화 셀(40)의 기능이 센서(20)에 의해 식별된 패턴(15)에서 특징을 식별하는 것인 반면, 제3 활성화 셀(0)의 기능은 특징의 조합을 분류하는 것이다.
하나의 층(80)에서의 제3 활성화 셀(70)은 다른 층(80)에서의 제3 활성화 셀(70)과 다대다 관계로 연결된다. 상이한 층(80)에서의 제3 활성화 셀(70) 사이의 연결은, 일부 연결이 양이고 서로 강화하도록 마련될 수 있고, 다른 연결이 음이고 서로 약화시키도록 마련될 수 있다. 또한, 제3 활성화 셀(70)은 주파수가 입력의 값에 의존하는 스파이크 출력을 가진다.
또한, 제3 활성화 셀(70)과 제2 활성화 셀(40) 사이에 피드백 루프가 있으며, 이는 자기 제어 메커니즘 역할을 한다. 제3 활성화 셀(70)과 제2 활성화 셀 사이의 피드백은 본질적으로 패턴(15) 내의 상이한 특징을 구별하고 중첩하는 정보를 줄이는데 사용된다. 이것은 특정 특징이 정확하게 처리되고 식별되게 하도록 패턴(15)에서의 그 특징에 관련된 제2 활성화 셀(40)을 초기에 강화하기 위하여 피드백 메커니즘을 이용하여 수행된다. 그 다음, 피드백은 식별된 특징에 대하여 제2 활성화 셀(40)의 출력을 감소시키고 추가 특징에 관련된 제2 활성화 셀의 값을 강화한다. 그 다음, 이러한 추가 특징이 식별될 수 있다. 해결되지 않는 경우에 부정확한 분류를 야기할 수 있는 패턴(15)에서의 임의의 중첩하는 특징을 해결하기 위하여, 이러한 피드백은 필수적이다.
패턴 인식 시스템(10)은 패턴(15)에 관련된 정보 항목(95)을 입력하는데 사용되는 입력 장치(90)를 더 포함한다. 정보 항목은 패턴(15) 및/또는 패턴(15) 내의 하나 이상의 특징에 일반적으로 부착된 이름 또는 라벨을 포함할 수 있다. 입력 장치(90)는 제3 출력(77)을 또한 받아들이는 프로세서(100)에 연결된다. 프로세서는 특정의 디스플레이된 패턴(15)에 관련된 제3 출력(77)을 입력된 정보 항목(95)과 비교하며, 특정의 디스플레이된 패턴(15)을 입력된 정보 항목에 연관시킬 수 있다. 이 연관은, 미지의 패턴(15)이 센서(20)에 의해 검출되고 제3 출력(77)이 연관과 실질적으로 유사한 경우에, 프로세서(100)가 미지의 패턴(15)이 사실 알려진 패턴이라고 판단하고 연관된 정보 항목(95)을 출력할 수 있도록 기억된다.
패턴 인식 시스템(10)은 자율 학습 과정을 이용하여 많은 개수의 패턴(15)을 인식하도록 훈련될 수 있다. 이 패턴(15)들은 상이한 제3 출력(77)을 생성할 것이며, 정보 항목(95)과 패턴(15) 사이의 연관이 저장된다.
예 1: 시각 패턴 인식
본 개시 내용의 시스템 및 방법은 시각 패턴(15)을 판단하고 분류하는데 사용될 수 있다.
시스템 및 방법의 본 예에서, 센서(20)는 스틸 카메라로부터 형성된다. 센서(20)는 빛의 색상 및 강도에 반응한다. 센서(20)는 3개의 값을 계산한다. 제1 값은 밝기에 의존하고, 제2 및 제3 값은 색차(color difference)(적색-녹색 및 청색-녹색)으로부터 계산된다. 색차 값은 대략 50%로 분포된다. 제1 활성화 셀(30)의 트리거링은 색차와 밝기의 조합에 의존한다. 센서(20)와 제1 활성화 셀(30)은 인간의 망막에 상당하는 것으로 고려된다.
제1 활성화 셀(30)로부터의 제1 출력(37)은 제2 활성화 셀(40)로 전달되고, 그 다음 제3 활성화 셀(70)로 전달된다. 제2 활성화 셀(40)은 인간의 외측 슬상핵(lateral geniculate nucleus(LGN))과 동일시될 수 있고, 활성화 셀(70)은 인간의 피질(cortex)과 동일시될 수 있다. 제1 활성화 셀(30)의 활동 전위는 원래 패턴(15)에 의존한다. 이 신호는 더 낮은 레벨로 전달되고, 초기에 제3 활성화 셀(80)의 명백한 무작위 시퀀스가 발사되는 것으로 나타난다. 소정의 기간 후에 발사(firing)가 안정화되고, "구조"가 복수의 층(80) 내에 형성되며, 이는 센서(20)에 의해 이미지화된 패턴(15)을 반영한다.
라벨이 패턴(15)과 연관될 수 있다. 따라서, 복수의 층(80) 내의 구조는 패턴(15)에 대응한다. 라벨은 키보드와 같은 입력 장치(90)에 의해 입력될 것이다.
상이한 패턴(15)에 대하여 절차가 반복된다. 이 상이한 패턴(15)은 복수의 층(80) 내에서 상이한 구조를 생성하였다. 그 다음, 학습 절차는 상이한 패턴(15)을 이용하여 진행할 수 있다.
학습이 완료되고 나면, 미지의 패턴(15)이 센서(20) 앞에 배치될 수 있다. 이 미지의 패턴(15)은 미지의 패턴(15)에서의 패턴을 식별하기 위하여 제2 활성화 셀(40)로 전달되고 그 다음 패턴(15)의 분류를 가능하게 하도록 복수의 층(80) 내로 전달되는 제1 활성화 셀(30)에서의 신호를 생성한다. 복수의 층(80)에서의 신호는 분석될 수 있고, 미지의 패턴(15)에 가장 많이 대응하는 복수의 층(80) 내의 구조가 식별된다. 따라서, 시스템(10)은 구조와 연관된 라벨을 출력할 수 있다. 따라서, 미지의 패턴(15)이 식별된다.
새로운 종류의 구조가 복수의 층(80)에서 형성되었기 때문에 시스템(10)이 미지의 패턴(15)을 식별할 수 없다면, 시스템(10)은 적절한 경고를 제공할 수 있으며, 미지의 패턴(15)을 분류하거나 다른 충돌을 해결하기 위하여 인간의 중재가 개시될 수 있다. 그 다음, 사용자는 미지의 패턴(15)을 수동을 검토하고 라벨을 미지의 패턴과 연관시켜 미지의 패턴을 분류하거나 미지의 패턴을 거부할 수 있다.
제2 활성화 셀(40)과 제3 활성화 셀(70) 사이의 피드백은 시각 패턴(15)에서 2개의 중첩하는 선을 고려함으로써 쉽게 이해될 수 있다. 초기에, 제1 활성화 셀(30)은 2개의 중첩하는 라인 주위의 시각 패턴(15)에서의 차이를 등록할 것이지만, 특징의 종류를 구별할 수 없다. 즉, 중첩하는 선에서 2개의 상이한 라인을 분리할 수 없다. 유사하게, 2개의 중첩하는 선의 중첩하는 성질 때문에 인접한 제2 활성화 셀(40)이 활성화될 것이다. 제2 활성화 셀(40) 및 제3 활성화 셀(70) 모두가 동일하게 반응하면, 2개의 중첩하는 선을 구별하는 것은 불가능할 것이다. 그러나, 제2 활성화 셀(40)의 활성화 및 제3 활성화 셀(70)에 대한 무작위 또는 확률론적 요소가 있다는 것이 위에서 설명되었다. 이러한 확률론적 요소는 제2 활성화 셀(40) 및/또는 제3 활성화 셀(70)의 일부가 다른 것들보다 더 빨리 활성화되게 한다. 제2 활성화 셀(40) 또는 제3 활성화 셀(70) 사이의 상호 간섭은 활동 전위를 강화 및/또는 약화할 것이고, 따라서, 중첩하는 선 중의 하나에 반응하는 한 제2 활성화 셀(40) 또는 제3 활성화 셀(70)은 특징이 식별될 수 있게 하도록 초기에 자신을 상호 강화할 것이다. 활동 전위의 감쇠는, 단기간(수 밀리 초) 후에 식별된 중첩하는 선과 연관된 제2 활성화 셀(40) 또는 제3 활성화 셀(70)은 강도가 약화되고, 아직 식별되지 않은 중첩하는 선과 관련된 다른 제2 활성화 셀(40) 또는 다른 제3 활성화 셀(70)은 이러한 중첩하는 선이 식별될 수 있게 하도록 활성화된다는 것을 의미한다.
예 2: 피부 상태 식별
예 1의 시스템은 상이한 종류의 피부(피부과적) 상태를 식별하는데 사용될 수 있다. 본 예에서, 시스템(10)은 라벨과 연관된 상이한 종류의 피부 상태의 저장된 흑백 또는 컬러 이미지의 형태의 일련의 패턴(15)을 이용하여 훈련된다. 제1 단계에서, 나머지 이미지가 비정상적인 피부 상태에만 집중하도록 통상적인 이미지 처리 방법을 이용하여 디지털 이미지가 처리된다. 자격 있는 의사가 이미지를 비정상 피부 상태를 나타내는 라벨과 연관시키고, 시스템은 전술한 바와 같이 훈련된다.

Claims (14)

  1. - 복수의 센서(20);
    - 각각이 하나 이상의 센서(20)에 연결되는 복수의 제1 활성화 셀(30);
    - 복수의 제2 활성화 셀(40)로서, 상기 제1 활성화 셀(30)의 중첩하는 서브 세트는 각각의 상기 제2 활성화 셀(40)에 연결되는, 상기 복수의 제2 활성화 셀(40); 및
    - 결과(60)를 생성하도록 적어도 상기 복수의 제2 활성화 셀(30)의 서브 세트로부터의 출력을 더하는 출력(50)
    을 포함하는,
    패턴 인식 시스템(10).
  2. 제1항에 있어서,
    상기 제1 활성화 셀(30)은, 제1 입력(32)이 없을 때의 휴식 주파수 및 하나 이상의 상기 센서(20)로부터의 더해진 제1 입력(32)에 적어도 부분적으로 의존하는 증가된 주파수를 갖는 제1 출력(37)을 갖는,
    패턴 인식 시스템(10).
  3. 제2항에 있어서,
    상기 제2 활성화 셀(40)은 더해지고 가중치가 부여된 상기 제1 출력(37)(45)에 의존하는 제2 출력(47)을 갖는,
    패턴 인식 시스템(10).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    중간층(85)과 추가층(87)을 포함하는 층(80) 내에 배열된 복수의 제3 활성화 셀(40)을 더 포함하고, 상기 제2 활성화 셀(40)의 중첩하는 서브 세트는 상기 중간층(85)에 배열된 각각의 상기 제3 활성화 셀(40)의 연결되고, 상기 중간층(85)에서의 상기 제3 활성화 셀(70)의 중첩하는 서브 세트는 적어도 하나의 상기 추가층(87)에 배열된 각각의 상기 제3 활성화 셀(70)에 연결되고,
    상기 출력(50)은 적어도 상기 추가층(87)에 배열된 각각의 상기 제3 활성화 셀(40)로부터의 적어도 하나의 출력을 더하도록 맞추어진,
    패턴 인식 시스템(10).
  5. 제4항에 있어서,
    상기 제3 활성화 셀(70)의 적어도 하나의 출력과 상기 제2 활성화 셀(40)의 입력 사이의 피드백을 더 포함하는,
    패턴 인식 시스템(10).
  6. 제1항에 있어서,
    인접한 상기 제2 활성화 셀(40)은, 인접한 상기 제2 활성화 셀(40)의 출력에 의존하여 상기 제2 활성화 셀(40)의 응답을 변화시키도록 연결된,
    패턴 인식 시스템(10).
  7. 패턴(15)을 인식하는 방법에 있어서,
    - 복수의 센서(20)에서 적어도 하나 이상의 센서 입력(25)을 생성하도록 상기 패턴(15)을 시뮬레이션하는 단계;
    - 각각의 상기 센서(20)의 출력으로부터의 제1 입력(32)을 복수의 제1 활성화 셀(30)로 전달하는 단계;
    - 상기 제1 활성화 셀(30)로부터 제1 출력(37)을 트리거링하는 단계;
    - 상기 제1 출력(37)을 제2 활성화 셀(40)의 서브 세트로 전달하는 단계;
    - 상기 제2 활성화 셀(40)의 상기 서브 세트로부터 제2 출력(47)을 트리거링하는 단계;
    - 상기 제2 활성화 셀(40)의 복수의 서브 세트로부터의 상기 제2 출력(47)을 더하는 단계; 및
    - 더해진 상기 제2 출력(47)으로부터 상기 패턴(15)에 대한 결과(60)를 유도하는 단계
    를 포함하는,
    패턴 인식 방법.
  8. 제7항에 있어서,
    - 상기 제2 출력(47)을 제3 활성화 셀(70)의 복수의 층(80)의 중간층(85)에 배열된 제3 활성화 셀(70)의 서브 섹션에 전달하는 단계;
    - 추가층(87)에 배열된 상기 제3 활성화 셀(70)에 제3 출력(77)을 제공하기 위하여 상기 중간층(85)에 배열된 적어도 하나의 상기 제3 활성화 셀(70)을 트리거링하는 단계; 및
    - 더해지고 가중치가 부여된 상기 제3 활성화 셀(70)의 제3 출력(77)으로부터 상기 결과(60)를 유도하는 단계
    를 더 포함하는,
    패턴 인식 방법.
  9. 제7항 또는 제8항에 있어서,
    적어도 하나의 상기 제3 활성화 셀(70)의 출력은 적어도 하나의 상기 제2 활성화 셀(40)의 입력으로 피드백되는,
    패턴 인식 방법.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 제2 출력(47)은 시간에 경과함에 따라 감쇠하는,
    패턴 인식 방법.
  11. 제8항에 있어서,
    적어도 하나의 상기 제2 활성화 셀(40)의 제2 출력(47)은 상기 제2 활성화 셀(40)의 다른 적어도 하나의 제2 출력(47)에 영향을 미치는,
    패턴 인식 방법.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    상기 제2 출력(47)의 트리거링은 확률론적 성분을 갖는,
    패턴 인식 방법.
  13. 제7항에 있어서,
    상기 패턴(15)은 의료 이미지인,
    패턴 인식 방법.
  14. 환자의 피부에서 피부과적 패턴을 인식하기 위한 제7항 내지 제13항 중 어느 한 항에 따른 패턴 인식 방법의 용도.
KR1020167017850A 2013-12-06 2014-12-08 패턴 인식 시스템 및 방법 KR20160106063A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361912779P 2013-12-06 2013-12-06
US61/912,779 2013-12-06
PCT/EP2014/076923 WO2015082723A1 (en) 2013-12-06 2014-12-08 Pattern recognition system and method

Publications (1)

Publication Number Publication Date
KR20160106063A true KR20160106063A (ko) 2016-09-09

Family

ID=52023495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167017850A KR20160106063A (ko) 2013-12-06 2014-12-08 패턴 인식 시스템 및 방법

Country Status (10)

Country Link
US (1) US20160321538A1 (ko)
EP (1) EP3077959A1 (ko)
KR (1) KR20160106063A (ko)
CN (1) CN106415614A (ko)
AP (1) AP2016009314A0 (ko)
AU (1) AU2014359084A1 (ko)
BR (1) BR112016012906A2 (ko)
CA (1) CA2932851A1 (ko)
EA (1) EA201600444A1 (ko)
WO (1) WO2015082723A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2564668B (en) * 2017-07-18 2022-04-13 Vision Semantics Ltd Target re-identification
CN108537329B (zh) * 2018-04-18 2021-03-23 中国科学院计算技术研究所 一种利用Volume R-CNN神经网络进行运算的方法和装置
US11921598B2 (en) * 2021-10-13 2024-03-05 Teradyne, Inc. Predicting which tests will produce failing results for a set of devices under test based on patterns of an initial set of devices under test

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19652925C2 (de) 1996-12-18 1998-11-05 Hans Dr Geiger Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild
US6564198B1 (en) * 2000-02-16 2003-05-13 Hrl Laboratories, Llc Fuzzy expert system for interpretable rule extraction from neural networks
US7966177B2 (en) 2001-08-13 2011-06-21 Hans Geiger Method and device for recognising a phonetic sound sequence or character sequence
GB0903550D0 (en) * 2009-03-02 2009-04-08 Rls Merilna Tehnika D O O Position encoder apparatus

Also Published As

Publication number Publication date
CN106415614A (zh) 2017-02-15
EP3077959A1 (en) 2016-10-12
US20160321538A1 (en) 2016-11-03
BR112016012906A2 (pt) 2017-08-08
EA201600444A1 (ru) 2016-10-31
WO2015082723A1 (en) 2015-06-11
AP2016009314A0 (en) 2016-07-31
CA2932851A1 (en) 2015-06-11
AU2014359084A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
Wysoski et al. Evolving spiking neural networks for audiovisual information processing
Babu et al. Parkinson’s disease prediction using gene expression–A projection based learning meta-cognitive neural classifier approach
US11157798B2 (en) Intelligent autonomous feature extraction system using two hardware spiking neutral networks with spike timing dependent plasticity
US20220292331A1 (en) Coupling multiple artificially learning units with a projection level
Penny Bayesian models of brain and behaviour
WO2019137538A1 (en) Emotion representative image to derive health rating
US20100088263A1 (en) Method for Computer-Aided Learning of a Neural Network and Neural Network
KR20190134911A (ko) 전자 장치 및 이의 제어 방법
EP3489865A1 (en) A stdp-based learning method for a network having dual accumulator neurons
Rustempasic et al. Diagnosis of Parkinson’s disease using principal component analysis and boosting committee machines
US20210178113A1 (en) Systems and methods for audible sleep therapy
KR20160106063A (ko) 패턴 인식 시스템 및 방법
Yger et al. The Convallis rule for unsupervised learning in cortical networks
Suriani et al. Smartphone sensor accelerometer data for human activity recognition using spiking neural network
Kuncheva Pattern recognition with a model of fuzzy neuron using degree of consensus
Saranirad et al. DOB-SNN: a new neuron assembly-inspired spiking neural network for pattern classification
Sharma et al. Computational models of stress in reading using physiological and physical sensor data
Faghihi et al. Toward one-shot learning in neuroscience-inspired deep spiking neural networks
Verguts How to compare two quantities? A computational model of flutter discrimination
KR101603940B1 (ko) 기본 가치 신호를 이용한 강화 학습 방법 및 그 장치
KR102535632B1 (ko) 사용자 인증 시 사용자 정보 유출을 방지하기 위한 방법 및 장치
Nandyala et al. Human Emotion Based Interior Lighting Control
KR102502387B1 (ko) 음성 인식 기반 물류 처리 방법, 장치 및 시스템
Wermter et al. Hybrid preference machines based on inspiration from neuroscience
CONNOLLY et al. A proposed model of repetition blindness

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid