KR20130137916A - 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법 - Google Patents

복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법 Download PDF

Info

Publication number
KR20130137916A
KR20130137916A KR1020120061608A KR20120061608A KR20130137916A KR 20130137916 A KR20130137916 A KR 20130137916A KR 1020120061608 A KR1020120061608 A KR 1020120061608A KR 20120061608 A KR20120061608 A KR 20120061608A KR 20130137916 A KR20130137916 A KR 20130137916A
Authority
KR
South Korea
Prior art keywords
signal
spiking
time difference
specific time
multiplexed
Prior art date
Application number
KR1020120061608A
Other languages
English (en)
Other versions
KR101963440B1 (ko
Inventor
박근주
이준행
류현석
신창우
우주연
이규빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120061608A priority Critical patent/KR101963440B1/ko
Priority to EP13171058.4A priority patent/EP2672432B1/en
Priority to US13/912,667 priority patent/US9361576B2/en
Publication of KR20130137916A publication Critical patent/KR20130137916A/ko
Application granted granted Critical
Publication of KR101963440B1 publication Critical patent/KR101963440B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치가 개시된다. 실시예들은 복수의 주파수 대역들 각각에서, 제1 신호와 제2 신호가 특정 시간 차이를 가지고 동일한 입력 스파이킹 신호를 포함하는 경우 특정 시간 차이에 대응되는 검출 뉴런 회로를 이용하여 검출 스파이킹 신호를 출력하는 검출부; 특정 시간 차이에서, 복수의 주파수 대역들에 대응되는 복수의 뉴런 회로들로부터 출력된 복수의 검출 스파이킹 신호들을 기초로 다중화 스파이킹 신호를 출력하는 다중화부; 및 복수의 시간 차이들에 대응되는 복수의 다중화 스파이킹 신호들을 기초로 특정 시간 차이에 대응되는 통합 스파이킹 신호를 출력하는 통합부를 포함한다.

Description

복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법{NEUROMORPHIC SIGNAL PROCESSING DEVICE FOR LOCATING SOUND SOURCE USING A PLURALITY OF NEURON CIRCUITS AND METHOD THEREOF}
아래 실시예들은 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법에 관한 것이다.
사람의 귀는 양쪽 귀에 도착하는 소리의 시간차를 이용해서 소리의 방향을 탐지할 수 있다. 현재 로봇이나 보안 카메라에서 사용하는 기술은 대부분 디지털 방식의 음성 신호처리 기술을 이용한다.
예를 들면, 다수의 마이크로폰 배열(array)을 이용하여 감지된 소리의 시간차를 측정하기 위하여 감지된 소리를 퓨리에 변환(Fourier Transform)을 한 뒤, 여러 주파수 대역의 위상 성분을 추출한다.
이러한 방법은 디지털 변환을 위한 아날로그/디지털 변환기와 퓨리에 변환 등의 처리를 프로세서를 이용한다.
일 측에 따른 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치는 미리 정해진 복수의 주파수 대역들 각각에서, 제1 신호와 제2 신호가 특정 시간 차이-상기 특정 시간 차이는 미리 정해진 복수의 시간 차이들 중 어느 하나임-를 가지고 동일한 입력 스파이킹 신호를 포함하는 경우 상기 특정 시간 차이에 대응되는 검출 뉴런 회로를 이용하여 검출 스파이킹 신호를 출력하는 검출부; 상기 특정 시간 차이에서, 상기 복수의 주파수 대역들에 대응되는 복수의 뉴런 회로들로부터 출력된 복수의 검출 스파이킹 신호들을 기초로 다중화 스파이킹 신호를 출력하는 다중화부; 및 상기 복수의 시간 차이들에 대응되는 복수의 다중화 스파이킹 신호들을 기초로 상기 특정 시간 차이에 대응되는 통합 스파이킹 신호를 출력하는 통합부를 포함한다.
이 때, 상기 제1 신호와 상기 제2 신호는 동일한 음원으로부터 동시에 발생된 신호일 수 있다.
또한, 상기 뉴로모픽 신호 처리 장치는 상기 제1 신호와 상기 제2 신호를 수신하고, 상기 제1 신호에 기초하여 상기 복수의 주파수 대역들에 대응되는 복수의 입력 스파이킹 신호들을 생성하며, 상기 제2 신호에 기초하여 상기 복수의 주파수 대역들에 대응되는 복수의 입력 스파이킹 신호들을 생성하는 입력부를 더 포함할 수 있다.
또한, 상기 검출 뉴런 회로는 상기 제1 신호에 포함된 입력 스파이킹 신호를 상기 특정 시간 차이만큼 지연시키는 지연 뉴런 회로; 및 상기 지연된 제1 신호와 상기 제2 신호가 동일한 시점에 상기 동일한 입력 스파이킹 신호를 포함하는 경우 상기 검출 스파이킹 신호를 출력하는 동시 검출 뉴런 회로를 포함할 수 있다.
또한, 상기 다중화부는 상기 다중화 스파이킹 신호를 출력하기 위하여 상기 특정 시간 차이에 대응되는 다중화 뉴런 회로를 이용할 수 있다.
또한, 상기 통합부는 상기 통합 스파이킹 신호를 출력하기 위하여 상기 특정 시간 차이에 대응되는 통합 뉴런 회로를 이용할 수 있다.
또한, 상기 통합부는 상기 특정 시간 차이에 대응되는 통합 스파이킹 신호를 출력하기 위하여, 상기 특정 시간 차이에 대응되는 다중화 스파이킹 신호와 흥분성 시넵스를 통해 연결되고, 상기 특정 시간 차이 이외의 시간 차이들에 대응되는 다중화 스파이킹 신호들과 억제성 시넵스를 통해 연결될 수 있다.
또한, 상기 통합부는 상기 특정 시간 차이 이외의 시간 차이들 중 상기 특정 시간 차이와 거리가 먼 시간 차이에 대응되는 다중화 스파이킹 신호는 상기 특정 시간 차이와 거리가 가까운 시간 차이에 대응되는 다중화 스파이킹 신호에 비해 억제성 시넵스의 연결 강도가 클 수 있다.
또한, 상기 복수의 시간 차이들에 대응되는 복수의 통합 스파이킹 신호들 각각은 상기 음원의 방향에 맵핑 될 수 있다.
또한, 상기 복수의 주파수 대역들은 가청 주파수 대역 내의 주파수 대역들일 수 있다.
또한, 상기 복수의 뉴런 회로들 각각은 LIF(Leaky integrate-and-fire) 모델을 이용한 뉴런 회로를 포함할 수 있다.
다른 일 측에 따른 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 방법은 미리 정해진 복수의 주파수 대역들 각각에서, 제1 신호와 제2 신호가 특정 시간 차이-상기 특정 시간 차이는 미리 정해진 복수의 시간 차이들 중 어느 하나임-를 가지고 동일한 입력 스파이킹 신호를 포함하는 경우 상기 특정 시간 차이에 대응되는 검출 뉴런 회로를 이용하여 검출 스파이킹 신호를 출력하는 단계; 상기 특정 시간 차이에서, 상기 복수의 주파수 대역들에 대응되는 복수의 뉴런 회로들로부터 출력된 복수의 검출 스파이킹 신호들을 기초로 상기 특정 시간 차이에 대응되는 다중화 뉴런 회로를 이용하여 다중화 스파이킹 신호를 출력하는 단계; 및 상기 복수의 시간 차이들에 대응되는 복수의 다중화 스파이킹 신호들을 기초로 상기 특정 시간 차이에 대응되는 통합 뉴런 회로를 이용하여 통합 스파이킹 신호를 출력하는 단계를 포함한다.
이 때, 상기 통합 스파이킹 신호를 출력하는 단계는 상기 특정 시간 차이에 대응되는 통합 스파이킹 신호를 출력하기 위하여, 상기 특정 시간 차이에 대응되는 다중화 스파이킹 신호와 흥분성 시넵스를 통해 연결되고, 상기 특정 시간 차이 이외의 시간 차이들에 대응되는 다중화 스파이킹 신호들과 억제성 시넵스를 통해 연결되는 시넵스 기법을 이용할 수 있다.
또한, 상기 통합 스파이킹 신호를 출력하는 단계는 상기 특정 시간 차이 이외의 시간 차이들 중 상기 특정 시간 차이와 거리가 먼 시간 차이에 대응되는 다중화 스파이킹 신호는 상기 특정 시간 차이와 거리가 가까운 시간 차이에 대응되는 다중화 스파이킹 신호에 비해 억제성 시넵스의 연결 강도가 큰 시넵스 기법을 이용할 수 있다.
도 1은 일 실시예에 따른 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치의 블록도.
도 2는 다른 실시예에 따른 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치의 블록도.
도 3은 일 실시예에 따른 뉴로모픽 신호 처리 장치에 포함된 뉴런 회로를 설명하기 위한 도면.
도 4는 일 실시예에 따른 지연 뉴런 회로의 동작 특성을 설명하기 위한 그래프.
도 5는 일 실시예에 따른 동시 검출 뉴런 회로의 동작 특성을 설명하기 위한 그래프.
도 6 내지 도 7은 일 실시예에 따른 동시 검출 뉴런 회로에 의해 출력되는 검출 스파이킹 신호를 설명하기 위한 그래프.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치의 블록도이다.
도 1을 참조하면, 일 실시예에 따른 뉴로모픽 신호 처리 장치는 검출부(110), 다중화부(120), 및 통합부(130)를 포함한다.
뉴로모픽(neuromorphic) 장치는 신경 생물학 구조를 모방한 아날로그 회로를 포함하는 초대규모 집적(very-large-scale integration, VLSI) 회로를 이용하는 장치로, 예를 들어 신경 생물학 구조에서 활동 전위를 이용하는 뉴런을 모방한 LIF(Leaky-integrate-Fire) 뉴런 회로 등을 포함할 수 있다.
검출부(110)는 제1 신호에 포함된 스파이킹 신호(115)와 제2 신호에 포함된 스파이킹 신호(116)를 입력 받는다. 여기서, 일 실시예에 따른 제1 신호와 제2 신호는 동일한 음원으로부터 동시에 발생된 신호로서, 예를 들어 제1 신호는 왼쪽 귀에 대응되는 마이크로 입력된 신호이고, 제2 신호는 오른쪽 귀에 대응되는 마이크로 입력된 신호일 수 있다.
스파이킹 신호는 신경 생물학 구조에서 세포를 활성화 시키는 멤브레인 전위를 모방한 신호로, 예를 들면 수신된 음성 신호에 특정 주파수 대역의 신호가 포함된 경우 그 주파수 대역에 대응되는 뉴런 회로에 의해 출력되는 스파이크 형태의 신호 등을 포함할 수 있다.
이 때, 검출부(110)는 미리 정해진 복수의 주파수 대역들 각각에서, 제1 신호와 제2 신호가 특정 시간 차이를 가지고 동일한 입력 스파이킹 신호를 포함하는 경우 특정 시간 차이에 대응되는 동시 검출 뉴런 회로를 이용하여 검출 스파이킹 신호를 출력할 수 있다. 이하, 미리 정해진 복수의 주파수 대역들은 가청 주파수 대역에 속하는 64개의 채널들을 포함할 수 있다. 또한, 해당 분야에서 통상의 기술을 가진 자라면 입력 스파이킹 신호가 동일한 경우에는 입력 스파이킹 신호의 세기 또는 파형 등을 기초로 입력 스파이킹 신호가 실질적으로 동일한 경우 등이 포함된다는 것을 자명하게 이해할 수 있다.
보다 구체적으로, 검출부(110)는 미리 정해진 복수의 주파수 대역들 각각에서, 제1 신호에 포함된 입력 스파이킹 신호(115)를 제1 시간 차이(예를 들면, 2.5us)만큼 지연시키는 지연 뉴런 회로(111) 및 제1 신호에 포함된 입력 스파이킹 신호(115)를 제2 시간 차이(예를 들면, 500us)만큼 지연시키는 지연 뉴런 회로(113)를 포함할 수 있다.
또한, 검출부(110)는 미리 정해진 복수의 주파수 대역들 각각에서, 제2 신호와 지연 뉴런 회로(111)에 의해 지연된 제1 신호가 동일한 시점에 동일한 입력 스파이킹 신호를 포함하는 경우 검출 스파이킹 신호를 출력하는 동시 검출 뉴런 회로(112) 및 제2 신호와 지연 뉴런 회로(113)에 의해 지연된 제1 신호가 동일한 시점에 동일한 입력 스파이킹 신호를 포함하는 경우 검출 스파이킹 신호를 출력하는 동시 검출 뉴런 회로(114)를 포함할 수 있다.
예를 들면, 동시 검출 뉴런 회로(112)는 지연 뉴런 회로(111)에 의해 지연된 제1 신호에 포함된 입력 스파이킹 신호와 제2 신호에 포함된 입력 스파이킹 신호가 동시에 입력되는 경우 검출 스파이킹 신호를 출력할 수 있다. 마찬가지로, 동시 검출 뉴런 회로(114)는 지연 뉴런 회로(113)에 의해 지연된 제1 신호에 포함된 입력 스파이킹 신호와 제2 신호에 포함된 입력 스파이킹 신호가 동시에 입력되는 경우 검출 스파이킹 신호를 출력할 수 있다.
즉, 검출부(110)는 미리 정해진 복수의 주파수 대역들 각각에서, 제1 신호에 포함된 입력 스파이킹 신호가 입력되는 시간과 제2 신호에 포함된 입력 스파이킹 신호가 입력되는 시간 사이의 시간 차이를 검출할 수 있다.
다른 실시예에 따른 검출부(110)는 미리 결정된 시간 차이(예를 들면, 2.5us)만큼 신호를 지연시키는 복수의 지연 뉴런 회로들을 체인으로 연결하고, 각 지연 뉴런 회로의 출력을 탭핑(tapping)하여 원하는 시간만큼 지연된 신호를 이용할 수 있다. 이러한 구조에 대한 보다 상세한 사항들은 도 2를 참조하여 후술한다.
해당 분야에서 통상의 기술을 가진 자라면 전술한 사항들로부터 검출부(110)에 포함된 복수의 지연 뉴런들 중 일부는 제1 신호를 지연시키는 데 이용하고, 나머지 지연 뉴런들은 제2 신호를 지연시키는 데 이용하게끔 변경하는 것이 용이함은 자명하다. 예를 들면, 미리 정해진 복수의 주파수 대역들 각각에서, -500us 부터 +500us까지 5us 단위로 제1 신호와 제2 신호 사이의 시간 차이를 검출하기 위하여 100개의 지연 뉴런들은 제1 신호를 지연시키는 데 이용하고 다른 100개의 지연 뉴런들은 제2 신호를 지연시키는 데 이용할 수 있다.
또한, 다중화부(120)는 검출부(110)로부터 출력된 복수의 검출 스파이킹 신호들을 입력 받을 수 있다.
이 때, 다중화부(120)는 특정 시간 차이에서, 검출부(110)로부터 입력 받은 복수의 검출 스파이킹 신호들을 기초로 다중화 스파이킹 신호를 출력할 수 있다. 보다 구체적으로, 다중화부(120)는 미리 정해진 복수의 시간 차이들에 대응되는 복수의 다중화 뉴런 회로들을 포함할 수 있다.
예를 들면, 다중화 뉴런 회로(121)는 제1 시간 차이(예를 들면, 2.5us)에 대응되는 뉴런 회로일 수 있다. 전술한 바와 같이, 검출부(110)는 미리 정해진 복수의 주파수 대역들에서 제1 시간 차이(예를 들면, 2.5us)에 대응되는 뉴런 회로들을 이용하여 복수의 검출 스파이킹 신호들을 출력할 수 있다.
다중화 뉴런 회로(121)는 제1 시간 차이(예를 들면, 2.5us)에 대응되는 복수의 검출 스파이킹 신호들을 기초로 하나의 다중화 스파이킹 신호를 생성하고, 생성된 다중화 스파이킹 신호를 출력할 수 있다.
마찬가지로, 다중화 뉴런 회로(122)는 제2 시간 차이(예를 들면, 500us)에 대응되는 뉴런 회로일 수 있다. 전술한 바와 같이, 검출부(110)는 미리 정해진 복수의 주파수 대역들에서 제2 시간 차이(예를 들면, 500us)에 대응되는 뉴런 회로들을 이용하여 복수의 검출 스파이킹 신호들을 출력할 수 있다.
다중화 뉴런 회로(122)는 제2 시간 차이(예를 들면, 500us)에 대응되는 복수의 검출 스파이킹 신호들을 기초로 하나의 다중화 스파이킹 신호를 생성하고, 생성된 다중화 스파이킹 신호를 출력할 수 있다.
즉, 다중화부(120)는 M 개의 주파수 대역들 각각과 N 개의 시간 차이들 각각에서 출력되는 M * N 개의 검출 스파이킹 신호들을 수신할 수 있다. 다중화부(120)는 수신된 M * N 개의 검출 스파이킹 신호들을 동일한 시간 차이에 대응되는 신호들끼리 합침으로써 N 개의 다중화 스파이킹 신호들을 생성할 수 있다. 다중화부(120)는 N 개의 다중화 뉴런 회로들을 이용하여 이러한 다중화 처리를 수행할 수 있다.
또한, 통합부(130)는 다중화부(120)로부터 출력된 복수의 다중화 스파이킹 신호들을 입력 받을 수 있다.
이 때, 통합부(130)는 미리 정해진 복수의 시간 차이들에 대응되는 복수의 다중화 스파이킹 신호들을 기초로 특정 시간 차이에 대응되는 통합 스파이킹 신호를 출력할 수 있다.
여기서, 복수의 시간 차이들에 대응되는 복수의 통합 스파이킹 신호들 각각은 음원의 방향에 맵핑 될 수 있다. 즉, 특정 시간 차이에 대응되는 통합 스파이킹 신호가 출력되는 경우, 일 실시예에 따른 뉴로모픽 신호 처리 장치는 해당 통합 스파이킹 신호와 맵핑 된 음원의 방향으로부터 제1 신호와 제2 신호가 발생된 것으로 추정할 수 있다.
보다 구체적으로, 통합부(130)는 미리 정해진 복수의 시간 차이들에 대응되는 복수의 통합 뉴런 회로들을 포함할 수 있다. 예를 들면, 통합 뉴런 회로(131)는 제1 시간 차이(예를 들면, 2.5us)에 대응되는 뉴런 회로일 수 있다.
통합 뉴런 회로(131)는 제1 시간 차이(예를 들면, 2.5us)에 대응되는 다중화 뉴런 회로(121)로부터 출력된 다중화 스파이킹 신호뿐 아니라, 제2 시간 차이(예를 들면, 500us)에 대응되는 다중화 뉴런 회로(122)로부터 출력된 다중화 스파이킹 신호를 수신할 수 있다.
이 경우, 통합 뉴런 회로(131)는 다중화 뉴런 회로(121)로부터 출력된 다중화 스파이킹 신호와 흥분성 시넵스를 통해 연결되고, 다중화 뉴런 회로(121) 이외의 나머지 다중화 뉴런 회로들로부터 출력된 다중화 스파이킹 신호들과 억제성 시넵스를 통해 연결될 수 있다.
여기서, 통합 뉴런 회로(131)는 흥분성 시넵스를 통해 연결된 다중화 스파이킹 신호는 양(+)의 값으로, 억제성 시넵스를 통해 연결된 복수의 다중화 스파이킹 신호들은 음(-)의 값으로 처리할 수 있다.
즉, 통합 뉴런 회로(131)는 흥분성 시넵스를 통해 연결된 다중화 스파이킹 신호에서 억제성 시넵스를 통해 연결된 복수의 다중화 스파이킹 신호들을 차감함으로써, 제1 시간 차이(예를 들면, 2.5us)에 대응되는 통합 스파이킹 신호를 생성할 수 있다.
통합 뉴런 회로(131)는 흥분성 시넵스를 통해 연결된 다중화 스파이킹 신호의 세기로부터 억제성 시넵스를 통해 연결된 복수의 다중화 스파이킹 신호들의 세기의 합을 차감한 수치가 통합 뉴런 회로의 스파이킹 임계치(threshold voltage)보다 더 큰 경우, 제1 시간 차이(예를 들면, 2.5us)에 대응되는 통합 스파이킹 신호(133)을 출력할 수 있다.
반면, 통합 뉴런 회로(131)는 흥분성 시넵스를 통해 연결된 다중화 스파이킹 신호의 세기로부터 억제성 시넵스를 통해 연결된 복수의 다중화 스파이킹 신호들의 세기의 합을 차감한 수치가 통합 뉴런 회로의 스파이킹 임계치보다 더 작은 경우, 통합 스파이킹 신호를 출력하지 않을 수 있다.
해당 분야에서 통상의 기술을 가진 자라면, 통합 뉴런 회로(131)가 통합 스파이킹 신호를 출력하지 않는 경우와 통합 뉴런 회로(131)로부터 출력되는 신호가 실질적으로 0의 값을 가지는 경우가 동일하다고 이해할 수 있음은 자명하다.
더 나아가, 통합 뉴런 회로(131)는 적응적으로 억제성 시넵스의 연결 강도를 조절할 수 있다. 보다 구체적으로, 통합 뉴런 회로(131)는 억제성 시넵스를 통해 연결되는 복수의 다중화 스파이킹 신호들 각각에 상이한 가중치를 적용할 수 있다.
예를 들면, 제1 시간 차이 이외의 시간 차이들 중 제1 시간 차이와 거리가 먼 시간 차이에 대응되는 다중화 스파이킹 신호는 제1 시간 차이와 거리가 가까운 시간 차이에 대응되는 다중화 스파이킹 신호에 비해 억제성 시넵스의 연결 강도가 클 수 있다.
여기서, 제1 시간 차이(예를 들면, 2.5us)와 제2 시간 차이(예를 들면, 500us) 사이의 거리는 제1 시간 차이(예를 들면, 2.5us)와 제3 시간 차이(예를 들면, 10us) 사이의 거리에 비하여 멀다.
즉, 통합 뉴런 회로(131)는 제1 시간 차이(예를 들면, 2.5us)와 거리가 가까운 제3 시간 차이(예를 들면, 10 us)에 대응되는 다중화 스파이킹 신호는 억제성 시넵스의 연결 강도를 낮게 하고, 제1 시간 차이(예를 들면, 2.5us)와 거리가 먼 제2 시간 차이(예를 들면, 500 us)에 대응되는 다중화 스파이킹 신호는 억제성 시넵스의 연결 강도를 크게 할 수 있다.
통합 뉴런 회로(131)는 연결 강도가 큰 억제성 시넵스를 통해 연결된 다중화 스파이킹 신호에 높은 가중치를 적용할 수 있다. 이로 인하여, 통합 뉴런 회로(131)는 시간 차이가 비슷한 영역에서 검출된 검출 스파이킹 신호들의 신뢰도를 높이고, 시간 차이가 전혀 상이한 영역에서 검출된 검출 스파이킹 신호들의 신뢰도를 낮출 수 있다.
한편, 통합 뉴런 회로(132)는 다중화 뉴런 회로(122)로부터 출력된 다중화 스파이킹 신호와 흥분성 시넵스를 통해 연결되고, 다중화 뉴런 회로(122) 이외의 나머지 다중화 뉴런 회로들로부터 출력된 다중화 스파이킹 신호들과 억제성 시넵스를 통해 연결될 수 있다.
마찬가지로, 통합 뉴런 회로(132)는 흥분성 시넵스를 통해 연결된 다중화 스파이킹 신호의 세기로부터 억제성 시넵스를 통해 연결된 복수의 다중화 스파이킹 신호들의 세기의 합을 차감한 수치가 통합 뉴런 회로의 스파이킹 임계치보다 더 큰 경우, 제2 시간 차이(예를 들면, 500us)에 대응되는 통합 스파이킹 신호(134)을 출력할 수 있다.
이처럼 일 실시예에 따른 뉴로모픽 신호 처리 장치는 음원의 방향을 추정하기 위하여 신경 생물학 구조를 모방한 아날로그 회로인 뉴런 회로들을 이용하여 신호 처리를 하는 기술을 제공할 수 있다.
이로 인하여, 디지털 회로를 이용하는 경우에 비하여 훨씬 적은 개수의 트랜지스터들을 이용하여 음원의 방향을 추정하는 신호 처리 장치를 구현할 수 있다. 그 결과, 일 실시예에 따른 뉴로모픽 신호 처리 장치는 저전력(예를 들면, 수십 mW 이내의 전력)으로 동작될 수 있다. 뿐만 아니라, 일 실시예에 따른 뉴로모픽 신호 처리 장치는 디지털 회로를 이용하는 경우에 비하여 고속(예를 들면, sub-millisecond 이내의 반응속도)으로 동작될 수 있다.
도 2는 다른 실시예에 따른 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치의 블록도이다.
도 2를 참조하면, 다른 실시예에 따른 뉴로모픽 신호 처리 장치는 도 1을 참조하여 전술한 검출부, 다중화부, 및 통합부 외에 입력부를 더 포함할 수 있다.
입력부는 제1 신호를 수신하고, 제1 신호에 기초하여 복수의 주파수 대역들에 대응되는 복수의 입력 스파이킹 신호들을 생성하는 제1 실리콘 코클리아(silicon cochlea)(210); 및 제2 신호를 수신하고, 제2 신호에 기초하여 복수의 주파수 대역들에 대응되는 복수의 입력 스파이킹 신호들을 생성하는 제2 실리콘 코클리아(220)을 포함할 수 있다.
여기서, 실리콘 코클리아는 사람의 귀 속 달팽이관을 모사한 장치로서, 예를 들어 음원이 감지되면 해당 음원에 포함된 주파수 성분 별 입력 스파이킹 신호들을 출력하도록 설계된 뉴로모픽 회로를 포함할 수 있다.
해당 분야에서 통상의 기술을 가진 자라면 두 개의 실리콘 코클리아들을 사용하는 구성으로부터 세 개 이상의 실리콘 코클리아를 사용하는 구성을 용이하게 도출할 수 있음이 자명하다.
제1 실리콘 코클리아(210)와 제2 실리콘 코클리아(220)에는 각각 복수의 주파수 채널들(예를 들면, 256개의 채널들)이 존재할 수 있다. 여기서, 복수의 주파수 채널들 각각은 가청 주파수 대역에서 서로 다른 주파수 대역일 수 있다.
음원이 제1 실리콘 코클리아(210)와 제2 실리콘 코클리아(220)에서 감지되면, 음원의 방향에 따라 제1 실리콘 코클리아(210)와 제2 실리콘 코클리아(220) 각각으로부터 출력 되는 입력 스파이킹 신호들의 시간이 다르게 된다.
이러한 시간 차이를 측정하기 위하여 지연 뉴런 회로(230), 동시 검출 뉴런 회로(240), 다중화 뉴런 회로(250), 및 통합 뉴런 회로(260)가 이용될 수 있다. 지연 뉴런 회로(230), 동시 검출 뉴런 회로(240), 다중화 뉴런 회로(250), 및 통합 뉴런 회로(260) 각각에는 도 1을 참조하여 전술한 사항들이 그대로 적용될 수 있다.
간략하게 설명하면, 지연 뉴런 회로(230), 동시 검출 뉴런 회로(240), 다중화 뉴런 회로(250), 및 통합 뉴런 회로(260)는 모두 LIF(Leaky-integrate-Fire) 뉴런 회로 구현될 수 있다.
지연 뉴런 회로(230)는 실리콘 코클리아에 의해 출력 되는 입력 스파이킹 신호를 일정하게 지연시킬 수 있다. 예를 들면, 약 500 us 정도의 시간 차이를 측정하기 위해서는 채널당 2.5 us 의 지연 뉴런 회로가 총 200개 필요하다.
동시 검출 뉴런 회로(240)는 지연 뉴런 회로(230)에 의해 지연된 입력 스파이킹 신호들이 어떠한 시간 차이에서 발생되는지 검출할 수 있다. 예를 들면, 약 500 us 정도의 시간 차이를 2.5 us 간격으로 측정하기 위해서는 채널당 200 개의 동시 검출 뉴런 회로들이 필요하다.
다중화 뉴런 회로(250)는 동시 검출 뉴런 회로(240)로부터 출력된 검출 스파이킹 신호를 입력 받을 수 있다. 다중화 뉴런 회로(250)는 각 시간 차이에 해당하는 검출 스파이킹 신호들을 하나의 다중화 스파이킹 신호로 합칠 수 있다. 예를 들면, 약 500 us 정도의 시간 차이를 2.5 us 간격으로 측정하기 위해서는 총 200 개의 다중화 뉴런 회로들이 필요하다.
통합 뉴런 회로(260)는 다중화 뉴런 회로(250)로부터 출력된 다중화 스파이킹 신호를 입력 받을 수 있다. 통합 뉴런 회로(260)는 동일한 인덱스의 다중화 뉴런 회로(250)와 흥분성 시넵스를 통해 연결되고, 상이한 인덱스의 다중화 뉴런 회로들과는 억제성 시넵스를 통해 연결될 수 있다. 예를 들면, 약 500 us 정도의 시간 차이를 2.5 us 간격으로 측정하기 위해서는 총 200 개의 통합 뉴런 회로들이 필요하다.
이 때, 복수의 통합 뉴런 회로들 각각은 음원의 방향 각도에 맵핑 될 수 있다.
도 3은 일 실시예에 따른 뉴로모픽 신호 처리 장치에 포함된 뉴런 회로를 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 뉴런 회로는 LIF(Leaky-integrate-Fire) 뉴런 회로로 구현될 수 있다.
일 실시예에 따른 뉴런 회로는 신경 생물학 구조에서 활동 전위를 이용하는 뉴런처럼 동작할 수 있다.
보다 구체적으로, 일 실시예에 따른 뉴런 회로는 트랜지스터 M1(310)에 의하여 제어될 수 있다. 트랜지스터 M1(310)이 온(on) 되면, IM1의 전류가 트랜지스터 M1(310)을 통하여 흐르게 된다.
이 경우, Ileak의 전류가 그라운드(GND)로 누설되고, IM1 - Ileak의 전류가 멤브레인 축전기의 전하로 쌓인다. 멤브레인 축전기에 전하가 쌓임에 따라 멤브레인 전압(Vmem)이 문턱 전압(Vth)보다 높아지면, 뉴런 회로는 출력 신호를 내보낼 수 있다.
이 때, 출력 신호에 의하여 리셋 전압(Vreset)과 연결된 트랜지스터가 온(on) 되면서 멤브레인 축전기에 쌓인 전하가 리셋 전압(Vreset)으로 리셋 된다.
일 실시예에 따른 뉴런 회로는 트랜지스터 M1(310)과 같이 하나의 트랜지스터로 제어됨으로써, 시넵스 시간 상수(Synapse Time constant)를 마이크로 초(us) 단위로 만들 수 있다. 이로 인하여, 일 실시예에 따른 뉴런 회로는 빠른 동작 속도를 가질 수 있다.
또한, 일 실시예에 따른 뉴런 회로는 멤브레인 축전기의 용량(Cmem)(320)을 변경함으로써, 멤브레인 시간 상수(Membrane Time constant)를 조절할 수 있다. 예를 들면, 수 nF 이하의 멤브레인 축전기를 사용하는 경우, 마이크로 초(us) 단위의 멤브레인 시간 상수를 얻을 수 있다.
도 4는 일 실시예에 따른 지연 뉴런 회로의 동작 특성을 설명하기 위한 그래프이다.
도 4를 참조하면, 일 실시예에 따른 지연 뉴런 회로는 멤브레인 시간 상수가 2 us 일 때 문턱 전압(Vth, 도 3의 330)을 18 mV로 설정함으로써, 약 5us 정도의 지연 시간을 얻을 수 있다.
따라서, 해당 분야에서 통상의 기술을 가진 자라면 문턱 전압의 값을 조정함으로써, 지연 뉴런 회로가 가지는 지연 시간을 임의로 조절할 수 있음을 자명하게 이해할 수 있다.
도 5는 일 실시예에 따른 동시 검출 뉴런 회로의 동작 특성을 설명하기 위한 그래프이다.
도 5를 참조하면, 일 실시예에 따른 동시 검출 뉴런 회로는 두 개의 입력 스파이킹 신호에 의한 전류 사이에서 시간 차이가 발생되는 경우, 해당 시간 차이에 따라 감소되는 멤브레인 전위를 출력할 수 있다.
따라서, 일 실시예에 따른 동시 검출 뉴런 회로는 문턱 전압을 변경함으로써 검출 해상도(detection resolution)를 조절할 수 있다.
예를 들면, 일 실시예에 따른 동시 검출 뉴런 회로의 문턱 전압이 -50mV로 설정되면, 동시 검출 뉴런 회로는 두 개의 입력 스파이킹 신호 사이의 시간 차이가 5 us 이하인 경우에서 동시 검출 동작을 수행할 수 있다.
도 6 내지 도 7은 일 실시예에 따른 동시 검출 뉴런 회로에 의해 출력되는 검출 스파이킹 신호를 설명하기 위한 그래프이다.
도 6은 136번 채널(예를 들면, 910 Hz)에 해당하는 동시 검출 뉴런 회로의 출력을 보여준다. 일 실시예에 따라 음원의 방향을 왼쪽에서 오른쪽으로 움직이는 경우, 검출 스파이킹 신호를 출력하는 동시 검출 뉴런 회로의 인덱스가 변경될 수 있다.
도 7은 각 주파수 대역에서 측정된 동시 검출 스파이킹 신호의 분포를 보여준다. 각 주파수 대역들에서 60번 내지 140번 인덱스의 동시 검출 뉴런 회로들이 동시 검출 스파이킹 신호를 출력하고, 그 중 7번 주파수 대역의 90번 인덱스에서 가장 센 검출 스파이킹 신호가 측정된다.
즉, 도 7은 제1 신호와 제2 신호 각각에는 1번 내지 7번 주파수 대역에 해당하는 음원이 모두 포함되어 있고, 그 중 7번 주파수 대역에 해당하는 음원이 가장 많이 포함되어 있음을 보여준다.
더 나아가, 도 7은 제1 신호와 제2 신호는 60번 내지 140번 인덱스에 대응되는 시간 차이만큼의 차이를 가지고 수신되었을 가능성이 있음을 보여준다.
전술한 바와 같이, 다중화 뉴런 회로는 각 동시 검출 뉴런 인덱스에서, 복수의 주파수 대역들의 검출 스파이킹 신호들을 합쳐 다중화 스파이킹 신호를 생성할 수 있다. 예를 들면, 60번 내지 140번 인덱스의 다중화 뉴런 회로에서 0이 아닌 다중화 스파이킹 신호를 생성할 수 있다.
통합 뉴런 회로는 동일한 인덱스의 다중화 뉴런 회로와 흥분성 시넵스를 통해 연결되고, 상이한 인덱스의 다중화 뉴런 회로들과 억제성 시넵스를 통해 연결되며, 억제성 시넵스의 연결 강도는 인덱스의 번호 차이에 따라 적응적으로 조절될 수 있다.
예를 들면, 90번 인덱스의 다중화 뉴런 회로에 의해 출력되는 다중화 스파이킹 신호가 가장 세므로, 90번 인덱스의 통합 뉴런 회로는 0이 아닌 통합 스파이킹 신호를 출력할 수 있다.
한편, 130번 인덱스의 통합 뉴런 회로는 130번 인덱스의 다중화 뉴런 회로로부터 다중화 스파이킹 신호를 입력 받지만, 90번 인덱스의 다중화 뉴런 회로와 억제성 시넵스를 통해 연결되므로 통합 스파이킹 신호를 출력할 수 없다.
결론적으로, 일 실시예에 따른 뉴로모픽 신호 처리 장치는 90번 인덱스의 통합 뉴런 회로와 맵핑 된 방향 각도에서 음원이 발생된 것으로 추정할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치에 있어서,
    미리 정해진 복수의 주파수 대역들 각각에서, 제1 신호와 제2 신호가 특정 시간 차이-상기 특정 시간 차이는 미리 정해진 복수의 시간 차이들 중 어느 하나임-를 가지고 동일한 입력 스파이킹 신호를 포함하는 경우 상기 특정 시간 차이에 대응되는 검출 뉴런 회로를 이용하여 검출 스파이킹 신호를 출력하는 검출부;
    상기 특정 시간 차이에서, 상기 복수의 주파수 대역들에 대응되는 복수의 뉴런 회로들로부터 출력된 복수의 검출 스파이킹 신호들을 기초로 다중화 스파이킹 신호를 출력하는 다중화부; 및
    상기 복수의 시간 차이들에 대응되는 복수의 다중화 스파이킹 신호들을 기초로 상기 특정 시간 차이에 대응되는 통합 스파이킹 신호를 출력하는 통합부
    를 포함하는 뉴로모픽 신호 처리 장치.
  2. 제1항에 있어서,
    상기 제1 신호와 상기 제2 신호는 동일한 음원으로부터 동시에 발생된 신호인 뉴로모픽 신호 처리 장치.
  3. 제1항에 있어서,
    상기 제1 신호와 상기 제2 신호를 수신하고, 상기 제1 신호에 기초하여 상기 복수의 주파수 대역들에 대응되는 복수의 입력 스파이킹 신호들을 생성하며, 상기 제2 신호에 기초하여 상기 복수의 주파수 대역들에 대응되는 복수의 입력 스파이킹 신호들을 생성하는 입력부
    를 더 포함하는 뉴로모픽 신호 처리 장치.
  4. 제1항에 있어서,
    상기 검출 뉴런 회로는
    상기 제1 신호에 포함된 입력 스파이킹 신호를 상기 특정 시간 차이만큼 지연시키는 지연 뉴런 회로; 및
    상기 지연된 제1 신호와 상기 제2 신호가 동일한 시점에 상기 동일한 입력 스파이킹 신호를 포함하는 경우 상기 검출 스파이킹 신호를 출력하는 동시 검출 뉴런 회로
    를 포함하는 뉴로모픽 신호 처리 장치.
  5. 제1항에 있어서,
    상기 다중화부는
    상기 다중화 스파이킹 신호를 출력하기 위하여 상기 특정 시간 차이에 대응되는 다중화 뉴런 회로를 이용하는 뉴로모픽 신호 처리 장치.
  6. 제1항에 있어서,
    상기 통합부는
    상기 통합 스파이킹 신호를 출력하기 위하여 상기 특정 시간 차이에 대응되는 통합 뉴런 회로를 이용하는 뉴로모픽 신호 처리 장치.
  7. 제1항에 있어서,
    상기 통합부는
    상기 특정 시간 차이에 대응되는 통합 스파이킹 신호를 출력하기 위하여, 상기 특정 시간 차이에 대응되는 다중화 스파이킹 신호와 흥분성 시넵스를 통해 연결되고, 상기 특정 시간 차이 이외의 시간 차이들에 대응되는 다중화 스파이킹 신호들과 억제성 시넵스를 통해 연결되는 뉴로모픽 신호 처리 장치.
  8. 제7항에 있어서,
    상기 통합부는
    상기 특정 시간 차이 이외의 시간 차이들 중 상기 특정 시간 차이와 거리가 먼 시간 차이에 대응되는 다중화 스파이킹 신호는 상기 특정 시간 차이와 거리가 가까운 시간 차이에 대응되는 다중화 스파이킹 신호에 비해 억제성 시넵스의 연결 강도가 큰 뉴로모픽 신호 처리 장치.
  9. 제1항에 있어서,
    상기 복수의 시간 차이들에 대응되는 복수의 통합 스파이킹 신호들 각각은 상기 음원의 방향에 맵핑 되는 뉴로모픽 신호 처리 장치.
  10. 제1항에 있어서,
    상기 복수의 주파수 대역들은 가청 주파수 대역 내의 주파수 대역들인 뉴로모픽 신호 처리 장치.
  11. 제1항에 있어서,
    상기 복수의 뉴런 회로들 각각은 LIF(Leaky integrate-and-fire) 모델을 이용한 뉴런 회로를 포함하는 뉴로모픽 신호 처리 장치.
  12. 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 방법에 있어서,
    미리 정해진 복수의 주파수 대역들 각각에서, 제1 신호와 제2 신호가 특정 시간 차이-상기 특정 시간 차이는 미리 정해진 복수의 시간 차이들 중 어느 하나임-를 가지고 동일한 입력 스파이킹 신호를 포함하는 경우 상기 특정 시간 차이에 대응되는 검출 뉴런 회로를 이용하여 검출 스파이킹 신호를 출력하는 단계;
    상기 특정 시간 차이에서, 상기 복수의 주파수 대역들에 대응되는 복수의 뉴런 회로들로부터 출력된 복수의 검출 스파이킹 신호들을 기초로 상기 특정 시간 차이에 대응되는 다중화 뉴런 회로를 이용하여 다중화 스파이킹 신호를 출력하는 단계; 및
    상기 복수의 시간 차이들에 대응되는 복수의 다중화 스파이킹 신호들을 기초로 상기 특정 시간 차이에 대응되는 통합 뉴런 회로를 이용하여 통합 스파이킹 신호를 출력하는 단계
    를 포함하는 뉴로모픽 신호 처리 방법.
  13. 제12항에 있어서,
    상기 통합 스파이킹 신호를 출력하는 단계는
    상기 특정 시간 차이에 대응되는 통합 스파이킹 신호를 출력하기 위하여, 상기 특정 시간 차이에 대응되는 다중화 스파이킹 신호와 흥분성 시넵스를 통해 연결되고, 상기 특정 시간 차이 이외의 시간 차이들에 대응되는 다중화 스파이킹 신호들과 억제성 시넵스를 통해 연결되는 시넵스 기법을 이용하는 뉴로모픽 신호 처리 방법.
  14. 제13항에 있어서,
    상기 통합 스파이킹 신호를 출력하는 단계는
    상기 특정 시간 차이 이외의 시간 차이들 중 상기 특정 시간 차이와 거리가 먼 시간 차이에 대응되는 다중화 스파이킹 신호는 상기 특정 시간 차이와 거리가 가까운 시간 차이에 대응되는 다중화 스파이킹 신호에 비해 억제성 시넵스의 연결 강도가 큰 시넵스 기법을 이용하는 뉴로모픽 신호 처리 방법.
  15. 제12항 내지 제14항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020120061608A 2012-06-08 2012-06-08 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법 KR101963440B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120061608A KR101963440B1 (ko) 2012-06-08 2012-06-08 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법
EP13171058.4A EP2672432B1 (en) 2012-06-08 2013-06-07 Neuromorphic signal processing device and method for locating sound source using a plurality of neuron circuits
US13/912,667 US9361576B2 (en) 2012-06-08 2013-06-07 Neuromorphic signal processing device and method for locating sound source using a plurality of neuron circuits

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120061608A KR101963440B1 (ko) 2012-06-08 2012-06-08 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20130137916A true KR20130137916A (ko) 2013-12-18
KR101963440B1 KR101963440B1 (ko) 2019-03-29

Family

ID=48607112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120061608A KR101963440B1 (ko) 2012-06-08 2012-06-08 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법

Country Status (3)

Country Link
US (1) US9361576B2 (ko)
EP (1) EP2672432B1 (ko)
KR (1) KR101963440B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9269045B2 (en) 2014-02-14 2016-02-23 Qualcomm Incorporated Auditory source separation in a spiking neural network
US10423879B2 (en) * 2016-01-13 2019-09-24 International Business Machines Corporation Efficient generation of stochastic spike patterns in core-based neuromorphic systems
WO2018175538A1 (en) * 2017-03-21 2018-09-27 The Charles Stark Draper Laboratory, Inc. Neural architectures and systems and methods of their translation
US11295198B2 (en) * 2017-10-26 2022-04-05 International Business Machines Corporation Implementation model of self-organizing reservoir based on lorentzian nonlinearity
CN109709511B (zh) * 2018-12-29 2024-03-01 中国人民解放军陆军工程大学 神经元仿生电路和信号时差检测系统
CN110554352A (zh) * 2019-09-11 2019-12-10 哈尔滨工业大学 基于vgg16神经网络的航天测控系统干扰源波达方向估计方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010093388A (ko) * 2000-03-28 2001-10-29 이재승 고밀도 파장분할다중화 광통신 시스템의 광파장 제어 장치
EP1522868A1 (en) * 2003-10-10 2005-04-13 Harman/Becker Automotive Systems GmbH System for determining the position of a sound source and method therefor
JP2007164027A (ja) * 2005-12-16 2007-06-28 Nagoya Institute Of Technology 時間差検出器
JP2008085472A (ja) * 2006-09-26 2008-04-10 Nagoya Institute Of Technology 音源定位・同定装置
US20080197833A1 (en) * 2005-06-16 2008-08-21 Ruedi Stoop Sound Analyzer Based on a Biomorphic Design
KR20090017208A (ko) * 2007-08-14 2009-02-18 엘지전자 주식회사 음원 위치 추적 방법 및 장치
JP2009109868A (ja) * 2007-10-31 2009-05-21 Nagoya Institute Of Technology 音源定位装置
US20100312730A1 (en) * 2009-05-29 2010-12-09 Board Of Trustees Of Michigan State University Neuromorphic spatiotemporal where-what machines
KR20100129741A (ko) * 2008-03-14 2010-12-09 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 뉴로모픽 회로

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2985982B2 (ja) 1991-09-27 1999-12-06 日本電信電話株式会社 音源方向推定方法
KR20030046727A (ko) 2001-12-06 2003-06-18 박규식 서브밴드 씨피에스피 알고리듬을 이용한 음원위치추정방법및 그 시스템
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
US20080262834A1 (en) 2005-02-25 2008-10-23 Kensaku Obata Sound Separating Device, Sound Separating Method, Sound Separating Program, and Computer-Readable Recording Medium
US8426793B1 (en) * 2007-10-04 2013-04-23 Geoffrey L. Barrows Vision sensor
KR101395722B1 (ko) 2007-10-31 2014-05-15 삼성전자주식회사 마이크로폰을 이용한 음원 위치 추정 방법 및 장치
JP5045938B2 (ja) 2008-03-27 2012-10-10 日本電気株式会社 音源方向検出方法、装置及びプログラム
JP2010175431A (ja) 2009-01-30 2010-08-12 Nippon Telegr & Teleph Corp <Ntt> 音源方向推定装置とその方法と、プログラム
DE102010026381A1 (de) * 2010-07-07 2012-01-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010093388A (ko) * 2000-03-28 2001-10-29 이재승 고밀도 파장분할다중화 광통신 시스템의 광파장 제어 장치
EP1522868A1 (en) * 2003-10-10 2005-04-13 Harman/Becker Automotive Systems GmbH System for determining the position of a sound source and method therefor
US20080197833A1 (en) * 2005-06-16 2008-08-21 Ruedi Stoop Sound Analyzer Based on a Biomorphic Design
JP2007164027A (ja) * 2005-12-16 2007-06-28 Nagoya Institute Of Technology 時間差検出器
JP2008085472A (ja) * 2006-09-26 2008-04-10 Nagoya Institute Of Technology 音源定位・同定装置
KR20090017208A (ko) * 2007-08-14 2009-02-18 엘지전자 주식회사 음원 위치 추적 방법 및 장치
JP2009109868A (ja) * 2007-10-31 2009-05-21 Nagoya Institute Of Technology 音源定位装置
KR20100129741A (ko) * 2008-03-14 2010-12-09 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 뉴로모픽 회로
CN101971166A (zh) * 2008-03-14 2011-02-09 惠普开发有限公司 神经形态电路
JP2011515747A (ja) * 2008-03-14 2011-05-19 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ニューロモーフィック回路
US20100312730A1 (en) * 2009-05-29 2010-12-09 Board Of Trustees Of Michigan State University Neuromorphic spatiotemporal where-what machines

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Andre van Schaik외 1인. A Neuromorphic Sound Localizer for a Smart MEMS System. 2003 International Symposium on Circuits and Systems. 2003.6.25., page 4-864~4-867* *

Also Published As

Publication number Publication date
EP2672432B1 (en) 2021-08-04
KR101963440B1 (ko) 2019-03-29
EP2672432A2 (en) 2013-12-11
US20130329524A1 (en) 2013-12-12
US9361576B2 (en) 2016-06-07
EP2672432A3 (en) 2018-01-24

Similar Documents

Publication Publication Date Title
KR101963440B1 (ko) 복수의 뉴런 회로들을 이용하여 음원의 방향을 추정하는 뉴로모픽 신호 처리 장치 및 그 장치를 이용한 방법
Mandel et al. An EM algorithm for localizing multiple sound sources in reverberant environments
Murray et al. Robotic sound-source localisation architecture using cross-correlation and recurrent neural networks
Uzuntarla Inverse stochastic resonance induced by synaptic background activity with unreliable synapses
Escudero et al. Real-time neuro-inspired sound source localization and tracking architecture applied to a robotic platform
CN105981055A (zh) 神经网络对当前计算资源的自适应
BR112019013548A2 (pt) Aparelho de captura de áudio, método de operação para capturar áudio, e produto de programa de computador
KR20140074918A (ko) 직접-산란 분해
Finger et al. Estimating the location of a sound source with a spike-timing localization algorithm
Czyzewski Automatic identification of sound source position employing neural networks and rough sets
Sanda et al. Stochastic interpolation model of the medial superior olive neural circuit
KR102104465B1 (ko) 뉴럴 네트워크를 이용한 졸음운전 방지 방법 및 장치
Panchev et al. Spike-timing-dependent synaptic plasticity: from single spikes to spike trains
Liu et al. The use of spike-based representations for hardware audition systems
Park et al. Fast neuromorphic sound localization for binaural hearing aids
Van Schaik Analogue VLSI building blocks for an electronic auditory pathway
Beck et al. Sound source localization through 8 MEMS microphones array using a sand-scorpion-inspired spiking neural network
CN105744440B (zh) 操作数模处理链路的方法、对应的设备和装置
Chan et al. Tracking temporal evolution of nonlinear dynamics in hippocampus using time-varying volterra kernels
Nishitani et al. Variance of spatiotemporal spiking patterns by different stimulated neurons in cultured neuronal networks
Uysal et al. Spike-based feature extraction for noise robust speech recognition using phase synchrony coding
Bartolozzi et al. Selective attention implemented with dynamic synapses and integrate-and-fire neurons
Bandyopadhyay et al. Nonlinear temporal receptive fields of neurons in the dorsal cochlear nucleus
Liu et al. Modeling populations of spiking neurons for fine timing sound localization
Ma et al. Exploiting top-down source models to improve binaural localisation of multiple sources in reverberant environments.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right