JP4958172B2

JP4958172B2 - Sound source localization device

Info

Publication number: JP4958172B2
Application number: JP2007283742A
Authority: JP
Inventors: 彰岩田; 奨黒柳; 要岩佐
Original assignee: 国立大学法人名古屋工業大学
Priority date: 2007-10-31
Filing date: 2007-10-31
Publication date: 2012-06-20
Anticipated expiration: 2027-10-31
Also published as: JP2009109868A

Description

本発明は、音源方向を識別する音源定位装置に関し、特に、パルス信号（単に「パルス」ともいう。）を入出力するニューロンモデルであるパルスニューロンモデルを用いた音源定位装置に関する。 The present invention relates to a sound source localization apparatus that identifies a sound source direction, and more particularly, to a sound source localization apparatus that uses a pulse neuron model that is a neuron model that inputs and outputs a pulse signal (also simply referred to as “pulse”).

音源定位のためにパルスニューロンモデル（以下、「ＰＮモデル」又は「ニューロン」ともいう。）を用いる技術が、下記特許文献１及び非特許文献１〜３に開示されている。特許文献１には、音源定位のための時間差検出器が開示され、非特許文献１には、ＰＮモデルを用いて、両耳に入って来る音の時間差、音圧差を抽出する音源方向知覚モデルが開示され、非特許文献２には、聴覚情報処理システムのためのＰＮモデルを用いた競合学習ニューラルネットワークが開示され、非特許文献３には、ＰＮモデルのハードウェアへの実装方法が開示されている。 Techniques using a pulse neuron model (hereinafter also referred to as “PN model” or “neuron”) for sound source localization are disclosed in Patent Document 1 and Non-Patent Documents 1 to 3 below. Patent Document 1 discloses a time difference detector for sound source localization, and Non-Patent Document 1 discloses a sound source direction perception model that extracts a time difference and a sound pressure difference of sounds coming into both ears using a PN model. Non-Patent Document 2 discloses a competitive learning neural network using a PN model for an auditory information processing system, and Non-Patent Document 3 discloses a method of mounting a PN model on hardware. ing.

図１に、ＰＮモデルの模式図を示す。同じＰＮモデルが非特許文献１〜３にも示されているので詳説しないが、ＰＮモデルでは、時刻ｔ（ｔは離散値で、ここではｄｔ＝１とする。）にｎ番目の入力チャンネルからパルスｉ_n（ｔ）＝１がｎ番目のシナプス部に入力されると、ｎ番目のシナプス部の局所膜電位ｐ_n（ｔ）が結合重み（単に「重み」ともいう。）ｗ_n分上昇し、その後時定数τで静止電位まで減衰する。時刻ｔのＰＮモデルの内部電位Ｉ（ｔ）は、その時刻の各局所膜電位ｐ_n（ｔ）の総和として表される。ＰＮモデルは、内部電位Ｉ（ｔ）が閾値θ以上となった時発火（すなわち、出力パルス「１」を発生）する。但し、神経細胞には発火に関する不応期ＲＰが存在するため、ＰＮモデルにおいても、ある発火からＲＰの間は内部電位が閾値を超えた場合でも発火しない。 FIG. 1 shows a schematic diagram of the PN model. Since the same PN model is also shown in Non-Patent Documents 1 to 3, it will not be described in detail. However, in the PN model, from the nth input channel at time t (t is a discrete value, here, dt = 1). When the pulse i _n (t) = 1 is input to the n-th synapse portion, the local membrane potential p _n (t) of the n-th synapse portion is increased by the connection weight (also simply referred to as “weight”) w _n . After that, it decays to a static potential with a time constant τ. The internal potential I (t) of the PN model at time t is expressed as the sum of the local membrane potentials p _n (t) at that time. The PN model ignites (that is, generates an output pulse “1”) when the internal potential I (t) becomes equal to or greater than the threshold θ. However, since there is a refractory period RP related to firing in nerve cells, even in the PN model, even if the internal potential exceeds a threshold value during a certain firing to RP, firing does not occur.

ＰＮモデルはディジタル回路によりハードウェア化可能である。図２に、ＰＮモデルのディジタル回路による構成例を示す。同様の構成例が非特許文献３にも記載されているので詳説しないが、この構成例では、通常は加算処理を行い、加算処理数回の後にレジスタの値をビットシフトした値を引くこと（すなわち、ビットシフトと補数表現）で減衰を近似的に実現しており、減衰処理の機構に乗算器を用いないため、ディジタル回路で実現するのに適している。 The PN model can be implemented by hardware using a digital circuit. FIG. 2 shows a configuration example of a PN model digital circuit. A similar configuration example is also described in Non-Patent Document 3 and will not be described in detail. However, in this configuration example, an addition process is usually performed, and a value obtained by bit-shifting the register value is subtracted after several addition processes ( That is, attenuation is approximately realized by bit shift and complement expression), and a multiplier is not used for the attenuation processing mechanism, so that it is suitable for realization by a digital circuit.

ところで、図３に示すように、両耳に相当する２つのマイクロホン１０１、１０２を同方向に向けて左右に配置し、マイクロホン１０１によって集音された音とマイクロホン１０２によって集音された音を用いて、音源の方向を識別しようとすると、左右方向は、音源からマイクロホン１０１、１０２までの距離の違いから生じる音の時間差により識別可能であるが、音源がマイクロホン１０１、１０２の集音部を結ぶ線（図中の１点鎖線）を挟んで前後方向のどちらにあるのかは、識別不可能であった。図３で言えば、音源が図中の１点鎖線について対称的なＰの位置とＰ´の位置のどちらにあっても、同様の時間差が生じてしまうからである。 By the way, as shown in FIG. 3, two microphones 101 and 102 corresponding to both ears are arranged on the left and right in the same direction, and the sound collected by the microphone 101 and the sound collected by the microphone 102 are used. Thus, when trying to identify the direction of the sound source, the left and right direction can be identified by the time difference of the sound resulting from the difference in the distance from the sound source to the microphones 101 and 102, but the sound source connects the sound collection parts of the microphones 101 and 102. It was impossible to discriminate whether it was in the front-rear direction across the line (dashed line in the figure). If it says in FIG. 3, it is because the same time difference will arise even if a sound source exists in the position of P symmetrical about the dashed-dotted line in a figure, and the position of P '.

このため、下記非特許文献４に記載された音源定位システムでは、同文献の３．４節で説明しているように、右のマイクロホンを前方に、左のマイクロホンを後方に向けて配置し（同文献のFigure 5参照）、後方からの音は前方からの音よりもこもることから、左右のマイクロホンから入った音の周波数スペクトルの重心をそれぞれ計算して、右の重心が左の重心よりも大きければ前方、左の重心が右の重心よりも大きければ後方と判断している。
特開２００７−１６４０２７号公報黒柳奨、岩田彰、「パルス伝達型聴覚神経回路モデルによる音源方向知覚−時間差・音圧差の抽出−」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、１９９３年３月、ＮＣ９２−１４９、ｐ．１６３−１７０黒柳奨、岩田彰、「聴覚情報処理システムのためのパルスニューロンモデルを用いた競合学習ニューラルネットワーク」、電子情報通信学会論文誌（Ｄ−ＩＩ）、２００４年７月、第Ｊ８７−Ｄ−ＩＩ巻、第７号、ｐ．１４９６−１５０４二俣宣義、黒柳奨、岩田彰、「ＦＰＧＡのためのパルスニューロンモデルの実装方法」、電子情報通信学会ＮＣ研究会技術研究報告、社団法人電子情報通信学会、２００２年３月、ＮＣ２００１−２１１、ｐ．１２１−１２８シャウアー（Schauer）、グロス（Gross）、「バイノーラル３６０度音源定位システムのモデルとアプリケーション（Model and Application of a Binaural 360°Sound Localization System）」、国際ニューラルネットワーク・ジョイント学会論文集（Proceedings of the International Joint Conference on Neural Networks）、アイ・トリプル・イー・コンピュータ学会（IEEE Computer Society）、２００１年、第２巻、ｐ．１１３２−１１３７ For this reason, in the sound source localization system described in Non-Patent Document 4 below, as described in section 3.4 of the same document, the right microphone is disposed forward and the left microphone is disposed rearward ( Since the sound from the back is more muffled than the sound from the front, calculate the centroid of the frequency spectrum of the sound coming from the left and right microphones, and the right centroid is more than the left centroid. If it is larger, it is determined to be forward, and if the left centroid is larger than the right centroid, it is determined to be rearward.
JP 2007-164027 A Kuroyanagi Shu, Akira Iwata, "Sound source direction perception by pulse transmission type auditory neural circuit model-Extraction of time difference and sound pressure difference-" Technical report of IEICE, IEICE, March 1993, NC92- 149, p. 163-170 Kuroyanagi Shu, Akira Iwata, “Competitive Learning Neural Network Using Pulsed Neuron Model for Auditory Information Processing System”, IEICE Transactions (D-II), July 2004, Vol. J87-D-II No. 7, p. 1496-1504 Noriyoshi Futaki, Susumu Kuroyanagi, Akira Iwata, “Implementation Method of Pulsed Neuron Model for FPGA”, IEICE NC Research Technical Report, The Institute of Electronics, Information and Communication Engineers, March 2002, NC2001-211, p . 121-128 Schauer, Gross, “Model and Application of a Binaural 360 ° Sound Localization System”, Proceedings of the International Joint Conference on Neural Networks), IEEE Computer Society, 2001, Vol. 2, p. 1132-1137

しかし、非特許文献４の音源定位システムでは、周波数スペクトルの重心を計算するためにＦＦＴ（高速フーリエ変換）を行っており、ＦＦＴ計算機が必要であるため、ハードウェア実装上不利であった。 However, the sound source localization system of Non-Patent Document 4 is disadvantageous in terms of hardware implementation because it performs FFT (Fast Fourier Transform) to calculate the center of gravity of the frequency spectrum and requires an FFT calculator.

この発明は、上述した問題を解決するものであり、ハードウェア実装上有利な音源定位装置を提供することを目的とする。 The present invention solves the above-described problems, and an object thereof is to provide a sound source localization apparatus that is advantageous in terms of hardware implementation.

本発明の音源定位装置は、それぞれ前方指向性を有し、左右に間隔をおいて配設されるとともに、一方は前方に向けて他方は後方に向けて配置された２つのマイクロホンと、前記各マイクロホンで集音された音の時間差情報を、パルスニューロンモデルにより検出する時間差検出手段と、前記各マイクロホンで集音された音の音圧差情報を、パルスニューロンモデルにより検出する音圧差検出手段と、前記時間差検出手段で検出された音の時間差情報に基づいて、左右方向における音源の方向情報をパルスニューロンモデルにより検出する左右方向検出手段と、前記音圧差検出手段で検出された音の音圧差情報に基づいて、前後方向における音源の方向情報をパルスニューロンモデルにより検出する前後方向検出手段と、を備えることを特徴とする。 Each of the sound source localization apparatuses of the present invention has a front directivity, and is disposed with a space between left and right, one of which is directed forward and the other of which is disposed rearward, Time difference detection means for detecting the time difference information of the sound collected by the microphone using a pulse neuron model, and sound pressure difference detection means for detecting the sound pressure difference information of the sound collected by each microphone using the pulse neuron model; Based on the time difference information of the sound detected by the time difference detection means, the left / right direction detection means for detecting the direction information of the sound source in the left / right direction by a pulse neuron model, and the sound pressure difference information of the sound detected by the sound pressure difference detection means And a front-rear direction detecting means for detecting the direction information of the sound source in the front-rear direction by using a pulse neuron model. To.

また、前記左右方向検出手段で検出された左右方向における音源の方向情報と、前記前後方向検出手段で検出された前後方向における音源の方向情報とに基づいて、周囲の複数方向における音源の方向情報をパルスニューロンモデルにより検出する周囲方向検出手段を備えることが好ましい。 In addition, based on the direction information of the sound source in the left-right direction detected by the left-right direction detection unit and the direction information of the sound source in the front-rear direction detected by the front-rear direction detection unit, the direction information of the sound source in a plurality of surrounding directions It is preferable to include a surrounding direction detecting means for detecting the signal using a pulse neuron model.

本発明の音源定位装置は、時間差検出手段がパルスニューロンモデルにより音の時間差情報を検出し、音圧差検出手段がパルスニューロンモデルにより音圧差情報を検出し、左右方向検出手段がパルスニューロンモデルにより左右方向における音源の方向情報を検出し、前後方向検出手段がパルスニューロンモデルにより前後方向における音源の方向情報を検出しており、パルスニューロンモデルは簡単なディジタル回路により実現可能であるため、ハードウェア実装上有利である。 In the sound source localization apparatus of the present invention, the time difference detecting means detects sound time difference information using a pulse neuron model, the sound pressure difference detecting means detects sound pressure difference information using a pulse neuron model, and the left-right direction detecting means detects left and right information using a pulse neuron model. Since the direction information of the sound source in the direction is detected and the direction detection means detects the direction information of the sound source in the front and back direction by the pulse neuron model, and the pulse neuron model can be realized by a simple digital circuit, hardware implementation This is advantageous.

以下、本発明の一実施形態について図面に基づいて説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

音源定位装置１は、図４に示すように、左右のマイクロホン２、３と、マクロフォン２、３が接続された本体部４とを備えている。本体部４は、定位結果を表示する表示装置５に接続されている。 As shown in FIG. 4, the sound source localization apparatus 1 includes left and right microphones 2 and 3 and a main body 4 to which the microphones 2 and 3 are connected. The main body 4 is connected to a display device 5 that displays the localization result.

マイクロホン２、３は前方指向性（すなわち、前方側の感度がよい単一指向性）を有している。マイクロホン２、３は、左右に間隔をおいて、マイクロホン２、３の集音部２ａ、３ａが左右方向に並ぶように配置されるとともに、左のマイクロホン２は前方に向けて、右のマイクロホン３は後方に向けて配置されている。マイクロホン２、３は集音部２ａ、３ａで集音した音を電気信号に変換する。音量が大きい程すなわち音圧が大きい程、変換された電気信号の電圧値は高くなる。なお、集音部２ａ、３ａは必ずしも左右方向の一直線上に並ばなくてもよい。かかる場合には、得られたデータに対して適当な補正をすればよい。 The microphones 2 and 3 have forward directivity (that is, unidirectional with good forward sensitivity). The microphones 2 and 3 are arranged so that the sound collecting portions 2a and 3a of the microphones 2 and 3 are arranged in the left and right direction with an interval left and right, and the left microphone 2 faces the front and the right microphone 3 Are arranged facing backwards. The microphones 2 and 3 convert the sound collected by the sound collection units 2a and 3a into electric signals. The greater the volume, that is, the greater the sound pressure, the higher the voltage value of the converted electrical signal. Note that the sound collection units 2a and 3a do not necessarily have to be arranged on a straight line in the left-right direction. In such a case, an appropriate correction may be made on the obtained data.

本体部４は、図５に示すように、左のマイクロホン２に接続された左の入力信号処理部６と、右のマイクロホン３に接続された右の入力信号処理部７と、入力信号処理部６、７の両方に接続された時間差検出部（時間差検出手段に相当。）８と、入力信号処理部６、７の両方に接続された音圧差検出部（音圧差検出手段に相当。）９と、時間差検出部８に接続された左右方向検出部（左右方向検出手段に相当。）１０と、音圧差検出部９に接続された前後方向検出部（前後方向検出手段に相当。）１１と、左右方向検出部１０及び前後方向検出部１１の両方に接続された８方向検出部（周囲方向検出手段に相当。）１２とを備えている。 As shown in FIG. 5, the main unit 4 includes a left input signal processing unit 6 connected to the left microphone 2, a right input signal processing unit 7 connected to the right microphone 3, and an input signal processing unit. 6 and 7, a time difference detection unit (corresponding to a time difference detection unit) 8, and a sound pressure difference detection unit (corresponding to a sound pressure difference detection unit) 9 connected to both of the input signal processing units 6 and 7. And a left-right direction detection unit (corresponding to the left-right direction detection means) 10 connected to the time difference detection unit 8, and a front-rear direction detection unit (corresponding to the front-rear direction detection means) 11 connected to the sound pressure difference detection unit 9. , An eight-direction detection unit (corresponding to a surrounding direction detection means) 12 connected to both the left-right direction detection unit 10 and the front-rear direction detection unit 11.

入力信号処理部６、７は、左右の入力信号の各々を、周波数帯域毎に、信号強度に応じたすなわち音圧に応じたパルス頻度を持つパルス列に変換するものである。時間差検出部８は、入力信号処理部６、７が出力した左右のパルス列から、左右の音（左右のマイクロホン２、３から入った音）の時間差情報を検出するものである。音圧差検出部９は、左右のパルス列から、左右の音の音圧差情報を検出するものである。左右方向検出部１０は、音源が左方にあるときは右のマイクロホン３よりも左のマイクロホン２から早く、右方にあるときは左のマイクロホン２よりも右のマイクロホン３から早く音が入ってくることを利用して、時間差検出部８が検出した時間差情報から、左右方向における音源の方向情報を検出するものである。前後方向検出部１１は、音源の方を向いているマイクロホンから入った音よりも音源の方を向いていないマイクロホンから入った音の方が音圧が小さくなることを利用して、音圧差検出部９が検出した音圧差情報から、前後方向における音源の方向情報を検出するものである。８方向検出部１２は、左右方向検出部１０及び前後方向検出部１１から出力された情報に基づいて、周囲の８方向における音源の方向情報（音源が８方向のうちのいずれの方向にあるかを示す情報）を出力するものである。 The input signal processing units 6 and 7 convert each of the left and right input signals into a pulse train having a pulse frequency corresponding to the signal intensity, that is, the sound pressure, for each frequency band. The time difference detection unit 8 detects time difference information of left and right sounds (sounds from the left and right microphones 2 and 3) from the left and right pulse trains output from the input signal processing units 6 and 7. The sound pressure difference detection unit 9 detects sound pressure difference information of left and right sounds from the left and right pulse trains. When the sound source is on the left side, the left / right direction detection unit 10 receives sound from the left microphone 2 faster than the right microphone 3 and when it is on the right side, the sound enters from the right microphone 3 faster than the left microphone 2. Using this, the direction information of the sound source in the left-right direction is detected from the time difference information detected by the time difference detection unit 8. The front-rear direction detection unit 11 detects the difference in sound pressure by using the fact that the sound pressure from the microphone not facing the sound source is smaller than the sound entering from the microphone facing the sound source. The sound source direction information in the front-rear direction is detected from the sound pressure difference information detected by the unit 9. The eight-direction detection unit 12 is based on the information output from the left-right direction detection unit 10 and the front-rear direction detection unit 11 and the direction information of the sound source in the surrounding eight directions (whether the sound source is in one of the eight directions). Information) is output.

表示部５は、８方向検出部１２から出力された方向情報に基づいて、音源の方向を表示するものである。 The display unit 5 displays the direction of the sound source based on the direction information output from the 8-direction detection unit 12.

入力信号処理部６、７は、図６に示すように、ＡＤ変換部１４Ｌ、１４Ｒと、人の聴覚系の蝸牛に相当する周波数分解部１５Ｌ、１５Ｒと、有毛細胞に相当する非線形変換部１６Ｌ、１６Ｒと、蝸牛神経に相当するパルス変換部１７Ｌ、１７Ｒとを備えている。ＡＤ変換部１４Ｌ、１４Ｒは、マイクロホン２、３から入力された信号をＡＤ変換する。周波数分解部１５Ｌ、１５Ｒは、バンドパスフィルタ（ＢＰＦ）群により構成され、ＡＤ変換された信号を所定の周波数範囲について対数スケールで複数（Ｎ個）の周波数帯域（周波数チャンネル）の信号に分解する。非線形変換部１６Ｌ、１６Ｒは、周波数分解部１５Ｌ、１５Ｒから入力された各周波数帯域の信号に対して、それぞれ、非線形変換を行うことによりその正の成分だけを取り出すとともに、ローパスフィルタ（ＬＰＦ）によりエンベロープ検出を行う。パルス変換部１７Ｌ、１７Ｒは、非線形変換部１６Ｌ、１６Ｒから入力された各周波数帯域の信号を、それぞれ、信号強度に比例したパルス頻度を持つパルス列に変換する。これらの処理により、入力信号処理部６、７は、左右の入力信号の各々を、周波数帯域毎に、信号強度に応じたパルス頻度を持つパルス列に変換する。 As shown in FIG. 6, the input signal processing units 6 and 7 include AD conversion units 14L and 14R, frequency resolving units 15L and 15R corresponding to human cochleas, and nonlinear conversion units corresponding to hair cells. 16L and 16R, and pulse converters 17L and 17R corresponding to the cochlear nerve. The AD converters 14L and 14R AD convert the signals input from the microphones 2 and 3. The frequency resolving units 15L and 15R are configured by a band pass filter (BPF) group, and decompose the AD-converted signals into signals of a plurality of (N) frequency bands (frequency channels) on a logarithmic scale for a predetermined frequency range. . The non-linear transformation units 16L and 16R take out only the positive components by performing non-linear transformation on the signals of the respective frequency bands input from the frequency decomposition units 15L and 15R, and also by a low-pass filter (LPF). Perform envelope detection. The pulse converters 17L and 17R convert the signals in the respective frequency bands input from the nonlinear converters 16L and 16R into pulse trains each having a pulse frequency proportional to the signal intensity. Through these processes, the input signal processing units 6 and 7 convert each of the left and right input signals into a pulse train having a pulse frequency corresponding to the signal intensity for each frequency band.

入力信号部６、７をハードウェア化する場合は、ＡＤ変換部１４Ｌ、１４ＲはＡＤ変換回路で、周波数分解部１５Ｌ、１５Ｒ、非線形変換部１６Ｌ、１６Ｒ、パルス変換部１７Ｌ、１７Ｒは、それぞれディジタル回路で構成可能である。 When the input signal units 6 and 7 are implemented as hardware, the AD conversion units 14L and 14R are AD conversion circuits, and the frequency resolution units 15L and 15R, the nonlinear conversion units 16L and 16R, and the pulse conversion units 17L and 17R are digital, respectively. It can be configured with a circuit.

時間差検出部８における時間差情報の検出、音圧差検出部９における音圧差情報の検出、左右方向検出部１０における方向情報の検出、前後方向検出部１１における方向情報の検出、及び、８方向検出部１２における方向情報の検出は、いずれも、複数のＰＮモデルにより構成されたパルスニューラルネットワークで行われる。パルスニューラルネットワークは、独立かつ非同期に並列動作可能な複数のＰＮモデルを電子回路として実装することにより実現され、高速処理が可能である。 Detection of time difference information in the time difference detection unit 8, detection of sound pressure difference information in the sound pressure difference detection unit 9, detection of direction information in the left-right direction detection unit 10, detection of direction information in the front-rear direction detection unit 11, and 8-direction detection unit The detection of the direction information in 12 is performed by a pulse neural network constituted by a plurality of PN models. The pulse neural network is realized by mounting a plurality of PN models that can operate independently and asynchronously in parallel as an electronic circuit, and can perform high-speed processing.

時間差検出部８は、図７に示すようなＰＮモデルからなる時間差検出モデルと、パルス列をシフトさせつつ時間差検出モデルに入力するための時間遅れ素子１９（図８参照）の列とから構成されている。時間差検出モデルは、非特許文献１等に記載されているものと同様であるので詳説しないが、図８に示すように時間差検出ニューロン（以下、「ＭＳＯニューロン」ともいう。）２０を複数（但し、奇数個）並べたＭＳＯニューロン列を、周波数チャンネル毎に設けたものである。各ＭＳＯニューロン２０は、左のパルス信号が入力される左入力端子２１と、右のパルス信号が入力される右入力端子２２と、出力端子２３とを備え、全ＭＳＯニューロン２０において、左右の入力に対する重みを共通の固定値とし、閾値を重みの２倍又は重みの２倍に内部電位の基準値を加えた値とすること等により、パルス信号が左右から略同時に入力されたときに出力端子２３からパルス信号を出力するように構成される。なお、「略同時」とは、勿論、同時である場合を含む。 The time difference detection unit 8 is composed of a time difference detection model composed of a PN model as shown in FIG. 7 and a sequence of time delay elements 19 (see FIG. 8) for inputting to the time difference detection model while shifting the pulse train. Yes. Since the time difference detection model is the same as that described in Non-Patent Document 1, etc., it will not be described in detail. However, as shown in FIG. 8, a plurality of time difference detection neurons (hereinafter also referred to as “MSO neurons”) 20 are provided. , An odd number) of MSO neuron rows arranged for each frequency channel. Each MSO neuron 20 includes a left input terminal 21 to which a left pulse signal is input, a right input terminal 22 to which a right pulse signal is input, and an output terminal 23. When the pulse signal is input almost simultaneously from the left and right by setting the weight to the common fixed value and the threshold value to be twice the weight or the value obtained by adding the reference value of the internal potential to the double weight, etc. 23 is configured to output a pulse signal. Note that “substantially simultaneous” includes, of course, simultaneous.

そして、時間差検出部８は、時間遅れ素子１９により、１クロック（単位時間）毎に、左のパルス列を右にシフトさせるとともに右のパルス列を左にシフトさせつつ、左右のパルス列を対応する周波数チャンネルのＭＳＯニューロン列に入力する。すなわち、左のパルス信号はＭＳＯニューロン列の一端（図８では左端）から他端（同右端）まで単位時間毎にシフトされつつ順次各ＭＳＯニューロン２０に入力され、右のパルス信号はＭＳＯニューロン列の他端（同右端）から一端（同左端）まで単位時間毎にシフトされつつ順次各ＭＳＯニューロン２０に入力される。 Then, the time difference detector 8 shifts the left pulse train to the right and the right pulse train to the left and shifts the left and right pulse trains to the corresponding frequency channel for each clock (unit time) by the time delay element 19. To the MSO neuron array. That is, the left pulse signal is sequentially input to each MSO neuron 20 while being shifted from one end (left end in FIG. 8) to the other end (right end) of the MSO neuron train for each unit time, and the right pulse signal is input to the MSO neuron train. Are sequentially input to each MSO neuron 20 while being shifted every other unit time from the other end (same right end) to one end (same left end).

例えば各ＭＳＯニューロン列内のＭＳＯニューロン２０を２Ｊ＋１個とし、各ＭＳＯニューロン２０に−ＪからＪまでの番号を付すと、時刻ｔに、各ＭＳＯニューロン２０は下記［数１］に従って内部電位Ｉ^MSO _ji（ｔ）を演算し、この内部電位が所定の閾値を超えた場合にはｙ_ji（ｔ）＝１を出力し、超えない場合にはｙ_ji（ｔ）＝０を出力する。なお、ｊはＭＳＯニューロン２０の番号、ｉは周波数チャンネルの番号（ｉ＝１〜Ｎ）とする。下記［数１］において、ｐ^left _ji(t)は左の入力信号に対する局所膜電位、ｐ^right _ji(t)は右の入力信号に対する局所膜電位であり、ｗは全ニューロン２０で共通の結合重み、τは減衰時定数である。 For example, if the number of MSO neurons 20 in each MSO neuron array is 2J + 1 and each MSO neuron 20 is assigned a number from −J to J, at time t, each MSO neuron 20 has an internal potential I ^MSO according to the following [Equation 1]. _ji (t) is calculated, and y _ji (t) = 1 is output when the internal potential exceeds a predetermined threshold, and y _ji (t) = 0 is output when it does not exceed the predetermined threshold. Note that j is the number of the MSO neuron 20, and i is the frequency channel number (i = 1 to N). In the following [Equation 1], p ^left _ji (t) is a local membrane potential for the left input signal, p ^right _ji (t) is a local membrane potential for the right input signal, and w is a common connection in all neurons 20. The weight, τ, is the decay time constant.

これにより、時間差検出モデルは、左右からパルス信号が略同時に入ってきた場合にはＭＳＯニューロン列における中央付近のニューロン２０が発火し、パルス信号が右よりも左から早く入ってきた場合にはＭＳＯニューロン列における右側のニューロン２０が発火し、パルス信号が左よりも右から早く入ってきた場合にはＭＳＯニューロン列における左側のニューロン２０が発火するというように、左右の入力信号間の時間差によって変化する発火パターンを、音の時間差情報として出力する。 Thus, in the time difference detection model, the neuron 20 near the center in the MSO neuron array fires when a pulse signal enters from the left and right substantially simultaneously, and when the pulse signal enters earlier from the left than the right, the MSO The right neuron 20 in the neuron array fires, and when the pulse signal comes in from the right earlier than the left, the left neuron 20 in the MSO neuron array fires. The firing pattern is output as sound time difference information.

上述したように各ＭＳＯニューロン列内の各ＭＳＯニューロン２０に−ＪからＪまでの番号を付すと、時刻ｔに、周波数チャンネルｉに対応するＭＳＯニューロン列からは出力パルス列（ｙ_-Ji（ｔ），…，ｙ_0i（ｔ），…，ｙ_Ji（ｔ））が出力され、時間差検出モデルからは全体として次のようなベクトルｙ_MSO（ｔ）が時間差情報として出力される。 As described above, when each MSO neuron 20 in each MSO neuron train is _assigned a number from −J to J, the output pulse train (y _−Ji (t)) is output from the MSO neuron train corresponding to the frequency channel i at time t. ,..., Y _0i (t),..., Y _Ji (t)) are output, and the following vector y _MSO (t) is output as time difference information as a whole from the time difference detection model.

ｙ_MSO（ｔ）＝（ｙ_-J1（ｔ），…，ｙ₀₁（ｔ），…，ｙ_J1（ｔ），
ｙ_-J2（ｔ），…，ｙ₀₂（ｔ），…，ｙ_J2（ｔ），
…，
ｙ_-JN（ｔ），…，ｙ_0N（ｔ），…，ｙ_JN（ｔ））
時間差検出部８は、例えば図９に示すように、ディジタル回路で構成可能である。なお、図９（ａ）は１クロックの前半の動作を、（ｂ）は後半の動作を説明するための図である。この例は、非特許文献３の第５章にも記載されているので詳説しないが、時間差検出部８の各ＭＳＯニューロン２０は、ＡＮＤ回路２４Ｌ、２４Ｒと、加算器２５、２６と、レジスタ２７と、比較器２８と、減衰生成部２９とを備えている。図９（ａ）に示すように、減衰生成部２９は、内部電位（内部ポテンシャル）に対してビットシフトと補数表現を行うことにより、内部電位の減衰分を生成して加算器２６に入力し、加算器２６は内部電位とその減衰分との加算を行って、レジスタ２７内の内部電位を更新する。そして、図９（ｂ）に示すように、ＡＮＤ回路２４Ｌ、２４Ｒは、入力信号が「１」のときのみ結合重みを加算器２５に入力し、加算器２５は入力された結合重みとレジスタ２７に保持されている内部電位との加算を行って、レジスタ２７内の内部電位を更新する。比較器２８は、自らが保持している閾値と、レジスタ２７が保持している内部電位との比較を行って、内部電位が閾値以上であれば信号「１」を出力し、閾値未満であれば信号「０」を出力する。なお、不応期の実装は、不応期をカウントするカウンタを設け、発火から不応期の間は発火しないようにして、発火とともにカウンタをリセットすることにより実現可能である。 y _MSO (t) = (y _-J1 (t), ..., y ₀₁ (t), ..., y _J1 (t),
y _-J2 (t), ..., y ₀₂ (t), ..., y _J2 (t),
…,
y _-JN (t), ..., y _0N (t), ..., y _JN (t))
The time difference detection unit 8 can be configured with a digital circuit, for example, as shown in FIG. FIG. 9A is a diagram for explaining the operation of the first half of one clock, and FIG. 9B is a diagram for explaining the operation of the second half. This example is also described in Chapter 5 of Non-Patent Document 3 and will not be described in detail. However, each MSO neuron 20 of the time difference detection unit 8 includes AND circuits 24L and 24R, adders 25 and 26, and a register 27. And a comparator 28 and an attenuation generator 29. As shown in FIG. 9A, the attenuation generation unit 29 generates an attenuation amount of the internal potential by inputting a bit shift and a complement expression to the internal potential (internal potential), and inputs it to the adder 26. The adder 26 adds the internal potential and its attenuation, and updates the internal potential in the register 27. Then, as shown in FIG. 9B, the AND circuits 24L and 24R input the coupling weight to the adder 25 only when the input signal is “1”, and the adder 25 inputs the input coupling weight and the register 27. Is added to the internal potential held in the register 27 to update the internal potential in the register 27. The comparator 28 compares the threshold value held by itself with the internal potential held by the register 27, and outputs a signal “1” if the internal potential is equal to or greater than the threshold value. Signal “0” is output. Note that the implementation of the refractory period can be realized by providing a counter that counts the refractory period and not firing during the period from ignition to resetting the counter along with the ignition.

音圧差検出部９は、図１０に示すようなＰＮモデルからなる音圧差検出モデルから構成されている。音圧差検出モデルは、上記非特許文献１等に記載されているものと同様であるので詳説しないが、図１１に示すように音圧差検出ニューロン（以下、「ＬＳＯニューロン」ともいう。）４０を複数（但し、奇数個）並べたＬＳＯニューロン列を、周波数チャンネル毎に設けたものである。各ＬＳＯニューロン４０は、左のパルス信号が入力される左入力端子４１と、右のパルス信号が入力される右入力端子４２と、出力端子４３とを備えている。 The sound pressure difference detection unit 9 is composed of a sound pressure difference detection model composed of a PN model as shown in FIG. The sound pressure difference detection model is the same as that described in Non-Patent Document 1 and the like and will not be described in detail. However, as shown in FIG. 11, a sound pressure difference detection neuron (hereinafter also referred to as “LSO neuron”) 40 is used. A plurality (however, odd number) of LSO neuron rows arranged are provided for each frequency channel. Each LSO neuron 40 includes a left input terminal 41 to which a left pulse signal is input, a right input terminal 42 to which a right pulse signal is input, and an output terminal 43.

図１１に示すように、時刻ｔに、各ＬＳＯニューロン列の各ＬＳＯニューロン４０の左入力端子４１、右入力端子４２には、それぞれ、入力信号処理部６から出力された対応する周波数チャンネルｉ（ｉ＝１〜Ｎ）の左のパルス信号ｘ^left _i(t)、右のパルス信号ｘ^right _i(t)が入力される。なお、ｋは各ＬＳＯニューロン列内で各ニューロン４０に付された番号であり、−Ｋ≦ｋ≦Ｋである。 As shown in FIG. 11, at time t, the left input terminal 41 and the right input terminal 42 of each LSO neuron 40 in each LSO neuron string are respectively connected to the corresponding frequency channel i ( The left pulse signal x ^left _i (t) of i = 1 to N) and the right pulse signal x ^right _i (t) are input. Note that k is a number assigned to each neuron 40 in each LSO neuron array, and −K ≦ k ≦ K.

すると、各ＬＳＯニューロン４０は、下記［数２］に従って内部電位Ｉ^LSO _ki(t)を演算し、この内部電位が所定の閾値を超えた場合にはｙ_ki(t)＝１を出力し、閾値以下である場合にはｙ_ki(t)＝０を出力する。なお、閾値は各ＬＳＯニューロン４０で共通の値とする。下記［数２］において、ｐ^left _ki(t)は左の入力信号に対する局所膜電位、ｐ^right _ki(t)は右の入力信号に対する局所膜電位であり、ｗ^left _kiは左の入力信号に対する結合重み、ｗ^right _kiは右の入力信号に対する結合重みである。また、τは減衰時定数、ｂ、α、βは定数である。 Then, each LSO neuron 40 calculates an internal potential I ^LSO _ki (t) according to the following [Equation 2], and outputs y _ki (t) = 1 when the internal potential exceeds a predetermined threshold value. If it is below the threshold, y _ki (t) = 0 is output. The threshold value is a value common to each LSO neuron 40. In [Equation 2] below, p ^left _ki (t) is the local membrane potential for the left input signal, p ^right _ki (t) is the local membrane potential for the right input signal, and w ^left _ki is for the left input signal. The coupling weight, w ^right _ki, is the coupling weight for the right input signal. Further, τ is an attenuation time constant, and b, α, and β are constants.

上記［数２］に示すように、音圧差検出モデルは、左右の入力信号に対する結合重みが徐々に変化しており、左右の音圧が略同等のときは中央部（番号−ｂからｂまでのニューロン。但し、番号０のニューロンは発火しない。）のニューロン４０しか発火せず、左側の音圧が右側の音圧よりも大きければ中央部から左側のニューロン４０まで、右側の音圧が左側の音圧よりも大きければ中央部から右側のニューロン４０まで発火し、左右の音圧差が大きいほど中央部から離れたニューロンまで発火するように構成されている。なお、結合重みを適当に定めることにより、上記のように各周波数チャンネルにおける中心のＬＳＯニューロン４０は全く発火しないようにしてもよく、また、中心のＬＳＯニューロン４０の両隣の幾つかのニューロン４０は常に発火するようにしてもよい。 As shown in the above [Equation 2], in the sound pressure difference detection model, the coupling weight with respect to the left and right input signals gradually changes, and when the left and right sound pressures are substantially equal, the central portion (from number -b to b) (However, the neuron number 0 does not fire.) If only the neuron 40 is fired and the left sound pressure is greater than the right sound pressure, the right sound pressure is from the center to the left neuron 40. If the sound pressure is larger than the sound pressure, the neuron 40 is fired from the center to the right neuron 40, and as the sound pressure difference between the left and right is larger, the neuron far from the center is fired. It should be noted that by appropriately determining the connection weight, the central LSO neuron 40 in each frequency channel may not fire at all as described above, and some neurons 40 on both sides of the central LSO neuron 40 You may make it always ignite.

上述したように各ＬＳＯニューロン列内の各ＬＳＯニューロン４０に−ＫからＫまでの番号を付すと、時刻ｔに、周波数チャンネルｉに対応するＬＳＯニューロン列からは出力パルス列（ｙ_-Ki（ｔ），…，ｙ_0i（ｔ），…，ｙ_Ki（ｔ））が出力され、音圧差検出モデルからは全体として次のようなベクトルｙ_LSO（ｔ）が音圧差情報として出力される。 As described above, when each LSO neuron 40 in each LSO neuron train is _assigned a number from −K to K, the output pulse train (y _−Ki (t)) is output from the LSO neuron train corresponding to the frequency channel i at time t. ,..., Y _0i (t),..., Y _Ki (t)) are output, and the following vector y _LSO (t) is output as sound pressure difference information as a whole from the sound pressure difference detection model.

ｙ_LSO（ｔ）＝（ｙ_-K1（ｔ），…，ｙ₀₁（ｔ），…，ｙ_K1（ｔ），
ｙ_-K2（ｔ），…，ｙ₀₂（ｔ），…，ｙ_K2（ｔ），
…，
ｙ_-KN（ｔ），…，ｙ_0N（ｔ），…，ｙ_KN（ｔ））
各ＬＳＯニューロン４０は、図９のＭＳＯニューロン２０と同様の構成において結合重みや閾値等を適当に変更することにより、ディジタル回路で実現可能である。 y _LSO (t) = (y _−K1 (t),..., y ₀₁ (t),..., y _K1 (t),
y _-K2 (t), ..., y ₀₂ (t), ..., y _K2 (t),
…,
y _-KN (t), ..., y _0N (t), ..., y _KN (t))
Each LSO neuron 40 can be realized by a digital circuit by appropriately changing the connection weight, threshold value, and the like in the same configuration as the MSO neuron 20 of FIG.

左右方向検出部１０、前後方向検出部１１、及び、８方向検出部１２は、いずれも、上記非特許文献２に記載された競合学習ニューラルネットワーク（以下、「ＣＯＮＰ」という。）から構成されている。ＣＯＮＰは、各競合学習ニューロンの閾値を調整することにより競合学習ニューロンが毎回１個だけ発火するように構成されたパルスニューラルネットワークであり、入力ベクトルの量子化を目的とするものである。ＣＯＮＰの構成を図１２に示す。ＣＯＮＰは、競合学習ニューロン群５０と制御ニューロン群６０とから構成され、競合学習ニューロン群５０は複数の競合学習ニューロン（以下、「ＣＬニューロン」ともいう。）５１から構成され、制御ニューロン群はＣＬニューロン５１が１つも発火していないときに発火する無発火検出ニューロン（以下、「ＮＦＤニューロン」ともいう。）６１とＣＬニューロン５１が複数発火しているときに発火する複数発火検出ニューロン（以下、「ＭＦＤニューロン」ともいう。）６２とから構成されている。 The left-right direction detection unit 10, the front-rear direction detection unit 11, and the 8-direction detection unit 12 are all configured by a competitive learning neural network (hereinafter referred to as “CONP”) described in Non-Patent Document 2. Yes. The CONP is a pulse neural network configured so that only one competitive learning neuron fires each time by adjusting the threshold value of each competitive learning neuron, and is intended for quantization of an input vector. The configuration of CONP is shown in FIG. The CONP is composed of a competitive learning neuron group 50 and a control neuron group 60. The competitive learning neuron group 50 is composed of a plurality of competitive learning neurons (hereinafter also referred to as “CL neurons”) 51, and the control neuron group is CL. Multiple firing detection neurons (hereinafter, referred to as “NFD neurons”) 61 and multiple firing detection neurons (hereinafter referred to as “NFD neurons”) 61 that fire when no neurons 51 are fired. It is also referred to as “MFD neuron”) 62.

ＮＦＤニューロン６１とＭＦＤニューロン６２は、それらの発火状況に応じて各ＣＬニューロン５１の閾値を一律に変化させる（実際には、各ＣＬニューロン５１の内部電位を一律に変化させる）ことで、ＣＬニューロン群５０内でＣＬニューロン５１が１個だけ発火する状況を保持するためのＰＮモデルである。ＮＦＤニューロン６１とＭＦＤニューロン６２は、ＣＬニューロン群５０内のＣＬニューロン５１の数に応じた入力端子と、出力端子とを備え、各ＣＬニューロン５１から出力されたパルス信号を各入力端子で受け取って、ＮＦＤニューロン６１は、全てのＣＬニューロン５１からの信号が「０」の場合にのみ出力端子から「１」を出力し、ＭＦＤニューロン６２は、複数のＣＬニューロン５１から信号「１」を受け取った場合にのみ出力端子から「１」を出力する。 The NFD neuron 61 and the MFD neuron 62 change the threshold value of each CL neuron 51 uniformly according to their firing status (actually, the internal potential of each CL neuron 51 is changed uniformly), so that the CL neuron This is a PN model for maintaining a situation where only one CL neuron 51 is fired in the group 50. Each of the NFD neuron 61 and the MFD neuron 62 includes an input terminal corresponding to the number of CL neurons 51 in the CL neuron group 50 and an output terminal. The pulse signal output from each CL neuron 51 is received by each input terminal. The NFD neuron 61 outputs “1” from the output terminal only when the signals from all the CL neurons 51 are “0”, and the MFD neuron 62 receives the signal “1” from the plurality of CL neurons 51. Only in this case, “1” is output from the output terminal.

各ＣＬニューロン５１は、図１３に示すように、入力パルスｘ₁（ｔ），ｘ₂（ｔ），…，ｘ_i（ｔ），…，ｘ_n（ｔ）がそれぞれ入力される入力端子５５１、５５２、…、５５ｉ、…、５５ｎと、ＮＦＤニューロン６１、ＭＦＤニューロン６２から出力されたパルス信号ｙ_nfd（ｔ）、ｙ_mfd（ｔ）がそれぞれ入力される入力端子５６、５７と、出力端子５８とを備えている。各入力端子５５ｉ（ｉ＝１〜ｎ）は２つに分岐して、一方は可変の結合重みｗ_hiを有するシナプス部５３ｉに、他方は固定の結合重み「１」を有するシナプス部５４ｉに接続されている。なお、ｈは、ＣＬニューロン群５０内で各ＣＬニューロン５１に付された番号であり、ｈ＝１〜Ｍとする。 Each CL neuron 51, as shown in FIG. 13, the input pulse _{_{x 1 (t), x 2}} (t), ..., x i (t), ..., the input terminal x _n (t) are respectively input 551 , 552, ..., 55i, ..., 55n, and input terminals 56 and 57 to which pulse signals y _nfd (t) and y _mfd (t) output from the NFD neuron 61 and the MFD neuron 62 are input, respectively, and output terminals 58. Each input terminal 55i (i = 1 to n) branches into two, one connected to the synapse unit 53i having a variable coupling weight w _hi and the other connected to the synapse unit 54i having a fixed coupling weight “1”. Has been. Note that h is a number assigned to each CL neuron 51 in the CL neuron group 50, and h = 1 to M.

ＣＯＮＰの動作について、図１４−１、１４−２に基づいて説明する。ＣＬニューロン群５０内の各ＣＬニューロン５１には、単位時間毎に、ｎ個の入力パルスからなる入力ベクトルｘ（ｔ）＝（ｘ₁（ｔ），ｘ₂（ｔ），…，ｘ_i（ｔ），…，ｘ_n（ｔ））（ｔ：時刻）が入力される（Ｓ１０１）。すると、ＮＦＤニューロン６１、ＭＦＤニューロン６２は、それぞれ、保持しておいた時刻（ｔ−１）における各ＣＬニューロン５１からの出力ｙ_h（ｔ−１）に基づいて、時刻ｔにおける出力値ｙ_nfd（ｔ）、ｙ_mfd（ｔ）を演算して、各ＣＬニューロン５１に出力する（Ｓ１０２、Ｓ１０３）。なお、ＮＦＤニューロン６１、ＭＦＤニューロン６２において、それぞれ、時刻（ｔ−１）に各ＣＬニューロン５１からの出力ｙ_h（ｔ−１）を用いて出力値ｙ_nfd（ｔ）、ｙ_mfd（ｔ）を演算して保持しておき、時刻ｔになったらｙ_nfd（ｔ）、ｙ_mfd（ｔ）を各ＣＬニューロン５１に出力するようにしてもよい。 The operation of CONP will be described based on FIGS. 14-1 and 14-2. Each CL neuron 51 in the CL neuron group 50 has an input vector x (t) = (x ₁ (t), x ₂ (t) _,. t),..., x _n (t)) (t: time) are input (S101). Then, the NFD neuron 61 and the MFD neuron 62 respectively output the output value y _{nfd at the} time t based on the output y _h (t−1) from each CL neuron 51 at the held time (t−1). (T), y _mfd (t) are calculated and output to each CL neuron 51 (S102, S103). Note that, in the NFD neuron 61 and the MFD neuron 62, output values y _nfd (t) and y _mfd (t) using the output y _h (t−1) from each CL neuron 51 at time (t−1), respectively. _{May be} calculated and held, and y _nfd (t) and y _mfd (t) may be output to each CL neuron 51 at time t.

次に、各ＣＬニューロン５１は、それぞれ、内部電位Ｉ_h（ｔ）（ｈ＝１〜Ｍ）を演算し（Ｓ１０４）（下記［数６］参照）、内部電位Ｉ_h（ｔ）が閾値ＴＨを超え、かつ、前回の発火時から不応期を経過している場合にはｙ_h（ｔ）＝１を出力し、それ以外の場合にはｙ_h（ｔ）＝０を出力する（Ｓ１０５）。 Next, each CL neuron 51 calculates an internal potential I _h (t) (h = 1 to M) (S104) (see [Expression 6] below), and the internal potential I _h (t) is a threshold TH. Is exceeded and y _h (t) = 1 is output if the refractory period has elapsed since the previous ignition, and y _h (t) = 0 is output otherwise (S105) .

そして、学習時には、「１」を出力したＣＬニューロン５１について、シナプス部５４ｉにおける局所膜電位ｐｃｗ_iを用いて結合重みｗ_iを更新するとともに（Ｓ１０６）、そのＣＬニューロン５１の周辺のＣＬニューロン５１についても同様に結合重みを更新する（Ｓ１０７）。周辺のＣＬニューロン５１（すなわち、結合重みの更新範囲）の決定方法としては、例えば、最初は全部のＣＬニューロン５１を更新範囲とし、線形的に範囲を縮小して、最後は勝者ニューロンの結合重みだけを更新するような、次第に縮小する方法がある。そして、結合重みを更新したＣＬニューロン５１について結合重みのノルム（参照ベクトルのノルム）を１に正規化する（Ｓ１０８）。すなわち、このＣＯＮＰにおいては、勝者ニューロンのみならずその周辺のニューロンも学習を行うことにより、自己組織化マップ（ＳＯＭ）のアルゴリズムを実現している。 At the time of learning, for the CL neuron 51 that has output “1”, the connection weight w _i is updated using the local membrane potential pcw _i at the synapse 54 _i (S 106), and the CL neurons 51 around the CL neuron 51 are also updated. Similarly, the connection weight is updated (S107). As a method for determining the peripheral CL neurons 51 (that is, the connection weight update range), for example, all CL neurons 51 are initially set as update ranges, the range is linearly reduced, and finally the connection weights of the winner neurons are determined. There is a way to gradually reduce, such as updating only. Then, the norm of the connection weight (norm of the reference vector) is normalized to 1 for the CL neuron 51 whose connection weight has been updated (S108). That is, in this CONP, a self-organizing map (SOM) algorithm is realized by learning not only the winner neuron but also the neighboring neurons.

一方、学習時でない場合（認識時）は、結合重みの更新は行わない。そして、結合重みの更新のための係数αを定数γ（０≦γ）を乗じることにより更新し（Ｓ１０９）、次の入力ベクトルについてステップＳ１０１〜１０８の処理を行う。 On the other hand, when it is not at the time of learning (at the time of recognition), the connection weight is not updated. Then, the coefficient α for updating the connection weight is updated by multiplying by a constant γ (0 ≦ γ) (S109), and the processing of steps S101 to S108 is performed for the next input vector.

ここで、ＣＯＮＰにおける内部電位Ｉ_h（ｔ）の演算方法について説明する。まず、引数として、時刻ｔ、減衰時定数τ、結合重みｗ、時刻ｔにおける入力信号ｘ（ｔ）の４つを持つ関数Ｆを導入し、下記［数３］のように定義する。なお、△ｔ＝１／Ｆｓ（Ｆｓ：サンプリング周波数）とする。 Here, a method of calculating the internal potential I _h (t) in CONP will be described. First, as an argument, a function F having four parameters of time t, decay time constant τ, coupling weight w, and input signal x (t) at time t is introduced and defined as [Equation 3] below. Note that Δt = 1 / Fs (Fs: sampling frequency).

すると、時刻ｔにおけるＰＮモデルの内部電位Ｉ（ｔ）は、局所膜電位ｐ_i（ｔ）（ｉ＝１〜ｎ）の総和として、下記［数４］のように記述できる。τはｐ_i（ｔ）の減衰時定数である。 Then, the internal potential I (t) of the PN model at time t can be described as the following [Equation 4] as the sum of the local membrane potentials p _i (t) (i = 1 to n). τ is the decay time constant of p _i (t).

ＰＮモデルの不応期をＲＰ、時刻ｔにおける前回発火からの経過時間をＥＴ（ｔ）とし、ＥＴ（０）＞ＲＰとすると、ＰＮモデルの出力値ｙ（ｔ）は、以下のアルゴリズムにより計算される。 If the refractory period of the PN model is RP, the elapsed time from the previous firing at time t is ET (t), and ET (0)> RP, the output value y (t) of the PN model is calculated by the following algorithm: The

ｉｆＩ（ｔ）≧ＴＨａｎｄＥＴ（ｔ）＞ＲＰ
ｔｈｅｎｙ（ｔ）＝１，ＥＴ（ｔ）＝０
ｅｌｓｅｙ（ｔ）＝０，ＥＴ（ｔ）＝ＥＴ（ｔ−△ｔ）＋△ｔ
パラメータτ、ｗ₁、ｗ₂、…、ｗ_n、ＴＨは、各ＰＮモデルにより可変の値であり、この組合せにより各ＰＮモデルの動作は決定される。 if I (t) ≧ TH and ET (t)> RP
then y (t) = 1, ET (t) = 0
else y (t) = 0, ET (t) = ET (t−Δt) + Δt
Parameters τ, w ₁ , w ₂ ,..., W _n , TH are variable values depending on each PN model, and the operation of each PN model is determined by this combination.

ここで、時刻ｔにおけるＮＦＤニューロン６１、ＭＦＤニューロン６２の出力をそれぞれｙ_nfd（ｔ）、ｙ_mfd（ｔ）、各ＣＬニューロン５１のＮＦＤニューロン６１、ＭＦＤニューロン６２に対する結合重みをそれぞれｗ_fd、−ｗ_fd（但し、ｗ_fd＞０）とすると、時刻ｔにおける番号ｈのＣＬニューロン５１の内部電位Ｉ_h（ｔ）は前述の関数Ｆを用いて下記［数５］のように記述できる。ＣＯＮＰでは、ｐ_nfd（ｔ）、ｐ_mfd（ｔ）を閾値の動的変化量として扱う（但し、閾値ＴＨを変化させる代りに、閾値ＴＨと比較する内部電位Ｉ_h（ｔ）をｐ_nfd（ｔ）、ｐ_mfd（ｔ）により調整する）ことでＣＬニューロン５１が１個だけ発火する状態を保持する。このため、減衰時定数τ_fdは時定数τに対して充分大きいものとする。 Here, the outputs of the NFD neuron 61 and the MFD neuron 62 at time t are y _nfd (t) and y _mfd (t), respectively, and the connection weights of the CL neurons 51 to the NFD neuron 61 and the MFD neuron 62 are w _fd and − _Assuming w _fd (where w _fd > 0), the internal potential I _h (t) of the CL neuron 51 of number h at time t can be described using the function F as shown in [Formula 5] below. In CONP, p _nfd (t) and p _mfd (t) are treated as dynamic variations of the threshold (however, instead of changing the threshold TH, the internal potential I _h (t) to be compared with the threshold TH is changed to p _nfd ( t) and p _mfd (t) to maintain the state in which only one CL neuron 51 is fired. For this reason, the decay time constant τ _fd is sufficiently large with respect to the time constant τ.

ところで、入力パルス列によって発生する内部電位の総量が大きく変動する場合、この変動量を吸収するために閾値の変化が生じることになり、閾値の変化が入力ベクトルの方向変化に追従できない場合がある。そこで、ＣＯＮＰでは内部電位に対して、結合重みを１に固定したシナプス部５４ｉ（ｉ＝１〜ｎ）における局所膜電位ｐｃｗ_i（ｔ）の総和を一定の比率β_pcw（但し、０≦β_pcw≦１）であらかじめ差引くことで、入力信号のノルム変動に対する内部電位の変化を抑制している。これにより上記［数５］のＩ_h（ｔ）は下記［数６］のように修正され、各ＣＬニューロン５１は［数６］に従って内部電位Ｉ_h（ｔ）を演算する。なお、ｐｃｗ_i（ｔ）＝Ｆ（ｔ，τ，１，ｘ_i（ｔ））である。 By the way, when the total amount of the internal potential generated by the input pulse train fluctuates greatly, a change in the threshold value occurs to absorb this fluctuation amount, and the change in the threshold value may not follow the change in the direction of the input vector. Therefore, in the CONP, the total sum of local membrane potentials pcw _i (t) in the synapse portions i (i = 1 to n) with the coupling weight fixed to 1 is set to a constant ratio β _pcw (where 0 ≦ β _By subtracting in advance with _pcw ≦ 1), the change in the internal potential with respect to the norm fluctuation of the input signal is suppressed. As a result, I _h (t) in the above [Equation 5] is corrected as shown in the following [Equation 6], and each CL neuron 51 calculates the internal potential I _h (t) according to [Equation 6]. Note that pcw _i (t) = F (t, τ, 1, x _i (t)).

ＣＯＮＰも簡単なディジタル回路によりハードウェア化可能であり、その例を図１５に示す。この例では、ＣＯＮＰは、それぞれＣＬニューロン５１に相当するＭ個のＣＬニューロン部５１Ｈと、ＮＦＤニューロン６１に相当する１個のＮＦＤニューロン部６１Ｈと、ＭＦＤニューロン６２に相当する１個のＭＦＤニューロン部６２Ｈとを備え、さらに、閾値変化量生成部６３、６４と内部電位抑制量生成部６５とを１個ずつ備えている。 CONP can also be implemented by hardware using a simple digital circuit, and an example is shown in FIG. In this example, CONP includes M CL neuron units 51H corresponding to CL neurons 51, one NFD neuron unit 61H corresponding to NFD neuron 61, and one MFD neuron unit corresponding to MFD neuron 62, respectively. 62H, and further includes one threshold change amount generators 63 and 64 and one internal potential suppression amount generator 65.

各ＣＬニューロン部５１Ｈは、ＣＬニューロン５１の入力端子５１１、…、５１ｎに相当するｎ個の入力端子と、それらの入力端子から入力されたｎ個の入力パルスｘ₁（ｔ），ｘ₂（ｔ），…，ｘ_n（ｔ）に対してそれぞれ重みを乗じるｎ個のＡＮＤ回路７１と、各ＡＮＤ回路７１からの出力を内部電位に加算する加算器７２と、ビットシフトと補数表現とにより内部電位を減衰して加算器７２に出力する減衰生成部７３と、加算器７２から出力された内部電位と閾値とを比較する比較器７４とを備え、比較器７４は、内部電位が閾値を超え、かつ、前回の発火時から不応期を経過している場合にはｙ_h（ｔ）＝１、それ以外の場合にはｙ_h（ｔ）＝０を出力する。なお、比較器７４には、後述するように、動的な閾値変化量としてｐ_nfd（ｔ）、ｐ_mfd（ｔ）が、内部電位の抑制量としてＳ_pcw（ｔ）が入力され、比較器７４は、これらの値で上記［数６］のように内部電位を調整してから閾値と比較する。 Each CL neuron unit 51H includes n input terminals corresponding to the input terminals 511,..., 51n of the CL neuron 51 and n input pulses x ₁ (t), x ₂ ( t),..., x _n (t) each multiplied by n AND circuits 71, an adder 72 for adding the output from each AND circuit 71 to the internal potential, and bit shift and complement expression. An attenuation generation unit 73 that attenuates the internal potential and outputs the same to the adder 72 and a comparator 74 that compares the internal potential output from the adder 72 with a threshold value are provided. If the refractory period has passed since the last firing, y _h (t) = 1 is output, and y _h (t) = 0 is output otherwise. As will be described later, the comparator 74 _receives p _nfd (t) and p _mfd (t) as dynamic threshold change amounts and S _pcw (t) as a suppression amount of the internal potential. In 74, after adjusting the internal potential with these values as in [Formula 6], it is compared with the threshold value.

ＮＦＤニューロン部６１Ｈは、Ｍ個のＣＬニューロン部５１Ｈの出力端子にそれぞれ接続されたＭ個の入力端子と、それらの入力端子から入力されたＭ個の入力パルスｙ₁（ｔ），ｙ₂（ｔ），…，ｙ_M（ｔ）に対してそれぞれ重みを乗じるＭ個のＡＮＤ回路７６と、各ＡＮＤ回路７６からの出力を内部電位に加算する加算器７７と、ビットシフトと補数表現とにより内部電位を減衰して加算器７７に出力する減衰生成部７８と、加算器７７から出力された内部電位と閾値とを比較して、内部電位が閾値を超え、かつ、前回の発火時から不応期を経過している場合には１、それ以外の場合には０を出力する比較器７９とを備え、Ｍ個の入力パルスが全て０のとき発火するように構成されている。 The NFD neuron unit 61H includes M input terminals respectively connected to the output terminals of the M CL neuron units 51H, and M input pulses y ₁ (t), y ₂ ( t),..., y _M (t) are multiplied by M AND circuits 76, an adder 77 for adding the output from each AND circuit 76 to the internal potential, and bit shift and complement expression. The attenuation generation unit 78 that attenuates the internal potential and outputs it to the adder 77 is compared with the internal potential output from the adder 77 and the threshold value, and the internal potential exceeds the threshold value and has not been detected since the previous ignition. The comparator 79 outputs 1 when the deadline has passed and 0 otherwise, and is configured to ignite when all the M input pulses are 0.

ＭＦＤニューロン部６２Ｈは、ＮＦＤニューロン部６１Ｈと同様の構成であるが、重みや閾値を変更することにより、Ｍ個の入力パルスのうち複数が１のとき発火するように構成されている。 The MFD neuron unit 62H has the same configuration as that of the NFD neuron unit 61H, but is configured to fire when a plurality of M input pulses are 1 by changing weights and thresholds.

閾値変化量生成部６３、６４は、それぞれ各ＣＬニューロン部５１ＨにおけるＮＦＤニューロン部６１Ｈからの出力に対する局所膜電位ｐ_nfd（ｔ）、ｐ_mfd（ｔ）を生成する部分であり、本来は各ＣＬニューロン部５１Ｈが共通に備える部分であるが、ＣＬニューロン部５１Ｈによって重みや減衰時定数は変わらないので、各ＣＬニューロン部５１Ｈから取り出して全体で１個としたものである。 The threshold value change amount generation units 63 and 64 are portions that generate local membrane potentials p _nfd (t) and p _mfd (t) for the output from the NFD neuron unit _61H in each CL neuron unit 51H. Although the neuron unit 51H is provided in common, the weight and the decay time constant are not changed by the CL neuron unit 51H. Therefore, the neuron unit 51H is extracted from each CL neuron unit 51H to be one unit as a whole.

閾値変化量生成部６３は、ＮＦＤニューロン部６１Ｈからの出力に対して重みｗ_fdを乗じるＡＮＤ回路８１と、ＡＮＤ回路８１からの出力を局所膜電位に加算する加算器８２と、ビットシフトと補数表現とにより局所膜電位を減衰して加算器８２に出力する減衰生成部８３とを備え、閾値の動的変化量として、加算器８２から局所膜電位ｐ_nfd（ｔ）を各ＣＬニューロン部５１Ｈの比較器７４に出力する。 The threshold value change amount generation unit 63 includes an AND circuit 81 that multiplies the output from the NFD neuron unit 61H by a weight w _fd , an adder 82 that adds the output from the AND circuit 81 to the local membrane potential, bit shift and complement An attenuation generation unit 83 that attenuates the local membrane potential according to the expression and outputs the attenuated local membrane potential to the adder 82. The CL membrane unit 51H _{receives the} local membrane potential p _nfd (t) from the adder 82 as the dynamic change amount of the threshold. Output to the comparator 74.

閾値変化量生成部６４は、閾値変化量生成部６３と同様の構成を有し、各ＣＬニューロン部５１ＨにおけるＭＦＤニューロン部６２Ｈからの出力に対する局所膜電位ｐ_mfd（ｔ）を生成して、閾値の動的変化量として、各ＣＬニューロン部５１Ｈの比較器７４に出力する。 The threshold variation generator 64 has the same configuration as the threshold variation generator 63, generates a local membrane potential p _mfd (t) for the output from the MFD neuron 62H in each CL neuron 51H, Is output to the comparator 74 of each CL neuron unit 51H.

内部電位抑制量生成部６５は、上述した入力信号のノルム変動に対する内部電位の変化の抑制量Ｓ_pcw（ｔ）を生成する部分であり、本来は、各ＣＬニューロン部５１Ｈにおいて、固定重み１のシナプス部５４ｉにおける局所膜電位ｐｃｗ_i（ｔ）の総和に一定の比率β_pcwを乗じて生成するものであるが、ＣＬニューロン部５１Ｈによって重みや減衰時定数は変わらないので、各ＣＬニューロン部５１Ｈから取り出して全体で１個としたものである。内部電位抑制量生成部６５は、ｎ個の入力パルスに対してそれぞれ固定の重みを乗じるＡＮＤ回路８６と、ＡＮＤ回路８６からの出力を内部電位に加算する加算器８７と、ビットシフトと補数表現とにより内部電位を減衰して加算器８７に出力する減衰生成部８８とを備え、内部電位を抑制量Ｓ_pcw（ｔ）として、加算器８７から各ＣＬニューロン部５１Ｈの比較器７４に出力する。なお、各ＡＮＤ回路８６における重みを上記比率β_pcwとすることで、比率β_pcwの乗算を実現している。 The internal potential suppression amount generation unit 65 is a portion that generates the suppression amount S _pcw (t) of the change in internal potential with respect to the norm fluctuation of the input signal described above. Originally, each CL neuron unit 51H has a fixed weight of 1 The total sum of local membrane potentials pcw _i (t) in the synapse part 54i is generated by multiplying by a constant ratio β _pcw , but the weight and the decay time constant are not changed by the CL neuron part 51H, so each CL neuron part 51H It is taken out from the whole to make one. The internal potential suppression amount generation unit 65 includes an AND circuit 86 that multiplies each of n input pulses by a fixed weight, an adder 87 that adds the output from the AND circuit 86 to the internal potential, bit shift, and complement expression. And an attenuation generation unit 88 that attenuates the internal potential and outputs it to the adder 87, and outputs the internal potential as a suppression amount S _pcw (t) from the adder 87 to the comparator 74 of each CL neuron unit 51H. . Note that multiplication by the ratio β _pcw is realized by setting the weight in each AND circuit 86 to the ratio β _pcw .

なお、図１５に示すＣＯＮＰのハードウェア構成例では、学習機構（各ＣＬニューロン部５１Ｈにおける重みの更新機構）は搭載されていない。これは、学習は後述するようなソフトウェアによるシミュレーションで行って、重みを決定しておき、その重みをハードウェア上に設定すればよいからである。勿論、学習機構のハードウェア化も可能であるが、回路構成の容易化や回路サイズの縮小のためには、学習をソフトウェア上で行って重みを決定する方がよい。 Note that the CONNP hardware configuration example shown in FIG. 15 does not include a learning mechanism (a weight update mechanism in each CL neuron unit 51H). This is because learning may be performed by software simulation as will be described later, weights are determined, and the weights are set on the hardware. Of course, the learning mechanism can be implemented in hardware, but in order to facilitate the circuit configuration and reduce the circuit size, it is better to perform learning on software and determine the weight.

左右方向検出部１０は、図１６に示すように、ＣＬニューロン５１を複数（ここでは１６個）有するＣＯＮＰから構成されている。１６個のＣＬニューロン５１は、番号１のものから番号１６のものまで１列に並べられており、番号が近いものほど距離が近いとする。各ＣＬニューロン５１には、時間差検出部８から出力された時間差情報（ここではベクトルｙ_MSO（ｔ））が入力される。左右方向検出部１０は、学習の結果、入力ベクトルｙ_MSO（ｔ）をその類似関係を保持したまま量子化可能となる。すなわち、左右方向検出部１０は、認識時には、互いに類似度の高いベクトルが入力されたときは互いに近いＣＬニューロン５１が発火し、互いに類似度の低いベクトルが入力されたときは互いに遠いＣＬニューロン５１が発火することとなる。これにより、認識時には、左右方向検出部１０からは、音源の左右方向における方向情報が、どのＣＬニューロン５１が発火するかで示されることとなる。 As shown in FIG. 16, the left-right direction detection unit 10 includes a CONP having a plurality (16 in this case) of CL neurons 51. The 16 CL neurons 51 are arranged in a line from number 1 to number 16, and the closer the number, the closer the distance. Each CL neuron 51 receives time difference information (here, vector y _MSO (t)) output from the time difference detection unit 8. As a result of learning, the left-right direction detection unit 10 can quantize the input vector y _MSO (t) while maintaining the similarity relationship. That is, at the time of recognition, the left and right direction detection unit 10 fires CL neurons 51 that are close to each other when vectors having a high degree of similarity are input, and CL neurons 51 that are far from each other when vectors having a low degree of similarity are input. Will be ignited. Thereby, at the time of recognition, the direction information in the left-right direction of the sound source is indicated from the left-right direction detection unit 10 according to which CL neuron 51 fires.

前後方向検出部１１も、図１６に示すように、左右方向検出部１０と同様に１列に並べられた１６個のＣＬニューロン５１を有するＣＯＮＰから構成され、各ＣＬニューロン５１には、音圧差検出部９から出力された音圧差情報（ここではベクトルｙ_LSO（ｔ））が入力される。前後方向検出部１１は、左右方向検出部１０と同様に、学習の結果、入力ベクトルｙ_LSO（ｔ）をその類似関係を保持したまま量子化可能となり、認識時には、音源の前後方向における方向情報が、どのＣＬニューロン５１が発火するかで示されることとなる。 As shown in FIG. 16, the front-rear direction detection unit 11 is also composed of a CONP having 16 CL neurons 51 arranged in a line, like the left-right direction detection unit 10, and each CL neuron 51 includes a sound pressure difference. The sound pressure difference information (here, vector y _LSO (t)) output from the detector 9 is input. As in the case of the left / right direction detection unit 10, the front / rear direction detection unit 11 can quantize the input vector y _LSO (t) while maintaining the similarity as a result of learning. Is indicated by which CL neuron 51 fires.

８方向検出部１２は、図１６に示すように、ＣＬニューロン５１を複数（ここでは、識別しようとする方向に応じて８個）有したＣＯＮＰから構成されている。８個のＣＬニューロン５１は、番号１のものから番号８のものまで１列に並べられており、番号が近いものほど距離が近いものとする。各ＣＬニューロン５１には、左右方向検出部１０から出力された１６個のパルスと、前後方向検出部１１から出力された１６個のパルスとからなる３２個のパルスを要素とするベクトルが入力される。８方向検出部１２は、学習の結果、入力ベクトルをその類似関係を保持したまま量子化可能となり、認識時には、８方向検出部１２からは、周囲の８方向における音源の方向情報が、どのＣＬニューロン５１が発火するかで示されることとなる。 As shown in FIG. 16, the eight-direction detection unit 12 includes a CONP having a plurality of CL neurons 51 (here, eight in accordance with the direction to be identified). The eight CL neurons 51 are arranged in a line from number 1 to number 8, and the closer the number, the closer the distance. Each CL neuron 51 is input with a vector whose elements are 32 pulses including 16 pulses output from the left-right direction detection unit 10 and 16 pulses output from the front-rear direction detection unit 11. The As a result of learning, the 8-direction detection unit 12 can quantize the input vector while maintaining the similarity, and at the time of recognition, the 8-direction detection unit 12 receives the direction information of the sound source in the surrounding 8 directions from which CL. This is indicated by whether the neuron 51 fires.

上述したようにＣＯＮＰは簡単なディジタル回路で実現可能であることから、左右方向検出部１０、前後方向検出部１１、及び、８方向検出部１２も簡単なディジタル回路で実現可能である。 Since the CONP can be realized with a simple digital circuit as described above, the left-right direction detection unit 10, the front-rear direction detection unit 11, and the 8-direction detection unit 12 can also be realized with a simple digital circuit.

以下に、音源定位装置１の本体部４をコンピュータ上にソフトウェアで実現し、シミュレーションを行った結果について説明する。実験は無響室で、スピーカである音源Ｓを前方指向性のマイクロホン２、３に対して図１７に示すように配置して行った。なお、マイクロホン２、３間の間隔を３０cm、図１７（ａ）のように置いたときのマイクロホン２、３の中間点Ｃから音源Ｓまでの距離を１００cm、図中の矢印方向を音源定位装置１にとっての前方とした。そして、音源Ｓのマイクロホン２、３に対する位置を、図１７（ａ）〜（ｈ）のように４５°ずつ変化させた各位置において、コンピュータにより生成したホワイトノイズを音源Ｓから発し、マイクロホン２、３から集音した音を本体部４に入力した。実験パラメータを表１〜５に示す。 Below, the result of having performed the simulation by realizing the main body 4 of the sound source localization apparatus 1 on a computer with software will be described. The experiment was performed in an anechoic chamber with the sound source S as a speaker arranged as shown in FIG. It should be noted that the distance between the microphones 2 and 3 is 30 cm, the distance from the midpoint C of the microphones 2 and 3 to the sound source S when placed as shown in FIG. 17A is 100 cm, and the direction of the arrow in FIG. It was the front for 1. Then, the white noise generated by the computer is emitted from the sound source S at each position where the position of the sound source S with respect to the microphones 2 and 3 is changed by 45 ° as shown in FIGS. The sound collected from 3 was input to the main unit 4. Experimental parameters are shown in Tables 1-5.

また、音源を０°〜３１５°の各位置においたときの時間差検出部８の出力結果を図１８−１〜１８−８に、音圧差検出部９の出力結果を図１９−１〜１９−８に示す。これらの出力結果において各マスの濃淡はニューロンの発火頻度を表す。 Further, the output results of the time difference detection unit 8 when the sound source is placed at each position of 0 ° to 315 ° are shown in FIGS. 18-1 to 18-8, and the output results of the sound pressure difference detection unit 9 are shown in FIGS. It is shown in FIG. In these output results, the shade of each square represents the firing frequency of neurons.

なお、左右方向検出部１０及び前後方向検出部１１における学習は、図１４−２で示したようなＳＯＭに基づく教師なし学習を行い、８方向検出部１２における学習は、一般的な教師あり学習であるＬＶＱに基づく学習を行った。すなわち、８方向検出部１２においては、番号１〜８のＣＬニューロン５１をそれぞれ０°〜３１５°の方向を示すＣＬニューロン５１と決め、データを入力した場合に発火したＣＬニューロン５１が正しければ（例えば、０°のデータを入力した場合に発火したＣＬニューロン５１が番号１であれば）、そのＣＬニューロン５１の参照ベクトルを入力ベクトルに近づけ、間違っていればそのＣＬニューロン５１の参照ベクトルを入力ベクトルから遠ざける学習を行った。学習は勝者ニューロンのみが行うものとした。 The learning in the left-right direction detection unit 10 and the front-rear direction detection unit 11 performs unsupervised learning based on the SOM as shown in FIG. 14-2, and the learning in the 8-direction detection unit 12 is general supervised learning. Learning based on LVQ was performed. That is, in the 8-direction detection unit 12, the CL neurons 51 of numbers 1 to 8 are determined as the CL neurons 51 indicating directions of 0 ° to 315 °, respectively, and if the CL neurons 51 fired when data is input are correct ( For example, if the CL neuron 51 fired when data of 0 ° is input is number 1), the reference vector of the CL neuron 51 is brought close to the input vector, and if it is incorrect, the reference vector of the CL neuron 51 is input. We learned to keep away from the vector. Learning was performed only by the winner neuron.

学習後、図１７（ａ）〜（ｈ）の各位置において音源Ｓからホワイトノイズを発し、音源定位装置１に認識を行わせたときの左右方向検出部１０、前後方向検出部１１、８方向検出部１２からの出力結果を、それぞれ、表６、７、８に示す。 After learning, white noise is emitted from the sound source S at each position in FIGS. 17A to 17H, and the left / right direction detection unit 10 and the front / rear direction detection units 11 and 8 when the sound source localization apparatus 1 performs recognition are used. The output results from the detection unit 12 are shown in Tables 6, 7, and 8, respectively.

表６〜８は、各方向から入力信号（ホワイトノイズ）をある時間発し続けた場合の各ＣＬニューロン５１の発火率を示している。なお、表６、７によれば、左右方向検出部１０と前後方向検出部１１のいずれか一方の出力のみで全周方向における識別が可能に見えるが、これは人工的に生成されたホワイトノイズを入力音に用いたからであって、実際の音ではいずれか一方の出力のみでは識別は困難である。 Tables 6 to 8 show the firing rate of each CL neuron 51 when an input signal (white noise) is continuously emitted from each direction for a certain period of time. According to Tables 6 and 7, although it seems that identification in the entire circumferential direction is possible only with the output of either the left-right direction detection unit 10 or the front-rear direction detection unit 11, this is an artificially generated white noise Is used as an input sound, and in an actual sound, it is difficult to identify only one of the outputs.

表８においてNo.１〜８は８方向検出部１２のＣＬニューロン５１の番号である。例えば０°の方向（図１７（ａ）に示す位置）から入力信号を発した場合、ＣＬニューロン５１の発火率はNo.１が99.4％、No.２〜７が0.0％、No.８が0.6％である。同様に、４５°の方向（図１７（ｂ）に示す位置）の場合には、No.２の発火率が86.1％、９０°の方向（図１７（ｃ）に示す位置）の場合には、No.３の発火率が92.6％である等、８方向検出部１２では、入力信号の方向に応じたＣＬニューロン５１の発火頻度が最高となっていることが分かり、周囲の８方向におけるいずれの方向から入力信号が来たかが、ＣＬニューロン５１の発火により識別できることが分かる。 In Table 8, Nos. 1 to 8 are the numbers of the CL neurons 51 of the eight-direction detection unit 12. For example, when an input signal is emitted from the direction of 0 ° (position shown in FIG. 17A), the firing rate of the CL neuron 51 is 99.4% for No. 1, 0.0% for No. 2 to 7, and No. 8 for No. 8. 0.6%. Similarly, in the case of 45 ° direction (position shown in FIG. 17B), the firing rate of No. 2 is 86.1%, and in the case of 90 ° direction (position shown in FIG. 17C). It can be seen that the firing rate of the CL neuron 51 corresponding to the direction of the input signal is the highest in the 8-direction detection unit 12 such that the firing rate of No. 3 is 92.6%. It can be seen from the firing of the CL neuron 51 whether the input signal has come from the direction of.

以上述べたように、音源定位装置１は、時間差検出部８が音の時間差の検出を行い、音圧差検出部９が音圧差の検出を行い、左右方向検出部１０が時間差情報のベクトル量子化を行って左右方向における方向情報として出力し、前後方向検出部１１が音圧差情報のベクトル量子化を行って前後方向における方向情報として出力し、８方向検出部１２が左右方向及び前後方向における方向情報のベクトル量子化を行って周囲の８方向における方向情報として出力する。これらの検出はＰＮモデルで行われ、ベクトル量子化はＰＮモデルからなるＣＯＮＰにより行われる。ＰＮモデルは上述したように簡単なディジタル回路で実現可能であるため、時間差検出部８、音圧差検出部９、左右方向検出部１０、前後方向検出部１１、及び、８方向検出部１２も簡単なディジタル回路で実現可能であり、ＦＰＧＡへの搭載も容易である。したがって、音源定位装置１はハードウェア実装上有利である。そして、時間差検出部８等をディジタル回路で実現すれば、各ＰＮモデルにおける演算はディジタル回路上で並列的に実行されることとなるため、実用的な演算速度を実現可能である。 As described above, in the sound source localization apparatus 1, the time difference detection unit 8 detects the time difference of the sound, the sound pressure difference detection unit 9 detects the sound pressure difference, and the left / right direction detection unit 10 performs vector quantization of the time difference information. Are output as direction information in the left-right direction, the front-rear direction detection unit 11 performs vector quantization of the sound pressure difference information and outputs it as direction information in the front-rear direction, and the 8-direction detection unit 12 is a direction in the left-right direction and the front-rear direction. Vector quantization of the information is performed and output as direction information in the surrounding eight directions. These detections are performed using a PN model, and vector quantization is performed using a CONP including a PN model. Since the PN model can be realized by a simple digital circuit as described above, the time difference detection unit 8, the sound pressure difference detection unit 9, the left / right direction detection unit 10, the front / rear direction detection unit 11, and the eight direction detection unit 12 are also simple. It can be realized with a simple digital circuit and can be easily mounted on an FPGA. Therefore, the sound source localization apparatus 1 is advantageous in terms of hardware implementation. If the time difference detection unit 8 or the like is realized by a digital circuit, the calculation in each PN model is executed in parallel on the digital circuit, so that a practical calculation speed can be realized.

なお、音源定位装置１では、８方向検出部１２を設けて、左右方向検出部１０及び前後方向検出部１１からの出力を８方向検出部１２に入力し、８方向検出部１２から周囲の複数方向における音源の方向情報を出力するようにしたが、８方向検出部１２を設けるか否かは任意である。例えば８方向検出部１２を設けずに、左右方向検出部１０から出力された方向情報に基づいて左右方向における方向を推定し、前後方向検出部１１から出力された方向情報に基づいて前後方向における方向を推定して、それらの推定結果をそのまま表示装置５に出力して表示するようにしてもよい。但し、８方向検出部１２のような周囲方向検出手段を設ければ、音源の方向識別が容易である。 In the sound source localization apparatus 1, an 8-direction detection unit 12 is provided, and outputs from the left-right direction detection unit 10 and the front-rear direction detection unit 11 are input to the 8-direction detection unit 12. Although the direction information of the sound source in the direction is output, whether or not the eight-direction detection unit 12 is provided is arbitrary. For example, without providing the 8-direction detection unit 12, the direction in the left-right direction is estimated based on the direction information output from the left-right direction detection unit 10, and in the front-rear direction based on the direction information output from the front-rear direction detection unit 11. The direction may be estimated, and those estimation results may be directly output to the display device 5 and displayed. However, if a surrounding direction detection unit such as the 8-direction detection unit 12 is provided, the direction of the sound source can be easily identified.

ＰＮモデルの模式図である。It is a schematic diagram of a PN model. ＰＮモデルをディジタル回路で構成した例である。This is an example in which the PN model is configured by a digital circuit. 従来の音源定位の方法を説明するための図である。It is a figure for demonstrating the method of the conventional sound source localization. 本発明の一実施形態に係る音源定位装置の平面図である。It is a top view of the sound source localization apparatus which concerns on one Embodiment of this invention. 同音源定位装置の構成を示すブロック図である。It is a block diagram which shows the structure of the sound source localization apparatus. 入力信号処理部の構成を示すブロック図である。It is a block diagram which shows the structure of an input signal processing part. 時間差検出モデルの模式図である。It is a schematic diagram of a time difference detection model. ＭＳＯニューロン列の構成を示す図である。It is a figure which shows the structure of a MSO neuron row | line | column. 時間差検出部をディジタル回路で構成した例であり、（ａ）は１クロックの前半の動作を、（ｂ）は後半の動作を説明するための図である。It is the example which comprised the time difference detection part with the digital circuit, (a) is the figure for demonstrating operation | movement of the first half of 1 clock, (b) is operation | movement for the latter half. 音圧差検出モデルの模式図である。It is a schematic diagram of a sound pressure difference detection model. ＬＳＯニューロン列の構成を示す図である。It is a figure which shows the structure of a LSO neuron row | line | column. ＣＯＮＰの模式図である。It is a schematic diagram of CONP. ＣＯＮＰにおけるＣＬニューロンの模式図である。It is a schematic diagram of CL neuron in CONP. ＣＯＮＰの動作を示すフローチャートである。It is a flowchart which shows the operation | movement of CONP. ＣＯＮＰの動作を示すフローチャートである。It is a flowchart which shows the operation | movement of CONP. ＣＯＮＰをディジタル回路で構成した例である。This is an example in which CONP is configured by a digital circuit. 時間差検出部、音圧差検出部、左右方向検出部、前後方向検出部、及び、８方向検出部の模式図である。It is a schematic diagram of a time difference detection part, a sound pressure difference detection part, a left-right direction detection part, a front-back direction detection part, and an 8-direction detection part. 実験における音源の位置を示す図である。It is a figure which shows the position of the sound source in experiment. 音源を０°の位置に置いた場合の時間差検出部の出力を示す図である。It is a figure which shows the output of the time difference detection part at the time of putting a sound source in the 0 degree position. 音源を４５°の位置に置いた場合の時間差検出部の出力を示す図である。It is a figure which shows the output of the time difference detection part at the time of putting a sound source in the 45 degree position. 音源を９０°の位置に置いた場合の時間差検出部の出力を示す図である。It is a figure which shows the output of the time difference detection part at the time of putting a sound source in the 90-degree position. 音源を１３５°の位置に置いた場合の時間差検出部の出力を示す図である。It is a figure which shows the output of the time difference detection part at the time of putting a sound source in the position of 135 degrees. 音源を１８０°の位置に置いた場合の時間差検出部の出力を示す図である。It is a figure which shows the output of the time difference detection part at the time of putting a sound source in the position of 180 degrees. 音源を２２５°の位置に置いた場合の時間差検出部の出力を示す図である。It is a figure which shows the output of the time difference detection part at the time of putting a sound source in the position of 225 degrees. 音源を２７０°の位置に置いた場合の時間差検出部の出力を示す図である。It is a figure which shows the output of the time difference detection part at the time of putting a sound source in the position of 270 degrees. 音源を３１５°の位置に置いた場合の時間差検出部の出力を示す図である。It is a figure which shows the output of the time difference detection part at the time of putting a sound source in the position of 315 degrees. 音源を０°の位置に置いた場合の音圧差検出部の出力を示す図である。It is a figure which shows the output of the sound pressure difference detection part at the time of putting a sound source in the 0 degree position. 音源を４５°の位置に置いた場合の音圧差検出部の出力を示す図である。It is a figure which shows the output of the sound pressure difference detection part at the time of putting a sound source in the 45-degree position. 音源を９０°の位置に置いた場合の音圧差検出部の出力を示す図である。It is a figure which shows the output of the sound pressure difference detection part at the time of putting a sound source in the 90 degree position. 音源を１３５°の位置に置いた場合の音圧差検出部の出力を示す図である。It is a figure which shows the output of the sound pressure difference detection part at the time of putting a sound source in the position of 135 degrees. 音源を１８０°の位置に置いた場合の音圧差検出部の出力を示す図である。It is a figure which shows the output of the sound pressure difference detection part at the time of putting a sound source in the position of 180 degrees. 音源を２２５°の位置に置いた場合の音圧差検出部の出力を示す図である。It is a figure which shows the output of the sound pressure difference detection part at the time of putting a sound source in the position of 225 degrees. 音源を２７０°の位置に置いた場合の音圧差検出部の出力を示す図である。It is a figure which shows the output of the sound pressure difference detection part at the time of putting a sound source in the position of 270 degrees. 音源を３１５°の位置に置いた場合の音圧差検出部の出力を示す図である。It is a figure which shows the output of the sound pressure difference detection part at the time of putting a sound source in the position of 315 degrees.

Explanation of symbols

１…音源定位装置
２、３…マイクロホン
８…時間差検出部
９…音圧差検出部
１０…左右方向検出部
１１…前後方向検出部
１２…８方向検出部 DESCRIPTION OF SYMBOLS 1 ... Sound source localization apparatus 2, 3 ... Microphone 8 ... Time difference detection part 9 ... Sound pressure difference detection part 10 ... Left-right direction detection part 11 ... Front-back direction detection part 12 ... 8 direction detection part

Claims

Two microphones each having front directivity, spaced apart from each other on the left and right, one facing forward and the other facing backward;
Time difference detection means for detecting time difference information of the sound collected by each microphone using a pulse neuron model;
Sound pressure difference detection means for detecting the sound pressure difference information of the sound collected by each microphone using a pulse neuron model;
Based on the time difference information of the sound detected by the time difference detection means, left and right direction detection means for detecting the direction information of the sound source in the left and right direction by a pulse neuron model,
Based on the sound pressure difference information of the sound detected by the sound pressure difference detection means, the front-rear direction detection means for detecting the direction information of the sound source in the front-rear direction by a pulse neuron model;
A sound source localization apparatus comprising:

Based on the direction information of the sound source in the left-right direction detected by the left-right direction detection unit and the direction information of the sound source in the front-rear direction detected by the front-rear direction detection unit, the direction information of the sound source in a plurality of surrounding directions is pulsed 2. The sound source localization apparatus according to claim 1, further comprising a surrounding direction detection means for detecting by a neuron model.