JP4982743B2 - Sound source localization / identification device - Google Patents
Sound source localization / identification device Download PDFInfo
- Publication number
- JP4982743B2 JP4982743B2 JP2006260853A JP2006260853A JP4982743B2 JP 4982743 B2 JP4982743 B2 JP 4982743B2 JP 2006260853 A JP2006260853 A JP 2006260853A JP 2006260853 A JP2006260853 A JP 2006260853A JP 4982743 B2 JP4982743 B2 JP 4982743B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse neuron
- input
- neuron model
- sound source
- output terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、音源定位と音源同定とを行う装置（以下、「音源定位・同定装置」と言う）に関し、特に、パルスニューロンモデルを用いた音源定位・同定装置に関する。 The present invention relates to an apparatus for performing sound source localization and sound source identification (hereinafter referred to as “sound source localization / identification apparatus”), and more particularly to a sound source localization / identification apparatus using a pulse neuron model.
音による周辺環境把握の基本機能は、音源方向を識別する音源定位と、音源種類を識別する音源認識（音源同定）であり、ニューラルネットワークを用いた音源認識装置（音源同定装置）には、下記非特許文献１、非特許文献２、特許文献１に記載されたものがある。また、ニューラルネットワークを用いた音源定位装置には、下記非特許文献３、非特許文献４、非特許文献５に記載されたものがある。さらに、音源定位装置の時間差検出機構を音源認識装置の前処理機構として用いるものもとして、下記非特許文献６に記載されたものがある。 The basic functions for grasping the surrounding environment by sound are sound source localization for identifying the sound source direction and sound source recognition (sound source identification) for identifying the type of sound source. The sound source recognition device (sound source identification device) using a neural network includes the following: There are those described in Non-Patent Document 1, Non-Patent Document 2, and Patent Document 1. Further, sound source localization devices using a neural network include those described in Non-Patent Document 3, Non-Patent Document 4, and Non-Patent Document 5 below. Further, there is a device described in Non-Patent Document 6 below, which uses a time difference detection mechanism of a sound source localization device as a preprocessing mechanism of a sound source recognition device.
なお、出願人による音源定位のための時間差検出器についての出願に、下記特許文献２がある。また、関連する文献として下記非特許文献７、８、９がある。
ところで、音源定位装置及び音源同定装置を例えば居宅内に設置して、居宅内で発生する様々な音の方向と種類とを識別させたい場合には、音源定位装置及び音源同定装置を１つの装置とすることが望ましいが、音源定位と音源同定の２つの機能を１つの装置に実装することは容易ではないという問題があった。 By the way, when the sound source localization device and the sound source identification device are installed in, for example, a home and it is desired to identify the direction and type of various sounds generated in the home, the sound source localization device and the sound source identification device are combined into one device. However, there is a problem that it is not easy to implement two functions of sound source localization and sound source identification in one device.
また、コンピュータ上のソフトウェアでこれらの機能を実現しようとすると、膨大な演算をＣＰＵにおいて逐次的に行うこととなるため、実行速度が著しく低下し、実用的な演算速度を実現できないという問題があった。 In addition, if these functions are realized by software on a computer, a huge amount of operations are sequentially performed in the CPU, so that the execution speed is remarkably reduced, and a practical calculation speed cannot be realized. It was.
この発明は、上述した問題を解決するものであり、音源定位と音源同定の２つの機能の実装を容易化するとともに、実用的な演算速度を実現可能な音源定位・同定装置を提供することを目的とする。 The present invention solves the above-described problems, and provides a sound source localization / identification device that facilitates the implementation of two functions of sound source localization and sound source identification and can realize a practical calculation speed. Objective.
本発明の音源定位・同定装置は、左右のマイクロフォンと、左の前記マイクロフォンに接続されて左の前記マイクロフォンから入力された左の入力信号を周波数成分毎に信号強度に応じたパルス頻度を持つパルス列（以下、「左信号」という。）に変換する左の入力信号処理部と、右の前記マイクロフォンに接続されて右の前記マイクロフォンから入力された右の入力信号を周波数成分毎に信号強度に応じたパルス頻度を持つパルス列（以下、「右信号」という。）に変換する右の入力信号処理部と、左右の前記入力信号処理部の両方に接続されて音源の方向を識別する音源定位部と、左右の前記入力信号処理部の少なくとも一方に接続されて音源の種類を識別する音源同定部とを備え、
前記音源定位部は、時間差特徴検出部と、前記時間差特徴検出部に接続された音源定位用抽出結果マッピング部とを備え、
前記音源同定部は、音源同定用周波数パターン検出部と、前記音源同定用周波数パターン検出部に接続された音源同定用検出パターンマッピング部とを備え、
前記時間差特徴検出部は、周波数成分毎に、それぞれ２つの入力端子と１つの出力端子とを有して両方の入力端子から同時に信号が入力されたときのみ発火するように構成された時間差検出用パルスニューロンモデルの列と、左信号用の時間遅れ素子の列と、右信号用の時間遅れ素子の列とを備えて、前記左信号用の時間遅れ素子の列を経由させることにより前記時間差検出用パルスニューロンモデルの列の一方の端から順に左信号を入力するとともに、前記右信号用の時間遅れ素子の列を経由させることにより前記時間差検出用パルスニューロンモデルの列の他方の端から順に右信号を入力することにより、入力信号間の時間差によって変化する特異パターンを出力するように構成され、
前記音源定位用抽出結果マッピング部は、
それぞれ複数の入力端子と１つの出力端子とを有する複数の第１競合学習パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第１競合学習パルスニューロンモデルの出力端子に接続されて前記第１競合学習パルスニューロンモデルが１つも発火していないときに発火するように構成された第１無発火検出パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第１競合学習パルスニューロンモデルの出力端子に接続されて前記第１競合学習パルスニューロンモデルが２つ以上発火しているときに発火するように構成された第１複数発火検出パルスニューロンモデルとを備え、前記各時間差検出用パルスニューロンモデルの出力端子、前記第１無発火検出パルスニューロンモデルの出力端子、及び、前記第１複数発火検出パルスニューロンモデルの出力端子が、前記各第１競合学習パルスニューロンモデルの入力端子に接続された第１ニューラルネットワーク、
から構成されて、認識時に前記時間差特徴検出部から入力された特異パターンを代表する参照ベクトルを持つ前記第１競合学習パルスニューロンモデルが発火するように構成され、
前記音源同定用周波数パターン検出部は、
それぞれ複数の入力端子と１つの出力端子とを有する複数の第２競合学習パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第２競合学習パルスニューロンモデルの出力端子に接続されて前記第２競合学習パルスニューロンモデルが１つも発火していないときに発火するように構成された第２無発火検出パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第２競合学習パルスニューロンモデルの出力端子に接続されて前記第２競合学習パルスニューロンモデルが２つ以上発火しているときに発火するように構成された第２複数発火検出パルスニューロンモデルとを備え、前記音源同定部に接続されている前記入力信号処理部の周波数成分毎の出力端子、前記第２無発火検出パルスニューロンモデルの出力端子、及び、前記第２複数発火検出パルスニューロンモデルの出力端子が、それぞれ前記各第２競合学習パルスニューロンモデルの入力端子に接続された第２ニューラルネットワーク、
から構成されて、認識時に前記入力信号処理部から入力された入力信号に存在する周波数パターンを代表する参照ベクトルを持つ前記第２競合学習パルスニューロンモデルが発火するように構成され、
前記音源同定用検出パターンマッピング部は、
それぞれ複数の入力端子と１つの出力端子とを有する複数の第３競合学習パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第３競合学習パルスニューロンモデルの出力端子に接続されて前記第３競合学習パルスニューロンモデルが１つも発火していないときに発火するように構成された第３無発火検出パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第３競合学習パルスニューロンモデルの出力端子に接続されて前記第３競合学習パルスニューロンモデルが２つ以上発火しているときに発火するように構成された第３複数発火検出パルスニューロンモデルとを備え、前記各第２競合学習パルスニューロンモデルの出力端子、前記第３無発火検出パルスニューロンモデルの出力端子、及び、前記第３複数発火検出パルスニューロンモデルの出力端子が、それぞれ前記各第３競合学習パルスニューロンモデルの入力端子に接続された第３ニューラルネットワーク、
から構成されて、認識時に前記音源同定用周波数パターン検出部から入力された発火パターンを代表する参照ベクトルを持つ前記第３競合学習パルスニューロンモデルが発火するように構成され、
前記各時間差検出用パルスニューロンモデル、前記各第１競合学習パルスニューロンモデル、前記第１無発火検出パルスニューロンモデル、前記第１複数発火検出パルスニューロンモデル、前記各第２競合学習パルスニューロンモデル、前記第２無発火検出パルスニューロンモデル、前記第２複数発火検出パルスニューロンモデル、前記各第３競合学習パルスニューロンモデル、前記第３無発火検出パルスニューロンモデル、及び、前記第３複数発火検出パルスニューロンモデルは、それぞれ、保持している内部電位値に各入力端子からの入力値と結合重みとの乗算値を加算することにより内部電位値を計算して保持し直す部分と、内部電位値をビットシフトと減算とにより減衰する部分と、内部電位値と閾値とを比較して比較結果に応じて出力パルスを出力する部分とを備えたディジタル回路により構成されていることを特徴とする。
The sound source localization / identification device according to the present invention includes a left and right microphone and a pulse train having a pulse frequency corresponding to the signal intensity for each frequency component of a left input signal connected to the left microphone and input from the left microphone. (Hereinafter, referred to as “left signal”) and the right input signal connected to the right microphone and input from the right microphone according to the signal strength for each frequency component. A right input signal processing unit that converts a pulse train having a pulse frequency (hereinafter referred to as “right signal”), and a sound source localization unit that is connected to both the left and right input signal processing units and identifies the direction of the sound source; A sound source identification unit connected to at least one of the left and right input signal processing units to identify the type of sound source,
The sound source localization unit includes a time difference feature detection unit, and a sound source localization extraction result mapping unit connected to the time difference feature detection unit,
The sound source identification unit includes a sound source identification frequency pattern detection unit, and a sound source identification detection pattern mapping unit connected to the sound source identification frequency pattern detection unit,
The time difference feature detection unit has two input terminals and one output terminal for each frequency component, and is configured to fire only when signals are simultaneously input from both input terminals. Detecting the time difference by passing through a column of time delay elements for the left signal, comprising a column of pulse neuron models, a column of time delay elements for the left signal, and a column of time delay elements for the right signal The left signal is input in order from one end of the pulse neuron model row for use, and the right signal is sequentially supplied from the other end of the pulse neuron model row for time difference detection by passing through the row of time delay elements for the right signal. By inputting the signal, it is configured to output a singular pattern that changes due to the time difference between the input signals,
The extraction result mapping unit for sound source localization is
A plurality of first competitive learning pulse neuron models each having a plurality of input terminals and one output terminal, and a plurality of input terminals and one output terminal, each input terminal of the first competitive learning pulse neuron model. A first non-firing detection pulse neuron model connected to an output terminal and configured to fire when no first competitive learning pulse neuron model is fired, a plurality of input terminals, and one output terminal; And each input terminal is connected to an output terminal of the first competitive learning pulse neuron model, and is configured to fire when two or more of the first competitive learning pulse neuron models are firing. A firing detection pulse neuron model, an output terminal of each time difference detection pulse neuron model, and the first non-fire detection pulse neuron Dell output terminal, and said first output terminal of the plurality of ignition detection pulse neuron model, the first neural network connected to the input terminals of the first competitive learning pulse neuron model,
The first competitive learning pulse neuron model having a reference vector representing a singular pattern input from the time difference feature detection unit at the time of recognition is configured to fire,
The sound source identification frequency pattern detection unit includes:
A plurality of second competitive learning pulse neuron models each having a plurality of input terminals and one output terminal, and a plurality of input terminals and one output terminal, each input terminal of the second competitive learning pulse neuron model. A second non-firing detection pulse neuron model connected to an output terminal and configured to fire when no second competitive learning pulse neuron model is fired, a plurality of input terminals, and one output terminal; Each input terminal is connected to an output terminal of the second competitive learning pulse neuron model, and is configured to fire when two or more second competitive learning pulse neuron models are fired. An output terminal for each frequency component of the input signal processing unit connected to the sound source identification unit, the second non-firing Output terminals of the detection pulse neuron model, and the second output terminal of the plurality of ignition detection pulse neuron model, a second neural network connected to the input terminal of each of the respective second competitive learning pulse neuron model,
And the second competitive learning pulse neuron model having a reference vector representing a frequency pattern present in the input signal input from the input signal processing unit at the time of recognition is ignited,
The detection pattern mapping unit for sound source identification is
A plurality of third competitive learning pulse neuron models each having a plurality of input terminals and one output terminal, and a plurality of input terminals and one output terminal, each input terminal of the third competitive learning pulse neuron model. A third non-firing detection pulse neuron model connected to an output terminal and configured to fire when no third competitive learning pulse neuron model is fired, a plurality of input terminals, and one output terminal; Each input terminal is connected to an output terminal of the third competitive learning pulse neuron model, and is configured to fire when two or more third competitive learning pulse neuron models are fired. A firing detection pulse neuron model, an output terminal of each second competitive learning pulse neuron model, and the third non-fire detection pulse neuron model Dell output terminal, and the third output terminal of the plurality of ignition detection pulse neuron model, a third neural network respectively connected the input terminals of the third competitive learning pulse neuron model,
The third competitive learning pulse neuron model having a reference vector representative of the firing pattern input from the sound source identification frequency pattern detection unit at the time of recognition is configured to fire,
Each time difference detection pulse neuron model, each first competitive learning pulse neuron model, the first non-firing detection pulse neuron model, the first multiple firing detection pulse neuron model, each second competitive learning pulse neuron model, A second firing detection pulse neuron model, the second multiple firing detection pulse neuron model, the third competitive learning pulse neuron model, the third firingless detection pulse neuron model, and the third multiple firing detection pulse neuron model The internal potential value is calculated by adding the multiplication value of the input value from each input terminal and the coupling weight to the held internal potential value, and the internal potential value is bit-shifted. Compare the part that attenuates by subtraction and the internal potential value and the threshold value according to the comparison result Characterized in that it is constituted by a digital circuit having a portion for outputting a power pulse.
本発明の音源定位・同定装置は、音源定位部と音源同定部とが、いずれも、複数のパルスニューロンモデルを備えたニューラルネットワークにより構成されており、しかも、各パルスニューロンモデルはディジタル回路により構成されているので、パルスニューロンモデルという共通の要素を大量にＦＰＧＡ等のデバイス上に実装することで実現でき、音源定位と音源同定の２つの機能の実装が容易である。そして、パルスニューロンモデルにおける演算がディジタル回路上で並列的に実行されることとなるため、実用的な演算速度を実現可能である。 In the sound source localization / identification device of the present invention, both the sound source localization unit and the sound source identification unit are configured by a neural network including a plurality of pulse neuron models, and each pulse neuron model is configured by a digital circuit. Therefore, it can be realized by mounting a large amount of a common element called a pulse neuron model on a device such as an FPGA, and two functions of sound source localization and sound source identification can be easily implemented. Since the computation in the pulse neuron model is executed in parallel on the digital circuit, a practical computation speed can be realized.
以下、本発明の一実施形態について図面に基づいて説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
音源定位・同定装置１は、図１に示すように、左右のマイクロフォン２、３と、マクロフォン２、３が接続された本体部４とを備える。本体部４は、表示部５を備える。 As shown in FIG. 1, the sound source localization / identification apparatus 1 includes left and right microphones 2 and 3 and a main body 4 to which the microphones 2 and 3 are connected. The main body unit 4 includes a display unit 5.
本体部４は、図２及び図３に示すように、マイクロフォン２、３にそれぞれ接続された左右の入力信号処理部６、７と、入力信号処理部６、７の両方に接続された音源定位部８と、入力信号処理部７に接続された音源同定部９とを備える。なお、音源同定部９は、入力信号処理部６、７の少なくとも一方に接続されていればよい。音源定位部８は、時間差特徴検出部１０と定位用ＣＯＮＰアルゴリズム部１１とを備える。音源同定部９は、前段の同定用ＣＯＮＰアルゴリズム部１２と後段の同定用ＣＯＮＰアルゴリズム部１３とを備える。なお、音源定位・同定装置１は、学習を行ってから音源の認識を行い、学習時と認識時とで動作が異なる部分があるため、図２で学習時を、図３で認識時を示している。 As shown in FIGS. 2 and 3, the main body unit 4 has a sound source localization connected to both the left and right input signal processing units 6 and 7 connected to the microphones 2 and 3 and the input signal processing units 6 and 7. And a sound source identification unit 9 connected to the input signal processing unit 7. The sound source identification unit 9 only needs to be connected to at least one of the input signal processing units 6 and 7. The sound source localization unit 8 includes a time difference feature detection unit 10 and a localization CONP algorithm unit 11. The sound source identification unit 9 includes a front-stage identification CONNP algorithm unit 12 and a rear-stage identification CONP algorithm unit 13. Note that the sound source localization / identification apparatus 1 recognizes the sound source after learning, and there are parts that operate differently during learning and during recognition. Therefore, FIG. 2 shows the learning time and FIG. 3 shows the recognition time. ing.
入力信号処理部６、７、時間差特徴検出部１０、定位用ＣＯＮＰアルゴリズム部１１、同定用ＣＯＮＰアルゴリズム部１２、及び、同定用ＣＯＮＰアルゴリズム部１３は、いずれも、複数のパルスニューロンモデル（以下、「ＰＮモデル」と言う。）により構成されたニューラルネットワークからなる。ＰＮモデルとは、入出力信号としてパルス列を用いるニューロンモデルを言う。音源定位・同定装置１では、各ＰＮモデルはディジタル回路で構成される。 Each of the input signal processing units 6 and 7, the time difference feature detection unit 10, the localization CONNP algorithm unit 11, the identification CONP algorithm unit 12, and the identification CONP algorithm unit 13 includes a plurality of pulse neuron models (hereinafter, “ It is made up of a neural network composed of “PN model”. The PN model is a neuron model that uses a pulse train as an input / output signal. In the sound source localization / identification apparatus 1, each PN model is constituted by a digital circuit.
図４に、ＰＮモデルの模式図を示す。このＰＮモデルでは、ｎ番目の入力チャンネルからパルスｉn（ｔ）＝１が到着すると、ｎ番目のシナプス部の局所膜電位ｐn（ｔ）が結合重みｗn分上昇し、その後時定数τで静止電位まで減衰する。ＰＮモデルの内部電位Ｉ（ｔ）は、その時刻の各局所膜電位の総和として表される。ＰＮモデルは、この内部電位が閾値θ以上となった時発火（すなわち、出力パルス「１」を発生）する。但し、神経細胞には発火に関する不応期ＲＰが存在するため、このＰＮモデルにおいても、ある発火からＲＰの間は内部電位が閾値を超えた場合でも発火しない。以下、ＰＮモデルを単にニューロンとも言う。 FIG. 4 shows a schematic diagram of the PN model. In this PN model, when the pulse i n (t) = 1 arrives from the n-th input channel, the local membrane potential p n (t) of the n-th synapse portion increases by the coupling weight w n , and then the time constant τ Attenuates to static potential. The internal potential I (t) of the PN model is expressed as the sum of the local membrane potentials at that time. The PN model ignites (that is, generates an output pulse “1”) when the internal potential becomes equal to or greater than the threshold θ. However, since there is a refractory period RP related to firing in nerve cells, even in this PN model, even if the internal potential exceeds a threshold value during a certain firing to RP, firing does not occur. Hereinafter, the PN model is also simply referred to as a neuron.
音源定位・同定装置１では、かかるＰＮモデルをディジタル回路で構成しＦＰＧＡ（Field Programmable Gate Array）に実装している。図５に、ＦＰＧＡにおけるＰＮモデルの実装例を示す。この実装例については、上記非特許文献８等に記載されているので、詳しい説明は省略する。この実装例によれば、減衰処理の機構に乗算器を用いないため、ディジタル回路上で実現するのに適している。 In the sound source localization / identification apparatus 1, the PN model is configured by a digital circuit and mounted on an FPGA (Field Programmable Gate Array). FIG. 5 shows an implementation example of the PN model in the FPGA. Since this mounting example is described in Non-Patent Document 8 and the like, detailed description thereof is omitted. According to this implementation example, a multiplier is not used for the attenuation processing mechanism, which is suitable for implementation on a digital circuit.
入力信号処理部６、７は、図６に示すように、入力信号をバンドパスフィルタ（ＢＰＦ）により周波数成分毎の信号に分解する蝸牛モデルと、非線形変換を行うことにより蝸牛モデルからの入力信号の正の成分だけを取り出すとともに信号強度の対数圧縮を行う有毛細胞モデルと、有毛細胞モデルからの入力信号を信号強度に比例したパルス頻度を持つパルス列に変換する蝸牛神経モデルとから構成される。すなわち、入力信号処理部６、７は、左右の入力信号の各々を、周波数成分毎に、信号強度に応じたパルス頻度を持つパルス列に変換する。 As shown in FIG. 6, the input signal processing units 6 and 7 are a cochlea model that decomposes the input signal into signals for each frequency component by a band pass filter (BPF), and an input signal from the cochlea model by performing nonlinear transformation. Hair cell model that extracts only the positive component of the signal and performs logarithmic compression of the signal intensity, and a cochlear nerve model that converts the input signal from the hair cell model into a pulse train having a pulse frequency proportional to the signal intensity. The That is, the input signal processing units 6 and 7 convert each of the left and right input signals into a pulse train having a pulse frequency corresponding to the signal intensity for each frequency component.
時間差特徴量抽出部１０は、図７に示すような抽出モデルを周波数成分毎に備えている。この抽出モデルについても、上記非特許文献５等に記載されているので、詳しい説明は省略する。この抽出モデルは、ＰＮモデルの列を備え、時間遅れ素子を用いて、ＰＮモデルの列の一方の端から順に左信号（左の入力信号から生成されたパルス列）を入力するとともに、列の他方の端から右信号（右の入力信号から生成されたパルス列）を入力する。各ＰＮモデルは、左右の信号が同時に入力されたときのみ発火するように構成されている。これにより、時間差抽出部１０は、入力信号間の時間差によって変化する特異パターンを出力する。 The time difference feature amount extraction unit 10 includes an extraction model as shown in FIG. 7 for each frequency component. Since this extraction model is also described in Non-Patent Document 5 and the like, detailed description thereof is omitted. This extraction model includes a PN model column, and inputs a left signal (a pulse train generated from the left input signal) in order from one end of the PN model column using a time delay element. The right signal (pulse train generated from the right input signal) is input from the other end. Each PN model is configured to ignite only when left and right signals are input simultaneously. Thereby, the time difference extraction part 10 outputs the peculiar pattern which changes with the time difference between input signals.
定位用ＣＯＮＰアルゴリズム部１１、同定用ＣＯＮＰアルゴリズム部１２、及び、同定用ＣＯＮＰアルゴリズム部１３は、いずれも、上記非特許文献９に記載された競合学習ニューラルネットワーク（以下、「ＣＯＮＰ」と言う。）を用いている。 The localization CONNP algorithm unit 11, the identification CONP algorithm unit 12, and the identification CONP algorithm unit 13 are all competitive learning neural networks described in Non-Patent Document 9 (hereinafter referred to as “CONP”). Is used.
ＣＯＮＰは、聴覚情報処理システムにおける多次元ベクトルの次元圧縮及び代表ベクトルを用いたパターン変動の吸収を目的とする、ＰＮモデルのみを用いたベクトル量子化ネットワークであり、Kohonenの競合学習モデルならびに自己組織化マップ（Self-Organizing Maps 以下、「ＳＯＭ」と言う。）をパルスニューラルネットワークに適用したものである。 CONP is a vector quantization network that uses only the PN model for the purpose of dimensional compression of multidimensional vectors and absorption of pattern variations using representative vectors in auditory information processing systems. An applied map (Self-Organizing Maps, hereinafter referred to as “SOM”) is applied to a pulse neural network.
従来のＳＯＭを用いた競合学習及び認識処理の動作フローを、図８に示す。この図は、Ｍ個のニューロンを有するパルスニューラルネットワークの各ニューロンに、ｎ個のチャンネルを介して、入力パルスを各要素とする入力ベクトル（ｎ次元データベクトル）ｘiが入力された場合の動作フローである。このニューラルネットワークは、入力ベクトルｘiが入力されると（Ｓ０１）、各ニューロンの評価値１／｜ｗj−ｘi｜を演算する（Ｓ０２）。なお、ｗjはニューロンの参照ベクトル（結合重みを各要素とするベクトル）である。ニューロンの評価値は、参照ベクトルｗjと入力ベクトルｘiとのユークリッド距離が近い程高くなる。次に、ニューロンのうち評価値が最大となるもの（以下、「勝者ニューロン」とも言う。）を検索し（Ｓ０３）、学習フェイズであれば、勝者ニューロンの参照ベクトルｗjが入力ベクトルｘiに近づくように結合重みを更新するとともに（Ｓ０４）、勝者ニューロンの近傍のニューロンについても同様に結合重みを更新する（Ｓ０５）。そして、評価値が最大のニューロンのラベルｊを出力する（Ｓ０６）。なお、既に学習を終えて実際に認識を行う場合、すなわち、学習フェイズでない場合は、結合重みの更新は行わない。そして、結合重みの更新（参照ベクトルの更新）のための係数を更新して、次の入力ベクトルについて、ステップＳ０１〜Ｓ０６の処理を行う（Ｓ０７）。 FIG. 8 shows an operation flow of competitive learning and recognition processing using a conventional SOM. This figure shows the operation when an input vector (n-dimensional data vector) x i having an input pulse as each element is input to each neuron of a pulse neural network having M neurons via n channels. It is a flow. When the input vector x i is input (S01), the neural network calculates an evaluation value 1 / | w j −x i | for each neuron (S02). Note that w j is a reference vector of a neuron (a vector having connection weights as elements). The evaluation value of the neuron becomes higher as the Euclidean distance between the reference vector w j and the input vector x i is closer. Next, the neuron having the maximum evaluation value (hereinafter also referred to as “winner neuron”) is searched (S03). If it is the learning phase, the reference vector w j of the winner neuron is changed to the input vector x i . The connection weights are updated so as to approach each other (S04), and the connection weights are similarly updated for neurons near the winner neuron (S05). Then, the label j of the neuron having the maximum evaluation value is output (S06). Note that when the learning has already been completed and the recognition is actually performed, that is, when the learning phase is not performed, the connection weight is not updated. Then, the coefficient for updating the connection weight (updating the reference vector) is updated, and the processes of steps S01 to S06 are performed for the next input vector (S07).
ＳＯＭアルゴリズムでは、参照ベクトルが入力ベクトルに最も近いニューロンを勝者ニューロンとし、勝者ニューロンの参照ベクトルを入力ベクトルに近づけるのみならず、勝者ニューロンの周辺のニューロンについても参照ベクトルを入力ベクトルに近づける。これにより、ＳＯＭでは、入力ベクトル群の位相関係を保持したベクトル量子化が可能となる。 In the SOM algorithm, the neuron whose reference vector is closest to the input vector is set as the winner neuron, and the reference vector of the winner neuron is brought close to the input vector, and the reference vectors of the neurons around the winner neuron are also brought close to the input vector. As a result, SOM enables vector quantization while maintaining the phase relationship of the input vector group.
図９−１〜９−３を用いて、ＳＯＭアルゴリズムについて説明する。これらの図では、薄い灰色の部分が入力空間を表し、数字が入った丸印が参照ベクトルを表す。図９−１に示すように、ＳＯＭアルゴリズムの目的は入力空間を量子化することであり、その方法としては参照ベクトルによって各部分空間の中心を表現することである。このため、図９−２に示すように、ＳＯＭアルゴリズムでは、学習時には、勝者ニューロンのみならずその周辺のニューロンについても参照ベクトルを更新することにより、参照ベクトルがその類似関係（位相関係）を保持したまま各部分空間に移動していくこととなり、学習後には、参照ベクトルが入力空間の類似度の順番に並ぶこととなる。すなわち、学習の結果、従来の競合学習では、図９−３の左図に示すように、入力ベクトルの類似関係とは無関係にベクトル量子化が行われていたが、ＳＯＭアルゴリズムでは、図９−３の右図に示すように、入力ベクトルの類似関係を保持したベクトル量子化が行われることとなる。すなわち、互いに近い入力ベクトルは、互いに近い参照ベクトルで代表され、互いに遠い入力ベクトルは、互いに遠い参照ベクトルで代表されることになる。 The SOM algorithm will be described with reference to FIGS. In these drawings, a light gray portion represents an input space, and a circle with a number represents a reference vector. As shown in FIG. 9A, the purpose of the SOM algorithm is to quantize the input space, and the method is to express the center of each subspace by a reference vector. For this reason, as shown in FIG. 9-2, in the SOM algorithm, at the time of learning, the reference vector is maintained not only for the winner neuron but also for the neighboring neurons, so that the reference vector maintains its similarity relationship (phase relationship). As a result, the reference vectors are arranged in the order of the similarity of the input space after learning. That is, as a result of learning, in conventional competitive learning, as shown in the left diagram of FIG. 9-3, vector quantization is performed regardless of the similarity of input vectors, but in the SOM algorithm, FIG. As shown in the right diagram of FIG. 3, vector quantization is performed while maintaining the similarity of input vectors. That is, input vectors that are close to each other are represented by reference vectors that are close to each other, and input vectors that are distant from each other are represented by reference vectors that are distant from each other.
ＣＯＮＰでは、かかるＳＯＭアルゴリズムにより学習を行う。但し、ＣＯＮＰでは、入力ベクトルに近いか否かを、ユークリッド距離ではなく、入力ベクトルと参照ベクトルの内積ＥＶ＝cosθ|ｗ||ｘ|（ｗ：参照ベクトル、ｘ：入力ベクトル、θ：両ベクトルのなす角）で評価し、この評価値の最も高かったニューロンを勝者ニューロンとしている。内部電位は局所膜電位の総和であり、局所膜電位の大きさは結合重みに比例し、かつ入力パルスの頻度に比例するため、入力ベクトルと参照ベクトルの内積による評価は、内部電位による評価と等価である。 In CONP, learning is performed using such an SOM algorithm. However, in CONP, whether or not it is close to the input vector is not the Euclidean distance, but the inner product EV of the input vector and the reference vector EV = cos θ | w || x | (w: reference vector, x: input vector, θ: both vectors The neuron with the highest evaluation value is defined as the winner neuron. Since the internal potential is the sum of the local membrane potentials, and the magnitude of the local membrane potential is proportional to the coupling weight and proportional to the frequency of the input pulse, the evaluation by the inner product of the input vector and the reference vector is the evaluation by the internal potential. Is equivalent.
また、ＣＯＮＰでは、評価値が最も高かったニューロンを検索するために、最も高い評価値を持ったニューロンだけが発火するように構成している。詳しくは、図１０に示すように、外部に複数個の状態検出ニューロン、すなわち、競合学習ニューロンが１つも発火していないときに発火する無発火検出ニューロン（以下、「ＮＦＤニューロン」と言う。）と、競合学習ニューロンが２つ以上発火しているときに発火する複数発火検出ニューロン（以下、「ＭＦＤニューロン」と言う。）の２つの状態検出ニューロンを設け、それらの状態検出ニューロンの発火状況に応じて競合学習ニューロンの閾値を一律に変化させることで、唯一つの競合学習ニューロンが発火する状況を保持している。なお、ＮＦＤニューロン、ＭＦＤニューロン等との区別のために必要なときは、競合学習を行うニューロンを競合学習ニューロン（Competitive Learning Neuron）と言う。 Further, in the CONP, in order to search for the neuron having the highest evaluation value, only the neuron having the highest evaluation value is fired. Specifically, as shown in FIG. 10, a plurality of state detection neurons, that is, non-firing detection neurons that fire when no competitive learning neurons are fired (hereinafter referred to as “NFD neurons”). And two state detection neurons of a plurality of firing detection neurons (hereinafter referred to as “MFD neurons”) that fire when two or more competitive learning neurons are fired. In response to this, by changing the threshold value of the competitive learning neurons uniformly, the situation in which only one competitive learning neuron fires is maintained. Note that when it is necessary to distinguish from an NFD neuron, an MFD neuron, or the like, a neuron that performs competitive learning is referred to as a competitive learning neuron.
図１１−１、１１−２に、ＣＯＮＰの動作フローを示す。ＣＯＮＰでは、ｎ個のデータパルスからなる入力ベクトルｘ（ｔ）＝（ｘ1（ｔ），ｘ2（ｔ），…，ｘi（ｔ），…，ｘn（ｔ））が、単位時間毎に入力される（Ｓ１０１）。なお、ｔは時刻である。すると、ＣＯＮＰでは、ＮＦＤニューロンの出力値ｙnfd（ｔ）を演算するとともに、ＭＦＤニューロンの出力値ｙmfd（ｔ）を演算する（Ｓ１０２、Ｓ１０３）。次に、ＣＯＮＰの有するＭ個の競合学習ニューロンの内部電位Ｉj（ｔ） （ｊ＝１，…，Ｍ）を演算し（Ｓ１０４）、内部電位Ｉj（ｔ）が閾値ＴＨを超えたニューロンについては、ｙ（ｔ）＝１を出力し、それ以外のニューロンについては、ｙ（ｔ）＝０を出力する（Ｓ１０５）。そして、「１」を出力したニューロンについて結合重みを更新するとともに（Ｓ１０６）、そのニューロンの近傍のニューロンについても結合重みを更新し（Ｓ１０７）、参照ベクトルをノルム１に正規化する（Ｓ１０８）。なお、学習フェイズでない場合は、結合重みの更新は行わない。そして、結合重みの更新のための係数を更新して、次の入力ベクトルについて、ステップＳ１０１〜１０８の処理を行う（Ｓ１０９）。 11-1 and 11-2 show the operation flow of CONP. In CONP, an input vector x (t) = (x 1 (t), x 2 (t),..., X i (t),..., X n (t)) consisting of n data pulses is a unit time. It is input every time (S101). Note that t is time. Then, in CONP, while computing an output value y nfd (t) of NFD neuron computes the output value y mfd the MFD neurons (t) (S102, S103) . Next, the internal potential I j (t) (j = 1,..., M) of M competitive learning neurons of CONP is calculated (S104), and the internal potential I j (t) exceeds the threshold value TH. Is output as y (t) = 1, and y (t) = 0 is output for other neurons (S105). Then, the connection weight is updated for the neuron that outputs “1” (S106), the connection weight is also updated for the neurons in the vicinity of the neuron (S107), and the reference vector is normalized to norm 1 (S108). If the learning phase is not set, the connection weight is not updated. Then, the coefficient for updating the connection weight is updated, and the process of steps S101 to S108 is performed for the next input vector (S109).
ＣＯＮＰにおける演算方法について説明する。まず、ＣＯＮＰにおけるＰＮモデルの動作を明確にするために、下記（数１）、（数２）により以下のように定義する。 A calculation method in CONP will be described. First, in order to clarify the operation of the PN model in CONP, it is defined as follows using (Equation 1) and (Equation 2) below.
システムをサンプリング周波数Ｆｓの離散時間系とし、△ｔ＝１／Ｆｓとする（△：デルタ）。ここで、引数として、時刻ｔ、減衰時定数τ、結合重みｗ、時刻ｔにおける入力信号ｘ（ｔ）の４つを持つ関数Ｆを導入し、下記（数１）のように定義する。 The system is a discrete time system with a sampling frequency Fs, and Δt = 1 / Fs (Δ: delta). Here, a function F having four parameters of time t, decay time constant τ, coupling weight w, and input signal x (t) at time t is introduced as an argument, and is defined as (Equation 1) below.
ｉｆ Ｉ（ｔ）≧ＴＨ ａｎｄ ＥＴ（ｔ）＞ＲＰ
ｔｈｅｎ ｙ（ｔ）＝１，ＥＴ（ｔ）＝０
ｅｌｓｅ ｙ（ｔ）＝０，ＥＴ（ｔ）＝ＥＴ（ｔ−△ｔ）＋△ｔ
パラメータτ、ｗ1、ｗ2、…、ｗn、ＴＨは、各ＰＮモデルにより可変の値であり、この組合せにより各ＰＮモデルの動作は決定される。
if I (t) ≧ TH and ET (t)> RP
then y (t) = 1, ET (t) = 0
else y (t) = 0, ET (t) = ET (t−Δt) + Δt
Parameters τ, w 1 , w 2 ,..., W n , TH are variable values depending on each PN model, and the operation of each PN model is determined by this combination.
ＣＯＮＰでは、各ニューロンにおける入力ベクトルの類似度の評価値としてニューロンの内部電位Ｉ（ｔ）を用いる。なお、上述したように、入力ベクトルと参照ベクトルの内積による評価と、内部電位による評価とは、同等である。そして、上述したように、状態検出ニューロンを用いて、最も評価値の高いニューロンのみが発火するように構成する。このように、ＣＯＮＰではネットワークにおいて発火した競合学習ニューロンを勝者ニューロンとするため、各ニューロンが発火した場合に学習を行う。学習すべき入力パターンの表現法としては、結合重みを１に固定したシナプスにおける局所膜電位ｐｃｗi（ｔ）を用いる。学習に必要な要素を加えた競合学習用パルスニューロンモデルにおいて、入力パルス列数をｎ、時刻ｔにおけるＮＦＤニューロン、ＭＦＤニューロンの出力をそれぞれｙnfd（ｔ）、ｙmfd（ｔ）、競合学習ニューロンのＮＦＤニューロン、ＭＦＤニューロンに対する結合重みをそれぞれｗfd、−ｗfd（但し、ｗfd＞０）とすると、時刻ｔにおける、Ｍ個ある競合学習ニューロンのｈ番目の競合学習ニューロンの内部電位Ｉh（ｔ）は前述の関数Ｆを用いて下記（数３）のように記述できる。なお、上述したように、ＣＯＮＰは、非特許文献９に記載された競合学習ニューラルネットワークであり、ここで説明する競合学習用パルスニューロンモデルについても非特許文献９に記載されている（同文献の図３等参照）。
In CONP, the internal potential I (t) of a neuron is used as an evaluation value of the similarity of input vectors in each neuron. As described above, the evaluation based on the inner product of the input vector and the reference vector is equivalent to the evaluation based on the internal potential. As described above, the state detection neuron is used to fire only the neuron having the highest evaluation value. In this way, in CONP, the competitive learning neuron fired in the network is set as the winner neuron, so that learning is performed when each neuron fires. As a method for expressing the input pattern to be learned, the local membrane potential pcw i (t) at the synapse where the coupling weight is fixed to 1 is used . In competitive learning pulse neuron model plus the necessary elements for the learning, n the number of the input pulse train, NFD neuron at time t, y the outputs of the MFD neuron nfd (t), y mfd ( t), competitive NFD neurons of learning neurons, each of the connection weights w fd against the MFD neurons, -w fd (However, w fd> 0) and that, at time t, h th of competitive learning neurons of the M a competitive learning neurons The internal potential I h (t) can be described as follows using the function F described above (Equation 3). Note that, as described above, CONNP is a competitive learning neural network described in Non-Patent Document 9, and the competitive learning pulse neuron model described here is also described in Non-Patent Document 9 (in the same document). (See FIG. 3 etc.)
入力パルス列によって発生する内部電位の総量が大きく変動する場合，この変動量を吸収するために閾値の変化が生じることになり、閾値の変化が入力ベクトルの方向変化に追従できない場合がある。そこで、ＣＯＮＰでは内部電位Ｉ（ｔ）に対して、ｐｃｗiの総和を一定の比率βpcw（但し、０≦βpcw≦１）であらかじめ差引くことで、入力信号のノルム変動に対する内部電位の変化を抑制している。これにより上記（数３）のＩh（ｔ）は下記（数５）のように修正される。 When the total amount of internal potential generated by the input pulse train fluctuates greatly, a change in threshold value occurs to absorb this fluctuation amount, and the change in threshold value may not follow the change in direction of the input vector. Therefore, with respect to the internal potential I (t) in CONP, pcw i a fixed ratio beta pcw sum of (where, 0 ≦ β pcw ≦ 1) in the previously subtracted that, the inner potential norm variation of the input signal The change is suppressed. As a result, I h (t) in (Equation 3) is corrected as shown in (Equation 5) below.
定位用ＣＯＮＰアルゴリズム部１１は、学習時には、時間差特徴量抽出部１０が抽出した抽出結果である特異パターンを、類似度の順にベクトル量子化する。すなわち、特異パターンをその類似関係を保持して代表できるような参照ベクトル群を作り上げる。この結果、定位用ＣＯＮＰアルゴリズム部１１では、特異パターンの類似関係を保持した参照ベクトルへのマッピングが行われるようになる。 At the time of learning, the localization CONP algorithm unit 11 vector quantizes the singular pattern extracted by the time difference feature amount extraction unit 10 in the order of similarity. That is, a reference vector group that can represent a unique pattern while maintaining its similarity is created. As a result, the localization CONP algorithm unit 11 performs mapping to a reference vector that retains a singular pattern similarity.
そして、図３に示すように、認識時には、定位用ＣＯＮＰアルゴリズム部１１は、特異パターンの参照ベクトルへのマッピングを行い、定位結果として、特異パターンを代表する参照ベクトルを持つニューロンからの発火信号を出力する。 Then, as shown in FIG. 3, at the time of recognition, the localization CONP algorithm unit 11 performs mapping of a singular pattern to a reference vector, and, as a localization result, generates a firing signal from a neuron having a reference vector representing the singular pattern. Output.
同定用ＣＯＮＰアルゴリズム部１２は、入力信号処理部７から入力された入力信号に存在する周波数パターンを検出するものであり、入力信号に存在する周波数パターンをベクトル量子化する。 The identification CONP algorithm unit 12 detects a frequency pattern present in the input signal input from the input signal processing unit 7, and vector-quantizes the frequency pattern present in the input signal.
同定用ＣＯＮＰアルゴリズム部１３は、学習時には、ＬＶＱ（Learning Vector Quantization）による教師有り学習を行う。ＬＶＱによる教師有り学習とは、第１フェイズで、ＳＯＭアルゴリズムによる学習を行い、第２フェイズでその結果にラベル付けを行うものである。教師信号としては、入力信号の音種類情報を用いる。この学習により、同定用ＣＯＮＰアルゴリズム部１３は、同定用ＣＯＮＰアルゴリズム部１２によってベクトル量子化されたパターンを、さらに音源種類毎にベクトル量子化して、音源種類を示すラベル付けを行えるようになる。 The identification CONP algorithm unit 13 performs supervised learning by LVQ (Learning Vector Quantization) during learning. In the supervised learning by LVQ, learning by the SOM algorithm is performed in the first phase, and the result is labeled in the second phase. As the teacher signal, the sound type information of the input signal is used. With this learning, the identification CONP algorithm unit 13 can further perform vector quantization on the pattern quantized by the identification CONP algorithm unit 12 for each sound source type to label the sound source type.
そして、同定用ＣＯＮＰアルゴリズム部１３は、認識時には、同定用ＣＯＮＰアルゴリズム部１２によって検出された（ベクトル量子化された）パターンを、さらに音源種類毎にベクトル量子化し、その結果に応じたラベルを同定結果として出力する。 Then, at the time of recognition, the identification CONP algorithm unit 13 further vector-quantizes the pattern (vector quantized) detected by the identification CONP algorithm unit 12 for each sound source type, and identifies a label corresponding to the result. Output as a result.
例えば、救急車の音には、それぞれ「ピー」「ポー」のように聞こえる２つの周波数パターンが存在するが、この２つの周波数パターンを別々にベクトル量子化するのが、同定用ＣＯＮＰアルゴリズム部１２であり、これらベクトル量子化された２つのパターンをまとめてベクトル量子化して「救急車」を示すラベルを出力するのが、同定用ＣＯＮＰアルゴリズム部１３である。 For example, there are two frequency patterns that sound like “pea” and “po” in the ambulance sound. The identification CONP algorithm unit 12 performs vector quantization separately on these two frequency patterns. The identification CONP algorithm unit 13 outputs the label indicating “ambulance” by vector quantization of these two vector quantized patterns.
以上のように構成することにより、音がマイクロフォン２、３を介して入力されたときに、その音源の定位と同定とを略同時に行える音源定位・同定装置１が実現できる。音源定位・同定装置１は、表示部５に定位結果と同定結果とを表示する。 With the configuration described above, the sound source localization / identification apparatus 1 that can perform localization and identification of a sound source substantially simultaneously when sound is input via the microphones 2 and 3 can be realized. The sound source localization / identification apparatus 1 displays a localization result and an identification result on the display unit 5.
なお、音源定位・同定装置１に通信部を設け、その通信部を介して、定位結果と同定結果とを例えば利用者が携帯する報知装置に送信し、その報知装置において表示等により定位結果と同定結果とを利用者に知らせることとしてもよい。 The sound source localization / identification device 1 is provided with a communication unit, and the localization result and the identification result are transmitted to, for example, a notification device carried by the user via the communication unit. It is good also as notifying a user of an identification result.
音源定位部８及び音源同定部９のＦＰＧＡへの実装例を、以下の（１）〜（７）に示す。 Examples of mounting the sound source localization unit 8 and the sound source identification unit 9 on the FPGA are shown in the following (1) to (7).
（１）実装デバイスは、Altera社製ＦＰＧＡデバイスStratixII EP2S60、実装回路最低動作周波数は、64kHzとする。 (1) The mounting device is an Altera FPGA device Stratix II EP2S60, and the mounting circuit minimum operating frequency is 64 kHz.
（２）外部インターフェイスは、USB2.0とし、入力ビット数16bit、出力ビット数13bitとする。 (2) The external interface is USB 2.0, the number of input bits is 16 bits, and the number of output bits is 13 bits.
（３）入力周波数チャンネル数は、音源定位用15チャンネル、音源同定用43チャンネルとする。 (3) The number of input frequency channels is 15 channels for sound source localization and 43 channels for sound source identification.
（４）時間差特徴量抽出部１０は、周波数チャンネル数15、１チャンネル当りのニューロン数21とする。 (4) The time difference feature quantity extraction unit 10 sets the number of frequency channels to 15 and the number of neurons to 21 per channel.
（５）定位用ＣＯＮＰアルゴリズム部（以下、「音源定位用抽出結果マッピング部」とも言う。）１１は、各競合学習ニューロンの入力チャンネル数317（状態検出ニューロンからの2入力含む）、競合学習ニューロン数7とする。 (5) The localization CONP algorithm unit (hereinafter also referred to as “sound source localization extraction result mapping unit”) 11 includes the number of input channels 317 of each competitive learning neuron (including two inputs from the state detection neuron), the competitive learning neuron The number is 7.
（６）同定用ＣＯＮＰアルゴリズム部（以下、「音源同定用周波数パターン検出部」とも言う。）１２は、各競合学習ニューロンの入力チャンネル数45（状態検出ニューロンからの2入力含む）、競合学習ニューロン数10とする。 (6) An identification CONP algorithm unit (hereinafter also referred to as a “sound source identification frequency pattern detection unit”) 12 includes the number of input channels 45 of each competitive learning neuron (including two inputs from the state detection neuron), a competitive learning neuron. The number is 10.
（７）同定用ＣＯＮＰアルゴリズム部（以下、「音源同定用検出パターンマッピング部」とも言う。）１３は、各競合学習ニューロンの入力チャンネル数12（状態検出ニューロンからの2入力含む）、競合学習ニューロン数6とする。 (7) An identification CONP algorithm unit (hereinafter also referred to as a “sound source identification detection pattern mapping unit”) 13 includes the number of input channels 12 of each competitive learning neuron (including two inputs from the state detection neuron), the competitive learning neuron The number 6 is assumed.
このように構成すれば、必要回路数（単位：ALUT）は、表１のようになる。 With this configuration, the required number of circuits (unit: ALUT) is as shown in Table 1.
表１のように、この実装例における必要回路数の総計は35,144(ALUTs)であり、一方、上記デバイスEP2S60の実装可能回路数は48,352(ALUTs)であることから、音源定位部８及び音源同定部９の全回路をＦＰＧＡ上に搭載可能であることが分かる。 As shown in Table 1, the total number of necessary circuits in this mounting example is 35,144 (ALUTs), while the number of circuits that can be mounted in the device EP2S60 is 48,352 (ALUTs). It can be seen that the entire circuit of the unit 9 can be mounted on the FPGA.
音源定位・同定装置１は、音源定位部８と音源同定部９とが、いずれも、複数のパルスニューロンモデルからなるニューラルネットワークにより構成されており、しかも、各パルスニューロンモデルはディジタル回路により構成されている。すなわち、音源定位部８と音源同定部９とは、パルスニューロンモデルという共通の要素を例えばＦＰＧＡ等のデバイス上に大量に実装することで実現できる。このため、音源定位と音源同定の２つの機能を１つの装置に実装することが容易である。そして、パルスニューロンモデルにおける演算が、ディジタル回路上で並列的に実行されることとなるため、実用的な演算速度を実現可能である。 In the sound source localization / identification apparatus 1, the sound source localization unit 8 and the sound source identification unit 9 are both configured by a neural network including a plurality of pulse neuron models, and each pulse neuron model is configured by a digital circuit. ing. That is, the sound source localization unit 8 and the sound source identification unit 9 can be realized by mounting a large amount of common elements such as a pulse neuron model on a device such as an FPGA. For this reason, it is easy to implement two functions of sound source localization and sound source identification in one device. Since operations in the pulse neuron model are executed in parallel on the digital circuit, a practical calculation speed can be realized.
１…音源定位・同定装置
８…音源定位部
９…音源同定部
1 ... Sound source localization / identification device 8 ... Sound source localization unit 9 ... Sound source identification unit
Claims (1)
前記音源定位部は、時間差特徴検出部と、前記時間差特徴検出部に接続された音源定位用抽出結果マッピング部とを備え、
前記音源同定部は、音源同定用周波数パターン検出部と、前記音源同定用周波数パターン検出部に接続された音源同定用検出パターンマッピング部とを備え、
前記時間差特徴検出部は、周波数成分毎に、それぞれ２つの入力端子と１つの出力端子とを有して両方の入力端子から同時に信号が入力されたときのみ発火するように構成された時間差検出用パルスニューロンモデルの列と、左信号用の時間遅れ素子の列と、右信号用の時間遅れ素子の列とを備えて、前記左信号用の時間遅れ素子の列を経由させることにより前記時間差検出用パルスニューロンモデルの列の一方の端から順に左信号を入力するとともに、前記右信号用の時間遅れ素子の列を経由させることにより前記時間差検出用パルスニューロンモデルの列の他方の端から順に右信号を入力することにより、入力信号間の時間差によって変化する特異パターンを出力するように構成され、
前記音源定位用抽出結果マッピング部は、
それぞれ複数の入力端子と１つの出力端子とを有する複数の第１競合学習パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第１競合学習パルスニューロンモデルの出力端子に接続されて前記第１競合学習パルスニューロンモデルが１つも発火していないときに発火するように構成された第１無発火検出パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第１競合学習パルスニューロンモデルの出力端子に接続されて前記第１競合学習パルスニューロンモデルが２つ以上発火しているときに発火するように構成された第１複数発火検出パルスニューロンモデルとを備え、前記各時間差検出用パルスニューロンモデルの出力端子、前記第１無発火検出パルスニューロンモデルの出力端子、及び、前記第１複数発火検出パルスニューロンモデルの出力端子が、前記各第１競合学習パルスニューロンモデルの入力端子に接続された第１ニューラルネットワーク、
から構成されて、認識時に前記時間差特徴検出部から入力された特異パターンを代表する参照ベクトルを持つ前記第１競合学習パルスニューロンモデルが発火するように構成され、
前記音源同定用周波数パターン検出部は、
それぞれ複数の入力端子と１つの出力端子とを有する複数の第２競合学習パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第２競合学習パルスニューロンモデルの出力端子に接続されて前記第２競合学習パルスニューロンモデルが１つも発火していないときに発火するように構成された第２無発火検出パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第２競合学習パルスニューロンモデルの出力端子に接続されて前記第２競合学習パルスニューロンモデルが２つ以上発火しているときに発火するように構成された第２複数発火検出パルスニューロンモデルとを備え、前記音源同定部に接続されている前記入力信号処理部の周波数成分毎の出力端子、前記第２無発火検出パルスニューロンモデルの出力端子、及び、前記第２複数発火検出パルスニューロンモデルの出力端子が、それぞれ前記各第２競合学習パルスニューロンモデルの入力端子に接続された第２ニューラルネットワーク、
から構成されて、認識時に前記入力信号処理部から入力された入力信号に存在する周波数パターンを代表する参照ベクトルを持つ前記第２競合学習パルスニューロンモデルが発火するように構成され、
前記音源同定用検出パターンマッピング部は、
それぞれ複数の入力端子と１つの出力端子とを有する複数の第３競合学習パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第３競合学習パルスニューロンモデルの出力端子に接続されて前記第３競合学習パルスニューロンモデルが１つも発火していないときに発火するように構成された第３無発火検出パルスニューロンモデルと、複数の入力端子と１つの出力端子とを有し各入力端子が前記第３競合学習パルスニューロンモデルの出力端子に接続されて前記第３競合学習パルスニューロンモデルが２つ以上発火しているときに発火するように構成された第３複数発火検出パルスニューロンモデルとを備え、前記各第２競合学習パルスニューロンモデルの出力端子、前記第３無発火検出パルスニューロンモデルの出力端子、及び、前記第３複数発火検出パルスニューロンモデルの出力端子が、それぞれ前記各第３競合学習パルスニューロンモデルの入力端子に接続された第３ニューラルネットワーク、
から構成されて、認識時に前記音源同定用周波数パターン検出部から入力された発火パターンを代表する参照ベクトルを持つ前記第３競合学習パルスニューロンモデルが発火するように構成され、
前記各時間差検出用パルスニューロンモデル、前記各第１競合学習パルスニューロンモデル、前記第１無発火検出パルスニューロンモデル、前記第１複数発火検出パルスニューロンモデル、前記各第２競合学習パルスニューロンモデル、前記第２無発火検出パルスニューロンモデル、前記第２複数発火検出パルスニューロンモデル、前記各第３競合学習パルスニューロンモデル、前記第３無発火検出パルスニューロンモデル、及び、前記第３複数発火検出パルスニューロンモデルは、それぞれ、保持している内部電位値に各入力端子からの入力値と結合重みとの乗算値を加算することにより内部電位値を計算して保持し直す部分と、内部電位値をビットシフトと減算とにより減衰する部分と、内部電位値と閾値とを比較して比較結果に応じて出力パルスを出力する部分とを備えたディジタル回路により構成されている
ことを特徴とする音源定位・同定装置。 Left and right microphones and a left input signal connected to the left microphone and input from the left microphone have a pulse train having a pulse frequency corresponding to the signal intensity for each frequency component (hereinafter referred to as “left signal”). A left input signal processing unit for converting to a right input signal input from the right microphone connected to the right microphone and a pulse train having a pulse frequency corresponding to the signal intensity for each frequency component (hereinafter referred to as “ Right input signal processing unit for converting to right signal), a sound source localization unit for identifying the direction of the sound source connected to both the left and right input signal processing units, and at least one of the left and right input signal processing units A sound source identification unit connected to one side for identifying the type of sound source,
The sound source localization unit includes a time difference feature detection unit, and a sound source localization extraction result mapping unit connected to the time difference feature detection unit,
The sound source identification unit includes a sound source identification frequency pattern detection unit, and a sound source identification detection pattern mapping unit connected to the sound source identification frequency pattern detection unit,
The time difference feature detection unit has two input terminals and one output terminal for each frequency component, and is configured to fire only when signals are simultaneously input from both input terminals. Detecting the time difference by passing through a column of time delay elements for the left signal, comprising a column of pulse neuron models, a column of time delay elements for the left signal, and a column of time delay elements for the right signal The left signal is input in order from one end of the pulse neuron model row for use, and the right signal is sequentially supplied from the other end of the pulse neuron model row for time difference detection by passing through the row of time delay elements for the right signal. By inputting the signal, it is configured to output a singular pattern that changes due to the time difference between the input signals,
The extraction result mapping unit for sound source localization is
A plurality of first competitive learning pulse neuron models each having a plurality of input terminals and one output terminal, and a plurality of input terminals and one output terminal, each input terminal of the first competitive learning pulse neuron model. A first non-firing detection pulse neuron model connected to an output terminal and configured to fire when no first competitive learning pulse neuron model is fired, a plurality of input terminals, and one output terminal; And each input terminal is connected to an output terminal of the first competitive learning pulse neuron model, and is configured to fire when two or more of the first competitive learning pulse neuron models are firing. A firing detection pulse neuron model, an output terminal of each time difference detection pulse neuron model, and the first non-fire detection pulse neuron Dell output terminal, and said first output terminal of the plurality of ignition detection pulse neuron model, the first neural network connected to the input terminals of the first competitive learning pulse neuron model,
The first competitive learning pulse neuron model having a reference vector representing a singular pattern input from the time difference feature detection unit at the time of recognition is configured to fire,
The sound source identification frequency pattern detection unit includes:
A plurality of second competitive learning pulse neuron models each having a plurality of input terminals and one output terminal, and a plurality of input terminals and one output terminal, each input terminal of the second competitive learning pulse neuron model. A second non-firing detection pulse neuron model connected to an output terminal and configured to fire when no second competitive learning pulse neuron model is fired, a plurality of input terminals, and one output terminal; Each input terminal is connected to an output terminal of the second competitive learning pulse neuron model, and is configured to fire when two or more second competitive learning pulse neuron models are fired. An output terminal for each frequency component of the input signal processing unit connected to the sound source identification unit, the second non-firing Output terminals of the detection pulse neuron model, and the second output terminal of the plurality of ignition detection pulse neuron model, a second neural network connected to the input terminal of each of the respective second competitive learning pulse neuron model,
And the second competitive learning pulse neuron model having a reference vector representing a frequency pattern present in the input signal input from the input signal processing unit at the time of recognition is ignited,
The detection pattern mapping unit for sound source identification is
A plurality of third competitive learning pulse neuron models each having a plurality of input terminals and one output terminal, and a plurality of input terminals and one output terminal, each input terminal of the third competitive learning pulse neuron model. A third non-firing detection pulse neuron model connected to an output terminal and configured to fire when no third competitive learning pulse neuron model is fired, a plurality of input terminals, and one output terminal; Each input terminal is connected to an output terminal of the third competitive learning pulse neuron model, and is configured to fire when two or more third competitive learning pulse neuron models are fired. A firing detection pulse neuron model, an output terminal of each second competitive learning pulse neuron model, and the third non-fire detection pulse neuron model Dell output terminal, and the third output terminal of the plurality of ignition detection pulse neuron model, a third neural network respectively connected the input terminals of the third competitive learning pulse neuron model,
The third competitive learning pulse neuron model having a reference vector representative of the firing pattern input from the sound source identification frequency pattern detection unit at the time of recognition is configured to fire,
Each time difference detection pulse neuron model, each first competitive learning pulse neuron model, the first non-firing detection pulse neuron model, the first multiple firing detection pulse neuron model, each second competitive learning pulse neuron model, A second firing detection pulse neuron model, the second multiple firing detection pulse neuron model, the third competitive learning pulse neuron model, the third firingless detection pulse neuron model, and the third multiple firing detection pulse neuron model The internal potential value is calculated by adding the multiplication value of the input value from each input terminal and the coupling weight to the held internal potential value, and the internal potential value is bit-shifted. Compare the part that attenuates by subtraction and the internal potential value and the threshold value according to the comparison result Sound source localization and identification apparatus characterized by being constituted by a digital circuit having a portion for outputting a power pulse.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006260853A JP4982743B2 (en) | 2006-09-26 | 2006-09-26 | Sound source localization / identification device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006260853A JP4982743B2 (en) | 2006-09-26 | 2006-09-26 | Sound source localization / identification device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008085472A JP2008085472A (en) | 2008-04-10 |
| JP4982743B2 true JP4982743B2 (en) | 2012-07-25 |
Family
ID=39355898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006260853A Active JP4982743B2 (en) | 2006-09-26 | 2006-09-26 | Sound source localization / identification device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4982743B2 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5078032B2 (en) * | 2008-09-29 | 2012-11-21 | 国立大学法人 名古屋工業大学 | Sound source identification method and sound source identification apparatus |
| US20120109375A1 (en) * | 2009-06-26 | 2012-05-03 | Lizard Technology | Sound localizing robot |
| JP5254893B2 (en) * | 2009-06-26 | 2013-08-07 | キヤノン株式会社 | Image conversion method and apparatus, and pattern identification method and apparatus |
| KR101963440B1 (en) * | 2012-06-08 | 2019-03-29 | 삼성전자주식회사 | Neuromorphic signal processing device for locating sound source using a plurality of neuron circuits and method thereof |
| JP6543844B2 (en) | 2015-08-27 | 2019-07-17 | 本田技研工業株式会社 | Sound source identification device and sound source identification method |
| US9813810B1 (en) * | 2016-01-05 | 2017-11-07 | Google Inc. | Multi-microphone neural network for sound recognition |
| US10649060B2 (en) * | 2017-07-24 | 2020-05-12 | Microsoft Technology Licensing, Llc | Sound source localization confidence estimation using machine learning |
| CN108318862B (en) * | 2017-12-26 | 2021-08-20 | 北京大学 | Sound source positioning method based on neural network |
| JP7199251B2 (en) | 2019-02-27 | 2023-01-05 | 本田技研工業株式会社 | Sound source localization device, sound source localization method, and program |
| CN111103568A (en) * | 2019-12-10 | 2020-05-05 | 北京声智科技有限公司 | Sound source positioning method, device, medium and equipment |
| JP7434917B2 (en) | 2020-01-21 | 2024-02-21 | 日本電気株式会社 | Signal detection device, sensor network system, signal detection method, and signal detection program |
| CN112652320B (en) * | 2020-12-04 | 2024-04-12 | 深圳地平线机器人科技有限公司 | Sound source positioning method and device, computer readable storage medium and electronic equipment |
| CN115825853A (en) * | 2023-02-14 | 2023-03-21 | 深圳时识科技有限公司 | Sound source orientation method and device, sound source separation and tracking method and chip |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216285A (en) * | 2000-01-31 | 2001-08-10 | Nagoya Industrial Science Research Inst | Neural network operation method and device therefor |
-
2006
- 2006-09-26 JP JP2006260853A patent/JP4982743B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008085472A (en) | 2008-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4982743B2 (en) | Sound source localization / identification device | |
| Chacon-Rodriguez et al. | Evaluation of gunshot detection algorithms | |
| US6038338A (en) | Hybrid neural network for pattern recognition | |
| US10783432B2 (en) | Update management for RPU array | |
| CN109215680B (en) | Voice restoration method based on convolutional neural network | |
| US10026395B1 (en) | Methods and systems for extracting auditory features with neural networks | |
| Matuszewski et al. | Neural network application for emitter identification | |
| Ra et al. | DeepAnti-PhishNet: Applying deep neural networks for phishing email detection | |
| Polepalli et al. | Digital neuromorphic design of a liquid state machine for real-time processing | |
| Acharya et al. | A comparison of low-complexity real-time feature extraction for neuromorphic speech recognition | |
| Noroozi et al. | Speech-based emotion recognition and next reaction prediction | |
| KR20010002997A (en) | A selective attention method using neural networks | |
| EP1088394B1 (en) | Adaptive state space signal separation, discrimination and recovery architectures and their adaptations for use in dynamic environments | |
| US6560582B1 (en) | Dynamic memory processor | |
| EP3832542A1 (en) | Device and method with sensor-specific image recognition | |
| JP4958172B2 (en) | Sound source localization device | |
| Lyu et al. | Identifiability-guaranteed simplex-structured post-nonlinear mixture learning via autoencoder | |
| KR101408076B1 (en) | Method for recognizing pri modulation type using neural network fuse with genetic algorithm and apparatus thereof | |
| CN110084143B (en) | Emotion information protection method and system for face recognition | |
| RU2342702C2 (en) | Associative identification device | |
| Gupta et al. | Neuromorphic time-multiplexed reservoir computing with on-the-fly weight generation for edge devices | |
| WO2021095361A1 (en) | Arithmetic device and learned model | |
| Alghamdi et al. | Artificial intelligence Techniques based learner authentication in cybersecurity higher education institutions | |
| JP2007085734A (en) | Sound source direction detection device and method | |
| Baran et al. | A neural network for target classification using passive sonar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |