JP4898018B2 - 信号処理回路及びパターン認識装置 - Google Patents
信号処理回路及びパターン認識装置 Download PDFInfo
- Publication number
- JP4898018B2 JP4898018B2 JP2001164511A JP2001164511A JP4898018B2 JP 4898018 B2 JP4898018 B2 JP 4898018B2 JP 2001164511 A JP2001164511 A JP 2001164511A JP 2001164511 A JP2001164511 A JP 2001164511A JP 4898018 B2 JP4898018 B2 JP 4898018B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse
- neuron
- feature
- output
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、信号の並列処理を行なう神経回路網などの信号処理回路、及びそれを用いたパターン認識装置に関するものである。
【０００２】
【従来の技術】
従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムを例としてその代表例を以下に挙げる。先ず、認識対象モデルとの類似度に関する特徴量を算出して行うものとしては、認識対象のモデルデータをテンプレートモデルとして表現しておき、入力画像（或いはその特徴ベクトル）とのテンプレートマッチング等による類似度算出や、高次相関係数の算出などによる方法、対象のモデル画像を主成分分析して得られる固有画像関数空間へ入力パターンを写像してモデルとの特徴空間内での距離を算出する方法(Sirovich,et al., 1987, Low-dimensional procedure for the characterization of human faces, J. Opt. Soc. Am. [A], vol. 3, pp.519-524)、複数の特徴抽出結果（特徴ベクトル）およびその空間配置関係をグラフ表現し、弾性的グラフマッチングによる類似度算出を行う方法（Lades et al. 1993, Distortion Invariant Object Recognition in the Dynamic Link Architecture, IEEE Trans. on Computers, vol.42, pp.300-311）、入力画像に所定の変換を行って位置、回転、スケール不変な表現を得た後にモデルとの照合を行う方法（Seibert, et al. 1992, Learning and recognizing 3D objects from multiple views in a neural system, in Neural Networks for Perception, vol. 1 Human and Machine Perception(H. Wechsler Ed.) Academic Press, pp.427-444）等がある。
【０００４】
生体の情報処理機構にヒントを得た神経回路網モデルによるパターン認識方法としては、階層的テンプレートマッチングを行う方法（特公昭60-712、Fukushima & Miyake, 1982 Neocognitron: A new algorithm for pattern recognition tolerant of deformation and shifts in position, Pattern Recognition, vol.15, pp.455-469）、ダイナミックルーティング神経回路網により対象中心のスケール、位置不変な表現を得て行う方法(Anderson, et al. 1995, Routing Networks in Visual Cortex, in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.823-826)、その他多層パーセプトロン、動径基底関数(Radial Basis Function)ネットワークなどを用いる方法がある。
【０００５】
一方、生体の神経回路網による情報処理機構をより忠実に取り入れようとする試みとして、アクションポテンシャルに相当するパルス列による情報の伝達表現を行う神経回路網モデル回路が提案されている(Murray et al., 1991 Pulse-Stream VLSI Neural Networks Mixing Analog and Digital Techniques, IEEE Trans. on Neural Networks, vol.2, pp.193-204.；特開平7-262157号公報、特開平7-334478号公報、特開平8-153148号公報、特許２８７９６７０号公報など)。
【０００６】
パルス列生成ニューロンからなる神経回路網により特定対象の認識、検出を行う方法としては、結合入力(linking inputs)と供給入力(feeding inputs)を前提としたEckhornらによる高次（２次以上）のモデル（Eckhorn, et al. 1990, Feature linking via synchronization among distributed assemblies: Simulation of results from cat cortex, Neural Computation, Vol.2, pp.293-307)、即ち、パルス結合神経回路網(以下、ＰＣＮＮと略す) を用いた方式がある（ＵＳＰ５６６４０６５、及び、Broussard, et al. 1999, Physiologically Motivated Image Fusion for Object Detection using a Pulse Coupled Neural Network, IEEE Trans. on Neural Networks, vol. 10, pp.554-563、など）。
【０００７】
また、ニューラルネットワークにおける配線問題を軽減する方法として、いわゆるパルス出力ニューロンのアドレスをイベント駆動型で符号化する方法（Address Event Representation：以下、ＡＥＲという）がある(Lazzaro, et al. 1993, Silicon Auditory Processors as Computer Peripherals, In Touretzky, D. (ed), Advances in Neural Information Processing Systems 5. San Mateo, CA:Morgan Kaufmann Publishers)。この場合、パルス列出力側のニューロンのＩＤがアドレスとして２値で符号化されることにより、異なるニューロンからの出力信号が共通バス上に時間的に配列しても、それを入力する側のニューロンでは元のニューロンのアドレスを自動的にデコードすることができる。
【０００８】
一方、特許２７４１７９３号公報に係るニューラルネットワークプロセッサでは、シストリックアレイのアーキテクチャにおいて多層のフィードフォワード型ネットワークを構成することにより、ニューロン数の減少と回路規模の縮小を図っている。
【０００９】
特許２５０００３８号公報に係る並列処理マルチプロセッサシステム等においては、分散並列型計算システムにおいて命令セットの処理と同時に生成するシグネチャの多数決処理により誤りの有無を検出する。
【００１０】
また、近年マイクロプロセサの動作周波数が大幅に増大する中で、チップ全体を単一のクロック信号に同期して動作させるのではなく、チップを複数のブロックに分割しそれぞれのブロックを非同期で動かすアーキテクチャが開発されている(Schuster, S. et al., “Asynchronous Interlocked Pipelined CMOS Circuits Operating at 3.3-4.5GHz”, 2000 IEEE International Solid-State Circuits Conference(ISSCC2000), WA17.3, vol.43, pp.292-293, 2000)。
【００１１】
【発明が解決しようとする課題】
上記従来例においては、階層型並列信号処理回路として、分散して複数存在する局所的なクロック信号を制御クロック信号として用いた場合に、矛盾なく安定動作することを保障し、かつ低消費電力である方式が存在しなかった。
【００１２】
【課題を解決するための手段】
本発明は、局所分散型クロック信号発生回路をデータ駆動型の演算素子として用いる構成などにより、並列パルス信号処理の無矛盾動作（例えば、複数の非同期タイミング制御信号を受けても所期の演算を行う事ができること）、安定動作及び低消費電力動作を実現することを目的とする。
【００１３】
本発明のある態様によれば、信号処理回路に、所定の規則に基づき互いに結合し、階層的かつ並列配置される複数の演算素子と、特定層の演算素子群に付随し、前層から入力されるパルス信号の入力値に応じたタイミングで該パルス信号に同期したパルス状の局所タイミング信号を発生し、当該演算素子群に該局所タイミング信号を出力する複数の局所タイミング信号発生回路とを有し、前記演算素子群の演算素子は該演算素子に付随する前記局所タイミング信号発生回路からの局所タイミング信号に応じたタイミングで、前層から入力されるパルス信号に対して所定の演算を実行することを特徴とする。
【００１４】
また、本発明の他の態様によれば、信号処理回路に、所定の規則に基づき互いに結合し、階層的かつ並列に配置される複数の演算素子と、特定層の第一の演算素子群に付随し、前層の第二の演算素子群から入力されるパルス信号の入力値に応じたタイミングで該パルス信号に同期したパルス状の局所タイミング信号を発生し、当該第一及び第二の演算素子群に該局所タイミング信号を出力する複数の局所タイミング信号発生回路とを有し、前記第一の演算素子群は前記局所タイミング信号発生回路からの局所タイミング信号に応じたタイミングで、前記第二の演算素子群からの出力を入力し、前記局所タイミング信号発生回路は前記第一の演算素子群の所定数の演算素子毎に設けられていることを特徴とする。
【００２１】
【発明の実施の形態】
（第１の実施形態）
全体構成概要
図１は本発明のパターン認識装置の全体構成図を示し、対象または幾何学的特徴などの認識(検出)に関与する情報を主として扱い、いわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, “Convolutional Networks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)を有している。但し、同経路内の層間結合は局所的に相互結合をなし得る点(後述)が、従来と異なる。
最終出力は認識結果、即ち認識された対象のカテゴリに相当する。
【００２２】
データ入力層１は、画像センサー手段の場合はＣＭＯＳセンサー、或いはＣＣＤ素子等の光電変換素子であり、音声の検出認識などを行う場合には音声入力センサーである。また、所定データ解析手段の解析結果（例えば、主成分分析、ベクトル量子化、など）から得られる高次元のデータを入力するものであってもよい。
【００２３】
以下、画像を入力する場合について説明する。特徴検出層(１,０)は、Gabor wavelet変換その他による多重解像度処理により、画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置(或いは、全画面にわたる所定のサンプリング点の各点)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出し、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００２４】
特徴検出層(1,k)は全体として、複数の解像度（又はスケールレベル）での処理チャネルを形成する（但し k≧0）。即ち、Gabor wavelet変換を特徴検出層（１,０）で行う場合を例にとると、スケールレベルが同一で方向選択性の異なるGaborフィルタカーネルを受容野構造に持つ特徴検出細胞のセットは特徴検出層（１,０）において同一の処理チャネルを形成し、後続の層(1,１) においても、それら特徴検出細胞からの出力を受ける特徴検出細胞（より高次の特徴を検出する）は、当該処理チャネルと同一のチャネルに属する。更に後続の層（１,ｋ）(但しｋ＞１)においても、同様に（2,ｋ―１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００２５】
特徴統合層(２,０)は、所定の受容野構造(以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する)を有し、パルス列を発生するニューロン素子からなり、特徴検出層(１,０)からの同一受容野内の複数のニューロン素子出力の統合（局所平均化、最大値検出等によるサブサンプリングなどの演算）を行う。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。各特徴検出層（１,１）、(１,２)、・・・、(１,N)）及び各特徴統合層（(２,１)、(２,２)、・・・、(２,N)）は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（(１,１)、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（(２,１)、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。
【００２６】
図２は、シナプス回路とニューロン素子の構成を示す図である。各層間のニューロン素子201間を結合する構造は、図２の（Ａ）に示すように、神経細胞の軸索または樹状突起に相当する信号伝達部203（配線または遅延線）、及びシナプス回路Ｓ202である。図２の（Ａ）では、ある特徴検出（統合）細胞（Ｎ）に対する受容野を形成する特徴統合(検出)細胞のニューロン群（ni）からの出力（当該細胞Ｎから見ると入力）に関与する結合の構成を示している。太線で示している信号伝達部203は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞（Ｎ）からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用（樹状突起側）と出力用（軸索側）の２系統で、図２の（Ａ）と同様の構成を与えて処理してもよい。
【００２７】
シナプス回路Ｓ202としては、層間結合（特徴検出層102上のニューロンと特徴統合層103上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものと、同一層内ニューロン間結合に関与するものとがある。後者は必要に応じて、主に、後述するペースメーカーニューロンと特徴検出または特徴統合ニューロンとの結合に用いられる。
【００２８】
シナプス回路Ｓ202において、いわゆる興奮性結合はパルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。
【００２９】
本実施形態においては、シナプス回路Ｓ202は、主にパルスの位相変調素子として用い、信号の増幅は、パルス到着時間の特徴に固有な量としての実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は後述するように出力先のニューロンでの特徴に固有な時間軸上の到着位置(位相)を与え、定性的には興奮性結合はある基準位相に対しての到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００３０】
図２の（Ａ）において、各ニューロン素子njは、パルス信号（スパイクトレイン）を出力し、後述する様な、いわゆるintegrate-and-fire型のニューロン素子を用いている。なお、図２の（C）に示すように、シナプス回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００３１】
ニューロン素子
次に各層を構成するニューロンについて説明する。各ニューロン素子はいわゆるintegrate-and-fireニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点ではいわゆるintegrate-and-fireニューロンと同じである。
【００３２】
図２（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路(IEEE Trans. on Neural Networks Vol. 10, pp.540)を拡張したものである。ここでは、入力として興奮性と抑制性の入力を受けるものとして構成されている。
【００３３】
以下、このパルス発生回路の動作原理について説明する。興奮性入力側のキャパシタC1及び抵抗Ｒ１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の時定数より小さく、定常状態では、トランジスタＴ１、Ｔ２、Ｔ３は遮断されている。なお、抵抗は実際には、ダイオードモードで結合するトランジスタで構成される。
【００３４】
キャパシタC1の電位が増加し、キャパシタC2のそれよりトランジスタＴ１の閾値だけ上回ると、トランジスタＴ１はアクティブになり、更にトランジスタＴ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ３は、電流ミラー回路を構成し、図２の（Ｂ）の回路の出力は、不図示の出力回路によりキャパシタC1側から出力される。キャパシタＣ２の電荷蓄積量が最大となると、トランジスタＴ１は遮断され、その結果としてトランジスタＴ２及びＴ３も遮断され、上記正のフィードバックは０となる様に構成されている。
【００３５】
いわゆる不応期には、キャパシタＣ２は放電し、キャパシタＣ１の電位がキャパシタＣ２の電位よりも大で、その差がトランジスタＴ１の閾値分を超えない限り、ニューロンは応答しない。キャパシタＣ１、Ｃ２の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応して定まる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００３６】
キャパシタの電位、従って電荷蓄積量は、基準電圧制御回路（時間窓重み関数発生回路）204により時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図７参照）。この基準電圧制御回路204は、後述するペースメーカニューロンからの入力タイミング（又は、後続層のニューロンとの相互結合入力）に基づき、基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生する。
【００３７】
抑制性の入力は、本実施形態においては必ずしも要しない場合があるが、後述するペースメーカニューロンから特徴検出層ニューロンへの入力を抑制性とすることにより、出力の発散（飽和）を防ぐことができる。
【００３８】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）の関係は、そのニューロンの感度特性によって変化し、また、その感度特性は上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を加えたタイミングなど）が変動するものとする。
【００３９】
また、パルス位相の変調手段としては、後述する図５に示すような回路を付加して用いてもよい。これにより、時間窓内の重み関数で上記基準電圧が制御される結果、このニューロンからのパルス出力の位相が変化し、この位相をニューロンの出力レベルとして用いることができる。
【００４０】
シナプス結合でパルス位相変調を受けたパルスについての時間的積分特性（受信感度特性）を与える図７（Ｂ）に示すような重み関数の極大値に相当する時刻τw1は、一般的にシナプス結合で与えられる特徴に固有なパルスの到着予定時刻τsiより時間的に早く設定される。その結果、到着予定時刻より一定範囲で早く（図７(B)の例では、早すぎて到着するパルスは減衰される）到着するパルスは、それを受け取るニューロンでは、高い出力レベルを持ったパルス信号として時間的に積分される。重み関数の形状はガウシアン等の対称形に限らず、非対称形状であってもよい。
【００４１】
また、ニューロン出力（シナプス前）の位相は、後述するように時間窓の始期を基準とし、その基準時からの遅れ（位相）は基準パルス（ペースメーカ出力その他による）を受けた時の電荷蓄積量により決まるような出力特性を有する。このような出力特性を与える回路構成の詳細については、本発明の主眼とする所ではないので省略する。シナプス後のパルス位相は当該シナプスにより与えられる固有の位相変調量にシナプス前の位相を加算したものとする場合、シナプス荷重に相当する量をシナプス前の信号に乗算するような演算は、後述する重み関数によって与えられる。
【００４２】
なお、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知回路構成を用いてもよい。
【００４３】
ニューロン素子の構成としては、特徴検出層または特徴統合層に属するニューロンであって、後述するペースメーカニューロン出力タイミングに基づき発火パターンが制御される場合には、ペースメーカーニューロンからのパルス出力を受けた後、当該特徴検出ニューロンが前段の層の局所受容野から受ける入力レベル（上記の入力総和値）に応じた位相遅れをもってパルス出力するような回路構成であればよい。この場合、ペースメーカーニューロンからのパルス信号を入力する前では、入力レベルに応じて各ニューロンは互いにランダムな位相でパルス出力する過渡的な遷移状態が存在する。
【００４４】
一般的には、隣接する特徴検出層ニューロンは、その前段の層（特徴統合層など）に対する各受容野が重複しており、その場合には後述するように特徴検出層ニューロンに付随するペースメーカニューロンはその特徴検出層ニューロンと同一の受容野を有するので、隣接するペースメーカニューロン間の直前の層に対する受容野構造も互いに重複する。従って、所定の特徴検出層ニューロンのある受容野に属する特徴統合層ニューロンは同時に複数の特徴検出層ニューロンの受容野に属するということがおこる。後述するように特徴統合層ニューロンは後段の層のペースメーカニューロンからのタイミング信号も受けるので、この場合には複数のペースメーカニューロンからのタイミング制御信号を受けることになる。
【００４５】
後述する特徴検出層ニューロンでの時間窓内でのパルス信号の積分が正しく行われるようにするために、複数のタイミング制御信号を受ける場合にも特徴統合層ニューロンから特徴検出層ニューロンへのパルス信号の流れが適正に行われるように時間窓発生のタイミングが設定される。
【００４６】
このために、ペースメーカニューロンからのタイミング制御信号出力またはニューロン間（特徴検出層と特徴統合層の間）の相互結合とネットワークダイナミックスによりもたらされる同期発火信号を基準とし、これに所定の時間幅内で位相同期するように出力パルスの発火タイミングの制御がなされるような回路構成を用いている（詳しくはパターン検出の動作原理の説明箇所を参照のこと）。
【００４７】
特徴検出層のニューロンは前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層または特徴統合層）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による荷重総和値(後述)が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるsquashing関数値をとるような出力（ここでは位相変化で与える；周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００４８】
シナプス回路等
図４は、シナプス回路202(Si)においてニューロンniの結合先である各ニューロンn'jへのシナプス結合強度（位相遅延等に関する変調の大きさを意味する）を与える各小回路がマトリクス的に配置されていることを示す。
【００４９】
ネットワークが結合荷重の共有結合形式（１の重み係数分布で異なるニューロンのシナプス結合荷重分布を同一に表す場合）になるような構成をとる場合には、各シナプスでの遅延量（下記のＰij）が図３の場合と違って同一受容野内で一様とすることができる場合がある。例えば、特徴検出層から特徴統合層への結合は、特徴統合層がその前段の層である特徴検出層出力の局所平均化（ただし、一様重み付けとする）によるサブサンプリングを行う場合には、検出対象によらず（即ち、課題によらず）このように構成することができる。
【００５０】
この場合、図４の（Ａ）の各小回路401は、図４の（Ｃ）のように、単一の回路Sk,iで済み、特に経済的な回路構成となる。一方、特徴統合層（またはセンサー入力層）から特徴検出層への結合がこのようになっている場合、特徴検出ニューロンが検出するのは、複数の異なる特徴要素を表すパルスの同時到着(或いは、略同時到着)という、イベントである。
【００５１】
図４の（Ｂ）に示すように各シナプス結合小回路401は、学習回路402と位相遅延回路403とからなる。学習回路402は、位相遅延回路403の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。位相遅延回路403はパルス位相変調回路であり、例えば、図５（Ａ）に示すような単安定マルチバイブレータ506、507及び、抵抗501、504、キャパシタ503、505、トランジスター502を用いた構成がある。図５（Ｂ）は単安定マルチバイブレータ506へ入力された方形波P1(図５（Ｂ）[1])、単安定マルチバイブレータ506から出力される方形波P2(同[2])、単安定マルチバイブレータ507から出力される方形波P3(同[3])の各タイミングを表している。
【００５２】
位相遅延回路403の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ503の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗504とキャパシタ505による時定数で決まる。Ｐ２のパルス幅が（図５の（Ｂ）の点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【００５３】
制御電圧Ecを基準電圧のリフレッシュ回路509と結合荷重を与えるキャパシタ508への電荷蓄積量制御を行う学習回路402で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に図５の（Ａ）の回路の外側に付加される浮遊ゲート素子（図示せず）のチャージとして、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成（例えば、特開平５−３７３１７号公報、特開平１０−３２７０５４号公報参照）など周知の回路構成を用いることができる。
【００５４】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図５の（Ｃ）に示すような回路要素を有するものを用いればよい。即ち、学習回路402をパルス伝播時間計測回路510（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時刻と次の層上にある出力先ニューロンでの当該パルスの到着時刻との時間差をさす）、時間窓発生回路511、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路512から構成できる。
【００５５】
伝播時間計測回路510としては、後述するような同一局所受容野を形成するペースメーカーニューロンからのクロックパルスを入力し、所定の時間幅（時間窓：図３の（Ｂ）参照）において、そのクロックパルスのカウンター回路からの出力に基づき伝播時間を求めるような構成などが用いられる。なお、時間窓は出力先ニューロンの発火時点を基準として設定することにより、以下に示すような拡張されたHebbの学習則が適用される。
【００５６】
特徴検出層 (1,0) での処理（ Gabor wavelet 変換等による低次特徴抽出）
特徴検出層(１,０)には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するのニューロンがあるとすると、データ入力層１上のN1の受容野内に該当する構造が存在すれば、そのコントラストに応じた位相でパルス出力する。このような機能はGabor filterにより実現することができる。以下、特徴検出層(１,０)の各ニューロンが行う特徴検出フィルタ機能について説明する。
【００５７】
特徴検出層(１,０)では、多重スケール、多重方向成分のフィルタセットで表されるGaborウエーブレット変換を行うものとし、層内の各ニューロン（または複数ニューロンからなる各グループ）は、所定の Gaborフィルタ機能を有する。特徴検出層では、スケールレベル（解像度）が一定で方向選択性の異なる複数のGabor関数の畳み込み演算カーネルに対応する受容野構造を有するニューロンからなる複数のニューロン集団を一まとめにして一つのチャネルを形成する。
【００５８】
その際、同一チャネルを形成するニューロン群は方向選択性が異なり、サイズ選択性が同一のニューロン群どうしを互いに近接した位置に配置してもよいし、同一の特徴カテゴリに属し、異なる処理チャネルに属するニューロン群どうしが互いに近接配置されるようにしてもよい。これは、集団的符号化における後述する結合処理の都合上各図に示すような配置構成にした方が、回路構成上実現しやすいことによる。
【００５９】
なお、Gabor wavelet変換を神経回路網で行う方法の詳細については、Daugman (1988)による文献（IEEE Trans. on Acoustics, Speech, and Signal Processing, vol.36, pp.1169-1179）を参照されたい。
【００６０】
特徴検出層（１,０）の各ニューロンは、gmnに対応する受容野構造を有する。同じスケールインデックスｍを有するgmnは同じサイズの受容野を有し、演算上は対応するカーネルgmnサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは、最も粗いスケールから順に入力画像上の３０ｘ３０、１５ｘ１５、７ｘ７のサイズとした。各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型squashing関数となる出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１,０）全体の出力として、Gabor wavelet変換が行われたことになる。
【００６１】
特徴検出層での処理（中次、高次特徴抽出）
後続の特徴検出層（(１,１)、(１,２)、・・・）の各ニューロンは、上記特徴検出層(1,0)とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造をいわゆるHebb学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。
【００６２】
例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。異なる処理チャネル間では、同じ階層レベル(検出される特徴の複雑さが同レベル)であれば、検出される特徴の違いは、同一カテゴリであるが、互いに異なるスケールで検出されたものであることにある。例えば、中次の特徴としての「目」は異なる処理チャネルでは、サイズの異なる「目」として検出を行う。即ち、画像中の与えられたサイズの「目」に対してスケールレベル選択性の異なる複数の処理チャネルにおいて検出が試みられる。
【００６３】
なお、特徴検出層ニューロンは一般的に(低次、高次特徴抽出に依らず)、出力の安定化のために抑制性(分流型抑制：shunting inhibition)の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００６４】
特徴統合層での処理
特徴統合層（(２,０)、(２,１)、・・・）のニューロンについて説明する。図１に示すごとく特徴検出層（例えば(１,０)）から特徴統合層(例えば(２,０))への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力及び後述するペースメーカニューロン出力(PNout1)をともに図２（Ｂ）の興奮性入力側で受けるように構成され、統合層のニューロンの機能は前述したごとく、各特徴カテゴリごとの局所平均化、最大値検出その他のサブサンプリング等である。
【００６５】
前者によれば、複数の同一種類の特徴のパルスを入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【００６６】
特徴統合層でのパルス信号処理
このように本実施形態では、特徴統合細胞は、その前の層番号(1,k)の特徴検出層上のペースメーカニューロンからのタイミング制御は受けるようには、構成していない。なぜならば、特徴統合細胞においては、入力パルスの到着時間パターンではなく、むしろ一定の時間範囲での入力レベル（入力パルスの時間的総和値など）によって決まる位相（周波数、パルス幅、振幅のいずれかが依存してもよいが、本実施形態では位相とした）でのパルス出力をするため、時間窓の発生タイミングは余り重要ではないからである。なお、このことは、特徴統合細胞が前段の層の特徴検出層のペースメーカニューロンからのタイミング制御を受ける構成を排除する趣旨ではなく、そのような構成も可能であることはいうまでもない。
【００６７】
パターン検出の動作原理
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図３は、特徴統合層から特徴検出層への（例えば、図１の層(２,０)から層(１,１)への）パルス信号の伝播の様子を模式的に示したものである。特徴統合層側の各ニューロンniは、それぞれ異なる特徴量（或いは特徴要素）に対応し、特徴検出層側のニューロンn'jは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【００６８】
各ニューロン間結合には、パルスの伝播時間とニューロンniからニューロンn'jへのシナプス結合（Ｓj,i）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果としてニューロンn'jに到着するパルス列Piは、特徴統合層の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている(図３（Ａ）では、P4,P3,P2,P1の順に到着するように示されている)。
【００６９】
図３（Ｂ）は、後述するペースメーカニューロンからのタイミング信号を用いて時間窓の同期制御を行う場合において、ペースメーカニューロンの出力と特徴統合層ニューロン間の位相同期がとれた後についての層番号（2,k）上の特徴統合細胞n１、n２、n３（それぞれ異なる種類の特徴を表す）から、層番号（1,k+1）上のある特徴検出細胞(n'j)（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示す。
【００７０】
図６においてペースメーカニューロンnpは、同一の受容野を形成し、かつ異なる種類の特徴を検出する特徴検出ニューロン（nj,nk等）に付随し、それらと同一の受容野を形成して、特徴統合層（または入力層）からの興奮性結合を受ける。また、ペースメーカニューロンからの出力はかかる特徴統合層ニューロンの興奮性入力へも出力されるため、特徴統合層ニューロン群とペースメーカニューロン間での（ループ状の）相互結合が存在する。ペースメーカニューロンは、その入力の総和値（或いは受容野全体の活動度レベル平均値など、受容野全体に固有の活動特性を表す状態に依存するように制御するため）によって決まる所定のタイミングで入力パルス信号に位相同期するようにパルス出力を行う。このためには図１３（Ａ）に示すように、ペースメーカニューロン回路としては、前述したニューロン素子回路（図２（Ｂ））においてペースメーカ入力を位相同期検出窓信号入力とし、抑制性入力を一定時間範囲で特徴統合ニューロンからのパルス入力がある限り入力される定常入力としたもの（図１３（Ｂ））に位相同期検出及び制御回路７が付加された構成になっている。
【００７１】
位相同期検出及び制御回路７は、ニューロン素子回路（図１３（Ｂ））からの出力パルス（図１３（Ａ）のPNout2,pre）と前段の層である特徴統合層ニューロンからの複数のパルスを入力し、後述する位相同期検出窓の開始時刻を基準とする特徴統合層ニューロンからのパルス信号の各位相（以下、ＰＩと記載する）に応じたパルス信号出力（図１５のPN2,out1、及び図１３（Ａ）のPNout1）、即ち、複数の特徴統合層ニューロンからの入力パルスについての位相ＰＩのアンサンブル平均値の時間的変動幅（ペースメーカ出力間隔できまる所定時間幅（図１５のＴ）について）が基準値以下となり所定値に収束するようにペースメーカニューロン出力（PNout1）の位相を調節して特徴統合層ニューロンに出力する。以下その詳細を説明する。
【００７２】
図１３（Ａ）の位相同期検出及び制御回路７は、図１３（Ｃ）に示すように位相同期検出窓発生回路及びパルス信号（PNout1）発生回路、及び制御回路とから構成され、位相同期検出窓発生回路からは所定幅のパルス信号がニューロン素子回路に対して出力される。ニューロン素子回路では、このパルス信号がＯＮのときだけ特徴統合層ニューロン等からの入力パルス信号の時間的積分が行われ、所定閾値以上のときにパルス信号（図１３（Ａ）のPNout2,pre）を出力する。
【００７３】
制御回路中の同期検出信号誘起回路は、このパルス信号PNout2,preの入力が所定時間幅内にあれば、PNout2発生回路に出力を促す信号Ｓｐを出力し続け、同PNout2発生回路からは同期検出信号パルス（以下の説明のPN2,out2）が特徴検出層ニューロンに出力される。PNout2発生回路としては、このPNout2信号とパルス信号（PNout1）とが（同期確立後は）ほぼ同位相となるように閾値処理回路からの出力に応じてスイッチＯＮ／ＯＦＦを行うスイッチ回路、或いはパルス信号（PNout1）に一定の遅延を与える遅延回路などにより構成される。また、収束判定回路は以下に説明するPNout1の出力タイミング制御を行う際の収束判定を行う回路である。
【００７４】
次に、PN2,out1を受けた後の特徴統合層ニューロンの動作について説明する。ペースメーカニューロンに同期する前の特徴統合層ニューロンの出力は前述した通りであり（特徴統合層でのパルス信号処理に記載）、ペースメーカニューロンからの出力パルス（PN2,out1）を受けない限り、前段の特徴検出層からのパルス信号の積分値が所定基準値（閾値）を越えた時にパルス出力を行う一方、（複数の）PNout1を受けた後は統合層ニューロンからの出力タイミングは、前回のパルス出力から所定時間幅内において、ペースメーカニューロンからの入力パルスを加えた積分値が閾値を越す時間がその出力タイミングとなる。なお、特徴統合層ニューロンから特徴検出層ニューロンへの出力は後述するように図１６のシナプス結合回路を介して行われる。
【００７５】
図１４（Ａ）は、ペースメーカニューロンを中心とする前後の特徴統合層ニューロンと特徴検出層ニューロンとの結合の関係を模式的に表したものである。ここに、ペースメーカニューロンＰＮ2は特徴検出層ニューロンＮ'２Ｄに付随し、直接の入力を受ける特徴統合層に対してＮ'２Ｄと同じ受容野に属する特徴統合層ニューロン(N1I, ・・・,N4I)からの入力を受ける。同様にしてペースメーカニューロンＰＮ3は特徴検出層ニューロンＮ'3 Ｄに付随し、直接の入力を受ける特徴統合層に対してＮ'3 Ｄと同じ受容野に属する特徴統合層ニューロン(N3I, ・・・,N6I)からの入力を受ける。Ｎ１Ｉへの入力は無く、N2IからN4Iへの入力は強く、また、N5I,N6Iへの入力は弱いものとする。ペースメーカニューロンと特徴統合層ニューロン間は相互結合を、また後続の特徴検出層ニューロンに対してはペースメーカニューロンからの一方向に信号が流れる結合をなしている。
【００７６】
特徴統合層ニューロンから特徴検出層ニューロンへの結合は図１４（Ａ）では、点線で示してある（シナプス結合は省略）。また、かかる結合によりパルス信号が伝達するためには、ペースメーカニューロンからの所定のパルス出力（以下のPN2,out2）があったときのみとするために、該当するパルス出力があったときだけ開くゲート回路（またはスイッチ回路）をシナプス結合回路の出力側に設定してある。図１６にこの構成の概要を示す。なお、PN2,out1とPN2,out2はともに位相同期検出回路からのパルス出力である。
【００７７】
ペースメーカニューロン（ＰＮ）に特徴統合層ニューロン（ＮｊＩ）からのパルス信号を入力する際に、特徴統合層ニューロンからの少なくとも一つパルス入力があった後、所定の周期（Ｔ）でごく短い時間幅の時間窓（図１（Ｄ）の位相同期検出窓）信号を位相同期検出及び制御回路７から発生し、ペースメーカニューロン素子回路はその時間窓においてのみパルス信号を入力するように構成する。また、このとき、位相同期検出及び制御回路７からPN2,out1のパルス出力が以下に説明するタイミング制御方式に従って特徴統合層ニューロンに対してなされる。
【００７８】
この位相同期検出窓での入力パルス信号の時間的積分値が、所定の閾値より高、PNout2,preの位相が前述したように所定時間幅内にあれば、パルス信号出力（PN2,out2の出力パルス）が位相同期検出及び制御回路７から特徴統合層ニューロン及び特徴検出層ニューロンに対してあり、このパルス信号（PN2,out2）入力があったときに、特徴統合層ニューロンからの出力パルス信号は、シナプス結合回路で位相変調などの変調処理を受け、特徴検出層ニューロンでは特徴統合層ニューロンからのシナプス結合を経由したパルス信号の時間的積分が図１５に示す時間軸積分窓の範囲内で行われる。なお、同期検出後のPN2,out1とPN2,out2とのタイミングは固定であり、ここでは図３（Ｂ）との整合をとるために遅延なしとする。
【００７９】
図１５は、図１４に対応する各ニューロンのパルス出力タイミングを表す。ペースメーカニューロンは、そのパルス出力（PNout1）タイミングをその位相同期検出窓の開始時刻を基準として以下に示す変調規則に従ってタイミングパルス（PN2,out1）の出力位相（２πＴｐ i／Ｔ）を変調する。ここに、Tpiのインデクスiは、i番めの変調に係るパルス出力タイミングであることを表す。図１５では画像の呈示後最初のペースメーカニューロン出力（PN2,out1）があった後からTp1+Tp2の時間（遷移時間）経過後に同期確立が位相同期検出窓内でのパルス積分値が所定値以上となったことにより検出され、第２の出力（PN2,out2）がなされる。なお、最初のPN2,out1は、位相同期検出窓と同じタイミングで出力され、また、T'は最初の同期検出後にタイミング信号（PN2,out1）が発生するまでの時間で固定値とし、最初の同期検出後の位相同期した定常状態ではT'は存在しないようにPN2,out2出力は制御されるものとする。
【００８０】
ここで時間窓の発生周期により正規化されるペースメーカニューロンの出力位相をＰｐ（＝２πＴｐ／Ｔ）で表し、また、時刻ｔ（時間窓発生周期Ｔを単位とする離散時間）での複数の特徴統合層ニューロンからのパルス信号の位相ＰＩのアンサンブル平均を<ＰＩ>ｔ（例えば、統合層ニューロンnIからの出力パルスの時刻ｔでの位相をPI(t)とすると、
【外１】
【００８１】
となる。ここにＮは入力を行う特徴統合層ニューロン数）とする。その所定時間幅あたりの時刻ｔでの変動幅をΔ＜ＰＩ＞ｔとおき、αを１未満の正定数とすると、ペースメーカニューロン（ＰＮ）から出力されるタイミングパルスの位相変調量ΔＰｐは、例えば以下のように表される。
【００８２】
ΔＰｐ（ｔ＋１） ＝ -αＰｐ（ｔ）[Δ＜ＰＩ＞ｔ／ΔＰｐ（ｔ）]
ここに、時刻ｔ＋１は便宜上離散時間で表したものであり、特徴検出層ニューロンからの少なくとも一つパルス入力があった時刻ｔから単位離散時間経過後の時刻を示す。 この式によれば、直前の位相制御量の単位変化量に対応するΔ＜ＰＩ＞に比例する因子で逆向きにＰｐを制御している。
【００８３】
このような変調を行ってPNout1の位相が代わることにより、統合層ニューロン出力のタイミングが変わり、位相同期検出窓内に入る統合層ニューロン出力が所定値以上になるように作用する。
【００８４】
なお、統合層ニューロンからのパルス位相の変動が小さくなるようにペースメーカニューロンからの出力パルスの位相を変調するものであれば他の変調方式を用いてもよいことは言うまでもない。収束の判定は、特徴統合層ニューロンからのパルス信号の位相のバラツキ（例えば、分散）がペースメーカューロンの発生する時間窓（位相同期検出窓）の時間幅相当以下となったか否かに基づき位相同期検出及び制御回路７の収束判定回路（図１３（Ｃ））において行い、収束判定されたらPNout1出力回路に位相変調を停止させる信号を送る。
【００８５】
このような調整を各ペースメーカニューロンにおいて行うことにより、一つのペースメーカニューロンと前層特徴統合層ニューロンとの位相同期ばかりでなく、ペースメーカニューロン群と特徴統合層ニューロン群の同期クラスタが形成される。即ち、重複受容野部分にあたる統合層ニューロンには、このように互いに同期したペースメーカニューロン群からのタイミング信号が入力される。
【００８６】
その前提条件として、特徴統合層ニューロンへのペースメーカニューロンからのパルス出力レベル（例えばパルス幅）は以下に示す同期確立の検出までは他の入力成分である特徴検出層ニューロンからのパルスの出力レベル（同様に例えばパルス幅）よりも大きく、従って各特徴統合（検出）層ニューロンでのパルス信号の時間的積分値（電流ベース）への相対的寄与が大きいとする。
【００８７】
次にペースメーカニューロン群内での同期確立過程について説明する。同期確立までの間は、例えば異なる特徴統合層ニューロンからのパルス信号の位相のバラツキ（アンサンブル平均の変動量）Δ＜ＰＩ＞が大きくなるような変化に対しては、各特徴統合層ニューロンからのパルス出力の位相差が小さくなるようにペースメーカニューロン出力（PNout1）の各位相をそれぞれΔＰｐの変調式により更新する。
【００８８】
例えば、時刻ｔでのペースメーカニューロンＰＮ１，ＰＮ２の各出力（PNout1）の位相をＰｐ１（ｔ）、Ｐｐ２（ｔ）とすると、変調後の各出力の位相差δＰ(t)（＝Ｐｐ 2（ｔ）―Ｐｐ 1（ｔ））は、
δＰ（ｔ＋１）＝δＰ（ｔ）［１― αΔ＜ＰＩ＞ｔ／ΔＰｐ（ｔ）］
のように表される。従ってαΔ＜ＰＩ＞ｔ／ΔＰｐ（ｔ）が１未満の正数となるようにΔＰｐ（ｔ）を位相同期検出及び制御回路７が変調すればペースメーカニューロン間出力の位相差はゼロに収束する。
【００８９】
また、同期検出後はペースメーカ出力（PNout1）は、特徴統合層ニューロンのパルス出力に関する時間的積分値に基づいて特徴検出層ニューロンからの出力が決まるように特徴統合層ニューロンのパルス出力レベルと同レベル以下となるように位相同期検出及び制御回路７が同出力を制御している。以上のようにすると同期検出までは重複受容野に出力する複数のペースメーカニューロンから出力されるタイミング信号の位相のバラツキが小さいほど同じ受容野に属する複数の特徴統合層ニューロンからペースメーカニューロンへ出力されるパルスの位相差が少なくなる。その結果、位相同期検出窓での積分値が閾値を越して、同期が検出される。このように各ペースメーカニューロン毎に他の隣接するペースメーカニューロンからのタイミング信号も受ける特徴統合層ニューロンからの入力パルス信号の位相の変動の符号と逆符号（例えば位相平均が大きくなる方向、即ち遅くなる成分のパルス入力があるときはタイミングパルスを早く出力する）でかつ小さくなるように（αは１未満の正定数）当該ペースメーカからのタイミングパルス信号の位相が変調を受ける結果、ペースメーカニューロン間での出力パルス位相に関する（間接的な）相互作用が生じ、その結果として特徴統合層ニューロンからのパルス信号とこのタイミングクロックパルスとの間に位相同期をもたらす引き込みが起こる。なお、位相同期化はこのようなペースメーカニューロンからのタイミング制御による引き込みによるのではなく、例えば図１（Ｃ２）に示すように、隣接したペースメーカニューロンとの間での出力パルス信号の位相を比較する位相比較器８を用いてその位相バラツキ（比較すべき位相が複数の場合は位相のアンサンブル平均値など）が所定値に収束するような出力パルスのタイミング制御を行ってもよい。以上で局所タイミング信号の制御についての説明を終わる。
【００９０】
再び図３において、特徴検出ニューロンでは、ペースメーカニューロンからの入力がある前は後述する時間窓積分は行われず、ペースメーカニューロンからのパルス入力をトリガーとして、同積分が行われる。
【００９１】
ここに、時間窓（図１５に示す位相同期検出窓である前記ペースメーカニューロンの時間窓とは異なる）は特徴検出細胞(n'i)ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンおよび、ペースメーカニューロンに対して共通であり、時間窓積分の時間範囲を与える。
【００９２】
層番号(1,k)にあるペースメーカニューロンは（ｋは自然数）、パルス出力を層番号(2,k-1)の各特徴統合細胞、及びそのペースメーカニューロンが属する特徴検出細胞（層番号(1,k)）に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、ペースメーカニューロンは特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【００９３】
各パルスは、シナプス回路を通過すると所定量の位相遅延が与えられ、更に共通バスなどの信号伝達線を通って特徴検出細胞に到着する。この時のパルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ１，Ｐ２，Ｐ３）により示す。
【００９４】
特徴検出細胞において各パルス（Ｐ１，Ｐ２，Ｐ３）の時間窓積分(通常、一回の積分とする；但し、多数回に渡る時間窓積分による電荷蓄積、または多数回に渡る時間窓積分の平均化処理を行ってもよい)の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐｄ）がなされる。なお、同図に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【００９５】
パルス出力の時空間的統合及びネットワーク特性
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図７（B）に示すごとく、各ニューロンでは、上記サブ時間窓(タイムスロット)毎に所定の重み関数（例えばGaussian）で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τjはサブ時間窓ｊの重み関数の中心位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離(時間軸上でのずれ)の関数になる。
【００９６】
シナプスで特徴の種類に応じた位相変調が行われる一方、ここでは前段の層でのニューロン出力レベルにシナプス荷重に応じた乗算を時間軸上のこの重み関数値を参照して行ってもよい。
【００９７】
各サブ時間窓内での重み関数形状が対称形をなしている場合、ニューロンの各サブ時間窓(タイムスロット）の重み関数の中心位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は一種の時間軸ドメインの動径基底関数ネットワーク（Radial Basis Function Network；以下ＲＢＦと略す）とみなすことができる。Gaussian関数の重み関数を用いたニューロンniの時間窓FTiは、各サブ時間窓毎の広がりをσ、係数因子をbijで表すと、
【外２】
・・・（１）
となる。なお、重み関数としては、負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆｆａｕｌｓｅ）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆｆａｕｌｓｅ）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出(統合)細胞からの結合を与えておくことができる。
【００９８】
特徴検出層のニューロンniへの入力信号の時空間和Xi(t)は、
【外３】
・・・（２）
となる。ここに、εjは、ニューロンnjからの出力パルスの初期位相であり、ニューロンniとの同期発火により、０に収束するか、又はペースメーカニューロンからのタイミングパルス入力により、時間窓の位相を０に強制同期する場合には、εjは常に０としてよい。図７（Ａ）のパルス入力と同（Ｂ）に示す重み関数による荷重和を実行すると、図７（Ｅ）に示すような荷重和値の時間的遷移が得られる。特徴検出ニューロンは、この荷重和値が閾値(Vt)に達するとパルス出力を行う。ニューロンniからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のsquashing非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって上位層のニューロンに出力される（パルス出力は固定周波数(２値)とし、学習によって決まる固定遅延量に相当する位相に入力信号の時空間和についてのsquashing非線形関数となる位相変調量を加えて出力される）。
【００９９】
特徴検出層処理
以下、特徴検出層で主に行われる処理(学習時、認識時)について説明する。各特徴検出層においては、前述したように各スケールレベルごとに設定される処理チャネル内において同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。各特徴量に対応するパルスは予め学習により定められた遅延量(位相) により、所定の時間間隔で到着する。このパルス到着時間パターンの学習制御は、本発明の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する特徴であるほど先に到着し、そのままでは、パルス到着時間がほぼ等しくなる特徴要素間では、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素(認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など)間で異なる時間間隔で到着する様に設計してもよい。
【０１００】
本実施形態では、前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンは、それぞれ所定の位相で同期発火（パルス出力）することになる。一般的に特徴統合層のニューロンであって位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合が存在する（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）。この時、これら特徴検出ニューロンとの間でも同期発火することはいうまでもない。但し、その出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）は特徴検出ニューロンの受容野ごとに与えられる複数ペースメーカニューロンからの寄与の総和（或いは平均など）によって決まる。また、特徴検出層上の各ニューロンにおいては入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について所定幅の時間窓においてのみ行われる。時間窓内の重み付き加算を実現する手段は、図２に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【０１０１】
この時間窓は、実際のニューロンの不応期(refractory period)以外の時間帯にある程度対応している。即ち、不応期(時間窓以外の時間範囲)にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。図３（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように時間窓に比べて不応期を短くとらなくてもよい。
【０１０２】
本実施形態では、図６に模式的に示すように、既に説明したメカニズムとして、例えば各特徴検出層ニューロンごとに、その同一受容野からの入力を受けるようなペースメーカニューロン（固定周波数でパルス出力）によるタイミング情報（クロックパルス）の入力により、上述した開始時期の共通化をもたらすようにした。
【０１０３】
このように構成した場合には、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行う必要が無く、また、上記したようなクロックパルスの揺らぎ、変動があっても、局所的な同一受容野からの出力に対して一様にその影響を受ける（窓関数の時間軸上での位置の揺らぎは同一受容野を形成するニューロン間で同一となる）ので、特徴検出の信頼性は劣化することはない。このような局所的な回路制御により信頼度の高い同期動作を可能にするため、回路素子パラメータに関するばらつきの許容度も高くなる。
【０１０４】
以下、簡単のために三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層は、図７（Ｃ）に示すような各種向きを持ったL字パターン(f11, f12, ・・・, )、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン(f21,f22,・・・)、三角形を構成する２辺の一部の組み合わせ(f31,・・・)、などのような図形的特徴(特徴要素)に反応するものとする。
【０１０５】
また、同図のf41,f42,f43は向きの異なる三角形を構成する特徴であって、f11,f12,f13に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓(タイムスロット）(w1,w2,・・・)において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０１０６】
例えば、時間窓をｎ分割した後のw1, w2, ・・・、wnには図 ７(A)に示すごとく、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン(f11, f12, f13)は、それぞれw1,w2,w3内に到着し、特徴要素(f21,f22,f23)に対応するパルスは、それぞれw1, w2, w3内に到着するように学習により遅延量が設定されている。
【０１０７】
特徴要素(f31,f32,f33)対応のパルスも同様の順序で到着する。図７（Ａ）の場合、一つのサブ時間窓(タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。サブ時間窓に分割する意味は、各サブ時間窓で時間軸上に展開表現された異なる特徴要素に対応するパルスの検出（特徴要素の検出）を個別にかつ確実に行うことにより、それらの特徴を統合する際の統合の仕方、例えば、すべての特徴要素の検出を条件とするか、或いは一定割合の特徴検出を条件とするか等の処理モードの変更可能性や適応性を高めることにある。例えば、認識（検出） 対象が顔であり、それを構成するパーツである目の探索(検出)が重要であるような状況においては（目のパターン検出の優先度を視覚探索において高く設定したい場合）、高次の特徴検出層からのフィードバック結合を導入することにより、選択的に目を構成する特徴要素パターンに対応する反応選択性（特定の特徴の検出感度）を高めたりすることができる。このようにすることにより、高次の特徴要素（パターン）を構成する低次の特徴要素により高い重要度を与えて検出することができる。
【０１０８】
また、重要な特徴ほど早いサブ時間窓にパルスが到着するように予め設定されているとすると、当該サブ時間窓での重み関数値が他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は学習により獲得されるか、予め定義しておくこともできる。
【０１０９】
従って、一定割合の特徴要素の検出という事象さえ起きればよいのであれば、サブ時間窓への分割は殆ど意味が無くなり、一つの時間窓において行えばよい。
【０１１０】
なお、複数（３つ）の異なる特徴要素に対応するパルスがそれぞれ到着して加算されるようにしてもよい(図７（Ｄ）)。即ち、一つのサブ時間窓(タイムスロット）に複数の特徴要素(図７（Ｄ）)、或いは任意の数の特徴要素に対応するパルスが入力されることを前提としてもよい。この場合、図７（Ｄ）では、初めのサブ時間窓では、三角形の頂角部分ｆ１１の検出を支持する他の特徴要素ｆ２１、ｆ２３に対応するパルスが到着し、同様に２番目のサブ時間窓には頂角部分ｆ１２の検出を支持するような他の特徴要素ｆ２２、ｆ３１のパルスが到着している。
【０１１１】
なお、サブ時間窓(タイムスロット）への分割数、各サブ時間窓(タイムスロット）の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。
【０１１２】
撮影装置などへ搭載した応用例
本実施形態の構成に係るパターン認識(検出)装置を撮影手段に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１２を参照して説明する。図１２は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【０１１３】
図１２の撮像装置1101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系1102、CCD又はＣＭＯＳイメージセンサー1103、撮像パラメータの計測部1104、映像信号処理回路1105、記憶部1106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部1107、EVFなどファインダーを兼ねた表示ディスプレイ1108、ストロボ発光部1109、記録媒体1110などを具備し、更に上述したパターン検出装置を被写体検出（認識）装置1111として備える。
【０１１４】
この撮像装置1101は、例えば撮影された映像中から予め登録された人物の顔画像の検出(存在位置、サイズの検出)を被写体検出(認識)装置1111により行う。そして、その人物の位置、サイズ情報が被写体検出(認識)装置1111から制御信号発生部1107に入力されると、同制御信号発生部1107は、撮像パラメータ計測部1104からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【０１１５】
上述したパターン検出(認識)装置を、このように撮像装置に用いることにより、当該被写体を確実に検出(認識)する機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができる。
【０１１６】
（第２の実施形態）
本実施形態でのペースメーカニューロンとそれに結合する他のニューロン（特徴統合層及び検出層のニューロン群）の構成例を図８に示す。ペースメーカニューロンは同一特徴カテゴリの検出を行う特徴検出層ニューロンを所定数毎に分割して得られるグループ毎に一つ存在し、かつ独立したタイミングパルス信号を発生するように構成した点が前実施形態と異なる。
【０１１７】
このようにすることにより、隣接する特徴検出層ニューロン間での特徴統合層に対する重複した受容野構造を排除し（特徴統合層ニューロンは一つのペースメーカニューロンからのタイミング信号のみ受ける）、ペースメーカニューロンの数を減少させることができる。また前実施形態のように位相同期が確立するまでの遷移時間（図１５ではTp1+Tp2）を無くすることができ、処理の高速化が得られる。図９に図８に対応する各ニューロンのパルス出力タイミングの例を示す。ペースメーカニューロンのパルス出力（ＰＮout）は、ＰＮ時間窓（図９に示す）内での入力パルスの時間積分値が所定の閾値を越えたときに他のペースメーカニューロンとは独立してなされる。
【０１１８】
なお、ＰＮ時間窓は、特徴統合層ニューロンからの最初の（或いは、定常状態において繰り返し出力される場合にはペースメーカニューロンからのパルス出力後の最初の）パルス入力後、所定時間後に発生される。特徴検出層での時間軸積分窓の発生のためには、前実施形態のような二つのパルス出力（PN2,out1とPN2,out2）は不要である。
【０１１９】
本実施形態では、ペースメーカニューロンは常に一定間隔でタイミングパルス信号を発生するのではなく、ペースメーカニューロンの前段の層（特徴統合層など）の受容野にあるニューロン群からのパルス信号の時間的な平均パルス数が所定の閾値レベルに達したときだけタイミング信号を発生する。このようにすることにより、低消費電力化がもたらされる。
【０１２０】
（第３の実施形態）
本実施形態でのペースメーカニューロンを中心とする結合に関する構成例を図１０（Ａ），（Ｂ），図１１に示す。ペースメーカニューロンを第２の実施形態と同様に分割して得られる特徴検出層ニューロン群の代表位置として例えば、重心位置またはその最近傍にあるニューロン(N3I)に入力される特徴統合層ニューロンからのみパルス信号を受けて、所定条件のもとでタイミングパルス信号を発生する。
【０１２１】
図１０（Ａ）においてペースメーカニューロンＰＮは特徴検出層ニューロン(N'1D, N'2D, N'3D)に対してタイミング制御のためのパルス信号を出力する結合を有する。ＰＮと結合する特徴検出層のニューロン群の重心位置にあるのはN'2Dであり、N'2Dが結合する特徴統合層ニューロンN1I,N2I,N3I,N4Iがペースメーカニューロンと相互結合をする（結合を太い矢印で示す）。このように構成することにより、第２の実施形態と比べて相互結合に要する配線の軽減がもたらされる。また上述した配線の軽減を行っても重複する受容野構造の排除と独立したタイミングパルスを発生するペースメーカニューロンを用いるがゆえに動作上の問題（複数のタイミング制御信号が非同期入力されることによるペースメーカニューロンと特徴検出層での時間窓発生タイミングのずれ）は生じない。
【０１２２】
同様に図１０（Ｂ）に示す構成では、ＰＮと相互結合をするのは、N'2Dが入力を受ける特徴統合層ニューロン群のうち、その重心位置近傍にあるニューロンの一つ(N3I)のみである。かかる構成は相互結合のための配線の更なる軽減をもたらす。また、ペースメーカニューロンは図１０（Ｂ）で入力を受けるべき特徴統合層ニューロンのうち、最大出力を行うニューロンからのみ入力を受けるように構成することもできる。
【０１２３】
例えば、図１１に示す構成では、特徴統合層ニューロン群とペースメーカニューロンとの間にかかる最大出力を検出するいわゆるWinner-Take-All回路（以下、ＷＴＡ回路と言う）を設定し、ペースメーカニューロンはこのＷＴＡ回路からの出力を受けるようにしている。特徴統合層ニューロン群と特徴検出層ニューロン群との結合は図１０（Ａ）（Ｂ）と同様である。このようにして入力（画像）データ上の所定範囲の局所領域で最も顕著な特徴を検出する特徴統合層ニューロンからの出力に基づく局所タイミング制御を行うことにより、より小さい回路規模での並列パルス信号処理の安定動作が実現される。
【０１２４】
【発明の効果】
以上説明したように本発明によれば、分散して存在する局所的なタイミングクロック信号の制御を受けてパルス信号を介して動作する階層的並列処理回路、特に複数の局所タイミングクロック信号を入力し、パルス信号の時空間的積分と閾値処理を行う演算素子群から構成される並列処理回路において、その安定動作を保障し、かつ低消費電力化をもたらすことができるという効果がある。
【図面の簡単な説明】
【図１】ネットワーク全体構成図を示す図である。
【図２】シナプス部とニューロン素子部の構成を示す図である。
【図３】特徴統合層（または入力層）からの特徴検出層ニューロンへの複数パルス伝播の様子を示す図である。
【図４】シナプス回路の構成を示す図である。
【図５】シナプス結合小回路の構成図、及び実施形態１で用いるパルス位相遅延回路の構成図を示す。
【図６】特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。
【図７】特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の時間窓の構成、重み関数分布の例、特徴要素の例を示す図である。
【図８】第２の実施形態に係るペースメーカニューロンを中心とした結合構造の模式図である。
【図９】各ニューロンのパルス発火タイミングを示す図である。
【図１０】ペースメーカニューロンを中心とした結合構造の模式図である。
【図１１】ペースメーカニューロンを中心とした結合構造の模式図である。
【図１２】パターン認識装置を搭載した撮影装置の構成例を示す図である。
【図１３】局所タイミング信号発生を行うペースメーカニューロン回路の構成ブロックを示す図である。
【図１４】ペースメーカニューロンを中心とした結合構造例の模式図である。
【図１５】各ニューロンのパルス発火タイミングを示す図である。
【図１６】特徴統合層と特徴検出層間の結合例の模式的を示す図である。
【発明の属する技術分野】
本発明は、信号の並列処理を行なう神経回路網などの信号処理回路、及びそれを用いたパターン認識装置に関するものである。
【０００２】
【従来の技術】
従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムを例としてその代表例を以下に挙げる。先ず、認識対象モデルとの類似度に関する特徴量を算出して行うものとしては、認識対象のモデルデータをテンプレートモデルとして表現しておき、入力画像（或いはその特徴ベクトル）とのテンプレートマッチング等による類似度算出や、高次相関係数の算出などによる方法、対象のモデル画像を主成分分析して得られる固有画像関数空間へ入力パターンを写像してモデルとの特徴空間内での距離を算出する方法(Sirovich,et al., 1987, Low-dimensional procedure for the characterization of human faces, J. Opt. Soc. Am. [A], vol. 3, pp.519-524)、複数の特徴抽出結果（特徴ベクトル）およびその空間配置関係をグラフ表現し、弾性的グラフマッチングによる類似度算出を行う方法（Lades et al. 1993, Distortion Invariant Object Recognition in the Dynamic Link Architecture, IEEE Trans. on Computers, vol.42, pp.300-311）、入力画像に所定の変換を行って位置、回転、スケール不変な表現を得た後にモデルとの照合を行う方法（Seibert, et al. 1992, Learning and recognizing 3D objects from multiple views in a neural system, in Neural Networks for Perception, vol. 1 Human and Machine Perception(H. Wechsler Ed.) Academic Press, pp.427-444）等がある。
【０００４】
生体の情報処理機構にヒントを得た神経回路網モデルによるパターン認識方法としては、階層的テンプレートマッチングを行う方法（特公昭60-712、Fukushima & Miyake, 1982 Neocognitron: A new algorithm for pattern recognition tolerant of deformation and shifts in position, Pattern Recognition, vol.15, pp.455-469）、ダイナミックルーティング神経回路網により対象中心のスケール、位置不変な表現を得て行う方法(Anderson, et al. 1995, Routing Networks in Visual Cortex, in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.823-826)、その他多層パーセプトロン、動径基底関数(Radial Basis Function)ネットワークなどを用いる方法がある。
【０００５】
一方、生体の神経回路網による情報処理機構をより忠実に取り入れようとする試みとして、アクションポテンシャルに相当するパルス列による情報の伝達表現を行う神経回路網モデル回路が提案されている(Murray et al., 1991 Pulse-Stream VLSI Neural Networks Mixing Analog and Digital Techniques, IEEE Trans. on Neural Networks, vol.2, pp.193-204.；特開平7-262157号公報、特開平7-334478号公報、特開平8-153148号公報、特許２８７９６７０号公報など)。
【０００６】
パルス列生成ニューロンからなる神経回路網により特定対象の認識、検出を行う方法としては、結合入力(linking inputs)と供給入力(feeding inputs)を前提としたEckhornらによる高次（２次以上）のモデル（Eckhorn, et al. 1990, Feature linking via synchronization among distributed assemblies: Simulation of results from cat cortex, Neural Computation, Vol.2, pp.293-307)、即ち、パルス結合神経回路網(以下、ＰＣＮＮと略す) を用いた方式がある（ＵＳＰ５６６４０６５、及び、Broussard, et al. 1999, Physiologically Motivated Image Fusion for Object Detection using a Pulse Coupled Neural Network, IEEE Trans. on Neural Networks, vol. 10, pp.554-563、など）。
【０００７】
また、ニューラルネットワークにおける配線問題を軽減する方法として、いわゆるパルス出力ニューロンのアドレスをイベント駆動型で符号化する方法（Address Event Representation：以下、ＡＥＲという）がある(Lazzaro, et al. 1993, Silicon Auditory Processors as Computer Peripherals, In Touretzky, D. (ed), Advances in Neural Information Processing Systems 5. San Mateo, CA:Morgan Kaufmann Publishers)。この場合、パルス列出力側のニューロンのＩＤがアドレスとして２値で符号化されることにより、異なるニューロンからの出力信号が共通バス上に時間的に配列しても、それを入力する側のニューロンでは元のニューロンのアドレスを自動的にデコードすることができる。
【０００８】
一方、特許２７４１７９３号公報に係るニューラルネットワークプロセッサでは、シストリックアレイのアーキテクチャにおいて多層のフィードフォワード型ネットワークを構成することにより、ニューロン数の減少と回路規模の縮小を図っている。
【０００９】
特許２５０００３８号公報に係る並列処理マルチプロセッサシステム等においては、分散並列型計算システムにおいて命令セットの処理と同時に生成するシグネチャの多数決処理により誤りの有無を検出する。
【００１０】
また、近年マイクロプロセサの動作周波数が大幅に増大する中で、チップ全体を単一のクロック信号に同期して動作させるのではなく、チップを複数のブロックに分割しそれぞれのブロックを非同期で動かすアーキテクチャが開発されている(Schuster, S. et al., “Asynchronous Interlocked Pipelined CMOS Circuits Operating at 3.3-4.5GHz”, 2000 IEEE International Solid-State Circuits Conference(ISSCC2000), WA17.3, vol.43, pp.292-293, 2000)。
【００１１】
【発明が解決しようとする課題】
上記従来例においては、階層型並列信号処理回路として、分散して複数存在する局所的なクロック信号を制御クロック信号として用いた場合に、矛盾なく安定動作することを保障し、かつ低消費電力である方式が存在しなかった。
【００１２】
【課題を解決するための手段】
本発明は、局所分散型クロック信号発生回路をデータ駆動型の演算素子として用いる構成などにより、並列パルス信号処理の無矛盾動作（例えば、複数の非同期タイミング制御信号を受けても所期の演算を行う事ができること）、安定動作及び低消費電力動作を実現することを目的とする。
【００１３】
本発明のある態様によれば、信号処理回路に、所定の規則に基づき互いに結合し、階層的かつ並列配置される複数の演算素子と、特定層の演算素子群に付随し、前層から入力されるパルス信号の入力値に応じたタイミングで該パルス信号に同期したパルス状の局所タイミング信号を発生し、当該演算素子群に該局所タイミング信号を出力する複数の局所タイミング信号発生回路とを有し、前記演算素子群の演算素子は該演算素子に付随する前記局所タイミング信号発生回路からの局所タイミング信号に応じたタイミングで、前層から入力されるパルス信号に対して所定の演算を実行することを特徴とする。
【００１４】
また、本発明の他の態様によれば、信号処理回路に、所定の規則に基づき互いに結合し、階層的かつ並列に配置される複数の演算素子と、特定層の第一の演算素子群に付随し、前層の第二の演算素子群から入力されるパルス信号の入力値に応じたタイミングで該パルス信号に同期したパルス状の局所タイミング信号を発生し、当該第一及び第二の演算素子群に該局所タイミング信号を出力する複数の局所タイミング信号発生回路とを有し、前記第一の演算素子群は前記局所タイミング信号発生回路からの局所タイミング信号に応じたタイミングで、前記第二の演算素子群からの出力を入力し、前記局所タイミング信号発生回路は前記第一の演算素子群の所定数の演算素子毎に設けられていることを特徴とする。
【００２１】
【発明の実施の形態】
（第１の実施形態）
全体構成概要
図１は本発明のパターン認識装置の全体構成図を示し、対象または幾何学的特徴などの認識(検出)に関与する情報を主として扱い、いわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, “Convolutional Networks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)を有している。但し、同経路内の層間結合は局所的に相互結合をなし得る点(後述)が、従来と異なる。
最終出力は認識結果、即ち認識された対象のカテゴリに相当する。
【００２２】
データ入力層１は、画像センサー手段の場合はＣＭＯＳセンサー、或いはＣＣＤ素子等の光電変換素子であり、音声の検出認識などを行う場合には音声入力センサーである。また、所定データ解析手段の解析結果（例えば、主成分分析、ベクトル量子化、など）から得られる高次元のデータを入力するものであってもよい。
【００２３】
以下、画像を入力する場合について説明する。特徴検出層(１,０)は、Gabor wavelet変換その他による多重解像度処理により、画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置(或いは、全画面にわたる所定のサンプリング点の各点)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出し、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００２４】
特徴検出層(1,k)は全体として、複数の解像度（又はスケールレベル）での処理チャネルを形成する（但し k≧0）。即ち、Gabor wavelet変換を特徴検出層（１,０）で行う場合を例にとると、スケールレベルが同一で方向選択性の異なるGaborフィルタカーネルを受容野構造に持つ特徴検出細胞のセットは特徴検出層（１,０）において同一の処理チャネルを形成し、後続の層(1,１) においても、それら特徴検出細胞からの出力を受ける特徴検出細胞（より高次の特徴を検出する）は、当該処理チャネルと同一のチャネルに属する。更に後続の層（１,ｋ）(但しｋ＞１)においても、同様に（2,ｋ―１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００２５】
特徴統合層(２,０)は、所定の受容野構造(以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する)を有し、パルス列を発生するニューロン素子からなり、特徴検出層(１,０)からの同一受容野内の複数のニューロン素子出力の統合（局所平均化、最大値検出等によるサブサンプリングなどの演算）を行う。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。各特徴検出層（１,１）、(１,２)、・・・、(１,N)）及び各特徴統合層（(２,１)、(２,２)、・・・、(２,N)）は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（(１,１)、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（(２,１)、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。
【００２６】
図２は、シナプス回路とニューロン素子の構成を示す図である。各層間のニューロン素子201間を結合する構造は、図２の（Ａ）に示すように、神経細胞の軸索または樹状突起に相当する信号伝達部203（配線または遅延線）、及びシナプス回路Ｓ202である。図２の（Ａ）では、ある特徴検出（統合）細胞（Ｎ）に対する受容野を形成する特徴統合(検出)細胞のニューロン群（ni）からの出力（当該細胞Ｎから見ると入力）に関与する結合の構成を示している。太線で示している信号伝達部203は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞（Ｎ）からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用（樹状突起側）と出力用（軸索側）の２系統で、図２の（Ａ）と同様の構成を与えて処理してもよい。
【００２７】
シナプス回路Ｓ202としては、層間結合（特徴検出層102上のニューロンと特徴統合層103上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものと、同一層内ニューロン間結合に関与するものとがある。後者は必要に応じて、主に、後述するペースメーカーニューロンと特徴検出または特徴統合ニューロンとの結合に用いられる。
【００２８】
シナプス回路Ｓ202において、いわゆる興奮性結合はパルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。
【００２９】
本実施形態においては、シナプス回路Ｓ202は、主にパルスの位相変調素子として用い、信号の増幅は、パルス到着時間の特徴に固有な量としての実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は後述するように出力先のニューロンでの特徴に固有な時間軸上の到着位置(位相)を与え、定性的には興奮性結合はある基準位相に対しての到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００３０】
図２の（Ａ）において、各ニューロン素子njは、パルス信号（スパイクトレイン）を出力し、後述する様な、いわゆるintegrate-and-fire型のニューロン素子を用いている。なお、図２の（C）に示すように、シナプス回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００３１】
ニューロン素子
次に各層を構成するニューロンについて説明する。各ニューロン素子はいわゆるintegrate-and-fireニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点ではいわゆるintegrate-and-fireニューロンと同じである。
【００３２】
図２（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路(IEEE Trans. on Neural Networks Vol. 10, pp.540)を拡張したものである。ここでは、入力として興奮性と抑制性の入力を受けるものとして構成されている。
【００３３】
以下、このパルス発生回路の動作原理について説明する。興奮性入力側のキャパシタC1及び抵抗Ｒ１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の時定数より小さく、定常状態では、トランジスタＴ１、Ｔ２、Ｔ３は遮断されている。なお、抵抗は実際には、ダイオードモードで結合するトランジスタで構成される。
【００３４】
キャパシタC1の電位が増加し、キャパシタC2のそれよりトランジスタＴ１の閾値だけ上回ると、トランジスタＴ１はアクティブになり、更にトランジスタＴ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ３は、電流ミラー回路を構成し、図２の（Ｂ）の回路の出力は、不図示の出力回路によりキャパシタC1側から出力される。キャパシタＣ２の電荷蓄積量が最大となると、トランジスタＴ１は遮断され、その結果としてトランジスタＴ２及びＴ３も遮断され、上記正のフィードバックは０となる様に構成されている。
【００３５】
いわゆる不応期には、キャパシタＣ２は放電し、キャパシタＣ１の電位がキャパシタＣ２の電位よりも大で、その差がトランジスタＴ１の閾値分を超えない限り、ニューロンは応答しない。キャパシタＣ１、Ｃ２の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応して定まる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００３６】
キャパシタの電位、従って電荷蓄積量は、基準電圧制御回路（時間窓重み関数発生回路）204により時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図７参照）。この基準電圧制御回路204は、後述するペースメーカニューロンからの入力タイミング（又は、後続層のニューロンとの相互結合入力）に基づき、基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生する。
【００３７】
抑制性の入力は、本実施形態においては必ずしも要しない場合があるが、後述するペースメーカニューロンから特徴検出層ニューロンへの入力を抑制性とすることにより、出力の発散（飽和）を防ぐことができる。
【００３８】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）の関係は、そのニューロンの感度特性によって変化し、また、その感度特性は上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を加えたタイミングなど）が変動するものとする。
【００３９】
また、パルス位相の変調手段としては、後述する図５に示すような回路を付加して用いてもよい。これにより、時間窓内の重み関数で上記基準電圧が制御される結果、このニューロンからのパルス出力の位相が変化し、この位相をニューロンの出力レベルとして用いることができる。
【００４０】
シナプス結合でパルス位相変調を受けたパルスについての時間的積分特性（受信感度特性）を与える図７（Ｂ）に示すような重み関数の極大値に相当する時刻τw1は、一般的にシナプス結合で与えられる特徴に固有なパルスの到着予定時刻τsiより時間的に早く設定される。その結果、到着予定時刻より一定範囲で早く（図７(B)の例では、早すぎて到着するパルスは減衰される）到着するパルスは、それを受け取るニューロンでは、高い出力レベルを持ったパルス信号として時間的に積分される。重み関数の形状はガウシアン等の対称形に限らず、非対称形状であってもよい。
【００４１】
また、ニューロン出力（シナプス前）の位相は、後述するように時間窓の始期を基準とし、その基準時からの遅れ（位相）は基準パルス（ペースメーカ出力その他による）を受けた時の電荷蓄積量により決まるような出力特性を有する。このような出力特性を与える回路構成の詳細については、本発明の主眼とする所ではないので省略する。シナプス後のパルス位相は当該シナプスにより与えられる固有の位相変調量にシナプス前の位相を加算したものとする場合、シナプス荷重に相当する量をシナプス前の信号に乗算するような演算は、後述する重み関数によって与えられる。
【００４２】
なお、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知回路構成を用いてもよい。
【００４３】
ニューロン素子の構成としては、特徴検出層または特徴統合層に属するニューロンであって、後述するペースメーカニューロン出力タイミングに基づき発火パターンが制御される場合には、ペースメーカーニューロンからのパルス出力を受けた後、当該特徴検出ニューロンが前段の層の局所受容野から受ける入力レベル（上記の入力総和値）に応じた位相遅れをもってパルス出力するような回路構成であればよい。この場合、ペースメーカーニューロンからのパルス信号を入力する前では、入力レベルに応じて各ニューロンは互いにランダムな位相でパルス出力する過渡的な遷移状態が存在する。
【００４４】
一般的には、隣接する特徴検出層ニューロンは、その前段の層（特徴統合層など）に対する各受容野が重複しており、その場合には後述するように特徴検出層ニューロンに付随するペースメーカニューロンはその特徴検出層ニューロンと同一の受容野を有するので、隣接するペースメーカニューロン間の直前の層に対する受容野構造も互いに重複する。従って、所定の特徴検出層ニューロンのある受容野に属する特徴統合層ニューロンは同時に複数の特徴検出層ニューロンの受容野に属するということがおこる。後述するように特徴統合層ニューロンは後段の層のペースメーカニューロンからのタイミング信号も受けるので、この場合には複数のペースメーカニューロンからのタイミング制御信号を受けることになる。
【００４５】
後述する特徴検出層ニューロンでの時間窓内でのパルス信号の積分が正しく行われるようにするために、複数のタイミング制御信号を受ける場合にも特徴統合層ニューロンから特徴検出層ニューロンへのパルス信号の流れが適正に行われるように時間窓発生のタイミングが設定される。
【００４６】
このために、ペースメーカニューロンからのタイミング制御信号出力またはニューロン間（特徴検出層と特徴統合層の間）の相互結合とネットワークダイナミックスによりもたらされる同期発火信号を基準とし、これに所定の時間幅内で位相同期するように出力パルスの発火タイミングの制御がなされるような回路構成を用いている（詳しくはパターン検出の動作原理の説明箇所を参照のこと）。
【００４７】
特徴検出層のニューロンは前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層または特徴統合層）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による荷重総和値(後述)が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるsquashing関数値をとるような出力（ここでは位相変化で与える；周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００４８】
シナプス回路等
図４は、シナプス回路202(Si)においてニューロンniの結合先である各ニューロンn'jへのシナプス結合強度（位相遅延等に関する変調の大きさを意味する）を与える各小回路がマトリクス的に配置されていることを示す。
【００４９】
ネットワークが結合荷重の共有結合形式（１の重み係数分布で異なるニューロンのシナプス結合荷重分布を同一に表す場合）になるような構成をとる場合には、各シナプスでの遅延量（下記のＰij）が図３の場合と違って同一受容野内で一様とすることができる場合がある。例えば、特徴検出層から特徴統合層への結合は、特徴統合層がその前段の層である特徴検出層出力の局所平均化（ただし、一様重み付けとする）によるサブサンプリングを行う場合には、検出対象によらず（即ち、課題によらず）このように構成することができる。
【００５０】
この場合、図４の（Ａ）の各小回路401は、図４の（Ｃ）のように、単一の回路Sk,iで済み、特に経済的な回路構成となる。一方、特徴統合層（またはセンサー入力層）から特徴検出層への結合がこのようになっている場合、特徴検出ニューロンが検出するのは、複数の異なる特徴要素を表すパルスの同時到着(或いは、略同時到着)という、イベントである。
【００５１】
図４の（Ｂ）に示すように各シナプス結合小回路401は、学習回路402と位相遅延回路403とからなる。学習回路402は、位相遅延回路403の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。位相遅延回路403はパルス位相変調回路であり、例えば、図５（Ａ）に示すような単安定マルチバイブレータ506、507及び、抵抗501、504、キャパシタ503、505、トランジスター502を用いた構成がある。図５（Ｂ）は単安定マルチバイブレータ506へ入力された方形波P1(図５（Ｂ）[1])、単安定マルチバイブレータ506から出力される方形波P2(同[2])、単安定マルチバイブレータ507から出力される方形波P3(同[3])の各タイミングを表している。
【００５２】
位相遅延回路403の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ503の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗504とキャパシタ505による時定数で決まる。Ｐ２のパルス幅が（図５の（Ｂ）の点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【００５３】
制御電圧Ecを基準電圧のリフレッシュ回路509と結合荷重を与えるキャパシタ508への電荷蓄積量制御を行う学習回路402で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に図５の（Ａ）の回路の外側に付加される浮遊ゲート素子（図示せず）のチャージとして、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成（例えば、特開平５−３７３１７号公報、特開平１０−３２７０５４号公報参照）など周知の回路構成を用いることができる。
【００５４】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図５の（Ｃ）に示すような回路要素を有するものを用いればよい。即ち、学習回路402をパルス伝播時間計測回路510（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時刻と次の層上にある出力先ニューロンでの当該パルスの到着時刻との時間差をさす）、時間窓発生回路511、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路512から構成できる。
【００５５】
伝播時間計測回路510としては、後述するような同一局所受容野を形成するペースメーカーニューロンからのクロックパルスを入力し、所定の時間幅（時間窓：図３の（Ｂ）参照）において、そのクロックパルスのカウンター回路からの出力に基づき伝播時間を求めるような構成などが用いられる。なお、時間窓は出力先ニューロンの発火時点を基準として設定することにより、以下に示すような拡張されたHebbの学習則が適用される。
【００５６】
特徴検出層 (1,0) での処理（ Gabor wavelet 変換等による低次特徴抽出）
特徴検出層(１,０)には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するのニューロンがあるとすると、データ入力層１上のN1の受容野内に該当する構造が存在すれば、そのコントラストに応じた位相でパルス出力する。このような機能はGabor filterにより実現することができる。以下、特徴検出層(１,０)の各ニューロンが行う特徴検出フィルタ機能について説明する。
【００５７】
特徴検出層(１,０)では、多重スケール、多重方向成分のフィルタセットで表されるGaborウエーブレット変換を行うものとし、層内の各ニューロン（または複数ニューロンからなる各グループ）は、所定の Gaborフィルタ機能を有する。特徴検出層では、スケールレベル（解像度）が一定で方向選択性の異なる複数のGabor関数の畳み込み演算カーネルに対応する受容野構造を有するニューロンからなる複数のニューロン集団を一まとめにして一つのチャネルを形成する。
【００５８】
その際、同一チャネルを形成するニューロン群は方向選択性が異なり、サイズ選択性が同一のニューロン群どうしを互いに近接した位置に配置してもよいし、同一の特徴カテゴリに属し、異なる処理チャネルに属するニューロン群どうしが互いに近接配置されるようにしてもよい。これは、集団的符号化における後述する結合処理の都合上各図に示すような配置構成にした方が、回路構成上実現しやすいことによる。
【００５９】
なお、Gabor wavelet変換を神経回路網で行う方法の詳細については、Daugman (1988)による文献（IEEE Trans. on Acoustics, Speech, and Signal Processing, vol.36, pp.1169-1179）を参照されたい。
【００６０】
特徴検出層（１,０）の各ニューロンは、gmnに対応する受容野構造を有する。同じスケールインデックスｍを有するgmnは同じサイズの受容野を有し、演算上は対応するカーネルgmnサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは、最も粗いスケールから順に入力画像上の３０ｘ３０、１５ｘ１５、７ｘ７のサイズとした。各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型squashing関数となる出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１,０）全体の出力として、Gabor wavelet変換が行われたことになる。
【００６１】
特徴検出層での処理（中次、高次特徴抽出）
後続の特徴検出層（(１,１)、(１,２)、・・・）の各ニューロンは、上記特徴検出層(1,0)とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造をいわゆるHebb学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。
【００６２】
例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。異なる処理チャネル間では、同じ階層レベル(検出される特徴の複雑さが同レベル)であれば、検出される特徴の違いは、同一カテゴリであるが、互いに異なるスケールで検出されたものであることにある。例えば、中次の特徴としての「目」は異なる処理チャネルでは、サイズの異なる「目」として検出を行う。即ち、画像中の与えられたサイズの「目」に対してスケールレベル選択性の異なる複数の処理チャネルにおいて検出が試みられる。
【００６３】
なお、特徴検出層ニューロンは一般的に(低次、高次特徴抽出に依らず)、出力の安定化のために抑制性(分流型抑制：shunting inhibition)の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００６４】
特徴統合層での処理
特徴統合層（(２,０)、(２,１)、・・・）のニューロンについて説明する。図１に示すごとく特徴検出層（例えば(１,０)）から特徴統合層(例えば(２,０))への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力及び後述するペースメーカニューロン出力(PNout1)をともに図２（Ｂ）の興奮性入力側で受けるように構成され、統合層のニューロンの機能は前述したごとく、各特徴カテゴリごとの局所平均化、最大値検出その他のサブサンプリング等である。
【００６５】
前者によれば、複数の同一種類の特徴のパルスを入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【００６６】
特徴統合層でのパルス信号処理
このように本実施形態では、特徴統合細胞は、その前の層番号(1,k)の特徴検出層上のペースメーカニューロンからのタイミング制御は受けるようには、構成していない。なぜならば、特徴統合細胞においては、入力パルスの到着時間パターンではなく、むしろ一定の時間範囲での入力レベル（入力パルスの時間的総和値など）によって決まる位相（周波数、パルス幅、振幅のいずれかが依存してもよいが、本実施形態では位相とした）でのパルス出力をするため、時間窓の発生タイミングは余り重要ではないからである。なお、このことは、特徴統合細胞が前段の層の特徴検出層のペースメーカニューロンからのタイミング制御を受ける構成を排除する趣旨ではなく、そのような構成も可能であることはいうまでもない。
【００６７】
パターン検出の動作原理
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図３は、特徴統合層から特徴検出層への（例えば、図１の層(２,０)から層(１,１)への）パルス信号の伝播の様子を模式的に示したものである。特徴統合層側の各ニューロンniは、それぞれ異なる特徴量（或いは特徴要素）に対応し、特徴検出層側のニューロンn'jは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【００６８】
各ニューロン間結合には、パルスの伝播時間とニューロンniからニューロンn'jへのシナプス結合（Ｓj,i）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果としてニューロンn'jに到着するパルス列Piは、特徴統合層の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている(図３（Ａ）では、P4,P3,P2,P1の順に到着するように示されている)。
【００６９】
図３（Ｂ）は、後述するペースメーカニューロンからのタイミング信号を用いて時間窓の同期制御を行う場合において、ペースメーカニューロンの出力と特徴統合層ニューロン間の位相同期がとれた後についての層番号（2,k）上の特徴統合細胞n１、n２、n３（それぞれ異なる種類の特徴を表す）から、層番号（1,k+1）上のある特徴検出細胞(n'j)（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示す。
【００７０】
図６においてペースメーカニューロンnpは、同一の受容野を形成し、かつ異なる種類の特徴を検出する特徴検出ニューロン（nj,nk等）に付随し、それらと同一の受容野を形成して、特徴統合層（または入力層）からの興奮性結合を受ける。また、ペースメーカニューロンからの出力はかかる特徴統合層ニューロンの興奮性入力へも出力されるため、特徴統合層ニューロン群とペースメーカニューロン間での（ループ状の）相互結合が存在する。ペースメーカニューロンは、その入力の総和値（或いは受容野全体の活動度レベル平均値など、受容野全体に固有の活動特性を表す状態に依存するように制御するため）によって決まる所定のタイミングで入力パルス信号に位相同期するようにパルス出力を行う。このためには図１３（Ａ）に示すように、ペースメーカニューロン回路としては、前述したニューロン素子回路（図２（Ｂ））においてペースメーカ入力を位相同期検出窓信号入力とし、抑制性入力を一定時間範囲で特徴統合ニューロンからのパルス入力がある限り入力される定常入力としたもの（図１３（Ｂ））に位相同期検出及び制御回路７が付加された構成になっている。
【００７１】
位相同期検出及び制御回路７は、ニューロン素子回路（図１３（Ｂ））からの出力パルス（図１３（Ａ）のPNout2,pre）と前段の層である特徴統合層ニューロンからの複数のパルスを入力し、後述する位相同期検出窓の開始時刻を基準とする特徴統合層ニューロンからのパルス信号の各位相（以下、ＰＩと記載する）に応じたパルス信号出力（図１５のPN2,out1、及び図１３（Ａ）のPNout1）、即ち、複数の特徴統合層ニューロンからの入力パルスについての位相ＰＩのアンサンブル平均値の時間的変動幅（ペースメーカ出力間隔できまる所定時間幅（図１５のＴ）について）が基準値以下となり所定値に収束するようにペースメーカニューロン出力（PNout1）の位相を調節して特徴統合層ニューロンに出力する。以下その詳細を説明する。
【００７２】
図１３（Ａ）の位相同期検出及び制御回路７は、図１３（Ｃ）に示すように位相同期検出窓発生回路及びパルス信号（PNout1）発生回路、及び制御回路とから構成され、位相同期検出窓発生回路からは所定幅のパルス信号がニューロン素子回路に対して出力される。ニューロン素子回路では、このパルス信号がＯＮのときだけ特徴統合層ニューロン等からの入力パルス信号の時間的積分が行われ、所定閾値以上のときにパルス信号（図１３（Ａ）のPNout2,pre）を出力する。
【００７３】
制御回路中の同期検出信号誘起回路は、このパルス信号PNout2,preの入力が所定時間幅内にあれば、PNout2発生回路に出力を促す信号Ｓｐを出力し続け、同PNout2発生回路からは同期検出信号パルス（以下の説明のPN2,out2）が特徴検出層ニューロンに出力される。PNout2発生回路としては、このPNout2信号とパルス信号（PNout1）とが（同期確立後は）ほぼ同位相となるように閾値処理回路からの出力に応じてスイッチＯＮ／ＯＦＦを行うスイッチ回路、或いはパルス信号（PNout1）に一定の遅延を与える遅延回路などにより構成される。また、収束判定回路は以下に説明するPNout1の出力タイミング制御を行う際の収束判定を行う回路である。
【００７４】
次に、PN2,out1を受けた後の特徴統合層ニューロンの動作について説明する。ペースメーカニューロンに同期する前の特徴統合層ニューロンの出力は前述した通りであり（特徴統合層でのパルス信号処理に記載）、ペースメーカニューロンからの出力パルス（PN2,out1）を受けない限り、前段の特徴検出層からのパルス信号の積分値が所定基準値（閾値）を越えた時にパルス出力を行う一方、（複数の）PNout1を受けた後は統合層ニューロンからの出力タイミングは、前回のパルス出力から所定時間幅内において、ペースメーカニューロンからの入力パルスを加えた積分値が閾値を越す時間がその出力タイミングとなる。なお、特徴統合層ニューロンから特徴検出層ニューロンへの出力は後述するように図１６のシナプス結合回路を介して行われる。
【００７５】
図１４（Ａ）は、ペースメーカニューロンを中心とする前後の特徴統合層ニューロンと特徴検出層ニューロンとの結合の関係を模式的に表したものである。ここに、ペースメーカニューロンＰＮ2は特徴検出層ニューロンＮ'２Ｄに付随し、直接の入力を受ける特徴統合層に対してＮ'２Ｄと同じ受容野に属する特徴統合層ニューロン(N1I, ・・・,N4I)からの入力を受ける。同様にしてペースメーカニューロンＰＮ3は特徴検出層ニューロンＮ'3 Ｄに付随し、直接の入力を受ける特徴統合層に対してＮ'3 Ｄと同じ受容野に属する特徴統合層ニューロン(N3I, ・・・,N6I)からの入力を受ける。Ｎ１Ｉへの入力は無く、N2IからN4Iへの入力は強く、また、N5I,N6Iへの入力は弱いものとする。ペースメーカニューロンと特徴統合層ニューロン間は相互結合を、また後続の特徴検出層ニューロンに対してはペースメーカニューロンからの一方向に信号が流れる結合をなしている。
【００７６】
特徴統合層ニューロンから特徴検出層ニューロンへの結合は図１４（Ａ）では、点線で示してある（シナプス結合は省略）。また、かかる結合によりパルス信号が伝達するためには、ペースメーカニューロンからの所定のパルス出力（以下のPN2,out2）があったときのみとするために、該当するパルス出力があったときだけ開くゲート回路（またはスイッチ回路）をシナプス結合回路の出力側に設定してある。図１６にこの構成の概要を示す。なお、PN2,out1とPN2,out2はともに位相同期検出回路からのパルス出力である。
【００７７】
ペースメーカニューロン（ＰＮ）に特徴統合層ニューロン（ＮｊＩ）からのパルス信号を入力する際に、特徴統合層ニューロンからの少なくとも一つパルス入力があった後、所定の周期（Ｔ）でごく短い時間幅の時間窓（図１（Ｄ）の位相同期検出窓）信号を位相同期検出及び制御回路７から発生し、ペースメーカニューロン素子回路はその時間窓においてのみパルス信号を入力するように構成する。また、このとき、位相同期検出及び制御回路７からPN2,out1のパルス出力が以下に説明するタイミング制御方式に従って特徴統合層ニューロンに対してなされる。
【００７８】
この位相同期検出窓での入力パルス信号の時間的積分値が、所定の閾値より高、PNout2,preの位相が前述したように所定時間幅内にあれば、パルス信号出力（PN2,out2の出力パルス）が位相同期検出及び制御回路７から特徴統合層ニューロン及び特徴検出層ニューロンに対してあり、このパルス信号（PN2,out2）入力があったときに、特徴統合層ニューロンからの出力パルス信号は、シナプス結合回路で位相変調などの変調処理を受け、特徴検出層ニューロンでは特徴統合層ニューロンからのシナプス結合を経由したパルス信号の時間的積分が図１５に示す時間軸積分窓の範囲内で行われる。なお、同期検出後のPN2,out1とPN2,out2とのタイミングは固定であり、ここでは図３（Ｂ）との整合をとるために遅延なしとする。
【００７９】
図１５は、図１４に対応する各ニューロンのパルス出力タイミングを表す。ペースメーカニューロンは、そのパルス出力（PNout1）タイミングをその位相同期検出窓の開始時刻を基準として以下に示す変調規則に従ってタイミングパルス（PN2,out1）の出力位相（２πＴｐ i／Ｔ）を変調する。ここに、Tpiのインデクスiは、i番めの変調に係るパルス出力タイミングであることを表す。図１５では画像の呈示後最初のペースメーカニューロン出力（PN2,out1）があった後からTp1+Tp2の時間（遷移時間）経過後に同期確立が位相同期検出窓内でのパルス積分値が所定値以上となったことにより検出され、第２の出力（PN2,out2）がなされる。なお、最初のPN2,out1は、位相同期検出窓と同じタイミングで出力され、また、T'は最初の同期検出後にタイミング信号（PN2,out1）が発生するまでの時間で固定値とし、最初の同期検出後の位相同期した定常状態ではT'は存在しないようにPN2,out2出力は制御されるものとする。
【００８０】
ここで時間窓の発生周期により正規化されるペースメーカニューロンの出力位相をＰｐ（＝２πＴｐ／Ｔ）で表し、また、時刻ｔ（時間窓発生周期Ｔを単位とする離散時間）での複数の特徴統合層ニューロンからのパルス信号の位相ＰＩのアンサンブル平均を<ＰＩ>ｔ（例えば、統合層ニューロンnIからの出力パルスの時刻ｔでの位相をPI(t)とすると、
【外１】
となる。ここにＮは入力を行う特徴統合層ニューロン数）とする。その所定時間幅あたりの時刻ｔでの変動幅をΔ＜ＰＩ＞ｔとおき、αを１未満の正定数とすると、ペースメーカニューロン（ＰＮ）から出力されるタイミングパルスの位相変調量ΔＰｐは、例えば以下のように表される。
【００８２】
ΔＰｐ（ｔ＋１） ＝ -αＰｐ（ｔ）[Δ＜ＰＩ＞ｔ／ΔＰｐ（ｔ）]
ここに、時刻ｔ＋１は便宜上離散時間で表したものであり、特徴検出層ニューロンからの少なくとも一つパルス入力があった時刻ｔから単位離散時間経過後の時刻を示す。 この式によれば、直前の位相制御量の単位変化量に対応するΔ＜ＰＩ＞に比例する因子で逆向きにＰｐを制御している。
【００８３】
このような変調を行ってPNout1の位相が代わることにより、統合層ニューロン出力のタイミングが変わり、位相同期検出窓内に入る統合層ニューロン出力が所定値以上になるように作用する。
【００８４】
なお、統合層ニューロンからのパルス位相の変動が小さくなるようにペースメーカニューロンからの出力パルスの位相を変調するものであれば他の変調方式を用いてもよいことは言うまでもない。収束の判定は、特徴統合層ニューロンからのパルス信号の位相のバラツキ（例えば、分散）がペースメーカューロンの発生する時間窓（位相同期検出窓）の時間幅相当以下となったか否かに基づき位相同期検出及び制御回路７の収束判定回路（図１３（Ｃ））において行い、収束判定されたらPNout1出力回路に位相変調を停止させる信号を送る。
【００８５】
このような調整を各ペースメーカニューロンにおいて行うことにより、一つのペースメーカニューロンと前層特徴統合層ニューロンとの位相同期ばかりでなく、ペースメーカニューロン群と特徴統合層ニューロン群の同期クラスタが形成される。即ち、重複受容野部分にあたる統合層ニューロンには、このように互いに同期したペースメーカニューロン群からのタイミング信号が入力される。
【００８６】
その前提条件として、特徴統合層ニューロンへのペースメーカニューロンからのパルス出力レベル（例えばパルス幅）は以下に示す同期確立の検出までは他の入力成分である特徴検出層ニューロンからのパルスの出力レベル（同様に例えばパルス幅）よりも大きく、従って各特徴統合（検出）層ニューロンでのパルス信号の時間的積分値（電流ベース）への相対的寄与が大きいとする。
【００８７】
次にペースメーカニューロン群内での同期確立過程について説明する。同期確立までの間は、例えば異なる特徴統合層ニューロンからのパルス信号の位相のバラツキ（アンサンブル平均の変動量）Δ＜ＰＩ＞が大きくなるような変化に対しては、各特徴統合層ニューロンからのパルス出力の位相差が小さくなるようにペースメーカニューロン出力（PNout1）の各位相をそれぞれΔＰｐの変調式により更新する。
【００８８】
例えば、時刻ｔでのペースメーカニューロンＰＮ１，ＰＮ２の各出力（PNout1）の位相をＰｐ１（ｔ）、Ｐｐ２（ｔ）とすると、変調後の各出力の位相差δＰ(t)（＝Ｐｐ 2（ｔ）―Ｐｐ 1（ｔ））は、
δＰ（ｔ＋１）＝δＰ（ｔ）［１― αΔ＜ＰＩ＞ｔ／ΔＰｐ（ｔ）］
のように表される。従ってαΔ＜ＰＩ＞ｔ／ΔＰｐ（ｔ）が１未満の正数となるようにΔＰｐ（ｔ）を位相同期検出及び制御回路７が変調すればペースメーカニューロン間出力の位相差はゼロに収束する。
【００８９】
また、同期検出後はペースメーカ出力（PNout1）は、特徴統合層ニューロンのパルス出力に関する時間的積分値に基づいて特徴検出層ニューロンからの出力が決まるように特徴統合層ニューロンのパルス出力レベルと同レベル以下となるように位相同期検出及び制御回路７が同出力を制御している。以上のようにすると同期検出までは重複受容野に出力する複数のペースメーカニューロンから出力されるタイミング信号の位相のバラツキが小さいほど同じ受容野に属する複数の特徴統合層ニューロンからペースメーカニューロンへ出力されるパルスの位相差が少なくなる。その結果、位相同期検出窓での積分値が閾値を越して、同期が検出される。このように各ペースメーカニューロン毎に他の隣接するペースメーカニューロンからのタイミング信号も受ける特徴統合層ニューロンからの入力パルス信号の位相の変動の符号と逆符号（例えば位相平均が大きくなる方向、即ち遅くなる成分のパルス入力があるときはタイミングパルスを早く出力する）でかつ小さくなるように（αは１未満の正定数）当該ペースメーカからのタイミングパルス信号の位相が変調を受ける結果、ペースメーカニューロン間での出力パルス位相に関する（間接的な）相互作用が生じ、その結果として特徴統合層ニューロンからのパルス信号とこのタイミングクロックパルスとの間に位相同期をもたらす引き込みが起こる。なお、位相同期化はこのようなペースメーカニューロンからのタイミング制御による引き込みによるのではなく、例えば図１（Ｃ２）に示すように、隣接したペースメーカニューロンとの間での出力パルス信号の位相を比較する位相比較器８を用いてその位相バラツキ（比較すべき位相が複数の場合は位相のアンサンブル平均値など）が所定値に収束するような出力パルスのタイミング制御を行ってもよい。以上で局所タイミング信号の制御についての説明を終わる。
【００９０】
再び図３において、特徴検出ニューロンでは、ペースメーカニューロンからの入力がある前は後述する時間窓積分は行われず、ペースメーカニューロンからのパルス入力をトリガーとして、同積分が行われる。
【００９１】
ここに、時間窓（図１５に示す位相同期検出窓である前記ペースメーカニューロンの時間窓とは異なる）は特徴検出細胞(n'i)ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンおよび、ペースメーカニューロンに対して共通であり、時間窓積分の時間範囲を与える。
【００９２】
層番号(1,k)にあるペースメーカニューロンは（ｋは自然数）、パルス出力を層番号(2,k-1)の各特徴統合細胞、及びそのペースメーカニューロンが属する特徴検出細胞（層番号(1,k)）に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、ペースメーカニューロンは特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【００９３】
各パルスは、シナプス回路を通過すると所定量の位相遅延が与えられ、更に共通バスなどの信号伝達線を通って特徴検出細胞に到着する。この時のパルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ１，Ｐ２，Ｐ３）により示す。
【００９４】
特徴検出細胞において各パルス（Ｐ１，Ｐ２，Ｐ３）の時間窓積分(通常、一回の積分とする；但し、多数回に渡る時間窓積分による電荷蓄積、または多数回に渡る時間窓積分の平均化処理を行ってもよい)の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐｄ）がなされる。なお、同図に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【００９５】
パルス出力の時空間的統合及びネットワーク特性
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図７（B）に示すごとく、各ニューロンでは、上記サブ時間窓(タイムスロット)毎に所定の重み関数（例えばGaussian）で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τjはサブ時間窓ｊの重み関数の中心位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離(時間軸上でのずれ)の関数になる。
【００９６】
シナプスで特徴の種類に応じた位相変調が行われる一方、ここでは前段の層でのニューロン出力レベルにシナプス荷重に応じた乗算を時間軸上のこの重み関数値を参照して行ってもよい。
【００９７】
各サブ時間窓内での重み関数形状が対称形をなしている場合、ニューロンの各サブ時間窓(タイムスロット）の重み関数の中心位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は一種の時間軸ドメインの動径基底関数ネットワーク（Radial Basis Function Network；以下ＲＢＦと略す）とみなすことができる。Gaussian関数の重み関数を用いたニューロンniの時間窓FTiは、各サブ時間窓毎の広がりをσ、係数因子をbijで表すと、
【外２】
となる。なお、重み関数としては、負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆｆａｕｌｓｅ）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆｆａｕｌｓｅ）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出(統合)細胞からの結合を与えておくことができる。
【００９８】
特徴検出層のニューロンniへの入力信号の時空間和Xi(t)は、
【外３】
となる。ここに、εjは、ニューロンnjからの出力パルスの初期位相であり、ニューロンniとの同期発火により、０に収束するか、又はペースメーカニューロンからのタイミングパルス入力により、時間窓の位相を０に強制同期する場合には、εjは常に０としてよい。図７（Ａ）のパルス入力と同（Ｂ）に示す重み関数による荷重和を実行すると、図７（Ｅ）に示すような荷重和値の時間的遷移が得られる。特徴検出ニューロンは、この荷重和値が閾値(Vt)に達するとパルス出力を行う。ニューロンniからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のsquashing非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって上位層のニューロンに出力される（パルス出力は固定周波数(２値)とし、学習によって決まる固定遅延量に相当する位相に入力信号の時空間和についてのsquashing非線形関数となる位相変調量を加えて出力される）。
【００９９】
特徴検出層処理
以下、特徴検出層で主に行われる処理(学習時、認識時)について説明する。各特徴検出層においては、前述したように各スケールレベルごとに設定される処理チャネル内において同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。各特徴量に対応するパルスは予め学習により定められた遅延量(位相) により、所定の時間間隔で到着する。このパルス到着時間パターンの学習制御は、本発明の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する特徴であるほど先に到着し、そのままでは、パルス到着時間がほぼ等しくなる特徴要素間では、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素(認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など)間で異なる時間間隔で到着する様に設計してもよい。
【０１００】
本実施形態では、前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンは、それぞれ所定の位相で同期発火（パルス出力）することになる。一般的に特徴統合層のニューロンであって位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合が存在する（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）。この時、これら特徴検出ニューロンとの間でも同期発火することはいうまでもない。但し、その出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）は特徴検出ニューロンの受容野ごとに与えられる複数ペースメーカニューロンからの寄与の総和（或いは平均など）によって決まる。また、特徴検出層上の各ニューロンにおいては入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について所定幅の時間窓においてのみ行われる。時間窓内の重み付き加算を実現する手段は、図２に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【０１０１】
この時間窓は、実際のニューロンの不応期(refractory period)以外の時間帯にある程度対応している。即ち、不応期(時間窓以外の時間範囲)にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。図３（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように時間窓に比べて不応期を短くとらなくてもよい。
【０１０２】
本実施形態では、図６に模式的に示すように、既に説明したメカニズムとして、例えば各特徴検出層ニューロンごとに、その同一受容野からの入力を受けるようなペースメーカニューロン（固定周波数でパルス出力）によるタイミング情報（クロックパルス）の入力により、上述した開始時期の共通化をもたらすようにした。
【０１０３】
このように構成した場合には、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行う必要が無く、また、上記したようなクロックパルスの揺らぎ、変動があっても、局所的な同一受容野からの出力に対して一様にその影響を受ける（窓関数の時間軸上での位置の揺らぎは同一受容野を形成するニューロン間で同一となる）ので、特徴検出の信頼性は劣化することはない。このような局所的な回路制御により信頼度の高い同期動作を可能にするため、回路素子パラメータに関するばらつきの許容度も高くなる。
【０１０４】
以下、簡単のために三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層は、図７（Ｃ）に示すような各種向きを持ったL字パターン(f11, f12, ・・・, )、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン(f21,f22,・・・)、三角形を構成する２辺の一部の組み合わせ(f31,・・・)、などのような図形的特徴(特徴要素)に反応するものとする。
【０１０５】
また、同図のf41,f42,f43は向きの異なる三角形を構成する特徴であって、f11,f12,f13に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓(タイムスロット）(w1,w2,・・・)において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０１０６】
例えば、時間窓をｎ分割した後のw1, w2, ・・・、wnには図 ７(A)に示すごとく、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン(f11, f12, f13)は、それぞれw1,w2,w3内に到着し、特徴要素(f21,f22,f23)に対応するパルスは、それぞれw1, w2, w3内に到着するように学習により遅延量が設定されている。
【０１０７】
特徴要素(f31,f32,f33)対応のパルスも同様の順序で到着する。図７（Ａ）の場合、一つのサブ時間窓(タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。サブ時間窓に分割する意味は、各サブ時間窓で時間軸上に展開表現された異なる特徴要素に対応するパルスの検出（特徴要素の検出）を個別にかつ確実に行うことにより、それらの特徴を統合する際の統合の仕方、例えば、すべての特徴要素の検出を条件とするか、或いは一定割合の特徴検出を条件とするか等の処理モードの変更可能性や適応性を高めることにある。例えば、認識（検出） 対象が顔であり、それを構成するパーツである目の探索(検出)が重要であるような状況においては（目のパターン検出の優先度を視覚探索において高く設定したい場合）、高次の特徴検出層からのフィードバック結合を導入することにより、選択的に目を構成する特徴要素パターンに対応する反応選択性（特定の特徴の検出感度）を高めたりすることができる。このようにすることにより、高次の特徴要素（パターン）を構成する低次の特徴要素により高い重要度を与えて検出することができる。
【０１０８】
また、重要な特徴ほど早いサブ時間窓にパルスが到着するように予め設定されているとすると、当該サブ時間窓での重み関数値が他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は学習により獲得されるか、予め定義しておくこともできる。
【０１０９】
従って、一定割合の特徴要素の検出という事象さえ起きればよいのであれば、サブ時間窓への分割は殆ど意味が無くなり、一つの時間窓において行えばよい。
【０１１０】
なお、複数（３つ）の異なる特徴要素に対応するパルスがそれぞれ到着して加算されるようにしてもよい(図７（Ｄ）)。即ち、一つのサブ時間窓(タイムスロット）に複数の特徴要素(図７（Ｄ）)、或いは任意の数の特徴要素に対応するパルスが入力されることを前提としてもよい。この場合、図７（Ｄ）では、初めのサブ時間窓では、三角形の頂角部分ｆ１１の検出を支持する他の特徴要素ｆ２１、ｆ２３に対応するパルスが到着し、同様に２番目のサブ時間窓には頂角部分ｆ１２の検出を支持するような他の特徴要素ｆ２２、ｆ３１のパルスが到着している。
【０１１１】
なお、サブ時間窓(タイムスロット）への分割数、各サブ時間窓(タイムスロット）の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。
【０１１２】
撮影装置などへ搭載した応用例
本実施形態の構成に係るパターン認識(検出)装置を撮影手段に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１２を参照して説明する。図１２は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【０１１３】
図１２の撮像装置1101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系1102、CCD又はＣＭＯＳイメージセンサー1103、撮像パラメータの計測部1104、映像信号処理回路1105、記憶部1106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部1107、EVFなどファインダーを兼ねた表示ディスプレイ1108、ストロボ発光部1109、記録媒体1110などを具備し、更に上述したパターン検出装置を被写体検出（認識）装置1111として備える。
【０１１４】
この撮像装置1101は、例えば撮影された映像中から予め登録された人物の顔画像の検出(存在位置、サイズの検出)を被写体検出(認識)装置1111により行う。そして、その人物の位置、サイズ情報が被写体検出(認識)装置1111から制御信号発生部1107に入力されると、同制御信号発生部1107は、撮像パラメータ計測部1104からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【０１１５】
上述したパターン検出(認識)装置を、このように撮像装置に用いることにより、当該被写体を確実に検出(認識)する機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができる。
【０１１６】
（第２の実施形態）
本実施形態でのペースメーカニューロンとそれに結合する他のニューロン（特徴統合層及び検出層のニューロン群）の構成例を図８に示す。ペースメーカニューロンは同一特徴カテゴリの検出を行う特徴検出層ニューロンを所定数毎に分割して得られるグループ毎に一つ存在し、かつ独立したタイミングパルス信号を発生するように構成した点が前実施形態と異なる。
【０１１７】
このようにすることにより、隣接する特徴検出層ニューロン間での特徴統合層に対する重複した受容野構造を排除し（特徴統合層ニューロンは一つのペースメーカニューロンからのタイミング信号のみ受ける）、ペースメーカニューロンの数を減少させることができる。また前実施形態のように位相同期が確立するまでの遷移時間（図１５ではTp1+Tp2）を無くすることができ、処理の高速化が得られる。図９に図８に対応する各ニューロンのパルス出力タイミングの例を示す。ペースメーカニューロンのパルス出力（ＰＮout）は、ＰＮ時間窓（図９に示す）内での入力パルスの時間積分値が所定の閾値を越えたときに他のペースメーカニューロンとは独立してなされる。
【０１１８】
なお、ＰＮ時間窓は、特徴統合層ニューロンからの最初の（或いは、定常状態において繰り返し出力される場合にはペースメーカニューロンからのパルス出力後の最初の）パルス入力後、所定時間後に発生される。特徴検出層での時間軸積分窓の発生のためには、前実施形態のような二つのパルス出力（PN2,out1とPN2,out2）は不要である。
【０１１９】
本実施形態では、ペースメーカニューロンは常に一定間隔でタイミングパルス信号を発生するのではなく、ペースメーカニューロンの前段の層（特徴統合層など）の受容野にあるニューロン群からのパルス信号の時間的な平均パルス数が所定の閾値レベルに達したときだけタイミング信号を発生する。このようにすることにより、低消費電力化がもたらされる。
【０１２０】
（第３の実施形態）
本実施形態でのペースメーカニューロンを中心とする結合に関する構成例を図１０（Ａ），（Ｂ），図１１に示す。ペースメーカニューロンを第２の実施形態と同様に分割して得られる特徴検出層ニューロン群の代表位置として例えば、重心位置またはその最近傍にあるニューロン(N3I)に入力される特徴統合層ニューロンからのみパルス信号を受けて、所定条件のもとでタイミングパルス信号を発生する。
【０１２１】
図１０（Ａ）においてペースメーカニューロンＰＮは特徴検出層ニューロン(N'1D, N'2D, N'3D)に対してタイミング制御のためのパルス信号を出力する結合を有する。ＰＮと結合する特徴検出層のニューロン群の重心位置にあるのはN'2Dであり、N'2Dが結合する特徴統合層ニューロンN1I,N2I,N3I,N4Iがペースメーカニューロンと相互結合をする（結合を太い矢印で示す）。このように構成することにより、第２の実施形態と比べて相互結合に要する配線の軽減がもたらされる。また上述した配線の軽減を行っても重複する受容野構造の排除と独立したタイミングパルスを発生するペースメーカニューロンを用いるがゆえに動作上の問題（複数のタイミング制御信号が非同期入力されることによるペースメーカニューロンと特徴検出層での時間窓発生タイミングのずれ）は生じない。
【０１２２】
同様に図１０（Ｂ）に示す構成では、ＰＮと相互結合をするのは、N'2Dが入力を受ける特徴統合層ニューロン群のうち、その重心位置近傍にあるニューロンの一つ(N3I)のみである。かかる構成は相互結合のための配線の更なる軽減をもたらす。また、ペースメーカニューロンは図１０（Ｂ）で入力を受けるべき特徴統合層ニューロンのうち、最大出力を行うニューロンからのみ入力を受けるように構成することもできる。
【０１２３】
例えば、図１１に示す構成では、特徴統合層ニューロン群とペースメーカニューロンとの間にかかる最大出力を検出するいわゆるWinner-Take-All回路（以下、ＷＴＡ回路と言う）を設定し、ペースメーカニューロンはこのＷＴＡ回路からの出力を受けるようにしている。特徴統合層ニューロン群と特徴検出層ニューロン群との結合は図１０（Ａ）（Ｂ）と同様である。このようにして入力（画像）データ上の所定範囲の局所領域で最も顕著な特徴を検出する特徴統合層ニューロンからの出力に基づく局所タイミング制御を行うことにより、より小さい回路規模での並列パルス信号処理の安定動作が実現される。
【０１２４】
【発明の効果】
以上説明したように本発明によれば、分散して存在する局所的なタイミングクロック信号の制御を受けてパルス信号を介して動作する階層的並列処理回路、特に複数の局所タイミングクロック信号を入力し、パルス信号の時空間的積分と閾値処理を行う演算素子群から構成される並列処理回路において、その安定動作を保障し、かつ低消費電力化をもたらすことができるという効果がある。
【図面の簡単な説明】
【図１】ネットワーク全体構成図を示す図である。
【図２】シナプス部とニューロン素子部の構成を示す図である。
【図３】特徴統合層（または入力層）からの特徴検出層ニューロンへの複数パルス伝播の様子を示す図である。
【図４】シナプス回路の構成を示す図である。
【図５】シナプス結合小回路の構成図、及び実施形態１で用いるパルス位相遅延回路の構成図を示す。
【図６】特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。
【図７】特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の時間窓の構成、重み関数分布の例、特徴要素の例を示す図である。
【図８】第２の実施形態に係るペースメーカニューロンを中心とした結合構造の模式図である。
【図９】各ニューロンのパルス発火タイミングを示す図である。
【図１０】ペースメーカニューロンを中心とした結合構造の模式図である。
【図１１】ペースメーカニューロンを中心とした結合構造の模式図である。
【図１２】パターン認識装置を搭載した撮影装置の構成例を示す図である。
【図１３】局所タイミング信号発生を行うペースメーカニューロン回路の構成ブロックを示す図である。
【図１４】ペースメーカニューロンを中心とした結合構造例の模式図である。
【図１５】各ニューロンのパルス発火タイミングを示す図である。
【図１６】特徴統合層と特徴検出層間の結合例の模式的を示す図である。
Claims (10)
- 所定の規則に基づき互いに結合し、階層的かつ並列配置される複数の演算素子と、
特定層の演算素子群に付随し、前層から入力されるパルス信号の入力値に応じたタイミングで該パルス信号に同期したパルス状の局所タイミング信号を発生し、当該演算素子群に該局所タイミング信号を出力する複数の局所タイミング信号発生回路とを有し、
前記演算素子群の演算素子は該演算素子に付随する前記局所タイミング信号発生回路からの局所タイミング信号に応じたタイミングで、前層から入力されるパルス信号に対して所定の演算を実行することを特徴とする信号処理回路。 - 前記演算素子群と前記局所タイミング信号発生回路とは相互作用により少なくとも一つの同期クラスタを局所的に形成することを特徴とする請求項１に記載の信号処理回路。
- 所定の規則に基づき互いに結合し、階層的かつ並列に配置される複数の演算素子と、
特定層の第一の演算素子群に付随し、前層の第二の演算素子群から入力されるパルス信号の入力値に応じたタイミングで該パルス信号に同期したパルス状の局所タイミング信号を発生し、当該第一及び第二の演算素子群に該局所タイミング信号を出力する複数の局所タイミング信号発生回路とを有し、
前記第一の演算素子群は前記局所タイミング信号発生回路からの局所タイミング信号に応じたタイミングで、前記第二の演算素子群からの出力を入力し、
前記局所タイミング信号発生回路は前記第一の演算素子群の所定数の演算素子毎に設けられていることを特徴とする信号処理回路。 - 前記局所タイミング信号発生回路は、前記第一の演算素子群の代表位置にある演算素子が入力を受ける第二の演算素子群の演算素子からの出力を受けることを特徴とする請求項３に記載の信号処理回路。
- 前記局所タイミング信号発生回路は、前記第一の演算素子群の演算素子が入力を受ける前記第二の演算素子群の代表位置にある演算素子が入力を受ける第二の演算素子群からの出力を受けることを特徴とする請求項３に記載の信号処理回路。
- 前記局所タイミング信号発生回路は、前記第一の演算素子群の演算素子が入力を受ける前記第二の演算素子群の代表位置にある演算素子が入力を受ける第二の演算素子群からの出力のうち、最大値を受けることを特徴とする請求項３に記載の信号処理回路。
- 前記局所タイミング信号発生回路と前記第二の演算素子群の演算素子との結合の一部又は全部は相互結合であることを特徴とする請求項１または３ないし６に記載の信号処理回路。
- 前記局所タイミング信号発生回路において、該回路が出力する局所タイミング信号について、他の局所タイミング信号発生回路からのパルス信号を入力することにより、当該パルス信号と当該局所タイミング信号との位相差を検出することを特徴とする請求項３に記載の信号処理回路。
- 前記局所タイミング信号発生回路は、複数の前記第二の演算素子群の演算素子からのパルス出力の時間的変動パターンに基づいてそのパルス出力タイミングを変調する出力パルスのタイミング変調回路を有することを特徴とする請求項３に記載の信号処理回路。
- 請求項１ないし９に記載の信号処理回路を備え、該信号処理回路の出力に基づいて画像入力動作の制御を行うことを特徴とする画像入力装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001164511A JP4898018B2 (ja) | 2001-05-31 | 2001-05-31 | 信号処理回路及びパターン認識装置 |
| US10/153,693 US7007002B2 (en) | 2001-05-31 | 2002-05-24 | Signal processing circuit involving local synchronous behavior |
| EP02253732A EP1262912A3 (en) | 2001-05-31 | 2002-05-28 | Signal processing circuit involving local synchronous behaviour |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001164511A JP4898018B2 (ja) | 2001-05-31 | 2001-05-31 | 信号処理回路及びパターン認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002358504A JP2002358504A (ja) | 2002-12-13 |
| JP4898018B2 true JP4898018B2 (ja) | 2012-03-14 |
Family
ID=19007325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001164511A Expired - Fee Related JP4898018B2 (ja) | 2001-05-31 | 2001-05-31 | 信号処理回路及びパターン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4898018B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4845350B2 (ja) * | 2004-06-03 | 2011-12-28 | キヤノン株式会社 | 並列処理装置 |
| WO2020044566A1 (ja) * | 2018-08-31 | 2020-03-05 | オリンパス株式会社 | データ処理システムおよびデータ処理方法 |
| CN115150616A (zh) * | 2022-09-05 | 2022-10-04 | 深圳市明源云科技有限公司 | 视频处理方法、系统、终端设备及介质 |
| CN116416253B (zh) * | 2023-06-12 | 2023-08-29 | 北京科技大学 | 一种基于亮暗通道先验景深估计的神经元提取方法及装置 |
-
2001
- 2001-05-31 JP JP2001164511A patent/JP4898018B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002358504A (ja) | 2002-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4208485B2 (ja) | パルス信号処理回路、並列処理回路、パターン認識装置、及び画像入力装置 | |
| US7054850B2 (en) | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements | |
| JP4478296B2 (ja) | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 | |
| JP4780921B2 (ja) | 並列パルス信号処理装置、及びその制御方法 | |
| US20170337469A1 (en) | Anomaly detection using spiking neural networks | |
| Xiao et al. | An event-driven categorization model for AER image sensors using multispike encoding and learning | |
| US7676441B2 (en) | Information processing apparatus, information processing method, pattern recognition apparatus, and pattern recognition method | |
| US7274819B2 (en) | Pattern recognition apparatus using parallel operation | |
| US7028271B2 (en) | Hierarchical processing apparatus | |
| US7007002B2 (en) | Signal processing circuit involving local synchronous behavior | |
| JP4510237B2 (ja) | パターン検出装置及び方法、画像処理装置及び方法 | |
| JP4898018B2 (ja) | 信号処理回路及びパターン認識装置 | |
| JP4532678B2 (ja) | パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 | |
| JP2002358501A (ja) | 信号処理回路 | |
| JP2004157756A (ja) | 階層処理装置 | |
| JP2002358502A (ja) | 並列パルス信号処理装置、パルス出力素子、及びパターン認識装置 | |
| McDonald et al. | Modelling retinal ganglion cells using self-organising fuzzy neural networks | |
| Shanmuganathan et al. | Deep Learning Approaches to Image Classification | |
| Evanusa et al. | A deep 2-dimensional dynamical spiking neuronal network for temporal encoding trained with STDP | |
| US20220156590A1 (en) | Artificial intelligence system and artificial neural network learning method thereof | |
| Hassan et al. | Cascading neural network with AdaBoost for face detection | |
| Castellanos-Sánchez | A bio-inspired connectionist approach for motion description through sequences of images | |
| CN117370858A (zh) | 一种神经形态视觉目标识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080530 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |