JP4532678B2 - パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 - Google Patents
パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 Download PDFInfo
- Publication number
- JP4532678B2 JP4532678B2 JP2000181488A JP2000181488A JP4532678B2 JP 4532678 B2 JP4532678 B2 JP 4532678B2 JP 2000181488 A JP2000181488 A JP 2000181488A JP 2000181488 A JP2000181488 A JP 2000181488A JP 4532678 B2 JP4532678 B2 JP 4532678B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- layer
- detection
- neuron
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、神経回路網などの並列演算デバイスにより、パターン認識、特定被写体の検出等を行うパターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク回路に関するものである。
【０００２】
【従来の技術】
従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムにおいては中でも、性能が認識対象の画面中の位置、サイズ等によらない方式が求められ、これまで数多くの方式が提案されてきた。例えば、いわゆるconformal mapping変換を前処理として行うことにより、スケールと回転に不変な認識を行うことができる。
【０００４】
具体的には、画像中の認識対象の中心点からの距離の対数と回転角についてのＬｏｇ−Polar座標変換を行うことにより、同一対象のサイズ変化や回転は、変換後の座標系においては平行移動に変換される。その後、相関係数等の特徴量を算出すると、認識対象は同じ特徴量として検出される。位置に対する検出特性の不変性は、変換の中心点を時間的に逐次シフトし、各位置で検出を行うことにより得られる。
【０００５】
また、与えられた画像について局所的な領域ごとに多重スケール表現を行い、更に上述したconformal mapping変換を行うことにより、同様のサイズ不変な検出を行う可能性が指摘されている(Wechsler,H. 1992, 'Multi-scale and Distributed Visual Representations and Mappings for Invariant-Low-Level Perception', in Neural Networks for Perception, Vol. 1, Wechssler H. Ed. pp.462-476., Academic Press, Boston) 。
【０００６】
更に、別方式の例として、認識対象モデルとの類似度に関する特徴量を算出して行うタイプにおいて、サイズによらない認識を可能とする方式としては、認識対象のモデルデータをテンプレートモデルとして、異なるスケールで表現しておき、入力画像（或いはその特徴ベクトル）とのテンプレートマッチングを疎から密(coarse to fine)に行うことによる方法（Rosenfeld and Vanderburg, 1977, Coarse-fine template matching, IEEE Trans. Systems, Man, and Cybernetics, vol.2, pp. 104-107）、サイズの異なる対象のモデル画像を主成分分析して得られる固有画像関数空間へ入力パターンを写像して、モデルとの特徴空間内での距離を算出する方法(特開平8-153198号公報; 村瀬、ナイヤー, 1995, 多重解像度と固有空間表現による３次元物体のイメージスポッティング、情報処理学会論文誌、vol.36, pp.2234-2243; Murase and Nayar, 1997, Detection of 3D objects in cluttered scenes using hierarchical eigenspace, Pattern Recognition Letters, pp. 375-384)、認識対象の距離画像データに基づいて照合領域の位置、大きさを算出・正規化を行った後に照合を行う方法（特開平5-108804号公報）、及び、認識対象に関する多重解像データを低解像度レベルから高解像度レベルに順に切り替えて照合などの認識を行う方法（特開平8-315141号公報）がある。
【０００７】
時系列入力画像を用いる方法としては、画像から認識対象に関する複数の互いに競合する仮説を生成し、それらを時間的に蓄積した後、CarpenterらによるＡＲＴ２等のカテゴリ分類器に入力する方法（Seibert, et al. 1992, Learning and recognizing 3D objects from multiple views in a neural system, in Neural Networks for Perception, vol. 1 Human and Machine Perception(H. Wechsler Ed.) Academic Press, pp.427-444）がある。
【０００８】
生体の情報処理機構にヒントを得た神経回路網モデルによるパターン認識方法としては、ダイナミックルーティング回路網により対象中心のスケール、位置不変な表現を得て行う方法(Anderson, et al. 1995, Routing Networks in Visual Cortex, in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.823-826、Olhausen et al. 1995, A Multiscale Dynamic Routing Circuit for Forming Size- and Position-Invariant Object Representations, J. Computational Neuroscience, vol.2 pp.45-62.)がある。この手法では、予め画像データについて複数の異なる解像度による階層的表現（多重解像度表現）を行い、動的に結合荷重を設定する機能を有する制御ニューロンを介した情報のルーティングを行うことにより、異なる解像度での情報を対象物中心の表現にマッピングする。
【０００９】
一方、生体の神経回路網による情報処理機構をより忠実に取り入れようとする試みとして、アクションポテンシャルに相当するパルス列による情報の伝達表現を行う神経回路網モデル回路が提案されている(Murray et al., 1991 Pulse-Stream VLSI Neural Networks Mixing Analog and Digital Techniques, IEEE Trans. on Neural Networks, vol.2, pp.193-204.；特開平7-262157号公報、特開平7-334478号公報、特開平8-153148号公報、特許２８７９６７０号公報など)。
【００１０】
【発明が解決しようとする課題】
前述したように、スケールの異なる認識対象について認識性能が不変となるようなパターン認識を実現するために、従来から行われていた所定の写像変換（conformal mapping変換など）を行う方法では、変換の中心点を適切に設定しないと、スケール不変な特徴を得ることが困難であるという問題があった。
【００１１】
テンプレートマッチングを行う方法では、予め表現された異なるスケールでのテンプレートモデルとのマッチングを取る際、入力画像中の対象がそのいずれかのスケールとほぼ一致しない限り、高い認識性能が得られないこと、即ち、非常に多くの異なるテンプレートモデルが必要となり、実用性の点で問題があった。
【００１２】
特開平8-153198号公報等に示される有限個の異なるサイズについて対象のモデル画像を主成分分析して得られるパラメトリックな固有空間を用いる方法では、大きさの変化はパラメトリック固有空間上での多様体により表現され、連続的に異なるサイズの対象の認識が可能であるが、共分散行列の次元数が大きく（例えば、村瀬、ナイヤー(1995)では16,384次元）固有ベクトルの計算コストが非常に大きいという問題があった。大きさ変化に対応するために十分な精度を得るためには、基準となるサイズの1.1、1.2, 1.3, 1.4, 1.5（＝α）倍の５段階程度のサイズの異なる参照画像を用意して固有ベクトルを計算し、更に入力画像についてα-1倍、α-2倍、α-3倍などの大きさに変換して行うことが必要であり、処理に要するメモリ空間の大きさ及び演算時間が莫大なものであった。
【００１３】
特開平8-315141号公報に係る方法では、予め用意した対象に関する多重解像表現データについて低解像度から高解像度に順に照合を行うので、スケール不変な認識を行うためには予め用意すべき解像度の多重化レベルを十分に大きくとる必要があるため処理効率が低く、また少ないメモリ使用で大まかな情報を得るには適しているが、高精度な認識・検出には適さない。
【００１４】
ダイナミックルーティング回路網による方法(Anderson et al., 1995; Olshausen et al., 1995)では、制御ニューロン間の局所的な競合過程により所定のスケールレベル間での神経細胞素子間の結合を動的に設定する機構が必要であり、回路構成が複雑になるという問題があった。
【００１５】
また、競合する仮説を生成し、カテゴリ分類器に入力する方法(Seibert et al. 1992)は時系列画像を前提としていたため、そもそも一枚の静止画からスケールによらない認識を行うことは困難である。
【００１６】
なお、アナログ回路素子による構成では、デジタル方式に比べ、回路構成の簡素化（少ない素子数）、高速化、低消費電力化がもたらされることが一般に知られるが、その一方で個々の素子特性のばらつきによる入出力特性の信頼性、ノイズに対する耐性が少なからず問題となっていた。
【００１７】
【課題を解決するための手段】
上記課題を解決するために、本発明によれば、パターン検出装置に、パターンを入力する入力手段と、特徴を検出する複数の特徴検出層と該特徴検出層の検出結果を統合する複数の特徴統合層とが交互に接続され、それぞれ異なる解像度またはスケールレベルに対応する複数の処理チャネルを、前記複数の特徴検出層及び特徴統合層の各層に存在する当該複数の処理チャネルに属する複数の素子により形成し、後段の特徴検出層で前段の特徴統合層で統合された特徴より高次の特徴を検出することで、前記入力手段より入力されたパターンに対して、特定パターンの検出を行う階層処理手段とを有し、前記複数の特徴検出層の各々が、前記入力手段または前段の特徴統合層から入力されたデータを所定の方法によりサンプリングして得られる各点に対応して、それぞれ異なる複数の解像度またはスケールレベルにおいてそれぞれ異なる所定の種類の特徴を検出して出力する複数の特徴検出素子を備え、前記特徴統合層の各特徴統合素子が、同一の解像度又はスケールレベルにおける同一の種類の特徴を検出する前記複数の特徴検出素子の出力を局所領域ごとに統合し、前記複数の解像度又はスケールレベルに対する同一の種類の特徴の当該統合結果を結合して同一処理チャネルを形成する特徴検出素子に出力することを特徴とする。
【００２２】
また、他の態様によれば、パターン検出方法に、パターンを入力する入力工程と、特徴を検出する複数の特徴検出層と該特徴検出層の検出結果を統合する複数の特徴統合層とが交互に接続され、それぞれ異なる解像度またはスケールレベルに対応する複数の処理チャネルを、前記複数の特徴検出層及び特徴統合層の各層に存在する当該複数の処理チャネルに属する複数の素子により形成し、後段の特徴検出層で前段の特徴統合層で統合された特徴より高次の特徴を検出する階層処理部を用いて、前記入力工程において入力されたパターンに対して、特定パターンの検出を行う階層処理工程とを有し、前記階層処理工程が、前記複数の特徴検出層の各々において、前記入力工程または前段の特徴統合層から入力されたデータを所定の方法によりサンプリングして得られる各点に対応して、複数の特徴検出素子がそれぞれ異なる複数の解像度またはスケールレベルにおいてそれぞれ異なる所定の種類の特徴を検出して出力する検出工程と、前記特徴統合層の各特徴統合素子において、同一の解像度又はスケールレベルにおける同一の種類の特徴を検出する前記複数の特徴検出素子の出力を局所領域ごとに統合し、前記複数の解像度又はスケールレベルに対する同一の種類の特徴の当該統合結果を結合して同一処理チャネルを形成する特徴検出素子に出力する出力工程とを備えることを特徴とする。
【００２６】
【発明の実施の形態】
＜第１の実施形態＞
以下、図面を用いて本発明の１実施形態を詳細に説明する。
【００２７】
図１は本実施形態のパターン検出・認識装置の全体構成を示す図である。ここで、パターン情報はＷｈａｔ経路とＷｈｅｒｅ経路により処理される。Ｗｈａｔ経路は対象または幾何学的特徴などの認識(検出)に関与する情報を、Ｗｈｅｒｅ経路は対象または特徴の位置(配置)に関する情報を主として扱う。
【００２８】
Ｗｈａｔ経路はいわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, "Convolutional Networks for Images Speech, and Time Series" in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)を有している。但し、同経路内の層間結合は相互結合をなし得る点(後述)が、従来と異なる。Ｗｈａｔ経路の最終出力は認識結果、即ち認識された対象のカテゴリに相当する。また、Ｗｈｅｒｅ経路の最終出力は、認識結果に対応する場所を表す。
【００２９】
データ入力層101は、画像の検出認識などを行う場合は、ＣＭＯＳセンサー或いはＣＣＤ素子等の光電変換素子であり、音声の検出認識などを行う場合には音声入力センサーである。また、所定データ解析部の解析結果（例えば、主成分分析、ベクトル量子化など）から得られる高次元のデータを入力するものであってもよい。データ入力層101は、上記２経路に共通のデータ入力を行う。
【００３０】
以下、画像を入力する場合について説明する。Ｗｈａｔ経路には、特徴検出層102（(１,０）、(１,１)、…、(１,N)）と特徴統合層103（(２,０)、(２,１)、…、(２,N)）とがある。
【００３１】
最初の特徴検出層(１,０)は、Gabor wavelet変換その他による多重解像度処理により、画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置(或いは、全画面にわたる所定のサンプリング点の各点)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出し、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００３２】
図１の特徴検出層(1,0), (1,1), …及び、特徴統合層(2,0), (2,1), …は、全体として複数の解像度（又はスケールレベル）での処理チャネルの集合を形成する。各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００３３】
各層には異なる処理チャネルに属する複数の回路素子が所定の配列で存在する。ここで処理チャネルの配列構成を特徴統合層(2,0)について図１２、図１３を例として説明する。
【００３４】
図１２、図１３の例では、いずれもスケールレベル(解像度)が等しければ同一処理チャネルを後続の層とともに形成するが、特徴カテゴリ（ここでは、方向成分のこと）が同一であれば、処理チャネルが異なっても近接した位置にまとめて特徴統合細胞を配列したのが図１２であり、スケールレベル（即ち、処理チャネル）が等しければ特徴カテゴリが異なっても近接位置にまとめて特徴統合細胞を配列したのが図１３に示す構成である。各構成の機能上の違いについては、後で説明する。特徴統合層(2,0)では、各回路素子は後述するような低次特徴としてのGabor wavelet変換特徴を特徴検出層(1,0)の細胞出力から入力する。
【００３５】
一般的に特徴検出層（１,ｋ）（ｋは自然数）において、その前層である（2,ｋ―１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。
【００３６】
Ｗｈａｔ経路上の特徴統合層(２,０)は、所定の受容野構造を有し、パルス列を発生するニューロン素子からなり、特徴検出層(１,０)からの同一受容野内の複数のニューロン素子出力の統合（局所平均化等によるサブサンプリング、及び異なるスケールレベルでの処理結果の結合処理などの演算）を行う。また、特徴統合層内のニューロンの各受容野は同じ特徴カテゴリかつ同じスケールレベルに関する限りニューロン間で共通の構造を有している。
【００３７】
各特徴検出層（１,１）、(１,２)、…、(１,N)）及び各特徴統合層（(２,１)、(２,２)、…、(２,N)）は、それぞれ学習により獲得した所定の受容野構造を持ち、上述した各層と同様に、前者（(１,１)、…）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（(２,１)、…）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層は２種類の処理を行う。
【００３８】
その第一であるサブサンプリングは、同一特徴カテゴリかつ同一スケールレベルの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものであり、第二の処理である異なるスケールレベルでの処理結果の結合処理とは、同一特徴カテゴリかつ異なる複数のスケールレベルにわたる複数の特徴検出細胞集団の出力の線形結合（又は非線形結合）を行う。
【００３９】
また、Where経路には、特徴位置検出層（(３,０)、…、(３,ｋ)）があり、What経路上の所定の（全てである必要はない）特徴統合層の入力を受け、低次、中次、高次特徴の位置の出力に関与する。以下では、Where経路の各層については、更に詳しい説明を省略する。
【００４０】
各層間のニューロン素子201間を結合する構造は、図２の（Ａ）に示すように、神経細胞の軸索または樹状突起に相当する信号伝達部203（配線または遅延線）、及びシナプス回路Ｓ202である。図２の（Ａ）では、ある特徴検出（統合）細胞（Ｎ）に対する受容野を形成する特徴統合(検出)細胞のニューロン群（ni）からの出力（当該細胞Ｎから見ると入力）に関与する結合の構成を示している。太線で示している信号伝達部203は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞（Ｎ）からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用（樹状突起側）と出力用（軸索側）の２系統で、図２の（Ａ）と同様の構成を与えて処理してもよい。
【００４１】
シナプス回路Ｓ202としては、層間結合（特徴検出層102上のニューロンと特徴統合層103上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものと、同一層内ニューロン間結合に関与するものとがある。後者は必要に応じて、主に、後述するペースメーカーニューロンと特徴検出または特徴統合ニューロンとの結合に用いられる。
【００４２】
シナプス回路Ｓ202において、いわゆる興奮性結合はパルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。
【００４３】
本実施形態においては、シナプス回路Ｓ202は、主にパルスの位相変調素子として用い、信号の増幅は、パルス到着時間の特徴に固有な量としての実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は後述するように出力先のニューロンでの特徴に固有な時間軸上の到着位置(位相)を与え、定性的には興奮性結合はある基準位相に対しての到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００４４】
図２の（Ａ）において、各ニューロン素子njは、パルス信号（スパイクトレイン）を出力し、後述する様な、いわゆるintegrate-and-fire型のニューロン素子を用いている。なお、図２の（C）に示すように、シナプス回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００４５】
Ｗｈｅｒｅ経路内の各特徴位置検出層107は、Ｗｈａｔ経路の特徴統合層103の出力を受けて、データ入力層101上の位置関係を保持し、粗くサンプリングされた格子点上の各点で、Ｗｈａｔ経路上の特徴抽出結果のうち認識に有用な成分（認識カテゴリのパターンから予め登録してあるもの）に対応するニューロンのみが、フィルタリングなどにより応答する。例えば、Ｗｈｅｒｅ経路内の最上位層では、認識対象のカテゴリに対応するニューロンが格子上に配列され、どの位置に該当する対象が存在するかを表現する。また、Ｗｈｅｒｅ経路内の中間層のニューロンは、上位層からのトップダウンの入力を受けて、対応する認識対象の存在位置を中心として配置しうる特徴が検出された場合にのみ応答するように感度調整等が行われるようにすることができる。
【００４６】
位置関係が保持される階層的特徴検出をＷｈｅｒｅ経路で行う際には、受容野構造が局所的（例えば、楕円形状）であってサイズが上位層ほど徐々に大きくなる（または、中間層から上位層にかけてはセンサー面上の１画素より大きいサイズであって一定である）ように構成すれば、特徴要素（図形要素、図形パターン）間の位置関係は、センサー面上での位置関係をある程度保存しつつ、各層において各特徴要素（図形要素）が検出されるようにすることができる。
【００４７】
なお、Ｗｈｅｒｅ経路の他の出力形態としては、特徴検出層(１,０)の出力結果に基づいて得られる特徴の顕著度マップから、データ入力層上での所定サイズの注視領域を設定し、当該領域の位置とサイズ及びその中での認識対象カテゴリの有無を出力するものであってもよい。更に他の形態としては、階層的に上位層ほど受容野サイズが大きくなり、最上位層では検出された対称のカテゴリに対応するニューロンのうち、最大値を出力するものだけが発火するように構成された神経回路網でもよい。このような系では、データ入力層での配置関係（空間的位相）に関する情報を最上位層（及び中間の各層）においてもある程度保存するようになっている。
【００４８】
次に各層を構成するニューロンについて説明する。各ニューロン素子は、いわゆるintegrate-and-fireニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点では、いわゆるintegrate-and-fireニューロンと同じである。
【００４９】
図２の（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路(IEEE Trans. on Neural Networks Vol. 10, pp.540)を拡張したものである。ここでは、入力として興奮性と抑制性の入力を受けるものとして構成されている。
【００５０】
以下、このパルス発生回路の動作原理について説明する。興奮性入力側のキャパシタC1及び抵抗Ｒ１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の時定数より小さく、定常状態では、トランジスタＴ１、Ｔ２、Ｔ３は遮断されている。なお、抵抗は実際には、能動負荷たるトランジスタで構成される。
【００５１】
キャパシタC1の電位が増加し、キャパシタC2のそれよりトランジスタＴ１の閾値だけ上回ると、トランジスタＴ１はアクティブになり、更にトランジスタＴ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ３は、電流ミラー回路を構成し、図２の（Ｂ）の回路の出力は、不図示の出力回路によりキャパシタC1側から出力される。キャパシタＣ２の電荷蓄積量が最大となると、トランジスタＴ１は遮断され、その結果としてトランジスタＴ２及びＴ３も遮断され、上記正のフィードバックは０となる様に構成されている。
【００５２】
いわゆる不応期には、キャパシタＣ２は放電し、キャパシタＣ１の電位がキャパシタＣ２の電位よりも大で、その差がトランジスタＴ１の閾値分を超えない限り、ニューロンは応答しない。キャパシタＣ１、Ｃ２の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応して定まる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００５３】
キャパシタの電位、従って電荷蓄積量は、基準電圧制御回路（時間窓重み関数発生回路）204により時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図７参照）。この基準電圧制御回路204は、後述するペースメーカニューロンからの入力タイミング（又は、後続層のニューロンとの相互結合入力）或いはその他の機構（後述するニューロン間の弱相互作用に基づく同期発火信号等に基づき、基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生する。
【００５４】
抑制性の入力は本実施形態においては必ずしも要しない場合があるが、後述するペースメーカニューロンから特徴検出層ニューロンへの入力を抑制性とすることにより、出力の発散（飽和）を防ぐことができる。
【００５５】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）の関係は、そのニューロンの感度特性によって変化し、また、その感度特性は、上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を加えたタイミングなど）が変動するものとする。
【００５６】
また、パルス位相の変調部としては、後述する図５に示すような回路を付加して用いてもよい。これにより、時間窓内の重み関数が上記基準電圧により制御される結果、このニューロンからのパルス出力の位相が変化し、この位相をニューロンの出力レベルとして用いることができる。
【００５７】
シナプス結合でパルス位相変調を受けたパルスについての時間的積分特性（受信感度特性）を与える図７の（Ｂ）に示すような重み関数の極大値に相当する時刻τw1は、一般的にシナプス結合で与えられる特徴に固有なパルスの到着予定時刻τs1より時間的に早く設定される。その結果、到着予定時刻より一定範囲で早く（図７(B)の例では、到着の早すぎるパルスは減衰される）到着するパルスは、それを受け取るニューロンでは、高い出力レベルを持ったパルス信号として時間的に積分される。重み関数の形状はガウシアン等の対称形に限らず、非対称形状であってもよい。なお、上述した趣旨より、図７の（Ｂ）の各重み関数の中心は、パルス到着予定時刻ではないことを注記しておく。
【００５８】
また、ニューロン出力（シナプス前）の位相は、後述するように時間窓の始期を基準とし、その基準時からの遅れ（位相）は基準パルス（ペースメーカ出力その他による）を受けた時の電荷蓄積量により決まるような出力特性を有する。このような出力特性を与える回路構成の詳細については、本発明の主眼とする所ではないので省略する。シナプス後のパルス位相は当該シナプスにより与えられる固有の位相変調量にシナプス前の位相を加算したものとなる。
【００５９】
なお、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知の回路構成を用いてもよい。
【００６０】
ニューロン素子の構成としては、特徴検出層102または特徴統合層103に属するニューロンであって、後述するペースメーカニューロンの出力タイミングに基づき発火パターンが制御される場合には、ペースメーカーニューロンからのパルス出力を受けた後、当該ニューロンが、前段の層の受容野から受ける入力レベル（上記の入力の単純または重み付き総和値）に応じた位相遅れをもって、パルス出力するような回路構成であればよい。この場合、ペースメーカーニューロンからのパルス信号が入力される前では、入力レベルに応じて各ニューロンは互いにランダムな位相でパルス出力する過渡的な遷移状態が存在する。
【００６１】
また、後述するようにペースメーカニューロンを用いない場合には、ニューロン間（特徴検出層102と特徴統合層103の間）の相互結合とネットワークダイナミックスによりもたらされる同期発火信号を基準とし、上述したような入力レベルに応じた特徴検出ニューロンの出力パルスの発火タイミングの制御がなされるような回路構成であってもよい。
【００６２】
特徴検出層102のニューロンは、前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層101または特徴統合層103）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による荷重総和値（後述）が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるsquashing関数値をとるような出力レベル（ここでは位相変化で与えるが、周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００６３】
特徴検出層(１,０)には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するニューロンN1があるとすると、データ入力層101上のニューロンN1の受容野内に該当する構造が存在すれば、その顕著度(コントラスト)に応じた位相でパルス出力する。このような機能はGabor filterにより実現することができる。以下、特徴検出層(１,０)の各ニューロンが行う特徴検出フィルタ機能について説明する。
【００６４】
特徴検出層(１,０)では、多重スケール、多重方向成分のフィルタセットで表されるGaborウエーブレット変換を行うものとし、層内の各ニューロン（または複数ニューロンからなる各グループ）は、所定の Gaborフィルタ機能を有する。
【００６５】
特徴検出層102では、スケールレベル（解像度）が一定で方向選択性の異なる複数のGabor関数の畳み込み演算カーネルに対応する受容野構造を有するニューロンからなる複数のニューロン集団を一まとめにして一つのチャネルを形成する。その際、図１３に示すように、同一チャネルを形成するニューロン群は方向選択性が異なり、サイズ選択性が同一のニューロン群どうしを互いに近接した位置に配置してもよいし、図１２のように同一の特徴カテゴリに属し、異なる処理チャネルに属するニューロン群どうしが互いに近接配置されるようにしてもよい。
【００６６】
これは、集団的符号化における後述する結合処理の都合上、上記各図に示すような配置構成にした方が、回路構成上実現しやすいことによる。図１２、１３の回路構成の詳細についても後で説明する。
【００６７】
Gaborウエーブレットは、以下の式（１）で与えられるように、一定の方向成分と空間周波数とを有する正弦波をガウシアン関数で変調した形状を有し、スケーリングレベルのインデックスmと方向成分のインデックスｎで特定される。ウエーブレットとしてこのフィルタのセットは互いに相似の関数形状を有し、また主方向と大きさが互いに異なる。このウエーブレットは空間周波数ドメインと実空間ドメインで関数形が局在していること、位置と空間周波数に関する同時不確定性が最小となり、実空間でも周波数空間でも最も局在した関数であることが知られている（J,G.Daugman (1985), Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters, Journal of Optical Society of America A, vol.2, pp. 1160-1169）。
【００６８】
【外１】
【００６９】
ここで、(x,y)が画像中の位置、aはスケーリングファクター、θnはフィルタの方向成分を表し、Wは基本空間周波数、σx, σyはフィルタ関数のｘ方向、ｙ方向の広がりの大きさを与えるパラメータである。本実施形態ではθnは６方向で０度、３０度、６０度、９０度、１２０度、１５０度の値をとり、aは２とし、mは１から３までの値をとる整数として与える。
【００７０】
フィルタの特性を定めるパラメータσx, σy、および、aはフーリエドメインで互いに適切に均質に重なり合うことにより、特定の空間周波数及び方向への偏り(感度)がないように設定されるのが望ましい。そのために例えば、フーリエ変換後の振幅最大値に対する半値レベルがフーリエドメインで互いに接するように設計すると、
【００７１】
【外２】
となる。ここに、UH, ULはウエーブレット変換でカバーする空間周波数帯域の最大値、最小値であり、Mはその範囲でのスケーリングレベル数を与える。
【００７２】
また、式（１）で与えられる特徴検出細胞の受容野の構造は、σx, σyで決まる所定の幅のスケール選択性及び方向選択性を有する。即ち、式（１）のフーリエ変換はガウシアン関数形状となるので、特定の空間周波数及び方向にピークチューニング（感度）特性を与える。Gaborフィルタカーネルのサイズ(広がり)はスケールインデックスｍに応じて変わるので、異なるスケールインデックスを有する Gaborフィルタは、異なるサイズ選択性を有する。後述する集団的符号化においては、主にサイズ選択性に関して感度特性が互いに重なり合う複数の特徴検出細胞からの出力を統合する。
【００７３】
各フィルタgmn(x,y)と入力濃淡画像との２次元畳み込み演算を行うことによりGaborウエーブレット変換が行われる。即ち、
【００７４】
【外３】
【００７５】
ここにIは入力画像、WmnはGaborウエーブレット変換係数である。Wmn (m=1,2,3; n=1,..., 6)のセットを特徴ベクトルとして各点で求める。'*'は複素共役をとることを示す。
【００７６】
特徴検出層(１,０)の各ニューロンは、gmnに対応する受容野構造を有する。同じスケールインデックスｍを有するgmnは同じサイズの受容野を有し、演算上は対応するカーネルgmnサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは、最も粗いスケールから順に入力画像上の３０×３０、１５×１５、７×７のサイズとした。
【００７７】
各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型squashing関数となる出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１,０）全体の出力として、式（４）のGabor wavelet変換が行われたことになる。
【００７８】
各スケールレベル毎のサンプリング点数（特徴検出等を行う位置の数）が同一となるようにしているので、Gabor wavelet変換により抽出された各点(場所)での特徴表現は、スケールレベルにより異なる代表面積（その点が特徴を代表する入力データ上の範囲）を有する図２２に示すような階層構造で模式的に表される。画像中の各位置（同一位置）について複数のスケールレベルにわたる特徴の多重表現が得られ、後述する任意スケールレベルに対応させるための集団的符号化処理につなげることができる。図２２中の点(○印)は各スケールレベルでの、入力データ上の同一点を表す。
【００７９】
一方、後続の特徴検出層（(１,１）、(１,２)、…、(１,Ｎ)）の各ニューロンは、上記検出層とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造をいわゆるHebb学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。
【００８０】
異なる処理チャネル間では、同じ階層レベル(検出される特徴の複雑さが同レベル)であれば、検出される特徴の違いは、同一カテゴリであるが、互いに異なるスケールで検出されたものであることにある。例えば、中次の特徴としての「目」は異なる処理チャネルでは、サイズの異なる「目」として検出を行う。即ち、画像中の与えられたサイズの「目」に対してスケールレベル選択性の異なる複数の処理チャネルにおいて検出が試みられる。なお、特徴検出層ニューロンは、出力の安定化のために抑制性(分流型抑制：shunting inhibition)の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００８１】
次に、特徴統合層103（(２,０)、(２,１)、…）のニューロンについて説明する。図１に示す如く特徴検出層102（例えば(１,０)）から特徴統合層103(例えば(２,０))への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力を受けるように構成され、特徴統合層103のニューロンは前述したごとく、各特徴カテゴリごとの局所平均化（特徴検出ニューロンの受容野を形成するニューロンからの入力の平均値算出、代表値算出、最大値算出等）などによるサブサンプリングを行うもの（サブサンプリングニューロン）と、異なるスケール(処理チャネル)にまたがって、同一カテゴリの特徴に関する出力の結合を行うもの（集団的符号化ニューロン）とがある。
【００８２】
前者によれば、複数の同一種類の特徴のパルスを入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【００８３】
後者の集団的符号化(population coding)のメカニズムについて詳しく説明する。集団的符号化ニューロンでは、同一の階層レベル（図形特徴の複雑さが同程度）にあるが、同一特徴で異なる処理チャネルに属し、同一の特徴統合層内にある複数のサブサンプリングニューロンからの出力の正規化線形結合をとることにより統合する。例えば、Gabor wavelet変換を行う特徴検出層(1,0)の出力を受ける特徴統合層(2,0)においては、異なる処理チャネルに属し、方向選択性の等しいGaborフィルタのセット{gmn}(n一定、m=1,2,…)に対応する出力を線形結合などにより統合する。
【００８４】
具体的には、pij(t)を方向成分選択性がiでスケール選択性がjとなるようなサブサンプリングニューロンの出力、qij(t)を同様の選択性を有する集団的符号(population code)とすると、サブサンプリングニューロンの正規化出力の線形結合を表す式（５）、及びその正規化方法を表す式（６）の様に表される。なお、式（５）、（６）は、説明の便宜上、サブサンプリングニューロンと集団的符号化ニューロンの出力状態遷移を離散時間遷移として表している。
【００８５】
【外４】
【００８６】
ここに、wij,abは複数の異なる選択性（感度特性）を有するニューロン（またはニューロン集団）からの（特徴カテゴリ、即ち、方向成分選択性のインデックスがa、スケールレベル選択性のインデックスがbのサブサンプリングニューロン出力から、方向成分選択性のインデックスがi、スケールレベル選択性のインデックスがjの集団的符号化ニューロンへの）寄与を表す結合係数である。wij,abは、方向成分インデックスi、スケールレベルインデックスjを中心とするフィルタ機能(選択性)を示し、典型的には|i-a|と|j-b|の関数形状(wij,ab=f(|i-a|,|j-b|))となる。
【００８７】
後述するように、このwij,abを介した線形結合による集団的符号化は他の選択性を有するニューロンの検出レベルを考慮した上でqijが特徴カテゴリ（方向成分）およびスケールレベルに関する存在確率を与えるようにすることを目的とする。Ｃは正規化定数、λ、βは定数である(典型的にはβは１ないし２であり、βが２の場合は、βが１の場合と比べて低レベルのノイズ成分の寄与を圧縮、低減する効果がある)。Ｃはある特徴カテゴリに対する集団的符号の総和が殆どゼロでもpijが発散しないようにするための定数である。なお、システム起動時の初期状態ではqij(0) = pij(0)とする。
【００８８】
図１２に対応して、式(５)、(６)ではスケールレベル選択性インデックスのみについての加算を行っている。その結果、集団的符号化ニューロンは、同一特徴カテゴリで異なるスケールレベル（処理チャネル）に属する各特徴についての存在確率（に比例する量）を出力することになる。
【００８９】
一方、図１３の場合のように、一般的には方向成分選択性インデックスについての加算も更に行うことにより、予め設定された数の方向成分の中間レベルについても、集団的符号化を行う系を組み立てることができる。この場合、パラメーター（後述する式（７）、（８）のβ、及びwij,lk）を適切に設定することにより、図１３に示す構成では、各集団的符号化ニューロンは、各スケールレベルと各特徴カテゴリについての特徴の存在確率（に比例する量）を出力することができる。
【００９０】
式（５）に示すごとく、集団的符号qij(t)は、異なるスケールレベルの感度特性を有するニューロンの出力に関する正規化された線形結合により得られる。定常状態に達したqij(t)は、適切に正規化(例えば、qijに関する総和値で正規化)して値が０から１の間になるようにすると、qijは、方向成分がiでスケールレベルがjに相当する確率を与えることになる。
【００９１】
従って、入力データ中の対象のサイズに対応するスケールレベルを明示的に値として求めるには、qijをフィッティングする曲線を求めて最大値を推定し、これに対応するスケールレベルを求めればよい。このようにして求まるスケールレベルは、一般的には予め設定したスケールレベルの中間的な値を示す。
【００９２】
図２３はスケールレベルの集団的符号化の例を示す図であり、横軸はスケールレベル、縦軸は細胞出力を表す。出力とは、パルス位相に相当し、特定のスケールにピーク感度を有するニューロンは、そのスケールからずれたサイズを有する特徴に対しては、特定スケールに対応するサイズの特徴と比べて出力レベルの低下、即ち、位相遅れが生じることになる。
【００９３】
同図は、各特徴検出細胞のスケール選択性に関する感度曲線（いわゆるチューニング曲線）と各細胞出力、及びそれらを統合して得られる集団的符号統合出力(各細胞出力のスケールレベルに関するモーメント、即ち線形和)を示す。集団的符号統合出力の横軸上の位置は、認識対象に関するスケール(サイズ)の推定値を反映している。
【００９４】
本実施形態では、実際にはスケールレベルを明示的には求めず、特徴統合層から特徴検出層への出力はqijとする(正規化したqijでもよい)。即ち、図１２、１３のいずれでも、特徴統合層103から特徴検出層102への出力は、サブサンプリングニューロンからの出力ではなく、集団的符号化ニューロンの出力とすることにより、最終的には、上記した正規化後のqijのように、複数スケールレベル（解像度）にまたがった特定対象の検出確率として集団的に表される。
【００９５】
図１２に示す特徴統合層103の回路構成では、サブサンプリングニューロン回路1201で、先ず、前段の特徴検出層ニューロン出力のうち、各特徴カテゴリとサイズ選択性が同一のニューロン出力を、当該サブサンプリングニューロンの局所受容野で受け、局所的な平均化を行う。各サブサンプリングニューロン出力は、結合処理回路1203に送られる。このとき、後述するように、各ニューロンからのパルス信号は、不図示のシナプス回路により、所定位相量（例えば、式(６)のβが２のとき、特徴検出ニューロンの出力レベル相当の２乗に比例する量）だけ遅延を受け、局所的な共通バスを介して伝播される。ただし、ニューロン間の配線には、共通バスを用いずに物理的に独立に配線してもよい。
【００９６】
結合処理回路では、式（５）、（６）に相当する処理を行い、特徴カテゴリが同じだが、サイズ選択性の異なる（複数処理チャネルにまたがる）情報の集団的符号化を行う。
【００９７】
また、図１２では、特徴カテゴリ（方向成分選択性）が同一のサブサンプリングニューロン出力について集団的符号化を行ったのに対し、図１３に示す回路構成では、特徴カテゴリおよびサイズ選択性の全体にわたって行う結合処理回路で、次の式（７）、（８）に示すような処理を行う。
【００９８】
【外５】
【００９９】
次に、認識対象のスケールレベルの算出方法について説明する。以上の処理の結果、各処理チャネルの平均的な活動レベル（サブサンプリングニューロン出力レベル）Paに基づいた認識対象のスケールレベルを算出することができる。具体的に推定されるスケールレベルＳは、例えば以下のように表される。
【０１００】
【外６】
【０１０１】
ここに、Paは処理チャネルaの平均活動レベル、Saは、処理チャネルaのスケールレベル(又は、スケールインデックス)、piaは処理チャネルaに属するサブサンプリングニューロンの活動レベルを示す。また、Paを用いることにより、後続層での処理において、各処理チャネルに属するニューロンの活動レベル制御に用いることができる。
【０１０２】
例えば、Paを後続層のニューロンの発火閾値の制御を行う信号を発生することができる。この場合、Paの最大チャネルについては、後続層の発火閾値を下げ（実効的に特徴検出感度が上がる）、他のチャネルについては後続層の発火閾値を上げる（実効的に特徴検出感度が下がる）ことにより、Paの最大チャネル（スケールレベル）のみを活性化させ、ノイズの影響を受け難いロバストな処理と低消費電力化を実現することができる。また、Paの値に応じた後続層の閾値制御を行う（相対的に、Paが高いチャネルほど、当該閾値を低くする）ことにより、低次特徴の抽出段階での平均的なチャネル活動レベルに基づいた特徴検出感度の適応的制御が可能となる。
【０１０３】
一方、（2,0）層内の各チャネルごとのPaに応じた信号増幅/減衰（パルス位相の前進/遅延）を各集団的符号化ニューロンからの出力に対して行うようなチャネル活性度制御回路を設定することができる。図１５は、この様なチャネル活性度制御回路の構成を示す図である。このチャネル活性度制御回路1502は、図１２、１３の集団的符号化ニューロンと次層である特徴検出層との間に設定され、集団的符号化ニューロンの出力を平均活動度算出回路1501で処理した結果が入力される。
【０１０４】
最終層では、複数チャネルにわたって、高次特徴としての認識対象の存在確率が、ニューロンの活動レベル(即ち、発火周波数や発火スパイクの位相など)として表現される。Where処理経路(或いは最終層で検出・認識対象の位置情報も検出される場合)では、最終層で入力データ中の位置（場所）に応じた対象の存在確率（閾値処理すれば、対象の有無）が、各ニューロンの活動レベルとして検出される。
【０１０５】
集団的符号化は、正規化を行わない線形結合によって求めてもよいが、ノイズの影響を受けやすくなる可能性があり、正規化することが望ましい。式（６）及び（８）に示す正規化は、神経回路網レベルでは、いわゆる分流型抑制(shunting inhibition)により、また、式（５）及び（７）に示すような線形結合は、層内の結合（lateral connection）により実現することができる。
【０１０６】
βが２のときの正規化回路の例を図１４に示す。この正規化回路は、異なる処理チャネルに属する特徴検出細胞nijの出力の２乗和を取るための２乗和算出回路1403と、主に式（６）の正規化を行う分流型抑制回路1404、及び式（５）の線形和を求めて出力する線形和回路1405とから構成される。
【０１０７】
２乗和算出回路1403においては、各特徴検出細胞の２乗値を保持(pooling)する介在ニューロン(inter-neuron)素子1406が存在し、当該介在ニューロン1406への結合を与える各シナプス結合素子1402が、特徴検出細胞1401出力の２乗値に相当するパルス位相遅れ(或いはパルス幅変調、パルス周波数変調)を与える。
【０１０８】
分流型抑制回路1404は、例えば、介在ニューロン1406の出力に所定の係数(λ/C)を乗算した値の逆数に比例するような可変抵抗素子とコンデンサ及び特徴検出細胞1401の出力の２乗を与えるパルス位相変調回路(或いはパルス幅変調回路、パルス周波数変調回路)とから構成される。
【０１０９】
次に、チャネル処理の変形例について説明する。以上の様な処理チャネル毎に集団的符号化がなされ、各処理チャネル出力が後続層に伝達されるようにする構成（即ち、図１２又は１３の構成がカスケード的に後続層まで保持される構成）のほかに、処理効率を上げるとともに消費電力を抑えるために、特徴統合層（2,0）内の最大応答レベルを与える処理チャネルと同一のチャネルに属する（次の層の）特徴検出細胞のみに当該集団的符号化ニューロンの出力が伝播するようにしてもよい。
【０１１０】
この場合には、図１２、１３に示す構成に加えて、集団的符号化ニューロン回路の出力を受け、最大応答レベルを与える処理チャネル選択回路として最大入力検出回路、いわゆるWinner-Take-All回路(以下、ＷＴＡ回路と称す)を特徴統合層(2,0)出力と次の特徴検出層(1,1)との間に存在するように設定する。この処理チャネル選択回路は特徴統合層の各位置ごとに設定してもよいし、当該層に一つ、場所によらず入力データ全体について処理チャネルごとの最大応答レベルを算出する回路として設定してもよい。
【０１１１】
ＷＴＡ回路としては例えば、特開平08-321747号公報、USP5059814, USP5146106その他に記載された公知の構成を用いることができる。特徴統合層においてＷＴＡ回路により特徴統合層の最大応答を示す処理チャネルのみの出力を次の層である特徴検出層に伝播させる構成を図１６の（Ａ）に模式的に示す。これは、図１５のチャネル活性度制御回路1502をゲーティング回路1602で置き換えたものである。
【０１１２】
ゲーティング回路1602は、図１６の（Ｂ）に示すように各処理チャネルごとの平均出力レベルを入力するＷＴＡ回路1603と、最大の平均出力レベルを示す処理チャネルからの各ニューロンの出力を次の層の同一チャネルに伝播させるためのチャネル選択回路1604とを有する。
【０１１３】
また、後続の特徴統合層(2,k)（ｋは１以上）では、このような処理チャネル選択回路は必ずしも要しないが、例えば、高次特徴検出後の特徴統合層の出力を処理チャネル選択回路経由でフィードバックして低次又は中次特徴の統合層での処理チャネル選択を行うようにしてもよい。以上でチャネル処理の変形例についての説明を終わる。なお、図１２、１３に示すようなサブサンプリング、結合処理、集団的符号化の流れを特徴統合層内で行う構成に限定されず、例えば結合処理、集団的符号化の為の層を別に設けるなどしてもよいことは言うまでもない。
【０１１４】
異なるスケールレベルの同種の特徴カテゴリ検出ニューロンからの出力に関する集団的符号化を行うことにより、次のような効果がもたらされる。即ち、対象のサイズが予め設定したスケールレベルと異なり、それらの中間的なレベルにあるときでも、精度よく検出（または認識）を行うことが可能となる。また、スケール多重な階層的並列処理を行うことにより、サイズの異なる対象が近接して、或いは重なり合って存在しているときでも、適切に複数のスケールレベル(又は解像度)を選択することにより、安定した対象の認識、検出が可能となる。更に、任意サイズの対象に対応させるための莫大な数のテンプレートに相当するモデルを要せず、少数のスケールレベルでの処理で済む。
【０１１５】
また、本実施形態のように、最終層まで処理チャネルを空間的に分けて配列する構成では、後述する実施形態２、３で示すような時間軸上に展開する構成に比べて、処理チャネル間の結合処理等の集団的符号化を複雑なタイミング制御なしで行うことができる。更に、処理チャネルの違いを物理的に異なるニューロンの発火特性として出力するので、各スケールレベルの処理を時系列的に扱う場合に比べて、認識・検出処理を複数スケールで短時間に同時並列的に行うことができるという効果もある。
【０１１６】
なお、サイズのほぼ等しい対象が近接して存在し、或いは部分的に重なり合って存在しているときでも、局所的な受容野構造とサブサンプリング構造等による部分的な複数種類の特徴を統合して検出するメカニズムにより、対象の認識、検出性能が保持されることは、言うまでもない。
【０１１７】
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図３は、特徴統合層103から特徴検出層102への（例えば、図１の層(２,０)から層(１,１)への）パルス信号の伝播の様子を模式的に示した図である．
特徴統合層103側の各ニューロンni（n1〜n4）は、それぞれ異なる特徴量（或いは特徴要素）に対応しており、特徴検出層102側のニューロンn'jは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【０１１８】
各ニューロン間結合には、パルスの伝播時間とニューロンniからニューロンn'jへのシナプス結合（Sij）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果として、共通バスライン301を介してニューロンn'jに到着するパルス列Piは、特徴統合層103の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている（図３の（Ａ）では、P4,P3,P2,P1の順に到着することが示されている）。
【０１１９】
図３の（Ｂ）は、後述するペースメーカニューロンからのタイミング信号を用いて時間窓の同期制御を行う場合において、層番号（2,k）上の特徴統合細胞n1、n2、n3（それぞれ異なる種類の特徴を表す）から、層番号（1,k+1）上のある特徴検出細胞(n'j)（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示している。
【０１２０】
図６は、特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。図６において、ペースメーカニューロン603（np)は、同一の受容野を形成し、かつ異なる種類の特徴を検出する特徴検出ニューロン602（nj,nk等）に付随し、それらと同一の受容野を形成して、特徴統合層（または入力層）上のニューロン601からの興奮性結合を受ける。そして、その入力の総和値（或いは受容野全体の活動度レベル平均値など、受容野全体に固有の活動特性を表す状態に依存するように制御するため）によって決まる所定のタイミング（または周波数）でパルス出力を特徴検出ニューロン602及び特徴統合ニューロンに対して行う。
【０１２１】
また、各特徴検出ニューロン602では、その入力をトリガー信号として互いに時間窓が位相ロックする様に構成されているが、前述したようにペースメーカニューロン入力がある前は、位相ロックされず、各ニューロンはランダムな位相でパルス出力する。また、特徴検出ニューロン602では、ペースメーカニューロン603からの入力がある前は後述する時間窓積分は行われず、ペースメーカニューロン603からのパルス入力をトリガーとして、同積分が行われる。
【０１２２】
ここに、時間窓は特徴検出細胞(n'i)ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンおよび、ペースメーカニューロン603に対して共通であり、時間窓積分の時間範囲を与える。
【０１２３】
層番号(1,k)にあるペースメーカニューロン603は（ｋは自然数）、パルス出力を、層番号(2,k-1)の各特徴統合細胞、及びそのペースメーカニューロン603が属する特徴検出細胞（層番号(1,k)）に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、ペースメーカニューロン603は特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【０１２４】
前述した結合回路は、式(５)又は（７）式により得られる集団的符号化レベルに対応するパルスを各集団的符号化ニューロンに出力し、層番号(2,k)の特徴統合層の出力細胞(n1,n2,n3)としての集団的符号化ニューロンは、層番号(1,k+1)の層のペースメーカニューロンからのパルス入力を受け、かつ前段の特徴検出層またはセンサー入力層（層番号(1,k）)からの入力により、結合回路出力が十分なレベルにある場合（例えば、ある時間範囲または時間窓での平均入力パルス数が閾値より大、或いはパルス位相が進んでいること）には、ペースメーカからのパルスの立ち下がり時を基準時としたパルス出力を行う。
【０１２５】
また、前述したサブサンプリングニューロンは、いずれのペースメーカニューロンからの制御を受けず、前段の(1,k)層の特徴検出細胞からの平均的な（各サブサンプリングニューロンごとに独立した位相をもった時間窓内）出力レベルに基づき、サブサンプリング処理を行う。また、サブサンプリングニューロンから結合処理回路へのパルス出力タイミング制御もペースメーカニューロンを介さずに行われ、結合処理回路から集団的符号化ニューロンへのパルス出力も同様である。
【０１２６】
このように本実施形態では、特徴統合細胞（サブサンプリングニューロン、集団的符号化ニューロンなど）は、その前の層番号(1,k)の特徴検出層上のペースメーカニューロンからのタイミング制御は受けるようには、構成していない。なぜならば、特徴統合細胞においては、入力パルスの到着時間パターンではなく、むしろ一定の時間範囲での入力レベル（入力パルスの時間的積分値など）によって決まる位相（周波数、パルス幅、振幅のいずれに依存してもよいが、本実施形態では位相とした）でのパルス出力をするため、時間窓の発生タイミングは余り重要ではないからである。なお、このことは、特徴統合細胞が前段の層の特徴検出層のペースメーカニューロンからのタイミング制御を受ける構成を排除する趣旨ではなく、そのような構成も可能であることはいうまでもない。
【０１２７】
各パルスは、シナプス回路を通過すると所定量の位相遅延が与えられ、更に共通バスなどの信号伝達線を通って特徴検出細胞に到着する。この時のパルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ1，Ｐ2，Ｐ3）により示す。
【０１２８】
特徴検出細胞において各パルス（Ｐ1，Ｐ2，Ｐ3）の時間窓積分(通常、一回の積分とする；但し、多数回に渡る時間窓積分による電荷蓄積、または多数回に渡る時間窓積分の平均化処理を行ってもよい)の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐd）がなされる。なお、図３の（B）に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【０１２９】
図４は、シナプス回路Siの構成を示す図である。図４の（Ａ）は、シナプス回路202(Si)において、ニューロンniの結合先である各ニューロンn'jへのシナプス結合強度（位相遅延）を与える各小回路401が、マトリクス的に配置されていることを示している。このようにすると、シナプス回路から結合先ニューロンへの配線を各受容野に対応する同一ライン（局所的な共通バス301）上で行う事ができ（ニューロン間の配線を仮想的に行うことができ）、従来から問題となっていた配線問題の軽減（除去）が図られる。
【０１３０】
また、結合先のニューロンでは、同一受容野からの複数パルス入力を受けた際に、それぞれがどのニューロンから発せられたものかを時間窓基準でのパルスの到着時間（特徴検出細胞が検出する特徴に対応し、それを構成する低次特徴に固有の位相遅延）により、時間軸上で識別することができる。
【０１３１】
図４の（Ｂ）に示すように、各シナプス結合小回路401は、学習回路402と位相遅延回路403とからなる。学習回路402は、位相遅延回路403の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。
【０１３２】
図５は、シナプス結合小回路の詳細構成を示す図である。位相遅延回路403はパルス位相変調回路であり、例えば、図５の（Ａ）に示すように、単安定マルチバイブレータ506、507、抵抗501、504、キャパシタ503、505、トランジスター502を用いて構成できる。図５の（Ｂ）は、単安定マルチバイブレータ506へ入力された方形波P1(図５の（Ｂ）の[1])、単安定マルチバイブレータ506から出力される方形波P2(同[2])、単安定マルチバイブレータ507から出力される方形波P3(同[3])の各タイミングを表している。
【０１３３】
位相遅延回路403の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ503の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗504とキャパシタ505による時定数で決まる。Ｐ２のパルス幅が（図５の（Ｂ）の点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【０１３４】
制御電圧Ecを基準電圧のリフレッシュ回路509と結合荷重を与えるキャパシタ508への電荷蓄積量制御を行う学習回路402で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に図５の（Ａ）の回路の外側に付加される浮遊ゲート素子（図示せず）のチャージとして、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成（例えば、特開平5-37317号公報、特開平10-327054号公報参照）など周知の回路構成を用いることができる。
【０１３５】
ネットワークが結合荷重の共有結合形式（特に、１個の重み係数で複数のシナプス結合を同一に表す場合）になるような構成をとる場合には、各シナプスでの遅延量（下記の式（９）のＰij）が、図３の場合と異なって、同一受容野内で一様とすることもできる。特に、特徴検出層から特徴統合層への結合は、特徴統合層がその前段の層である特徴検出層出力の局所平均化その他によるサブサンプリングに関与するため、検出対象によらず（即ち、課題によらず）、このように構成することができる。
【０１３６】
この場合、図４の（Ａ）の各小回路は、図４の（Ｂ）に示すように、局所共通バスライン401で結合される単一の回路Sk,iで済み、特に経済的な回路構成となる。一方、特徴統合層103（またはセンサー入力層101）から特徴検出層102への結合がこのようになっている場合、特徴検出ニューロンが検出するのは、複数の異なる特徴要素を表すパルスの同時到着（或いは、略同時到着）という、イベントである。
【０１３７】
なお、結合が対称性を有する場合には、同一荷重（位相遅延）量を与える結合を同一のシナプス結合用小回路で代表させることにより、相当数のシナプス結合が少数の回路で代表されるように構成することができる。特に幾何学的特徴量の検出においては、受容野内での結合荷重の分布が対称性を有する場合が多いので、シナプス結合回路を減少させ回路規模を大幅に縮小にすることが可能である。
【０１３８】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図５の（Ｃ）に示すような回路要素を有するものを用いればよい。即ち、学習回路402をパルス伝播時間計測回路510（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時間と次の層上にある出力先ニューロンでの当該パルスの到着時間との時間差をさし、図３の（Ｂ）では、シナプス遅延と伝播に要した時間との和になる）、時間窓発生回路511、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路512から構成できる。
【０１３９】
伝播時間計測回路としては、後述するような同一局所受容野を形成するペースメーカーニューロンからのクロックパルスを入力し、所定の時間幅（時間窓：図３の（Ｂ）参照）において、そのクロックパルスのカウンター回路からの出力に基づき伝播時間を求めるような構成などが用いられる。なお、時間窓は出力先ニューロンの発火時点を基準として設定することにより、以下に示すような拡張されたHebbの学習則が適用される。
【０１４０】
また、学習回路402は、同じカテゴリの物体が提示される頻度が大きくなるほど上記時間窓の幅が狭くなるようにしてもよい。このようにすることにより、見慣れた（すなわち呈示回数、学習回数の多い）カテゴリのパターンであるほど、複数パルスの同時到着の検出(coincidence detection)モードに近づく様な動作をすることになる。このようにすることにより、特徴検出に要する時間を短縮できる(瞬時検出の動作が可能となる)が、特徴要素の空間配置の細かな比較分析や、類似するパターン間の識別等を行うことには適さなくなる。
【０１４１】
遅延量の学習過程は、例えば、複素数ドメインに拡張することにより、特徴検出層のニューロンniと特徴統合層のニューロンnjとの間の複素結合荷重Ｃijは、
Ｃij＝Ｓijexp(iPij) （11）
のように与えられる。ここに、Sijは結合強度、Pijは位相、その前のｉは純虚数を表し、所定周波数でニューロンjからニューロンiに出力されるパルス信号の時間遅れに相当する位相である。Sijはニューロンiの受容野構造を反映し、認識検出する対象に応じて一般に異なる構造を有する。これは学習（教師付き学習または自己組織化）により別途形成されるか、或いは予め決められた構造として形成される。
【０１４２】
一方、遅延量に関する自己組織化のための学習則は、
【０１４３】
【外７】
で与えられる。但し、
【０１４４】
【外８】
はＣの時間微分、τijは上記時間遅れ（予め設定された量）、β（〜１）は定数を示す。
【０１４５】
上式を解くと、Ｃijはβexp(-2πiτij)に収束し、従って、Pijは−τijに収束する。学習則適用の例を図３の（Ｂ）に示した学習時の時間窓を参照して説明すると、シナプス結合の前側ニューロン（n1,n2,n3）と後側ニューロン(特徴検出細胞)とが、その学習時間窓の時間範囲において、ともに発火しているときにだけ、式（１２）に従って結合荷重が更新される。なお、図３の（Ｂ）において、特徴検出細胞は時間窓の経過後に発火しているが、同図の時間窓経過前に発火してもよい。
【０１４６】
更に、学習時に一つのサイズで認識・検出対象を呈示するだけでも、複数スケール(処理チャネル)にまたがるような学習制御を行うことができる。具体的には、学習時には図１５のチャネル活性度制御回路を特徴統合層(2,0)内の出力のうち、最も平均的活動レベルの高いチャネル出力を他のチャネルに分配するように制御したうえで上述した様な学習を行えばよい。
【０１４７】
例えば、同一の特徴カテゴリについては、異なる処理チャネル間では同一のパルス間隔（到着時間パターン）となるように、予め学習規則が定められているとすると、最も平均的活動レベルの高いチャネルの特徴統合層ニューロンの出力が、次の全ての（或いは、そのチャネルのスケールレベルに近い）チャネルの特徴検出層（次の層）ニューロンへ、特徴検出ニューロンの受容野構造に応じて分配されて、（同じパルス列パターンとして）入力されるようにすればよい。この場合には、後続の層のすべてのチャネルが同じレベルで活性化されることになる。従って、他の方法により同様の効果が得られる様にしてもよいことは言うまでもない。
【０１４８】
これにより、様々に認識・検出対象のサイズを変えて呈示して学習を行わなくても、一回の学習過程で、複数の異なるサイズ（スケールレベル）の対象についての学習を行ったのと同等な効果を得ることができる。
【０１４９】
学習則としては、他の方式を用いてもよい。また、競争学習の原理を導入することにより、互いに所定間隔以上離れてパルスが到着する（時間遅れの差が所定値以上となる）ようにしてもよい。
【０１５０】
以下、特徴検出層で主に行われる処理（学習時、認識時）について説明する。
【０１５１】
各特徴検出層102においては、前述したように、各スケールレベルごとに設定される処理チャネル内において、同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。各特徴量に対応するパルスは、予め学習により定められた遅延量(位相) により、所定の時間間隔で到着する。
【０１５２】
このパルス到着時間パターンの学習制御は、本願の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する顕著な特徴であるほど先に到着し、そのような顕著度がほぼ等しい特徴要素間では、各特徴要素をパルス信号レベルで区別するため、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素(認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など)間で異なる時間間隔で到着する様に設計してもよい。
【０１５３】
顕著度は、当該図形が検出されるときの特徴要素の検出細胞の反応強度（ここでは、パルス遅延量）等が該当する。この場合、前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンは、それぞれ所定の位相で同期発火（パルス出力）することになる。
【０１５４】
一般的に、特徴統合層のニューロンであって、位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合が存在する（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）。この時、これら特徴検出ニューロンとの間で同期発火することはいうまでもない。但し、その出力レベル（ここでは位相基準とするが、周波数、振幅、パルス幅基準となる構成でもよい）は、特徴検出ニューロンの受容野ごとに与えられる複数ペースメーカニューロンからの寄与の総和（或いは平均など）によって決まる。また、特徴検出層102上の各ニューロンにおいては、入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について、所定幅の時間窓においてのみ行われる。時間窓内の重み付き加算を実現する機構は、図２に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【０１５５】
この時間窓は、実際のニューロンの不応期(refractory period)以外の時間帯にある程度対応している。即ち、不応期(時間窓以外の時間範囲)にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。
【０１５６】
図３の（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように、時間窓に比べて不応期を短くとらなくてもよい。ペースメーカニューロンを使わなくても、時間窓の開始時刻は、特徴検出層と特徴統合層のニューロン間で、ニューロン間の弱相互結合と所定の結合条件などにより同期発火するメカニズム（E.M.Izhikevich, 1999 'Weakly Pulse-Coupled Oscillation, FM Interactions, Synchronization, and Oscillatory Associative Memory' IEEE Trans. on Neural Networks, vol.10. pp.508-526.）を導入することにより、これらニューロン間で同一となる。この同期発火は、一般的にニューロン間での相互結合と引き込み現象によりもたらされることが知られている。
【０１５７】
従って、本実施形態においても、ニューロン間の弱相互結合と所定のシナプス結合条件を満たすように構成することにより、ペースメーカニューロンなしで、このような効果をもたらすことができる。
【０１５８】
本実施形態では、図６に模式的に示すように、既に説明したメカニズムとして、例えば各特徴検出層ニューロンごとに、その同一受容野からの入力を受けるようなペースメーカニューロン（固定周波数でパルス出力）によるタイミング情報（クロックパルス）の入力により、上述した開始時期の共通化をもたらすようにしてもよい。
【０１５９】
このように構成した場合には、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行う必要が無く、また、上記したようなクロックパルスの揺らぎ、変動があっても、局所的な同一受容野からの出力に対して一様にその影響を受ける（窓関数の時間軸上での位置の揺らぎは同一受容野を形成するニューロン間で同一となる）ので、特徴検出の信頼性は劣化することはない。このような局所的な回路制御により信頼度の高い同期動作を可能にするため、回路素子パラメータに関するばらつきの許容度も高くなる。
【０１６０】
以下、簡単のために、三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層103は、図７の（Ｃ）に示すような各種向きを持ったL字パターン(f11, f12, …, )、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン(f21, f22,…)、三角形を構成する２辺の一部の組み合わせ(f31,…)、などのような図形的特徴（特徴要素）に反応するものとする。
【０１６１】
また、同図のf41,f42,f43は、向きの異なる三角形を構成する特徴であって、f11,f12,f13に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓(タイムスロット）(w1,w2,…)において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０１６２】
例えば、時間窓をｎ分割した後のw1, w2, …、wnには、図７の(A)に示す如く、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン(f11, f12, f13)は、それぞれw1,w2,w3内に到着し、特徴要素(f21,f22,f23)に対応するパルスは、それぞれw1, w2, w3内に到着するように学習により遅延量が設定されている。
【０１６３】
特徴要素(f31,f32,f33)に対応するパルスも同様の順序で到着する。図７の(A)の場合、一つのサブ時間窓(タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。サブ時間窓に分割する意味は、各サブ時間窓で時間軸上に展開表現された異なる特徴要素に対応するパルスの検出（特徴要素の検出）を個別にかつ確実に行うことにより、それらの特徴を統合する際の統合の仕方、例えば、すべての特徴要素の検出を条件とするか、或いは一定割合の特徴検出を条件とするか等の処理モードの変更可能性や適応性を高めることにある。
【０１６４】
例えば、認識（検出）対象が顔であり、それを構成するパーツである目の探索（検出）が重要であるような状況（目のパターン検出の優先度を視覚探索において高く設定したい場合）においては、高次の特徴検出層からのフィードバック結合を導入することにより、選択的に目を構成する特徴要素パターンに対応する反応選択性（特定の特徴の検出感度）を高めたりすることができる。このようにすることにより、高次の特徴要素（パターン） を構成する低次の特徴要素により高い重要度を与えて検出することができる。
【０１６５】
また、重要な特徴ほど早いサブ時間窓にパルスが到着するように、予め設定されているとすると、当該サブ時間窓での重み関数値が他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は、学習により獲得されるか、予め定義しておくこともできる。
【０１６６】
従って、一定割合の特徴要素の検出という事象さえ起きればよいのであれば、サブ時間窓への分割は殆ど意味が無くなり、一つの時間窓において行えばよい。
【０１６７】
なお、複数（３つ）の異なる特徴要素に対応するパルスがそれぞれ到着して加算されるようにしてもよい(図７の（Ｄ）参照)。即ち、一つのサブ時間窓(タイムスロット）に複数の特徴要素(図７の（Ｄ）)、或いは任意の数の特徴要素に対応するパルスが入力されることを前提としてもよい。この場合、図７の（Ｄ）では、初めのサブ時間窓では、三角形の頂角部分ｆ11の検出を支持する他の特徴要素ｆ21、ｆ23に対応するパルスが到着し、同様に２番目のサブ時間窓には頂角部分ｆ12の検出を支持するような他の特徴要素ｆ22、ｆ31のパルスが到着している。
【０１６８】
なお、サブ時間窓(タイムスロット）への分割数、各サブ時間窓(タイムスロット）の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。例えば、上述した特徴要素の他に、'Ｘ'，'＋'等の特徴要素に対応するサブ時間窓を設定してもよい。三角形の図形検出には、このような特徴要素は冗長(又は不要)ともいえるが、逆に、これらが存在しないことを検出することにより、三角形という図形パターンの検出確度を高めることができる。
【０１６９】
また、これら特徴要素の組み合わせでは表されないような変形を加えた場合（例えば、一定範囲内の回転を与えた場合）に対しても、上記特徴要素を表す特徴統合層のニューロンの出力パルスは、理想的なパターンからのずれの程度に応じた連続的な位相遅れ(遅延量：但し、予め定めたサブ時間窓(タイムスロット）にパルスが到着する範囲)をもって反応する（いわゆるgraceful degradation）ため、検出される図形特徴の変形に対する許容範囲が一定レベル以上になるよう出力の安定化が図られている。例えば、図７の（Ｃ）に示す特徴ｆ11、ｆ12、ｆ13に対応する特徴により形成される三角形（Ｑ１）と、ｆ41、ｆ42、ｆ43に対応する特徴により形成される三角形（Ｑ２）とでは、少なくとも向きが互いに異なっている筈である。
【０１７０】
この場合、各特徴に対応する検出（統合）細胞が存在するとき、両三角形の中間的な向きに相当する三角形（Ｑ３）に対しては、ｆ11、ｆ12、ｆ13に対応する検出(統合)細胞とｆ41、ｆ42、ｆ43に対応する検出（細胞）とは、いずれも最大応答出力より低く、直接的には特徴の種類に応じて決まる受容野構造としてのフィルタカーネルとの畳み込み演算値に応じた出力レベルとなり、これら全ての細胞からの出力としてのベクトル量は中間的な図形に固有なものとして統合すると、２つの三角形の状態の中間的な図形（回転を与えた場合）の検出が可能になる。
【０１７１】
例えば、定性的には、回転角度が小さく、Ｑ１に近いほどｆ11、ｆ12、ｆ13に対応する細胞からの出力が相対的に大きく、逆にＱ２に近いほどｆ41、ｆ42、ｆ43に対応する細胞からの出力が大きくなる。
【０１７２】
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図７の（B）に示す如く、各ニューロンでは、上記サブ時間窓(タイムスロット）毎に所定の重み関数（例えばGaussian）で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τjはサブ時間窓ｊの重み関数の中心位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離(時間軸上でのずれ)の関数になる。
【０１７３】
従って、ニューロンの各サブ時間窓(タイムスロット）の重み関数のピーク位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は、一種の時間軸ドメインの動径基底関数ネットワーク（Radial Basis Function Network；以下ＲＢＦと略す）と見なすことができる。Gaussian関数の重み関数を用いたニューロンniの時間窓FTiは、各サブ時間窓毎の広がりをσ、係数因子（シナプス結合荷重値に相当）をbijで表すと、
【０１７４】
【外９】
【０１７５】
なお、重み関数としては、負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆfaulse）（例えば、前述した'Ｘ'，'＋'等）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆfaulse）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出(統合)細胞からの結合を与えておくことができる。
【０１７６】
特徴検出層のニューロンniへの入力信号の時空間和Xi(t)は、
【０１７７】
【外１０】
と表せる。ここに、εjは、ニューロンnjからの出力パルスの初期位相であり、ニューロンniとの同期発火により、０に収束するか、又はペースメーカニューロンからのタイミングパルス入力により、時間窓の位相を０に強制同期する場合には、εjは常に０としてよい。図７の（Ａ）のパルス入力と同（Ｂ）に示す重み関数による荷重和とを実行すると、図７の（E）に示すような荷重和値の時間的遷移が得られる。特徴検出ニューロンは、この荷重和値が閾値(Vt)に達するとパルス出力を行う。
【０１７８】
ニューロンniからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のsquashing非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって、上位層のニューロンに出力される（パルス出力は固定周波数(２値)とし、学習によって決まる固定遅延量に相当する位相に、入力信号の時空間和についてのsquashing非線形関数となる位相変調量を加えて出力される）。
【０１７９】
図８は、上述した各層の処理手順を示すフローチャートである。低次特徴検出から高次特徴検出までの処理の流れをまとめて示すと、同図のようになる。先ず、ステップS801で、低次特徴検出（例えば、各位置でのGabor wavelet変換係数の算出など）を行なう。次に、ステップS802で、それらの特徴の局所平均化等を行う低次特徴の統合処理を行う。更に、ステップS803〜804で中次特徴の検出と統合、ステップS805〜806で高次特徴の検出と統合を行う。そして、ステップS807では、最終層の出力として、認識(検出)対象の有無またはその検出位置出力が行われる。ステップS803〜804とS805〜806に割り当てる層数は、課題（認識対象など）に応じて任意に設定又は変更することができる。
【０１８０】
図９は、各特徴検出ニューロン602の処理の手順を示すフローチャートである。まず、ステップS901で、複数の特徴カテゴリに応じたパルスを、前層である入力層101または特徴統合層103において同一受容野105を形成するニューロン601から入力を受け、ステップS902で、ペースメーカニューロン603から入力される（又は前層ニューロンとの相互作用により得られる）局所同期信号に基づき、時間窓及び重み関数を発生させ、ステップS903で、それぞれについての所定の時間的重み関数による荷重和をとり、ステップS904で、閾値に達したか否かの判定を行い、閾値に達した場合には、ステップS905で、パルス出力を行う。なお、ステップS902と903は時系列的に示したが、実際にはほぼ同時に行われる。
【０１８１】
また、各特徴統合ニューロンの処理の手順は、図１０のフローチャートに示す通りである。すなわち、ステップS1001において、同一カテゴリをなす特徴検出の処理モジュール104であって、当該ニューロンに固有の局所受容野をなす特徴検出ニューロンからのパルス入力を受け、ステップS1002で、所定の時間幅（不応期以外の時間範囲）において入力パルスの加算を行う。ステップS1003で、入力パルスの総和値（例えば、電位基準で測る）が閾値に達したか否かの判定を行ない、閾値に達した場合、ステップS1004で、その総和値に応じた位相でパルス出力をする。
【０１８２】
入力パルスは空間ドメインの各位置での特徴（或いは、特徴要素の空間的配置関係）に対応するものであるから、時空間的ＲＢＦを構成することも可能である。
【０１８３】
具体的には、各ニューロン出力値に対して更に重み付けを行って加算を行うことにより、十分な数の予め定められた特徴要素のセット（特徴検出細胞）および十分な数のサブ時間窓(タイムスロット）での重み付き総和（荷重和）の演算とから任意の図形パターンに対応するパルスパターンの時空間関数を表現することができる。認識対称のカテゴリ及びその形状の変化がある程度限られていれば、必要な特徴検出細胞やサブ時間窓(タイムスロット）の数を少なくすることができる。
【０１８４】
本実施形態では、共通バスは同一受容野に対して一つ割り当てられるような局所的なバスラインとしたが、これに限らず、ある層から次の層への層間結合は同一バスラインで行うように、時間軸上でパルス位相遅延量を分割設定してもよい。また、重なり割合が比較的大きい隣接受容野間では、共通のバスラインを用いるように構成しても良い。
【０１８５】
なお、上述した時空間的ＲＢＦによらずに、各サブ時間窓(タイムスロット）内での重み付き積和演算の結果が非線形なsquashing関数値となるように処理（或いは、閾値処理）して、それらの積をとってもよい。例えば、不図示の回路構成により、閾値処理結果(２値)を各サブ時間窓ごとに得て、一時記憶部に格納するとともに、順次求まる閾値処理結果の論理積を時系列的に求めるようにすればよい。
【０１８６】
閾値処理して積をとる場合には、パターンの欠損や低コントラスト条件下での特徴検出の許容度が小さくなることは言うまでもない。
【０１８７】
また、上述した処理（時空間的ＲＢＦによる図形パターンの検出）は、連想記憶の想起過程に類似する動作として実現することもできる。即ち、ある局所領域（または全体領域）で検出されるべき低次（または中次）の特徴要素の欠損が生じても、他の幾つかの特徴要素が検出され、上記総和値（式（１４））が閾値を上回れば、時空間ＲＢＦネットワーク全体としては、中次（または高次）の特徴要素の検出（該当するニューロンの発火）が行われる様にすることができる。
【０１８８】
ネットワークの構成としては、図１に示したものに限定される必要はなく、所定の幾何学的特徴要素を検出する層を含む構成であればＭＬＰその他のものであってもよいことはいうまでもない。
【０１８９】
本実施形態では、低次特徴抽出のためにGabor wavelet変換を用いたが、他の多重スケール特徴(例えば、スケールに比例するサイズで求めた局所自己相関係数など)を用いてもよいことは言うまでもない。
【０１９０】
次に、本実施形態の構成に係るパターン検出（認識）装置を撮像装置に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１１を参照して説明する。図１１は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【０１９１】
図１１の撮像装置1101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系1102、CCD又はＣＭＯＳイメージセンサー1103、撮像パラメータの計測部1104、映像信号処理回路1105、記憶部1106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部1107、EVFなどファインダーを兼ねた表示ディスプレイ1108、ストロボ発光部1109、記録媒体1110などを具備し、更に上述したパターン検出装置を被写体検出（認識）装置1111として備える。
【０１９２】
この撮像装置1101は、例えば撮影された映像中から予め登録された人物の顔画像の検出(存在位置、サイズの検出)を被写体検出(認識)装置1111により行う。そして、その人物の位置、サイズ情報が被写体検出(認識)装置1111から制御信号発生部1107に入力されると、同制御信号発生部1107は、撮像パラメータ計測部1104からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【０１９３】
上述したパターン検出(認識)装置を、このように撮像装置に用いた結果、被写体距離の違いにより、画面内での被写体サイズがさまざまに異なる場合でも、当該被写体を確実に検出(認識)することができ、そのような機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができるようになる。
【０１９４】
なお、図１に示すようなネットワーク構成のもとで、パルス幅(アナログ値)変調動作を行うシナプス素子と、実施形態１に示したようなintegrate-and-fireニューロンで構成されるネットワークにより、図形パターン等の認識を行ってもよい。この場合、シナプスによる変調は、シナプス前信号のパルス幅とシナプス後のパルス幅をそれぞれ、Wb,WaとするとWa = SijWbで与えられる。ここで、Sijは実施形態１の結合強度（式（９））と同じ意味である。変調のダイナミックレンジを大きくとる為には、パルス信号の基本パルス幅を周期（基本パルス間隔）と比べて十分に小さくとる必要がある。
【０１９５】
ニューロンの発火（パルス出力）は、所定の特徴要素を表す複数のパルス電流の流入に伴う電荷の蓄積により、電位が所定の閾値を越したときに生じる。本実施形態においては、サブ時間窓ごとの到着パルスの重み付き加算は特に要さないが、所定の幅の時間窓での積分は実行される。この場合、検出されるべき特徴要素（図形パターン）は、特徴検出層ニューロンに入力される信号の時間的総和（パルス電流値の総和）のみに依存する。また、入力パルスの幅は重み関数の値に相当するものである。
【０１９６】
＜第２の実施形態＞
本実施形態では、スケールレベルの異なる特徴表現及び前述したような集団的符号化を低次特徴に限って行い、各特徴に関するパルス位相変調などにより、スケール不変な特徴表現を得て、中次および高次の特徴検出は、このスケール不変な特徴表現ドメインで行う。
【０１９７】
即ち、特徴統合層(2,0)までは、実施形態１と共通の構造を持ち、その後続部に本実施形態に特有の低次特徴に関するスケール不変な信号変換、及び特徴検出層(1,1)以降でのスケール不変な特徴表現に関する中次から高次への特徴検出と統合処理が行われる。このように構成することにより、実施形態１に示したような複数の処理チャネルを中次、高次まで有する構成を用いずに、スケール不変な認識性能を保持しながら、回路構成の簡素化、規模の小型化、更には低消費電力化がもたらされる。
【０１９８】
図１８は、本実施形態で用いるネットワーク構成を示す図である。具体的には、特徴検出層(1,k) (kは自然数)では、(1,0)層で抽出されるGabor wavelet変換等による特徴より高次の特徴が検出されるが、図１８に示すごとく、(1,1)層以降では処理チャネルの違いは回路構成上は物理的に区別を無くすることができる。
【０１９９】
図１８において、Sk,mは(1,0)層において検出され、スケールレベルがｍでk番めの特徴カテゴリを表し、Ck,mは(2,0)層において統合され、スケールレベルがｍでk番めの特徴カテゴリを表す。(1,1)層以降では検出及び統合される特徴カテゴリにはスケールレベルのインデックスが付与されていない。
【０２００】
図２０は、信号列の遷移を示す図である。パルス位相変調により、スケール不変な情報表現を得るための前提条件としては、異なる処理チャネル間では時間軸上異なる位置に、かつ異なる処理チャネルに属するパルス信号が混在しないよう図１８のパルス位相変換部1701により、いったん位相変換を行い(図２０の（Ａ)）、更にスケール不変信号変換部1702によりスケール不変なパルス信号列を得て、特徴統合層(2,0)からのパルス列を特徴検出層(1,1)のニューロンに到着させる。
【０２０１】
具体的には、同一の低次特徴カテゴリであって異なるスケールレベルの処理チャネル間（以下、「同特徴−異スケール」と称す）では、特徴検出細胞に到達する際、所定のパルス間隔パターンで表されるように、予め上述したごとき自己組織化等の学習規則（位相遅延量の自己組織化）が設定されていればよい。例えば、同特徴−異スケールの場合には、低次特徴検出での処理チャネルの違い（異スケール性）は、学習プロセスの結果、上記特徴検出細胞への入力パルス間隔の比が同一であるが時間軸方向のスケーリングが異なるパターンとして、或いはパルス間隔の絶対値がスケールレベルに応じて異なる位相オフセット値となるパターンとして表されるように構成する。
【０２０２】
即ち、前者の場合、学習則（式（１２））で用いられるτは(説明の簡略化のため、式（１２）中のニューロンjからニューロンiへの時間遅れとしてのインデックス表現を省略する)、スケールレベルインデックスm及び特徴カテゴリインデックスkに応じて、
τ(k,m) ＝αηkρm＋ξkm （15）
となり、後者の場合、τは以下のように表される。
【０２０３】
τ(k,m) ＝ηk＋αρm （16）
ここに、ηkは特徴カテゴリに固有な量、ρmはスケールレベルに固有な量、αは正の定数である。上式においてρmは上述した時間軸方向の伸縮率を表し、ξkmは位相オフセットを表し、いずれもスケールレベルに固有である。また、式（１５）は、異なる処理チャネルの信号が時間軸上で混在することを回避するような位相オフセット量ξをつけている。
【０２０４】
次に、スケール不変信号変換1702は、ゲーティング回路により選択された特定チャネル（スケールレベル）に相当する時間範囲についての時間窓重み関数を発生させ(図２０の(Ｂ))、検出されるべき特徴に関するスケール不変なパルス列情報への変換処理を行う(図２０の（Ｃ）)。通常は、特定スケールレベル(処理チャネル)で検出された特徴カテゴリについてのパルス列のみ抽出し、そのパルス列を複製し、必要に応じて一定の変換を与えればよい。
【０２０５】
具体的には、図１６に示すようなゲーティング回路を用いて、最も平均活動レベルの高い処理チャネルのパルス列を抽出して行えばよい。そのパルス位相変換部1701による位相変換が前者の場合には、時間軸方向の伸縮率が基準値と比べて一定となるようなパルス位相変換、後者の場合、ある図形特徴を検出する特徴検出ニューロンへの複数パルスの到着パターンの位相オフセット量が、どの処理チャネルからのパルスであっても一定値となるような変換を行う。
【０２０６】
即ち、いずれの場合も結果として
τ＝Ｃ1ηk＋Ｃ2 （17）
で示されるように、パルス位相が特徴カテゴリにのみ依存するように変換される。ここに、Ｃ1は正の定数、Ｃ2は非負の定数である。パルス幅変調により情報表現を行う場合にも、パルス幅の伸縮又はオフセット量に関して同様の処理を行えばよい。
【０２０７】
なお、学習時には実施形態１に説明したように、一つのサイズで認識(検出)対象を呈示しても、内部では複数のスケールレベルに変換されて学習制御がなされるようにしてもよい。本実施形態の場合、１チャネル分の固定スケール(サイズ)での学習パターンを呈示した際に発生するそのチャネルでのパルス列パターンが、図１５のチャネル活性度制御回路により、式（１５）または（１６）に従って異なるチャネル、即ち、時間軸上の異なる位置に変換、複製されて後続層に信号伝達するようにすればよい(図２０の（Ｄ）)。
【０２０８】
また、スケール不変な特徴表現への変換は、Gabor wavelet変換、或いは、方向成分などの低次特徴レベルに限定されなくてもよく、一定レベルの複雑さをもった中次特徴までは、実施形態１と同様の構成で処理してもよい。即ち、一定レベル以下の複雑さを持った特徴の検出（統合）までは、物理的に独立した（空間的に配列した）処理チャネルで行い、あるレベル以上の複雑さを持った特徴に関しては本実施形態のようにスケール不変な表現を得て処理してもよい。
【０２０９】
この場合、一定レベル以下の複雑さを持った中次特徴までは、処理チャネル間の結合処理等の集団的符号化を複雑なタイミング制御なしで行い、更に、処理チャネルの違いを物理的に異なるニューロンの発火特性として出力するので、各スケールレベルの処理を時系列的に扱う場合に比べて、中次特徴までの検出処理を複数スケールで短時間に同時並列的に行うことができるという効果がある。
【０２１０】
そして、高次特徴に関しては、上述したような回路の小規模化、低消費電力化などがもたらされる。このように処理時間、タイミング制御の複雑さ、回路規模、消費電力を総合勘案して、どの特徴レベル（複雑さ）でスケール不変表現を得るかを決めることができる。
【０２１１】
＜第３の実施形態＞
本実施形態では、互いに異なるスケールレベル(処理チャネル)に属する特徴検出ニューロンにおいては、同一カテゴリの図形的特徴(例えば、Ｌ字パターン)に対応するパルスの到着時間の間隔（またはパルス到着の時間パターン）が、スケールレベルにより異なるように学習規則を定め、集団的符号化処理は時分割されたパルス信号全体にわたる重み付き加算による線形結合により行う。
【０２１２】
図１９は、本実施形態で用いるネットワーク構成を示す図である。同図に示すように、本実施形態では、（図１２、１３に示す構成において、集団的符号化ニューロン出力と次の層である特徴検出層との間に）パルス位相変換部1701と時間軸上集団的符号化部1901を設け、その結果として、異なる処理チャネルに属するパルスを所定のチャネルの時間軸上に展開した信号が、特徴検出層(1,1)に入力される。
【０２１３】
図１７は、処理チャネル(スケールレベル)を時間軸方向に展開する場合に同一箇所でサイズの異なるパターンを検出した場合の特徴統合層への信号の例を示す図である。同図に示すごとく、処理チャネル(スケールレベル)の違いは、特徴検出ニューロンに到着するパルスの時間軸上の異なる位置に時分割して振り分ける（異なる位相オフセット量を与える）。
【０２１４】
即ち、図１７のサブ時間窓w1,1,w2,1,w3,1はスケールレベル１で検出されたL字パターンセット用時間窓であり、w1,n,w2,n,w3,nはスケールレベルｎに対応する同一特徴カテゴリのセットをなすＬ字パターンの検出を表す信号パルス用時間窓である。
【０２１５】
第２実施形態と同様に、特徴検出層(1,1)以降の層においては、処理チャネルごとに異なる回路を設けることなく、同一回路で多重スケール処理を行うことができ、経済的な回路構成となる。即ち、図１９に示すごとく、(1,1)層以降では処理チャネルの違いは回路構成上は物理的に区別を無くすることができる。本実施形態では、(1,1)層以降でも、時間的に異なる位置に配置されたスケールレベル（処理チャネル）の信号について、式（５）、（６）に相当する結合処理と集団的符号化処理を時間軸ドメインで行う。
【０２１６】
特徴検出層(1,1)から特徴統合層(2,1)層への出力（及び、それ以降の層につき同様とする）は、各処理チャネル出力ごと（スケールレベルごと）に時分割で行われる。即ち、特徴検出細胞の入力信号に対して時間的に積分する際、一つのスケールレベルを構成するサブ時間窓の全体範囲に対応して１処理チャネル分のパルス出力が行われる。特徴統合層で行う集団的符号化は、各チャネルにまたがった時間窓内での入力パルスの積分により行う。
【０２１７】
集団的符号化ニューロンで行うスケールレベル(処理チャネル)の異なる図形特徴信号に対する処理は、次のように２段階で行われる。先ず、各処理チャネルごとの時間窓で入力パルスの積分を行うことにより、各スケールレベルごとに同一特徴カテゴリについての検出を行い、次に式（５）、（６）に相当する集団的符号化の演算処理を、各時間窓毎の積分値をpijとすることにより行う。このようにして時分割された各処理チャネル出力を時間的に統合することにより、任意サイズの図形パターンの検出（認識）を可能にする。
【０２１８】
図２１に例として、スケールレベルが１からｎまで、特徴カテゴリが１から３までの場合について、各チャネル(スケールレベル)上の特徴検出細胞出力から特徴統合層の集団的符号化細胞出力までの信号列の遷移を上から順に示す。
【０２１９】
図２１の（Ａ）は、特徴検出細胞から特徴統合層への出力が各スケールおよび各特徴ごとに時間軸上に展開された様子を示す。各特徴ごとに、複数の出力があるのは、単に同一特徴（同一スケール）を検出する特徴検出細胞が複数存在し、かつ各出力はポアッソンノイズ等による揺らぎ、或いは特徴カテゴリ−スケールレベルに関する感度特性に関するばらつきが存在することを示すためである。また、スケールレベルnでは、特徴２に対応するパルスが欠損しているのは、単に検出されなかったことを示している。同スケールでは他の特徴１、３も他のスケールレベルと比べて位相が遅延している。これは検出レベルが低いことを反映している。
【０２２０】
図２１の（Ｂ）は、このような特徴検出細胞出力を特徴統合層のサブサンプリング細胞で時間的に積分する際の重み関数を示す。図２１の（Ｃ）は、その結果得られるサブサンプリング細胞出力を表す。図２１の（Ｄ）は、集団的符号化細胞において、サブサンプリング細胞出力を統合する際の各スケールごとの時間窓重み関数を表す。図２１の(Ｅ)は、集団的符号化細胞からの時間軸上の出力分布を示している。
【０２２１】
集団的符号化による効果を示す例として、スケールレベル１と２の特徴１について、集団的符号化を行う前後のパルス位置を見ると、各パルスの時間軸上位置が、スケールレベル１の方が位相遅れ（時間遅れ量Δp11）、スケールレベル２の方が位相の前進（時間進み量Δp12）となって変調されている。このことは、式（５）、（６）により、サブサンプリング細胞の出力がチャネル全体の活動レベル等に基づいて変調された結果であり、認識(検出)対象のサイズ(スケールレベル)が、予め設定されたスケールレベル１と２の中間にあることを反映している。その後の処理としては、実施形態１の図１５、１６に相当するチャネル活性度制御又はゲーティング機能を時間軸上で行えばよい。
【０２２２】
具体的には、チャネル活性度制御回路又はゲーティング回路は、時分割されたチャネルデータから、目標チャネル活性度を算出し（又はチャネルの選択をし）、各チャネル（スケールレベル）に対応する時間窓ごとにチャネル活性度に応じた後続の層のニューロン閾値の設定や信号レベルの増幅・減衰の制御を行う（又は選択チャネルのみ信号を通過させる）。
【０２２３】
以上説明した実施形態によれば、複数の解像度又はスケールレベルによる特徴検出を行い、検出された複数のスケールレベルに関する特徴について集団的符号化を行うことにより、検出対象のサイズが任意に変化しても検出性能の劣化を回避することができる。
【０２２４】
低次または高次の特徴要素（または図形パターン要素）の検出を解像度又はスケールレベルに応じて異なる位相を有するパルス列に変換して行うことにより、多重スケールでの認識処理を行う回路を物理的に異なる処理チャネルを設けることなく、同一の処理回路で行えるように構成したことにより、このような位相変換を行わない場合に比べて、回路規模及び消費電力を遥かに小さくすることができた。
【０２２５】
また、特徴検出信号であるパルス信号について時間窓内での重み付き荷重和の閾値処理することにより、複雑多様な背景下において、検出（認識）すべき対称の変形（位置変動、回転等を含む）、特にサイズの変化や照明、ノイズの影響等による特徴検出の欠損等が生じても、確実に所望のパターンを検出することができる。この効果は、特定のネットワーク構造によらず実現することができるものである。
【０２２６】
最後に、本発明に示した構成では、所定ニューロンの単一の入力線上に時間的に配列されるパルス列の時間窓内での各位置が、所定のパターンの特徴とスケールレベルに相当するようにしたことにより、ニューロン素子間の配線問題を軽減することができ、上記した信頼性を高い程度に保ちながら、２次元パターン処理により所定物体の認識検出を行う回路の規模、消費電力が従来より格段に抑えることができる。
【０２２７】
【発明の効果】
以上説明したように、本発明によれば、複数の解像度又はスケールレベルによる特徴検出を行い、検出された複数のスケールレベルに関する特徴について多重化（または集団的符号化）を行うことにより、検出対象のサイズが任意に変化しても検出性能の劣化を回避することができるという効果が得られる。
【０２２８】
また、特徴要素の検出を、解像度又はスケールレベルに応じて異なる位相を有するパルス列に変換して行うことにより、多重スケールでの認識処理を同一の処理回路で行えるようにしたことにより、回路規模及び消費電力を遥かに小さくすることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態のネットワーク構成を示すブロック図である。
【図２】シナプス部とニューロン素子部の構成を示す図である。
【図３】実施形態１において特徴統合層または入力層から特徴検出層ニューロンへの複数パルス伝播の様子を示す図である。
【図４】シナプス回路の構成図を示す図である。
【図５】シナプス結合小回路の構成、及び実施形態１で用いるパルス位相遅延回路の構成を示す図である。
【図６】特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。
【図７】特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の時間窓の構成、重み関数分布の例、特徴要素の例を示す図である。
【図８】各層の処理手順を示すフローチャートである。
【図９】各特徴検出ニューロンの処理手順を示すフローチャートである。
【図１０】各特徴統合ニューロンの処理手順を示すフローチャートである。
【図１１】実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【図１２】特徴統合層の回路構成を示す図である。
【図１３】特徴統合層の回路構成を示す図である。
【図１４】正規化回路の構成を示す図である。
【図１５】チャネル活性度制御回路の構成を示す図である。
【図１６】ゲーティング回路の構成を示す図である。
【図１７】処理チャネル(スケールレベル)を時間軸方向に展開する場合に同一箇所でサイズの異なるパターンを検出した場合の特徴統合層への信号の例を示す図である。
【図１８】実施形態２で用いるネットワーク構成を示す図である。
【図１９】実施形態３で用いるネットワーク構成を示す図である。
【図２０】実施形態２の信号列の遷移を示す図である。
【図２１】実施形態３の信号列の遷移を示す図である。
【図２２】スケールレベル（解像度）の異なる階層的表現を模式的に示す図である。
【図２３】スケールレベルの集団的符号化の例を示す図である。
【発明の属する技術分野】
本発明は、神経回路網などの並列演算デバイスにより、パターン認識、特定被写体の検出等を行うパターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク回路に関するものである。
【０００２】
【従来の技術】
従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムにおいては中でも、性能が認識対象の画面中の位置、サイズ等によらない方式が求められ、これまで数多くの方式が提案されてきた。例えば、いわゆるconformal mapping変換を前処理として行うことにより、スケールと回転に不変な認識を行うことができる。
【０００４】
具体的には、画像中の認識対象の中心点からの距離の対数と回転角についてのＬｏｇ−Polar座標変換を行うことにより、同一対象のサイズ変化や回転は、変換後の座標系においては平行移動に変換される。その後、相関係数等の特徴量を算出すると、認識対象は同じ特徴量として検出される。位置に対する検出特性の不変性は、変換の中心点を時間的に逐次シフトし、各位置で検出を行うことにより得られる。
【０００５】
また、与えられた画像について局所的な領域ごとに多重スケール表現を行い、更に上述したconformal mapping変換を行うことにより、同様のサイズ不変な検出を行う可能性が指摘されている(Wechsler,H. 1992, 'Multi-scale and Distributed Visual Representations and Mappings for Invariant-Low-Level Perception', in Neural Networks for Perception, Vol. 1, Wechssler H. Ed. pp.462-476., Academic Press, Boston) 。
【０００６】
更に、別方式の例として、認識対象モデルとの類似度に関する特徴量を算出して行うタイプにおいて、サイズによらない認識を可能とする方式としては、認識対象のモデルデータをテンプレートモデルとして、異なるスケールで表現しておき、入力画像（或いはその特徴ベクトル）とのテンプレートマッチングを疎から密(coarse to fine)に行うことによる方法（Rosenfeld and Vanderburg, 1977, Coarse-fine template matching, IEEE Trans. Systems, Man, and Cybernetics, vol.2, pp. 104-107）、サイズの異なる対象のモデル画像を主成分分析して得られる固有画像関数空間へ入力パターンを写像して、モデルとの特徴空間内での距離を算出する方法(特開平8-153198号公報; 村瀬、ナイヤー, 1995, 多重解像度と固有空間表現による３次元物体のイメージスポッティング、情報処理学会論文誌、vol.36, pp.2234-2243; Murase and Nayar, 1997, Detection of 3D objects in cluttered scenes using hierarchical eigenspace, Pattern Recognition Letters, pp. 375-384)、認識対象の距離画像データに基づいて照合領域の位置、大きさを算出・正規化を行った後に照合を行う方法（特開平5-108804号公報）、及び、認識対象に関する多重解像データを低解像度レベルから高解像度レベルに順に切り替えて照合などの認識を行う方法（特開平8-315141号公報）がある。
【０００７】
時系列入力画像を用いる方法としては、画像から認識対象に関する複数の互いに競合する仮説を生成し、それらを時間的に蓄積した後、CarpenterらによるＡＲＴ２等のカテゴリ分類器に入力する方法（Seibert, et al. 1992, Learning and recognizing 3D objects from multiple views in a neural system, in Neural Networks for Perception, vol. 1 Human and Machine Perception(H. Wechsler Ed.) Academic Press, pp.427-444）がある。
【０００８】
生体の情報処理機構にヒントを得た神経回路網モデルによるパターン認識方法としては、ダイナミックルーティング回路網により対象中心のスケール、位置不変な表現を得て行う方法(Anderson, et al. 1995, Routing Networks in Visual Cortex, in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.823-826、Olhausen et al. 1995, A Multiscale Dynamic Routing Circuit for Forming Size- and Position-Invariant Object Representations, J. Computational Neuroscience, vol.2 pp.45-62.)がある。この手法では、予め画像データについて複数の異なる解像度による階層的表現（多重解像度表現）を行い、動的に結合荷重を設定する機能を有する制御ニューロンを介した情報のルーティングを行うことにより、異なる解像度での情報を対象物中心の表現にマッピングする。
【０００９】
一方、生体の神経回路網による情報処理機構をより忠実に取り入れようとする試みとして、アクションポテンシャルに相当するパルス列による情報の伝達表現を行う神経回路網モデル回路が提案されている(Murray et al., 1991 Pulse-Stream VLSI Neural Networks Mixing Analog and Digital Techniques, IEEE Trans. on Neural Networks, vol.2, pp.193-204.；特開平7-262157号公報、特開平7-334478号公報、特開平8-153148号公報、特許２８７９６７０号公報など)。
【００１０】
【発明が解決しようとする課題】
前述したように、スケールの異なる認識対象について認識性能が不変となるようなパターン認識を実現するために、従来から行われていた所定の写像変換（conformal mapping変換など）を行う方法では、変換の中心点を適切に設定しないと、スケール不変な特徴を得ることが困難であるという問題があった。
【００１１】
テンプレートマッチングを行う方法では、予め表現された異なるスケールでのテンプレートモデルとのマッチングを取る際、入力画像中の対象がそのいずれかのスケールとほぼ一致しない限り、高い認識性能が得られないこと、即ち、非常に多くの異なるテンプレートモデルが必要となり、実用性の点で問題があった。
【００１２】
特開平8-153198号公報等に示される有限個の異なるサイズについて対象のモデル画像を主成分分析して得られるパラメトリックな固有空間を用いる方法では、大きさの変化はパラメトリック固有空間上での多様体により表現され、連続的に異なるサイズの対象の認識が可能であるが、共分散行列の次元数が大きく（例えば、村瀬、ナイヤー(1995)では16,384次元）固有ベクトルの計算コストが非常に大きいという問題があった。大きさ変化に対応するために十分な精度を得るためには、基準となるサイズの1.1、1.2, 1.3, 1.4, 1.5（＝α）倍の５段階程度のサイズの異なる参照画像を用意して固有ベクトルを計算し、更に入力画像についてα-1倍、α-2倍、α-3倍などの大きさに変換して行うことが必要であり、処理に要するメモリ空間の大きさ及び演算時間が莫大なものであった。
【００１３】
特開平8-315141号公報に係る方法では、予め用意した対象に関する多重解像表現データについて低解像度から高解像度に順に照合を行うので、スケール不変な認識を行うためには予め用意すべき解像度の多重化レベルを十分に大きくとる必要があるため処理効率が低く、また少ないメモリ使用で大まかな情報を得るには適しているが、高精度な認識・検出には適さない。
【００１４】
ダイナミックルーティング回路網による方法(Anderson et al., 1995; Olshausen et al., 1995)では、制御ニューロン間の局所的な競合過程により所定のスケールレベル間での神経細胞素子間の結合を動的に設定する機構が必要であり、回路構成が複雑になるという問題があった。
【００１５】
また、競合する仮説を生成し、カテゴリ分類器に入力する方法(Seibert et al. 1992)は時系列画像を前提としていたため、そもそも一枚の静止画からスケールによらない認識を行うことは困難である。
【００１６】
なお、アナログ回路素子による構成では、デジタル方式に比べ、回路構成の簡素化（少ない素子数）、高速化、低消費電力化がもたらされることが一般に知られるが、その一方で個々の素子特性のばらつきによる入出力特性の信頼性、ノイズに対する耐性が少なからず問題となっていた。
【００１７】
【課題を解決するための手段】
上記課題を解決するために、本発明によれば、パターン検出装置に、パターンを入力する入力手段と、特徴を検出する複数の特徴検出層と該特徴検出層の検出結果を統合する複数の特徴統合層とが交互に接続され、それぞれ異なる解像度またはスケールレベルに対応する複数の処理チャネルを、前記複数の特徴検出層及び特徴統合層の各層に存在する当該複数の処理チャネルに属する複数の素子により形成し、後段の特徴検出層で前段の特徴統合層で統合された特徴より高次の特徴を検出することで、前記入力手段より入力されたパターンに対して、特定パターンの検出を行う階層処理手段とを有し、前記複数の特徴検出層の各々が、前記入力手段または前段の特徴統合層から入力されたデータを所定の方法によりサンプリングして得られる各点に対応して、それぞれ異なる複数の解像度またはスケールレベルにおいてそれぞれ異なる所定の種類の特徴を検出して出力する複数の特徴検出素子を備え、前記特徴統合層の各特徴統合素子が、同一の解像度又はスケールレベルにおける同一の種類の特徴を検出する前記複数の特徴検出素子の出力を局所領域ごとに統合し、前記複数の解像度又はスケールレベルに対する同一の種類の特徴の当該統合結果を結合して同一処理チャネルを形成する特徴検出素子に出力することを特徴とする。
【００２２】
また、他の態様によれば、パターン検出方法に、パターンを入力する入力工程と、特徴を検出する複数の特徴検出層と該特徴検出層の検出結果を統合する複数の特徴統合層とが交互に接続され、それぞれ異なる解像度またはスケールレベルに対応する複数の処理チャネルを、前記複数の特徴検出層及び特徴統合層の各層に存在する当該複数の処理チャネルに属する複数の素子により形成し、後段の特徴検出層で前段の特徴統合層で統合された特徴より高次の特徴を検出する階層処理部を用いて、前記入力工程において入力されたパターンに対して、特定パターンの検出を行う階層処理工程とを有し、前記階層処理工程が、前記複数の特徴検出層の各々において、前記入力工程または前段の特徴統合層から入力されたデータを所定の方法によりサンプリングして得られる各点に対応して、複数の特徴検出素子がそれぞれ異なる複数の解像度またはスケールレベルにおいてそれぞれ異なる所定の種類の特徴を検出して出力する検出工程と、前記特徴統合層の各特徴統合素子において、同一の解像度又はスケールレベルにおける同一の種類の特徴を検出する前記複数の特徴検出素子の出力を局所領域ごとに統合し、前記複数の解像度又はスケールレベルに対する同一の種類の特徴の当該統合結果を結合して同一処理チャネルを形成する特徴検出素子に出力する出力工程とを備えることを特徴とする。
【００２６】
【発明の実施の形態】
＜第１の実施形態＞
以下、図面を用いて本発明の１実施形態を詳細に説明する。
【００２７】
図１は本実施形態のパターン検出・認識装置の全体構成を示す図である。ここで、パターン情報はＷｈａｔ経路とＷｈｅｒｅ経路により処理される。Ｗｈａｔ経路は対象または幾何学的特徴などの認識(検出)に関与する情報を、Ｗｈｅｒｅ経路は対象または特徴の位置(配置)に関する情報を主として扱う。
【００２８】
Ｗｈａｔ経路はいわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, "Convolutional Networks for Images Speech, and Time Series" in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)を有している。但し、同経路内の層間結合は相互結合をなし得る点(後述)が、従来と異なる。Ｗｈａｔ経路の最終出力は認識結果、即ち認識された対象のカテゴリに相当する。また、Ｗｈｅｒｅ経路の最終出力は、認識結果に対応する場所を表す。
【００２９】
データ入力層101は、画像の検出認識などを行う場合は、ＣＭＯＳセンサー或いはＣＣＤ素子等の光電変換素子であり、音声の検出認識などを行う場合には音声入力センサーである。また、所定データ解析部の解析結果（例えば、主成分分析、ベクトル量子化など）から得られる高次元のデータを入力するものであってもよい。データ入力層101は、上記２経路に共通のデータ入力を行う。
【００３０】
以下、画像を入力する場合について説明する。Ｗｈａｔ経路には、特徴検出層102（(１,０）、(１,１)、…、(１,N)）と特徴統合層103（(２,０)、(２,１)、…、(２,N)）とがある。
【００３１】
最初の特徴検出層(１,０)は、Gabor wavelet変換その他による多重解像度処理により、画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置(或いは、全画面にわたる所定のサンプリング点の各点)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出し、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００３２】
図１の特徴検出層(1,0), (1,1), …及び、特徴統合層(2,0), (2,1), …は、全体として複数の解像度（又はスケールレベル）での処理チャネルの集合を形成する。各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００３３】
各層には異なる処理チャネルに属する複数の回路素子が所定の配列で存在する。ここで処理チャネルの配列構成を特徴統合層(2,0)について図１２、図１３を例として説明する。
【００３４】
図１２、図１３の例では、いずれもスケールレベル(解像度)が等しければ同一処理チャネルを後続の層とともに形成するが、特徴カテゴリ（ここでは、方向成分のこと）が同一であれば、処理チャネルが異なっても近接した位置にまとめて特徴統合細胞を配列したのが図１２であり、スケールレベル（即ち、処理チャネル）が等しければ特徴カテゴリが異なっても近接位置にまとめて特徴統合細胞を配列したのが図１３に示す構成である。各構成の機能上の違いについては、後で説明する。特徴統合層(2,0)では、各回路素子は後述するような低次特徴としてのGabor wavelet変換特徴を特徴検出層(1,0)の細胞出力から入力する。
【００３５】
一般的に特徴検出層（１,ｋ）（ｋは自然数）において、その前層である（2,ｋ―１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。
【００３６】
Ｗｈａｔ経路上の特徴統合層(２,０)は、所定の受容野構造を有し、パルス列を発生するニューロン素子からなり、特徴検出層(１,０)からの同一受容野内の複数のニューロン素子出力の統合（局所平均化等によるサブサンプリング、及び異なるスケールレベルでの処理結果の結合処理などの演算）を行う。また、特徴統合層内のニューロンの各受容野は同じ特徴カテゴリかつ同じスケールレベルに関する限りニューロン間で共通の構造を有している。
【００３７】
各特徴検出層（１,１）、(１,２)、…、(１,N)）及び各特徴統合層（(２,１)、(２,２)、…、(２,N)）は、それぞれ学習により獲得した所定の受容野構造を持ち、上述した各層と同様に、前者（(１,１)、…）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（(２,１)、…）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層は２種類の処理を行う。
【００３８】
その第一であるサブサンプリングは、同一特徴カテゴリかつ同一スケールレベルの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものであり、第二の処理である異なるスケールレベルでの処理結果の結合処理とは、同一特徴カテゴリかつ異なる複数のスケールレベルにわたる複数の特徴検出細胞集団の出力の線形結合（又は非線形結合）を行う。
【００３９】
また、Where経路には、特徴位置検出層（(３,０)、…、(３,ｋ)）があり、What経路上の所定の（全てである必要はない）特徴統合層の入力を受け、低次、中次、高次特徴の位置の出力に関与する。以下では、Where経路の各層については、更に詳しい説明を省略する。
【００４０】
各層間のニューロン素子201間を結合する構造は、図２の（Ａ）に示すように、神経細胞の軸索または樹状突起に相当する信号伝達部203（配線または遅延線）、及びシナプス回路Ｓ202である。図２の（Ａ）では、ある特徴検出（統合）細胞（Ｎ）に対する受容野を形成する特徴統合(検出)細胞のニューロン群（ni）からの出力（当該細胞Ｎから見ると入力）に関与する結合の構成を示している。太線で示している信号伝達部203は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞（Ｎ）からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用（樹状突起側）と出力用（軸索側）の２系統で、図２の（Ａ）と同様の構成を与えて処理してもよい。
【００４１】
シナプス回路Ｓ202としては、層間結合（特徴検出層102上のニューロンと特徴統合層103上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものと、同一層内ニューロン間結合に関与するものとがある。後者は必要に応じて、主に、後述するペースメーカーニューロンと特徴検出または特徴統合ニューロンとの結合に用いられる。
【００４２】
シナプス回路Ｓ202において、いわゆる興奮性結合はパルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。
【００４３】
本実施形態においては、シナプス回路Ｓ202は、主にパルスの位相変調素子として用い、信号の増幅は、パルス到着時間の特徴に固有な量としての実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は後述するように出力先のニューロンでの特徴に固有な時間軸上の到着位置(位相)を与え、定性的には興奮性結合はある基準位相に対しての到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００４４】
図２の（Ａ）において、各ニューロン素子njは、パルス信号（スパイクトレイン）を出力し、後述する様な、いわゆるintegrate-and-fire型のニューロン素子を用いている。なお、図２の（C）に示すように、シナプス回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００４５】
Ｗｈｅｒｅ経路内の各特徴位置検出層107は、Ｗｈａｔ経路の特徴統合層103の出力を受けて、データ入力層101上の位置関係を保持し、粗くサンプリングされた格子点上の各点で、Ｗｈａｔ経路上の特徴抽出結果のうち認識に有用な成分（認識カテゴリのパターンから予め登録してあるもの）に対応するニューロンのみが、フィルタリングなどにより応答する。例えば、Ｗｈｅｒｅ経路内の最上位層では、認識対象のカテゴリに対応するニューロンが格子上に配列され、どの位置に該当する対象が存在するかを表現する。また、Ｗｈｅｒｅ経路内の中間層のニューロンは、上位層からのトップダウンの入力を受けて、対応する認識対象の存在位置を中心として配置しうる特徴が検出された場合にのみ応答するように感度調整等が行われるようにすることができる。
【００４６】
位置関係が保持される階層的特徴検出をＷｈｅｒｅ経路で行う際には、受容野構造が局所的（例えば、楕円形状）であってサイズが上位層ほど徐々に大きくなる（または、中間層から上位層にかけてはセンサー面上の１画素より大きいサイズであって一定である）ように構成すれば、特徴要素（図形要素、図形パターン）間の位置関係は、センサー面上での位置関係をある程度保存しつつ、各層において各特徴要素（図形要素）が検出されるようにすることができる。
【００４７】
なお、Ｗｈｅｒｅ経路の他の出力形態としては、特徴検出層(１,０)の出力結果に基づいて得られる特徴の顕著度マップから、データ入力層上での所定サイズの注視領域を設定し、当該領域の位置とサイズ及びその中での認識対象カテゴリの有無を出力するものであってもよい。更に他の形態としては、階層的に上位層ほど受容野サイズが大きくなり、最上位層では検出された対称のカテゴリに対応するニューロンのうち、最大値を出力するものだけが発火するように構成された神経回路網でもよい。このような系では、データ入力層での配置関係（空間的位相）に関する情報を最上位層（及び中間の各層）においてもある程度保存するようになっている。
【００４８】
次に各層を構成するニューロンについて説明する。各ニューロン素子は、いわゆるintegrate-and-fireニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点では、いわゆるintegrate-and-fireニューロンと同じである。
【００４９】
図２の（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路(IEEE Trans. on Neural Networks Vol. 10, pp.540)を拡張したものである。ここでは、入力として興奮性と抑制性の入力を受けるものとして構成されている。
【００５０】
以下、このパルス発生回路の動作原理について説明する。興奮性入力側のキャパシタC1及び抵抗Ｒ１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の時定数より小さく、定常状態では、トランジスタＴ１、Ｔ２、Ｔ３は遮断されている。なお、抵抗は実際には、能動負荷たるトランジスタで構成される。
【００５１】
キャパシタC1の電位が増加し、キャパシタC2のそれよりトランジスタＴ１の閾値だけ上回ると、トランジスタＴ１はアクティブになり、更にトランジスタＴ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ３は、電流ミラー回路を構成し、図２の（Ｂ）の回路の出力は、不図示の出力回路によりキャパシタC1側から出力される。キャパシタＣ２の電荷蓄積量が最大となると、トランジスタＴ１は遮断され、その結果としてトランジスタＴ２及びＴ３も遮断され、上記正のフィードバックは０となる様に構成されている。
【００５２】
いわゆる不応期には、キャパシタＣ２は放電し、キャパシタＣ１の電位がキャパシタＣ２の電位よりも大で、その差がトランジスタＴ１の閾値分を超えない限り、ニューロンは応答しない。キャパシタＣ１、Ｃ２の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応して定まる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００５３】
キャパシタの電位、従って電荷蓄積量は、基準電圧制御回路（時間窓重み関数発生回路）204により時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図７参照）。この基準電圧制御回路204は、後述するペースメーカニューロンからの入力タイミング（又は、後続層のニューロンとの相互結合入力）或いはその他の機構（後述するニューロン間の弱相互作用に基づく同期発火信号等に基づき、基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生する。
【００５４】
抑制性の入力は本実施形態においては必ずしも要しない場合があるが、後述するペースメーカニューロンから特徴検出層ニューロンへの入力を抑制性とすることにより、出力の発散（飽和）を防ぐことができる。
【００５５】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）の関係は、そのニューロンの感度特性によって変化し、また、その感度特性は、上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を加えたタイミングなど）が変動するものとする。
【００５６】
また、パルス位相の変調部としては、後述する図５に示すような回路を付加して用いてもよい。これにより、時間窓内の重み関数が上記基準電圧により制御される結果、このニューロンからのパルス出力の位相が変化し、この位相をニューロンの出力レベルとして用いることができる。
【００５７】
シナプス結合でパルス位相変調を受けたパルスについての時間的積分特性（受信感度特性）を与える図７の（Ｂ）に示すような重み関数の極大値に相当する時刻τw1は、一般的にシナプス結合で与えられる特徴に固有なパルスの到着予定時刻τs1より時間的に早く設定される。その結果、到着予定時刻より一定範囲で早く（図７(B)の例では、到着の早すぎるパルスは減衰される）到着するパルスは、それを受け取るニューロンでは、高い出力レベルを持ったパルス信号として時間的に積分される。重み関数の形状はガウシアン等の対称形に限らず、非対称形状であってもよい。なお、上述した趣旨より、図７の（Ｂ）の各重み関数の中心は、パルス到着予定時刻ではないことを注記しておく。
【００５８】
また、ニューロン出力（シナプス前）の位相は、後述するように時間窓の始期を基準とし、その基準時からの遅れ（位相）は基準パルス（ペースメーカ出力その他による）を受けた時の電荷蓄積量により決まるような出力特性を有する。このような出力特性を与える回路構成の詳細については、本発明の主眼とする所ではないので省略する。シナプス後のパルス位相は当該シナプスにより与えられる固有の位相変調量にシナプス前の位相を加算したものとなる。
【００５９】
なお、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知の回路構成を用いてもよい。
【００６０】
ニューロン素子の構成としては、特徴検出層102または特徴統合層103に属するニューロンであって、後述するペースメーカニューロンの出力タイミングに基づき発火パターンが制御される場合には、ペースメーカーニューロンからのパルス出力を受けた後、当該ニューロンが、前段の層の受容野から受ける入力レベル（上記の入力の単純または重み付き総和値）に応じた位相遅れをもって、パルス出力するような回路構成であればよい。この場合、ペースメーカーニューロンからのパルス信号が入力される前では、入力レベルに応じて各ニューロンは互いにランダムな位相でパルス出力する過渡的な遷移状態が存在する。
【００６１】
また、後述するようにペースメーカニューロンを用いない場合には、ニューロン間（特徴検出層102と特徴統合層103の間）の相互結合とネットワークダイナミックスによりもたらされる同期発火信号を基準とし、上述したような入力レベルに応じた特徴検出ニューロンの出力パルスの発火タイミングの制御がなされるような回路構成であってもよい。
【００６２】
特徴検出層102のニューロンは、前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層101または特徴統合層103）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による荷重総和値（後述）が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるsquashing関数値をとるような出力レベル（ここでは位相変化で与えるが、周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００６３】
特徴検出層(１,０)には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するニューロンN1があるとすると、データ入力層101上のニューロンN1の受容野内に該当する構造が存在すれば、その顕著度(コントラスト)に応じた位相でパルス出力する。このような機能はGabor filterにより実現することができる。以下、特徴検出層(１,０)の各ニューロンが行う特徴検出フィルタ機能について説明する。
【００６４】
特徴検出層(１,０)では、多重スケール、多重方向成分のフィルタセットで表されるGaborウエーブレット変換を行うものとし、層内の各ニューロン（または複数ニューロンからなる各グループ）は、所定の Gaborフィルタ機能を有する。
【００６５】
特徴検出層102では、スケールレベル（解像度）が一定で方向選択性の異なる複数のGabor関数の畳み込み演算カーネルに対応する受容野構造を有するニューロンからなる複数のニューロン集団を一まとめにして一つのチャネルを形成する。その際、図１３に示すように、同一チャネルを形成するニューロン群は方向選択性が異なり、サイズ選択性が同一のニューロン群どうしを互いに近接した位置に配置してもよいし、図１２のように同一の特徴カテゴリに属し、異なる処理チャネルに属するニューロン群どうしが互いに近接配置されるようにしてもよい。
【００６６】
これは、集団的符号化における後述する結合処理の都合上、上記各図に示すような配置構成にした方が、回路構成上実現しやすいことによる。図１２、１３の回路構成の詳細についても後で説明する。
【００６７】
Gaborウエーブレットは、以下の式（１）で与えられるように、一定の方向成分と空間周波数とを有する正弦波をガウシアン関数で変調した形状を有し、スケーリングレベルのインデックスmと方向成分のインデックスｎで特定される。ウエーブレットとしてこのフィルタのセットは互いに相似の関数形状を有し、また主方向と大きさが互いに異なる。このウエーブレットは空間周波数ドメインと実空間ドメインで関数形が局在していること、位置と空間周波数に関する同時不確定性が最小となり、実空間でも周波数空間でも最も局在した関数であることが知られている（J,G.Daugman (1985), Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters, Journal of Optical Society of America A, vol.2, pp. 1160-1169）。
【００６８】
【外１】
ここで、(x,y)が画像中の位置、aはスケーリングファクター、θnはフィルタの方向成分を表し、Wは基本空間周波数、σx, σyはフィルタ関数のｘ方向、ｙ方向の広がりの大きさを与えるパラメータである。本実施形態ではθnは６方向で０度、３０度、６０度、９０度、１２０度、１５０度の値をとり、aは２とし、mは１から３までの値をとる整数として与える。
【００７０】
フィルタの特性を定めるパラメータσx, σy、および、aはフーリエドメインで互いに適切に均質に重なり合うことにより、特定の空間周波数及び方向への偏り(感度)がないように設定されるのが望ましい。そのために例えば、フーリエ変換後の振幅最大値に対する半値レベルがフーリエドメインで互いに接するように設計すると、
【００７１】
【外２】
【００７２】
また、式（１）で与えられる特徴検出細胞の受容野の構造は、σx, σyで決まる所定の幅のスケール選択性及び方向選択性を有する。即ち、式（１）のフーリエ変換はガウシアン関数形状となるので、特定の空間周波数及び方向にピークチューニング（感度）特性を与える。Gaborフィルタカーネルのサイズ(広がり)はスケールインデックスｍに応じて変わるので、異なるスケールインデックスを有する Gaborフィルタは、異なるサイズ選択性を有する。後述する集団的符号化においては、主にサイズ選択性に関して感度特性が互いに重なり合う複数の特徴検出細胞からの出力を統合する。
【００７３】
各フィルタgmn(x,y)と入力濃淡画像との２次元畳み込み演算を行うことによりGaborウエーブレット変換が行われる。即ち、
【００７４】
【外３】
ここにIは入力画像、WmnはGaborウエーブレット変換係数である。Wmn (m=1,2,3; n=1,..., 6)のセットを特徴ベクトルとして各点で求める。'*'は複素共役をとることを示す。
【００７６】
特徴検出層(１,０)の各ニューロンは、gmnに対応する受容野構造を有する。同じスケールインデックスｍを有するgmnは同じサイズの受容野を有し、演算上は対応するカーネルgmnサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは、最も粗いスケールから順に入力画像上の３０×３０、１５×１５、７×７のサイズとした。
【００７７】
各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型squashing関数となる出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１,０）全体の出力として、式（４）のGabor wavelet変換が行われたことになる。
【００７８】
各スケールレベル毎のサンプリング点数（特徴検出等を行う位置の数）が同一となるようにしているので、Gabor wavelet変換により抽出された各点(場所)での特徴表現は、スケールレベルにより異なる代表面積（その点が特徴を代表する入力データ上の範囲）を有する図２２に示すような階層構造で模式的に表される。画像中の各位置（同一位置）について複数のスケールレベルにわたる特徴の多重表現が得られ、後述する任意スケールレベルに対応させるための集団的符号化処理につなげることができる。図２２中の点(○印)は各スケールレベルでの、入力データ上の同一点を表す。
【００７９】
一方、後続の特徴検出層（(１,１）、(１,２)、…、(１,Ｎ)）の各ニューロンは、上記検出層とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造をいわゆるHebb学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。
【００８０】
異なる処理チャネル間では、同じ階層レベル(検出される特徴の複雑さが同レベル)であれば、検出される特徴の違いは、同一カテゴリであるが、互いに異なるスケールで検出されたものであることにある。例えば、中次の特徴としての「目」は異なる処理チャネルでは、サイズの異なる「目」として検出を行う。即ち、画像中の与えられたサイズの「目」に対してスケールレベル選択性の異なる複数の処理チャネルにおいて検出が試みられる。なお、特徴検出層ニューロンは、出力の安定化のために抑制性(分流型抑制：shunting inhibition)の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００８１】
次に、特徴統合層103（(２,０)、(２,１)、…）のニューロンについて説明する。図１に示す如く特徴検出層102（例えば(１,０)）から特徴統合層103(例えば(２,０))への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力を受けるように構成され、特徴統合層103のニューロンは前述したごとく、各特徴カテゴリごとの局所平均化（特徴検出ニューロンの受容野を形成するニューロンからの入力の平均値算出、代表値算出、最大値算出等）などによるサブサンプリングを行うもの（サブサンプリングニューロン）と、異なるスケール(処理チャネル)にまたがって、同一カテゴリの特徴に関する出力の結合を行うもの（集団的符号化ニューロン）とがある。
【００８２】
前者によれば、複数の同一種類の特徴のパルスを入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【００８３】
後者の集団的符号化(population coding)のメカニズムについて詳しく説明する。集団的符号化ニューロンでは、同一の階層レベル（図形特徴の複雑さが同程度）にあるが、同一特徴で異なる処理チャネルに属し、同一の特徴統合層内にある複数のサブサンプリングニューロンからの出力の正規化線形結合をとることにより統合する。例えば、Gabor wavelet変換を行う特徴検出層(1,0)の出力を受ける特徴統合層(2,0)においては、異なる処理チャネルに属し、方向選択性の等しいGaborフィルタのセット{gmn}(n一定、m=1,2,…)に対応する出力を線形結合などにより統合する。
【００８４】
具体的には、pij(t)を方向成分選択性がiでスケール選択性がjとなるようなサブサンプリングニューロンの出力、qij(t)を同様の選択性を有する集団的符号(population code)とすると、サブサンプリングニューロンの正規化出力の線形結合を表す式（５）、及びその正規化方法を表す式（６）の様に表される。なお、式（５）、（６）は、説明の便宜上、サブサンプリングニューロンと集団的符号化ニューロンの出力状態遷移を離散時間遷移として表している。
【００８５】
【外４】
ここに、wij,abは複数の異なる選択性（感度特性）を有するニューロン（またはニューロン集団）からの（特徴カテゴリ、即ち、方向成分選択性のインデックスがa、スケールレベル選択性のインデックスがbのサブサンプリングニューロン出力から、方向成分選択性のインデックスがi、スケールレベル選択性のインデックスがjの集団的符号化ニューロンへの）寄与を表す結合係数である。wij,abは、方向成分インデックスi、スケールレベルインデックスjを中心とするフィルタ機能(選択性)を示し、典型的には|i-a|と|j-b|の関数形状(wij,ab=f(|i-a|,|j-b|))となる。
【００８７】
後述するように、このwij,abを介した線形結合による集団的符号化は他の選択性を有するニューロンの検出レベルを考慮した上でqijが特徴カテゴリ（方向成分）およびスケールレベルに関する存在確率を与えるようにすることを目的とする。Ｃは正規化定数、λ、βは定数である(典型的にはβは１ないし２であり、βが２の場合は、βが１の場合と比べて低レベルのノイズ成分の寄与を圧縮、低減する効果がある)。Ｃはある特徴カテゴリに対する集団的符号の総和が殆どゼロでもpijが発散しないようにするための定数である。なお、システム起動時の初期状態ではqij(0) = pij(0)とする。
【００８８】
図１２に対応して、式(５)、(６)ではスケールレベル選択性インデックスのみについての加算を行っている。その結果、集団的符号化ニューロンは、同一特徴カテゴリで異なるスケールレベル（処理チャネル）に属する各特徴についての存在確率（に比例する量）を出力することになる。
【００８９】
一方、図１３の場合のように、一般的には方向成分選択性インデックスについての加算も更に行うことにより、予め設定された数の方向成分の中間レベルについても、集団的符号化を行う系を組み立てることができる。この場合、パラメーター（後述する式（７）、（８）のβ、及びwij,lk）を適切に設定することにより、図１３に示す構成では、各集団的符号化ニューロンは、各スケールレベルと各特徴カテゴリについての特徴の存在確率（に比例する量）を出力することができる。
【００９０】
式（５）に示すごとく、集団的符号qij(t)は、異なるスケールレベルの感度特性を有するニューロンの出力に関する正規化された線形結合により得られる。定常状態に達したqij(t)は、適切に正規化(例えば、qijに関する総和値で正規化)して値が０から１の間になるようにすると、qijは、方向成分がiでスケールレベルがjに相当する確率を与えることになる。
【００９１】
従って、入力データ中の対象のサイズに対応するスケールレベルを明示的に値として求めるには、qijをフィッティングする曲線を求めて最大値を推定し、これに対応するスケールレベルを求めればよい。このようにして求まるスケールレベルは、一般的には予め設定したスケールレベルの中間的な値を示す。
【００９２】
図２３はスケールレベルの集団的符号化の例を示す図であり、横軸はスケールレベル、縦軸は細胞出力を表す。出力とは、パルス位相に相当し、特定のスケールにピーク感度を有するニューロンは、そのスケールからずれたサイズを有する特徴に対しては、特定スケールに対応するサイズの特徴と比べて出力レベルの低下、即ち、位相遅れが生じることになる。
【００９３】
同図は、各特徴検出細胞のスケール選択性に関する感度曲線（いわゆるチューニング曲線）と各細胞出力、及びそれらを統合して得られる集団的符号統合出力(各細胞出力のスケールレベルに関するモーメント、即ち線形和)を示す。集団的符号統合出力の横軸上の位置は、認識対象に関するスケール(サイズ)の推定値を反映している。
【００９４】
本実施形態では、実際にはスケールレベルを明示的には求めず、特徴統合層から特徴検出層への出力はqijとする(正規化したqijでもよい)。即ち、図１２、１３のいずれでも、特徴統合層103から特徴検出層102への出力は、サブサンプリングニューロンからの出力ではなく、集団的符号化ニューロンの出力とすることにより、最終的には、上記した正規化後のqijのように、複数スケールレベル（解像度）にまたがった特定対象の検出確率として集団的に表される。
【００９５】
図１２に示す特徴統合層103の回路構成では、サブサンプリングニューロン回路1201で、先ず、前段の特徴検出層ニューロン出力のうち、各特徴カテゴリとサイズ選択性が同一のニューロン出力を、当該サブサンプリングニューロンの局所受容野で受け、局所的な平均化を行う。各サブサンプリングニューロン出力は、結合処理回路1203に送られる。このとき、後述するように、各ニューロンからのパルス信号は、不図示のシナプス回路により、所定位相量（例えば、式(６)のβが２のとき、特徴検出ニューロンの出力レベル相当の２乗に比例する量）だけ遅延を受け、局所的な共通バスを介して伝播される。ただし、ニューロン間の配線には、共通バスを用いずに物理的に独立に配線してもよい。
【００９６】
結合処理回路では、式（５）、（６）に相当する処理を行い、特徴カテゴリが同じだが、サイズ選択性の異なる（複数処理チャネルにまたがる）情報の集団的符号化を行う。
【００９７】
また、図１２では、特徴カテゴリ（方向成分選択性）が同一のサブサンプリングニューロン出力について集団的符号化を行ったのに対し、図１３に示す回路構成では、特徴カテゴリおよびサイズ選択性の全体にわたって行う結合処理回路で、次の式（７）、（８）に示すような処理を行う。
【００９８】
【外５】
次に、認識対象のスケールレベルの算出方法について説明する。以上の処理の結果、各処理チャネルの平均的な活動レベル（サブサンプリングニューロン出力レベル）Paに基づいた認識対象のスケールレベルを算出することができる。具体的に推定されるスケールレベルＳは、例えば以下のように表される。
【０１００】
【外６】
ここに、Paは処理チャネルaの平均活動レベル、Saは、処理チャネルaのスケールレベル(又は、スケールインデックス)、piaは処理チャネルaに属するサブサンプリングニューロンの活動レベルを示す。また、Paを用いることにより、後続層での処理において、各処理チャネルに属するニューロンの活動レベル制御に用いることができる。
【０１０２】
例えば、Paを後続層のニューロンの発火閾値の制御を行う信号を発生することができる。この場合、Paの最大チャネルについては、後続層の発火閾値を下げ（実効的に特徴検出感度が上がる）、他のチャネルについては後続層の発火閾値を上げる（実効的に特徴検出感度が下がる）ことにより、Paの最大チャネル（スケールレベル）のみを活性化させ、ノイズの影響を受け難いロバストな処理と低消費電力化を実現することができる。また、Paの値に応じた後続層の閾値制御を行う（相対的に、Paが高いチャネルほど、当該閾値を低くする）ことにより、低次特徴の抽出段階での平均的なチャネル活動レベルに基づいた特徴検出感度の適応的制御が可能となる。
【０１０３】
一方、（2,0）層内の各チャネルごとのPaに応じた信号増幅/減衰（パルス位相の前進/遅延）を各集団的符号化ニューロンからの出力に対して行うようなチャネル活性度制御回路を設定することができる。図１５は、この様なチャネル活性度制御回路の構成を示す図である。このチャネル活性度制御回路1502は、図１２、１３の集団的符号化ニューロンと次層である特徴検出層との間に設定され、集団的符号化ニューロンの出力を平均活動度算出回路1501で処理した結果が入力される。
【０１０４】
最終層では、複数チャネルにわたって、高次特徴としての認識対象の存在確率が、ニューロンの活動レベル(即ち、発火周波数や発火スパイクの位相など)として表現される。Where処理経路(或いは最終層で検出・認識対象の位置情報も検出される場合)では、最終層で入力データ中の位置（場所）に応じた対象の存在確率（閾値処理すれば、対象の有無）が、各ニューロンの活動レベルとして検出される。
【０１０５】
集団的符号化は、正規化を行わない線形結合によって求めてもよいが、ノイズの影響を受けやすくなる可能性があり、正規化することが望ましい。式（６）及び（８）に示す正規化は、神経回路網レベルでは、いわゆる分流型抑制(shunting inhibition)により、また、式（５）及び（７）に示すような線形結合は、層内の結合（lateral connection）により実現することができる。
【０１０６】
βが２のときの正規化回路の例を図１４に示す。この正規化回路は、異なる処理チャネルに属する特徴検出細胞nijの出力の２乗和を取るための２乗和算出回路1403と、主に式（６）の正規化を行う分流型抑制回路1404、及び式（５）の線形和を求めて出力する線形和回路1405とから構成される。
【０１０７】
２乗和算出回路1403においては、各特徴検出細胞の２乗値を保持(pooling)する介在ニューロン(inter-neuron)素子1406が存在し、当該介在ニューロン1406への結合を与える各シナプス結合素子1402が、特徴検出細胞1401出力の２乗値に相当するパルス位相遅れ(或いはパルス幅変調、パルス周波数変調)を与える。
【０１０８】
分流型抑制回路1404は、例えば、介在ニューロン1406の出力に所定の係数(λ/C)を乗算した値の逆数に比例するような可変抵抗素子とコンデンサ及び特徴検出細胞1401の出力の２乗を与えるパルス位相変調回路(或いはパルス幅変調回路、パルス周波数変調回路)とから構成される。
【０１０９】
次に、チャネル処理の変形例について説明する。以上の様な処理チャネル毎に集団的符号化がなされ、各処理チャネル出力が後続層に伝達されるようにする構成（即ち、図１２又は１３の構成がカスケード的に後続層まで保持される構成）のほかに、処理効率を上げるとともに消費電力を抑えるために、特徴統合層（2,0）内の最大応答レベルを与える処理チャネルと同一のチャネルに属する（次の層の）特徴検出細胞のみに当該集団的符号化ニューロンの出力が伝播するようにしてもよい。
【０１１０】
この場合には、図１２、１３に示す構成に加えて、集団的符号化ニューロン回路の出力を受け、最大応答レベルを与える処理チャネル選択回路として最大入力検出回路、いわゆるWinner-Take-All回路(以下、ＷＴＡ回路と称す)を特徴統合層(2,0)出力と次の特徴検出層(1,1)との間に存在するように設定する。この処理チャネル選択回路は特徴統合層の各位置ごとに設定してもよいし、当該層に一つ、場所によらず入力データ全体について処理チャネルごとの最大応答レベルを算出する回路として設定してもよい。
【０１１１】
ＷＴＡ回路としては例えば、特開平08-321747号公報、USP5059814, USP5146106その他に記載された公知の構成を用いることができる。特徴統合層においてＷＴＡ回路により特徴統合層の最大応答を示す処理チャネルのみの出力を次の層である特徴検出層に伝播させる構成を図１６の（Ａ）に模式的に示す。これは、図１５のチャネル活性度制御回路1502をゲーティング回路1602で置き換えたものである。
【０１１２】
ゲーティング回路1602は、図１６の（Ｂ）に示すように各処理チャネルごとの平均出力レベルを入力するＷＴＡ回路1603と、最大の平均出力レベルを示す処理チャネルからの各ニューロンの出力を次の層の同一チャネルに伝播させるためのチャネル選択回路1604とを有する。
【０１１３】
また、後続の特徴統合層(2,k)（ｋは１以上）では、このような処理チャネル選択回路は必ずしも要しないが、例えば、高次特徴検出後の特徴統合層の出力を処理チャネル選択回路経由でフィードバックして低次又は中次特徴の統合層での処理チャネル選択を行うようにしてもよい。以上でチャネル処理の変形例についての説明を終わる。なお、図１２、１３に示すようなサブサンプリング、結合処理、集団的符号化の流れを特徴統合層内で行う構成に限定されず、例えば結合処理、集団的符号化の為の層を別に設けるなどしてもよいことは言うまでもない。
【０１１４】
異なるスケールレベルの同種の特徴カテゴリ検出ニューロンからの出力に関する集団的符号化を行うことにより、次のような効果がもたらされる。即ち、対象のサイズが予め設定したスケールレベルと異なり、それらの中間的なレベルにあるときでも、精度よく検出（または認識）を行うことが可能となる。また、スケール多重な階層的並列処理を行うことにより、サイズの異なる対象が近接して、或いは重なり合って存在しているときでも、適切に複数のスケールレベル(又は解像度)を選択することにより、安定した対象の認識、検出が可能となる。更に、任意サイズの対象に対応させるための莫大な数のテンプレートに相当するモデルを要せず、少数のスケールレベルでの処理で済む。
【０１１５】
また、本実施形態のように、最終層まで処理チャネルを空間的に分けて配列する構成では、後述する実施形態２、３で示すような時間軸上に展開する構成に比べて、処理チャネル間の結合処理等の集団的符号化を複雑なタイミング制御なしで行うことができる。更に、処理チャネルの違いを物理的に異なるニューロンの発火特性として出力するので、各スケールレベルの処理を時系列的に扱う場合に比べて、認識・検出処理を複数スケールで短時間に同時並列的に行うことができるという効果もある。
【０１１６】
なお、サイズのほぼ等しい対象が近接して存在し、或いは部分的に重なり合って存在しているときでも、局所的な受容野構造とサブサンプリング構造等による部分的な複数種類の特徴を統合して検出するメカニズムにより、対象の認識、検出性能が保持されることは、言うまでもない。
【０１１７】
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図３は、特徴統合層103から特徴検出層102への（例えば、図１の層(２,０)から層(１,１)への）パルス信号の伝播の様子を模式的に示した図である．
特徴統合層103側の各ニューロンni（n1〜n4）は、それぞれ異なる特徴量（或いは特徴要素）に対応しており、特徴検出層102側のニューロンn'jは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【０１１８】
各ニューロン間結合には、パルスの伝播時間とニューロンniからニューロンn'jへのシナプス結合（Sij）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果として、共通バスライン301を介してニューロンn'jに到着するパルス列Piは、特徴統合層103の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている（図３の（Ａ）では、P4,P3,P2,P1の順に到着することが示されている）。
【０１１９】
図３の（Ｂ）は、後述するペースメーカニューロンからのタイミング信号を用いて時間窓の同期制御を行う場合において、層番号（2,k）上の特徴統合細胞n1、n2、n3（それぞれ異なる種類の特徴を表す）から、層番号（1,k+1）上のある特徴検出細胞(n'j)（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示している。
【０１２０】
図６は、特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。図６において、ペースメーカニューロン603（np)は、同一の受容野を形成し、かつ異なる種類の特徴を検出する特徴検出ニューロン602（nj,nk等）に付随し、それらと同一の受容野を形成して、特徴統合層（または入力層）上のニューロン601からの興奮性結合を受ける。そして、その入力の総和値（或いは受容野全体の活動度レベル平均値など、受容野全体に固有の活動特性を表す状態に依存するように制御するため）によって決まる所定のタイミング（または周波数）でパルス出力を特徴検出ニューロン602及び特徴統合ニューロンに対して行う。
【０１２１】
また、各特徴検出ニューロン602では、その入力をトリガー信号として互いに時間窓が位相ロックする様に構成されているが、前述したようにペースメーカニューロン入力がある前は、位相ロックされず、各ニューロンはランダムな位相でパルス出力する。また、特徴検出ニューロン602では、ペースメーカニューロン603からの入力がある前は後述する時間窓積分は行われず、ペースメーカニューロン603からのパルス入力をトリガーとして、同積分が行われる。
【０１２２】
ここに、時間窓は特徴検出細胞(n'i)ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンおよび、ペースメーカニューロン603に対して共通であり、時間窓積分の時間範囲を与える。
【０１２３】
層番号(1,k)にあるペースメーカニューロン603は（ｋは自然数）、パルス出力を、層番号(2,k-1)の各特徴統合細胞、及びそのペースメーカニューロン603が属する特徴検出細胞（層番号(1,k)）に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、ペースメーカニューロン603は特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【０１２４】
前述した結合回路は、式(５)又は（７）式により得られる集団的符号化レベルに対応するパルスを各集団的符号化ニューロンに出力し、層番号(2,k)の特徴統合層の出力細胞(n1,n2,n3)としての集団的符号化ニューロンは、層番号(1,k+1)の層のペースメーカニューロンからのパルス入力を受け、かつ前段の特徴検出層またはセンサー入力層（層番号(1,k）)からの入力により、結合回路出力が十分なレベルにある場合（例えば、ある時間範囲または時間窓での平均入力パルス数が閾値より大、或いはパルス位相が進んでいること）には、ペースメーカからのパルスの立ち下がり時を基準時としたパルス出力を行う。
【０１２５】
また、前述したサブサンプリングニューロンは、いずれのペースメーカニューロンからの制御を受けず、前段の(1,k)層の特徴検出細胞からの平均的な（各サブサンプリングニューロンごとに独立した位相をもった時間窓内）出力レベルに基づき、サブサンプリング処理を行う。また、サブサンプリングニューロンから結合処理回路へのパルス出力タイミング制御もペースメーカニューロンを介さずに行われ、結合処理回路から集団的符号化ニューロンへのパルス出力も同様である。
【０１２６】
このように本実施形態では、特徴統合細胞（サブサンプリングニューロン、集団的符号化ニューロンなど）は、その前の層番号(1,k)の特徴検出層上のペースメーカニューロンからのタイミング制御は受けるようには、構成していない。なぜならば、特徴統合細胞においては、入力パルスの到着時間パターンではなく、むしろ一定の時間範囲での入力レベル（入力パルスの時間的積分値など）によって決まる位相（周波数、パルス幅、振幅のいずれに依存してもよいが、本実施形態では位相とした）でのパルス出力をするため、時間窓の発生タイミングは余り重要ではないからである。なお、このことは、特徴統合細胞が前段の層の特徴検出層のペースメーカニューロンからのタイミング制御を受ける構成を排除する趣旨ではなく、そのような構成も可能であることはいうまでもない。
【０１２７】
各パルスは、シナプス回路を通過すると所定量の位相遅延が与えられ、更に共通バスなどの信号伝達線を通って特徴検出細胞に到着する。この時のパルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ1，Ｐ2，Ｐ3）により示す。
【０１２８】
特徴検出細胞において各パルス（Ｐ1，Ｐ2，Ｐ3）の時間窓積分(通常、一回の積分とする；但し、多数回に渡る時間窓積分による電荷蓄積、または多数回に渡る時間窓積分の平均化処理を行ってもよい)の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐd）がなされる。なお、図３の（B）に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【０１２９】
図４は、シナプス回路Siの構成を示す図である。図４の（Ａ）は、シナプス回路202(Si)において、ニューロンniの結合先である各ニューロンn'jへのシナプス結合強度（位相遅延）を与える各小回路401が、マトリクス的に配置されていることを示している。このようにすると、シナプス回路から結合先ニューロンへの配線を各受容野に対応する同一ライン（局所的な共通バス301）上で行う事ができ（ニューロン間の配線を仮想的に行うことができ）、従来から問題となっていた配線問題の軽減（除去）が図られる。
【０１３０】
また、結合先のニューロンでは、同一受容野からの複数パルス入力を受けた際に、それぞれがどのニューロンから発せられたものかを時間窓基準でのパルスの到着時間（特徴検出細胞が検出する特徴に対応し、それを構成する低次特徴に固有の位相遅延）により、時間軸上で識別することができる。
【０１３１】
図４の（Ｂ）に示すように、各シナプス結合小回路401は、学習回路402と位相遅延回路403とからなる。学習回路402は、位相遅延回路403の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。
【０１３２】
図５は、シナプス結合小回路の詳細構成を示す図である。位相遅延回路403はパルス位相変調回路であり、例えば、図５の（Ａ）に示すように、単安定マルチバイブレータ506、507、抵抗501、504、キャパシタ503、505、トランジスター502を用いて構成できる。図５の（Ｂ）は、単安定マルチバイブレータ506へ入力された方形波P1(図５の（Ｂ）の[1])、単安定マルチバイブレータ506から出力される方形波P2(同[2])、単安定マルチバイブレータ507から出力される方形波P3(同[3])の各タイミングを表している。
【０１３３】
位相遅延回路403の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ503の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗504とキャパシタ505による時定数で決まる。Ｐ２のパルス幅が（図５の（Ｂ）の点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【０１３４】
制御電圧Ecを基準電圧のリフレッシュ回路509と結合荷重を与えるキャパシタ508への電荷蓄積量制御を行う学習回路402で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に図５の（Ａ）の回路の外側に付加される浮遊ゲート素子（図示せず）のチャージとして、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成（例えば、特開平5-37317号公報、特開平10-327054号公報参照）など周知の回路構成を用いることができる。
【０１３５】
ネットワークが結合荷重の共有結合形式（特に、１個の重み係数で複数のシナプス結合を同一に表す場合）になるような構成をとる場合には、各シナプスでの遅延量（下記の式（９）のＰij）が、図３の場合と異なって、同一受容野内で一様とすることもできる。特に、特徴検出層から特徴統合層への結合は、特徴統合層がその前段の層である特徴検出層出力の局所平均化その他によるサブサンプリングに関与するため、検出対象によらず（即ち、課題によらず）、このように構成することができる。
【０１３６】
この場合、図４の（Ａ）の各小回路は、図４の（Ｂ）に示すように、局所共通バスライン401で結合される単一の回路Sk,iで済み、特に経済的な回路構成となる。一方、特徴統合層103（またはセンサー入力層101）から特徴検出層102への結合がこのようになっている場合、特徴検出ニューロンが検出するのは、複数の異なる特徴要素を表すパルスの同時到着（或いは、略同時到着）という、イベントである。
【０１３７】
なお、結合が対称性を有する場合には、同一荷重（位相遅延）量を与える結合を同一のシナプス結合用小回路で代表させることにより、相当数のシナプス結合が少数の回路で代表されるように構成することができる。特に幾何学的特徴量の検出においては、受容野内での結合荷重の分布が対称性を有する場合が多いので、シナプス結合回路を減少させ回路規模を大幅に縮小にすることが可能である。
【０１３８】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図５の（Ｃ）に示すような回路要素を有するものを用いればよい。即ち、学習回路402をパルス伝播時間計測回路510（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時間と次の層上にある出力先ニューロンでの当該パルスの到着時間との時間差をさし、図３の（Ｂ）では、シナプス遅延と伝播に要した時間との和になる）、時間窓発生回路511、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路512から構成できる。
【０１３９】
伝播時間計測回路としては、後述するような同一局所受容野を形成するペースメーカーニューロンからのクロックパルスを入力し、所定の時間幅（時間窓：図３の（Ｂ）参照）において、そのクロックパルスのカウンター回路からの出力に基づき伝播時間を求めるような構成などが用いられる。なお、時間窓は出力先ニューロンの発火時点を基準として設定することにより、以下に示すような拡張されたHebbの学習則が適用される。
【０１４０】
また、学習回路402は、同じカテゴリの物体が提示される頻度が大きくなるほど上記時間窓の幅が狭くなるようにしてもよい。このようにすることにより、見慣れた（すなわち呈示回数、学習回数の多い）カテゴリのパターンであるほど、複数パルスの同時到着の検出(coincidence detection)モードに近づく様な動作をすることになる。このようにすることにより、特徴検出に要する時間を短縮できる(瞬時検出の動作が可能となる)が、特徴要素の空間配置の細かな比較分析や、類似するパターン間の識別等を行うことには適さなくなる。
【０１４１】
遅延量の学習過程は、例えば、複素数ドメインに拡張することにより、特徴検出層のニューロンniと特徴統合層のニューロンnjとの間の複素結合荷重Ｃijは、
Ｃij＝Ｓijexp(iPij) （11）
のように与えられる。ここに、Sijは結合強度、Pijは位相、その前のｉは純虚数を表し、所定周波数でニューロンjからニューロンiに出力されるパルス信号の時間遅れに相当する位相である。Sijはニューロンiの受容野構造を反映し、認識検出する対象に応じて一般に異なる構造を有する。これは学習（教師付き学習または自己組織化）により別途形成されるか、或いは予め決められた構造として形成される。
【０１４２】
一方、遅延量に関する自己組織化のための学習則は、
【０１４３】
【外７】
【０１４４】
【外８】
【０１４５】
上式を解くと、Ｃijはβexp(-2πiτij)に収束し、従って、Pijは−τijに収束する。学習則適用の例を図３の（Ｂ）に示した学習時の時間窓を参照して説明すると、シナプス結合の前側ニューロン（n1,n2,n3）と後側ニューロン(特徴検出細胞)とが、その学習時間窓の時間範囲において、ともに発火しているときにだけ、式（１２）に従って結合荷重が更新される。なお、図３の（Ｂ）において、特徴検出細胞は時間窓の経過後に発火しているが、同図の時間窓経過前に発火してもよい。
【０１４６】
更に、学習時に一つのサイズで認識・検出対象を呈示するだけでも、複数スケール(処理チャネル)にまたがるような学習制御を行うことができる。具体的には、学習時には図１５のチャネル活性度制御回路を特徴統合層(2,0)内の出力のうち、最も平均的活動レベルの高いチャネル出力を他のチャネルに分配するように制御したうえで上述した様な学習を行えばよい。
【０１４７】
例えば、同一の特徴カテゴリについては、異なる処理チャネル間では同一のパルス間隔（到着時間パターン）となるように、予め学習規則が定められているとすると、最も平均的活動レベルの高いチャネルの特徴統合層ニューロンの出力が、次の全ての（或いは、そのチャネルのスケールレベルに近い）チャネルの特徴検出層（次の層）ニューロンへ、特徴検出ニューロンの受容野構造に応じて分配されて、（同じパルス列パターンとして）入力されるようにすればよい。この場合には、後続の層のすべてのチャネルが同じレベルで活性化されることになる。従って、他の方法により同様の効果が得られる様にしてもよいことは言うまでもない。
【０１４８】
これにより、様々に認識・検出対象のサイズを変えて呈示して学習を行わなくても、一回の学習過程で、複数の異なるサイズ（スケールレベル）の対象についての学習を行ったのと同等な効果を得ることができる。
【０１４９】
学習則としては、他の方式を用いてもよい。また、競争学習の原理を導入することにより、互いに所定間隔以上離れてパルスが到着する（時間遅れの差が所定値以上となる）ようにしてもよい。
【０１５０】
以下、特徴検出層で主に行われる処理（学習時、認識時）について説明する。
【０１５１】
各特徴検出層102においては、前述したように、各スケールレベルごとに設定される処理チャネル内において、同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。各特徴量に対応するパルスは、予め学習により定められた遅延量(位相) により、所定の時間間隔で到着する。
【０１５２】
このパルス到着時間パターンの学習制御は、本願の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する顕著な特徴であるほど先に到着し、そのような顕著度がほぼ等しい特徴要素間では、各特徴要素をパルス信号レベルで区別するため、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素(認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など)間で異なる時間間隔で到着する様に設計してもよい。
【０１５３】
顕著度は、当該図形が検出されるときの特徴要素の検出細胞の反応強度（ここでは、パルス遅延量）等が該当する。この場合、前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンは、それぞれ所定の位相で同期発火（パルス出力）することになる。
【０１５４】
一般的に、特徴統合層のニューロンであって、位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合が存在する（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）。この時、これら特徴検出ニューロンとの間で同期発火することはいうまでもない。但し、その出力レベル（ここでは位相基準とするが、周波数、振幅、パルス幅基準となる構成でもよい）は、特徴検出ニューロンの受容野ごとに与えられる複数ペースメーカニューロンからの寄与の総和（或いは平均など）によって決まる。また、特徴検出層102上の各ニューロンにおいては、入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について、所定幅の時間窓においてのみ行われる。時間窓内の重み付き加算を実現する機構は、図２に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【０１５５】
この時間窓は、実際のニューロンの不応期(refractory period)以外の時間帯にある程度対応している。即ち、不応期(時間窓以外の時間範囲)にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。
【０１５６】
図３の（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように、時間窓に比べて不応期を短くとらなくてもよい。ペースメーカニューロンを使わなくても、時間窓の開始時刻は、特徴検出層と特徴統合層のニューロン間で、ニューロン間の弱相互結合と所定の結合条件などにより同期発火するメカニズム（E.M.Izhikevich, 1999 'Weakly Pulse-Coupled Oscillation, FM Interactions, Synchronization, and Oscillatory Associative Memory' IEEE Trans. on Neural Networks, vol.10. pp.508-526.）を導入することにより、これらニューロン間で同一となる。この同期発火は、一般的にニューロン間での相互結合と引き込み現象によりもたらされることが知られている。
【０１５７】
従って、本実施形態においても、ニューロン間の弱相互結合と所定のシナプス結合条件を満たすように構成することにより、ペースメーカニューロンなしで、このような効果をもたらすことができる。
【０１５８】
本実施形態では、図６に模式的に示すように、既に説明したメカニズムとして、例えば各特徴検出層ニューロンごとに、その同一受容野からの入力を受けるようなペースメーカニューロン（固定周波数でパルス出力）によるタイミング情報（クロックパルス）の入力により、上述した開始時期の共通化をもたらすようにしてもよい。
【０１５９】
このように構成した場合には、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行う必要が無く、また、上記したようなクロックパルスの揺らぎ、変動があっても、局所的な同一受容野からの出力に対して一様にその影響を受ける（窓関数の時間軸上での位置の揺らぎは同一受容野を形成するニューロン間で同一となる）ので、特徴検出の信頼性は劣化することはない。このような局所的な回路制御により信頼度の高い同期動作を可能にするため、回路素子パラメータに関するばらつきの許容度も高くなる。
【０１６０】
以下、簡単のために、三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層103は、図７の（Ｃ）に示すような各種向きを持ったL字パターン(f11, f12, …, )、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン(f21, f22,…)、三角形を構成する２辺の一部の組み合わせ(f31,…)、などのような図形的特徴（特徴要素）に反応するものとする。
【０１６１】
また、同図のf41,f42,f43は、向きの異なる三角形を構成する特徴であって、f11,f12,f13に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓(タイムスロット）(w1,w2,…)において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０１６２】
例えば、時間窓をｎ分割した後のw1, w2, …、wnには、図７の(A)に示す如く、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン(f11, f12, f13)は、それぞれw1,w2,w3内に到着し、特徴要素(f21,f22,f23)に対応するパルスは、それぞれw1, w2, w3内に到着するように学習により遅延量が設定されている。
【０１６３】
特徴要素(f31,f32,f33)に対応するパルスも同様の順序で到着する。図７の(A)の場合、一つのサブ時間窓(タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。サブ時間窓に分割する意味は、各サブ時間窓で時間軸上に展開表現された異なる特徴要素に対応するパルスの検出（特徴要素の検出）を個別にかつ確実に行うことにより、それらの特徴を統合する際の統合の仕方、例えば、すべての特徴要素の検出を条件とするか、或いは一定割合の特徴検出を条件とするか等の処理モードの変更可能性や適応性を高めることにある。
【０１６４】
例えば、認識（検出）対象が顔であり、それを構成するパーツである目の探索（検出）が重要であるような状況（目のパターン検出の優先度を視覚探索において高く設定したい場合）においては、高次の特徴検出層からのフィードバック結合を導入することにより、選択的に目を構成する特徴要素パターンに対応する反応選択性（特定の特徴の検出感度）を高めたりすることができる。このようにすることにより、高次の特徴要素（パターン） を構成する低次の特徴要素により高い重要度を与えて検出することができる。
【０１６５】
また、重要な特徴ほど早いサブ時間窓にパルスが到着するように、予め設定されているとすると、当該サブ時間窓での重み関数値が他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は、学習により獲得されるか、予め定義しておくこともできる。
【０１６６】
従って、一定割合の特徴要素の検出という事象さえ起きればよいのであれば、サブ時間窓への分割は殆ど意味が無くなり、一つの時間窓において行えばよい。
【０１６７】
なお、複数（３つ）の異なる特徴要素に対応するパルスがそれぞれ到着して加算されるようにしてもよい(図７の（Ｄ）参照)。即ち、一つのサブ時間窓(タイムスロット）に複数の特徴要素(図７の（Ｄ）)、或いは任意の数の特徴要素に対応するパルスが入力されることを前提としてもよい。この場合、図７の（Ｄ）では、初めのサブ時間窓では、三角形の頂角部分ｆ11の検出を支持する他の特徴要素ｆ21、ｆ23に対応するパルスが到着し、同様に２番目のサブ時間窓には頂角部分ｆ12の検出を支持するような他の特徴要素ｆ22、ｆ31のパルスが到着している。
【０１６８】
なお、サブ時間窓(タイムスロット）への分割数、各サブ時間窓(タイムスロット）の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。例えば、上述した特徴要素の他に、'Ｘ'，'＋'等の特徴要素に対応するサブ時間窓を設定してもよい。三角形の図形検出には、このような特徴要素は冗長(又は不要)ともいえるが、逆に、これらが存在しないことを検出することにより、三角形という図形パターンの検出確度を高めることができる。
【０１６９】
また、これら特徴要素の組み合わせでは表されないような変形を加えた場合（例えば、一定範囲内の回転を与えた場合）に対しても、上記特徴要素を表す特徴統合層のニューロンの出力パルスは、理想的なパターンからのずれの程度に応じた連続的な位相遅れ(遅延量：但し、予め定めたサブ時間窓(タイムスロット）にパルスが到着する範囲)をもって反応する（いわゆるgraceful degradation）ため、検出される図形特徴の変形に対する許容範囲が一定レベル以上になるよう出力の安定化が図られている。例えば、図７の（Ｃ）に示す特徴ｆ11、ｆ12、ｆ13に対応する特徴により形成される三角形（Ｑ１）と、ｆ41、ｆ42、ｆ43に対応する特徴により形成される三角形（Ｑ２）とでは、少なくとも向きが互いに異なっている筈である。
【０１７０】
この場合、各特徴に対応する検出（統合）細胞が存在するとき、両三角形の中間的な向きに相当する三角形（Ｑ３）に対しては、ｆ11、ｆ12、ｆ13に対応する検出(統合)細胞とｆ41、ｆ42、ｆ43に対応する検出（細胞）とは、いずれも最大応答出力より低く、直接的には特徴の種類に応じて決まる受容野構造としてのフィルタカーネルとの畳み込み演算値に応じた出力レベルとなり、これら全ての細胞からの出力としてのベクトル量は中間的な図形に固有なものとして統合すると、２つの三角形の状態の中間的な図形（回転を与えた場合）の検出が可能になる。
【０１７１】
例えば、定性的には、回転角度が小さく、Ｑ１に近いほどｆ11、ｆ12、ｆ13に対応する細胞からの出力が相対的に大きく、逆にＱ２に近いほどｆ41、ｆ42、ｆ43に対応する細胞からの出力が大きくなる。
【０１７２】
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図７の（B）に示す如く、各ニューロンでは、上記サブ時間窓(タイムスロット）毎に所定の重み関数（例えばGaussian）で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τjはサブ時間窓ｊの重み関数の中心位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離(時間軸上でのずれ)の関数になる。
【０１７３】
従って、ニューロンの各サブ時間窓(タイムスロット）の重み関数のピーク位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は、一種の時間軸ドメインの動径基底関数ネットワーク（Radial Basis Function Network；以下ＲＢＦと略す）と見なすことができる。Gaussian関数の重み関数を用いたニューロンniの時間窓FTiは、各サブ時間窓毎の広がりをσ、係数因子（シナプス結合荷重値に相当）をbijで表すと、
【０１７４】
【外９】
なお、重み関数としては、負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆfaulse）（例えば、前述した'Ｘ'，'＋'等）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆfaulse）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出(統合)細胞からの結合を与えておくことができる。
【０１７６】
特徴検出層のニューロンniへの入力信号の時空間和Xi(t)は、
【０１７７】
【外１０】
【０１７８】
ニューロンniからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のsquashing非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって、上位層のニューロンに出力される（パルス出力は固定周波数(２値)とし、学習によって決まる固定遅延量に相当する位相に、入力信号の時空間和についてのsquashing非線形関数となる位相変調量を加えて出力される）。
【０１７９】
図８は、上述した各層の処理手順を示すフローチャートである。低次特徴検出から高次特徴検出までの処理の流れをまとめて示すと、同図のようになる。先ず、ステップS801で、低次特徴検出（例えば、各位置でのGabor wavelet変換係数の算出など）を行なう。次に、ステップS802で、それらの特徴の局所平均化等を行う低次特徴の統合処理を行う。更に、ステップS803〜804で中次特徴の検出と統合、ステップS805〜806で高次特徴の検出と統合を行う。そして、ステップS807では、最終層の出力として、認識(検出)対象の有無またはその検出位置出力が行われる。ステップS803〜804とS805〜806に割り当てる層数は、課題（認識対象など）に応じて任意に設定又は変更することができる。
【０１８０】
図９は、各特徴検出ニューロン602の処理の手順を示すフローチャートである。まず、ステップS901で、複数の特徴カテゴリに応じたパルスを、前層である入力層101または特徴統合層103において同一受容野105を形成するニューロン601から入力を受け、ステップS902で、ペースメーカニューロン603から入力される（又は前層ニューロンとの相互作用により得られる）局所同期信号に基づき、時間窓及び重み関数を発生させ、ステップS903で、それぞれについての所定の時間的重み関数による荷重和をとり、ステップS904で、閾値に達したか否かの判定を行い、閾値に達した場合には、ステップS905で、パルス出力を行う。なお、ステップS902と903は時系列的に示したが、実際にはほぼ同時に行われる。
【０１８１】
また、各特徴統合ニューロンの処理の手順は、図１０のフローチャートに示す通りである。すなわち、ステップS1001において、同一カテゴリをなす特徴検出の処理モジュール104であって、当該ニューロンに固有の局所受容野をなす特徴検出ニューロンからのパルス入力を受け、ステップS1002で、所定の時間幅（不応期以外の時間範囲）において入力パルスの加算を行う。ステップS1003で、入力パルスの総和値（例えば、電位基準で測る）が閾値に達したか否かの判定を行ない、閾値に達した場合、ステップS1004で、その総和値に応じた位相でパルス出力をする。
【０１８２】
入力パルスは空間ドメインの各位置での特徴（或いは、特徴要素の空間的配置関係）に対応するものであるから、時空間的ＲＢＦを構成することも可能である。
【０１８３】
具体的には、各ニューロン出力値に対して更に重み付けを行って加算を行うことにより、十分な数の予め定められた特徴要素のセット（特徴検出細胞）および十分な数のサブ時間窓(タイムスロット）での重み付き総和（荷重和）の演算とから任意の図形パターンに対応するパルスパターンの時空間関数を表現することができる。認識対称のカテゴリ及びその形状の変化がある程度限られていれば、必要な特徴検出細胞やサブ時間窓(タイムスロット）の数を少なくすることができる。
【０１８４】
本実施形態では、共通バスは同一受容野に対して一つ割り当てられるような局所的なバスラインとしたが、これに限らず、ある層から次の層への層間結合は同一バスラインで行うように、時間軸上でパルス位相遅延量を分割設定してもよい。また、重なり割合が比較的大きい隣接受容野間では、共通のバスラインを用いるように構成しても良い。
【０１８５】
なお、上述した時空間的ＲＢＦによらずに、各サブ時間窓(タイムスロット）内での重み付き積和演算の結果が非線形なsquashing関数値となるように処理（或いは、閾値処理）して、それらの積をとってもよい。例えば、不図示の回路構成により、閾値処理結果(２値)を各サブ時間窓ごとに得て、一時記憶部に格納するとともに、順次求まる閾値処理結果の論理積を時系列的に求めるようにすればよい。
【０１８６】
閾値処理して積をとる場合には、パターンの欠損や低コントラスト条件下での特徴検出の許容度が小さくなることは言うまでもない。
【０１８７】
また、上述した処理（時空間的ＲＢＦによる図形パターンの検出）は、連想記憶の想起過程に類似する動作として実現することもできる。即ち、ある局所領域（または全体領域）で検出されるべき低次（または中次）の特徴要素の欠損が生じても、他の幾つかの特徴要素が検出され、上記総和値（式（１４））が閾値を上回れば、時空間ＲＢＦネットワーク全体としては、中次（または高次）の特徴要素の検出（該当するニューロンの発火）が行われる様にすることができる。
【０１８８】
ネットワークの構成としては、図１に示したものに限定される必要はなく、所定の幾何学的特徴要素を検出する層を含む構成であればＭＬＰその他のものであってもよいことはいうまでもない。
【０１８９】
本実施形態では、低次特徴抽出のためにGabor wavelet変換を用いたが、他の多重スケール特徴(例えば、スケールに比例するサイズで求めた局所自己相関係数など)を用いてもよいことは言うまでもない。
【０１９０】
次に、本実施形態の構成に係るパターン検出（認識）装置を撮像装置に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１１を参照して説明する。図１１は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【０１９１】
図１１の撮像装置1101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系1102、CCD又はＣＭＯＳイメージセンサー1103、撮像パラメータの計測部1104、映像信号処理回路1105、記憶部1106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部1107、EVFなどファインダーを兼ねた表示ディスプレイ1108、ストロボ発光部1109、記録媒体1110などを具備し、更に上述したパターン検出装置を被写体検出（認識）装置1111として備える。
【０１９２】
この撮像装置1101は、例えば撮影された映像中から予め登録された人物の顔画像の検出(存在位置、サイズの検出)を被写体検出(認識)装置1111により行う。そして、その人物の位置、サイズ情報が被写体検出(認識)装置1111から制御信号発生部1107に入力されると、同制御信号発生部1107は、撮像パラメータ計測部1104からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【０１９３】
上述したパターン検出(認識)装置を、このように撮像装置に用いた結果、被写体距離の違いにより、画面内での被写体サイズがさまざまに異なる場合でも、当該被写体を確実に検出(認識)することができ、そのような機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができるようになる。
【０１９４】
なお、図１に示すようなネットワーク構成のもとで、パルス幅(アナログ値)変調動作を行うシナプス素子と、実施形態１に示したようなintegrate-and-fireニューロンで構成されるネットワークにより、図形パターン等の認識を行ってもよい。この場合、シナプスによる変調は、シナプス前信号のパルス幅とシナプス後のパルス幅をそれぞれ、Wb,WaとするとWa = SijWbで与えられる。ここで、Sijは実施形態１の結合強度（式（９））と同じ意味である。変調のダイナミックレンジを大きくとる為には、パルス信号の基本パルス幅を周期（基本パルス間隔）と比べて十分に小さくとる必要がある。
【０１９５】
ニューロンの発火（パルス出力）は、所定の特徴要素を表す複数のパルス電流の流入に伴う電荷の蓄積により、電位が所定の閾値を越したときに生じる。本実施形態においては、サブ時間窓ごとの到着パルスの重み付き加算は特に要さないが、所定の幅の時間窓での積分は実行される。この場合、検出されるべき特徴要素（図形パターン）は、特徴検出層ニューロンに入力される信号の時間的総和（パルス電流値の総和）のみに依存する。また、入力パルスの幅は重み関数の値に相当するものである。
【０１９６】
＜第２の実施形態＞
本実施形態では、スケールレベルの異なる特徴表現及び前述したような集団的符号化を低次特徴に限って行い、各特徴に関するパルス位相変調などにより、スケール不変な特徴表現を得て、中次および高次の特徴検出は、このスケール不変な特徴表現ドメインで行う。
【０１９７】
即ち、特徴統合層(2,0)までは、実施形態１と共通の構造を持ち、その後続部に本実施形態に特有の低次特徴に関するスケール不変な信号変換、及び特徴検出層(1,1)以降でのスケール不変な特徴表現に関する中次から高次への特徴検出と統合処理が行われる。このように構成することにより、実施形態１に示したような複数の処理チャネルを中次、高次まで有する構成を用いずに、スケール不変な認識性能を保持しながら、回路構成の簡素化、規模の小型化、更には低消費電力化がもたらされる。
【０１９８】
図１８は、本実施形態で用いるネットワーク構成を示す図である。具体的には、特徴検出層(1,k) (kは自然数)では、(1,0)層で抽出されるGabor wavelet変換等による特徴より高次の特徴が検出されるが、図１８に示すごとく、(1,1)層以降では処理チャネルの違いは回路構成上は物理的に区別を無くすることができる。
【０１９９】
図１８において、Sk,mは(1,0)層において検出され、スケールレベルがｍでk番めの特徴カテゴリを表し、Ck,mは(2,0)層において統合され、スケールレベルがｍでk番めの特徴カテゴリを表す。(1,1)層以降では検出及び統合される特徴カテゴリにはスケールレベルのインデックスが付与されていない。
【０２００】
図２０は、信号列の遷移を示す図である。パルス位相変調により、スケール不変な情報表現を得るための前提条件としては、異なる処理チャネル間では時間軸上異なる位置に、かつ異なる処理チャネルに属するパルス信号が混在しないよう図１８のパルス位相変換部1701により、いったん位相変換を行い(図２０の（Ａ)）、更にスケール不変信号変換部1702によりスケール不変なパルス信号列を得て、特徴統合層(2,0)からのパルス列を特徴検出層(1,1)のニューロンに到着させる。
【０２０１】
具体的には、同一の低次特徴カテゴリであって異なるスケールレベルの処理チャネル間（以下、「同特徴−異スケール」と称す）では、特徴検出細胞に到達する際、所定のパルス間隔パターンで表されるように、予め上述したごとき自己組織化等の学習規則（位相遅延量の自己組織化）が設定されていればよい。例えば、同特徴−異スケールの場合には、低次特徴検出での処理チャネルの違い（異スケール性）は、学習プロセスの結果、上記特徴検出細胞への入力パルス間隔の比が同一であるが時間軸方向のスケーリングが異なるパターンとして、或いはパルス間隔の絶対値がスケールレベルに応じて異なる位相オフセット値となるパターンとして表されるように構成する。
【０２０２】
即ち、前者の場合、学習則（式（１２））で用いられるτは(説明の簡略化のため、式（１２）中のニューロンjからニューロンiへの時間遅れとしてのインデックス表現を省略する)、スケールレベルインデックスm及び特徴カテゴリインデックスkに応じて、
τ(k,m) ＝αηkρm＋ξkm （15）
となり、後者の場合、τは以下のように表される。
【０２０３】
τ(k,m) ＝ηk＋αρm （16）
ここに、ηkは特徴カテゴリに固有な量、ρmはスケールレベルに固有な量、αは正の定数である。上式においてρmは上述した時間軸方向の伸縮率を表し、ξkmは位相オフセットを表し、いずれもスケールレベルに固有である。また、式（１５）は、異なる処理チャネルの信号が時間軸上で混在することを回避するような位相オフセット量ξをつけている。
【０２０４】
次に、スケール不変信号変換1702は、ゲーティング回路により選択された特定チャネル（スケールレベル）に相当する時間範囲についての時間窓重み関数を発生させ(図２０の(Ｂ))、検出されるべき特徴に関するスケール不変なパルス列情報への変換処理を行う(図２０の（Ｃ）)。通常は、特定スケールレベル(処理チャネル)で検出された特徴カテゴリについてのパルス列のみ抽出し、そのパルス列を複製し、必要に応じて一定の変換を与えればよい。
【０２０５】
具体的には、図１６に示すようなゲーティング回路を用いて、最も平均活動レベルの高い処理チャネルのパルス列を抽出して行えばよい。そのパルス位相変換部1701による位相変換が前者の場合には、時間軸方向の伸縮率が基準値と比べて一定となるようなパルス位相変換、後者の場合、ある図形特徴を検出する特徴検出ニューロンへの複数パルスの到着パターンの位相オフセット量が、どの処理チャネルからのパルスであっても一定値となるような変換を行う。
【０２０６】
即ち、いずれの場合も結果として
τ＝Ｃ1ηk＋Ｃ2 （17）
で示されるように、パルス位相が特徴カテゴリにのみ依存するように変換される。ここに、Ｃ1は正の定数、Ｃ2は非負の定数である。パルス幅変調により情報表現を行う場合にも、パルス幅の伸縮又はオフセット量に関して同様の処理を行えばよい。
【０２０７】
なお、学習時には実施形態１に説明したように、一つのサイズで認識(検出)対象を呈示しても、内部では複数のスケールレベルに変換されて学習制御がなされるようにしてもよい。本実施形態の場合、１チャネル分の固定スケール(サイズ)での学習パターンを呈示した際に発生するそのチャネルでのパルス列パターンが、図１５のチャネル活性度制御回路により、式（１５）または（１６）に従って異なるチャネル、即ち、時間軸上の異なる位置に変換、複製されて後続層に信号伝達するようにすればよい(図２０の（Ｄ）)。
【０２０８】
また、スケール不変な特徴表現への変換は、Gabor wavelet変換、或いは、方向成分などの低次特徴レベルに限定されなくてもよく、一定レベルの複雑さをもった中次特徴までは、実施形態１と同様の構成で処理してもよい。即ち、一定レベル以下の複雑さを持った特徴の検出（統合）までは、物理的に独立した（空間的に配列した）処理チャネルで行い、あるレベル以上の複雑さを持った特徴に関しては本実施形態のようにスケール不変な表現を得て処理してもよい。
【０２０９】
この場合、一定レベル以下の複雑さを持った中次特徴までは、処理チャネル間の結合処理等の集団的符号化を複雑なタイミング制御なしで行い、更に、処理チャネルの違いを物理的に異なるニューロンの発火特性として出力するので、各スケールレベルの処理を時系列的に扱う場合に比べて、中次特徴までの検出処理を複数スケールで短時間に同時並列的に行うことができるという効果がある。
【０２１０】
そして、高次特徴に関しては、上述したような回路の小規模化、低消費電力化などがもたらされる。このように処理時間、タイミング制御の複雑さ、回路規模、消費電力を総合勘案して、どの特徴レベル（複雑さ）でスケール不変表現を得るかを決めることができる。
【０２１１】
＜第３の実施形態＞
本実施形態では、互いに異なるスケールレベル(処理チャネル)に属する特徴検出ニューロンにおいては、同一カテゴリの図形的特徴(例えば、Ｌ字パターン)に対応するパルスの到着時間の間隔（またはパルス到着の時間パターン）が、スケールレベルにより異なるように学習規則を定め、集団的符号化処理は時分割されたパルス信号全体にわたる重み付き加算による線形結合により行う。
【０２１２】
図１９は、本実施形態で用いるネットワーク構成を示す図である。同図に示すように、本実施形態では、（図１２、１３に示す構成において、集団的符号化ニューロン出力と次の層である特徴検出層との間に）パルス位相変換部1701と時間軸上集団的符号化部1901を設け、その結果として、異なる処理チャネルに属するパルスを所定のチャネルの時間軸上に展開した信号が、特徴検出層(1,1)に入力される。
【０２１３】
図１７は、処理チャネル(スケールレベル)を時間軸方向に展開する場合に同一箇所でサイズの異なるパターンを検出した場合の特徴統合層への信号の例を示す図である。同図に示すごとく、処理チャネル(スケールレベル)の違いは、特徴検出ニューロンに到着するパルスの時間軸上の異なる位置に時分割して振り分ける（異なる位相オフセット量を与える）。
【０２１４】
即ち、図１７のサブ時間窓w1,1,w2,1,w3,1はスケールレベル１で検出されたL字パターンセット用時間窓であり、w1,n,w2,n,w3,nはスケールレベルｎに対応する同一特徴カテゴリのセットをなすＬ字パターンの検出を表す信号パルス用時間窓である。
【０２１５】
第２実施形態と同様に、特徴検出層(1,1)以降の層においては、処理チャネルごとに異なる回路を設けることなく、同一回路で多重スケール処理を行うことができ、経済的な回路構成となる。即ち、図１９に示すごとく、(1,1)層以降では処理チャネルの違いは回路構成上は物理的に区別を無くすることができる。本実施形態では、(1,1)層以降でも、時間的に異なる位置に配置されたスケールレベル（処理チャネル）の信号について、式（５）、（６）に相当する結合処理と集団的符号化処理を時間軸ドメインで行う。
【０２１６】
特徴検出層(1,1)から特徴統合層(2,1)層への出力（及び、それ以降の層につき同様とする）は、各処理チャネル出力ごと（スケールレベルごと）に時分割で行われる。即ち、特徴検出細胞の入力信号に対して時間的に積分する際、一つのスケールレベルを構成するサブ時間窓の全体範囲に対応して１処理チャネル分のパルス出力が行われる。特徴統合層で行う集団的符号化は、各チャネルにまたがった時間窓内での入力パルスの積分により行う。
【０２１７】
集団的符号化ニューロンで行うスケールレベル(処理チャネル)の異なる図形特徴信号に対する処理は、次のように２段階で行われる。先ず、各処理チャネルごとの時間窓で入力パルスの積分を行うことにより、各スケールレベルごとに同一特徴カテゴリについての検出を行い、次に式（５）、（６）に相当する集団的符号化の演算処理を、各時間窓毎の積分値をpijとすることにより行う。このようにして時分割された各処理チャネル出力を時間的に統合することにより、任意サイズの図形パターンの検出（認識）を可能にする。
【０２１８】
図２１に例として、スケールレベルが１からｎまで、特徴カテゴリが１から３までの場合について、各チャネル(スケールレベル)上の特徴検出細胞出力から特徴統合層の集団的符号化細胞出力までの信号列の遷移を上から順に示す。
【０２１９】
図２１の（Ａ）は、特徴検出細胞から特徴統合層への出力が各スケールおよび各特徴ごとに時間軸上に展開された様子を示す。各特徴ごとに、複数の出力があるのは、単に同一特徴（同一スケール）を検出する特徴検出細胞が複数存在し、かつ各出力はポアッソンノイズ等による揺らぎ、或いは特徴カテゴリ−スケールレベルに関する感度特性に関するばらつきが存在することを示すためである。また、スケールレベルnでは、特徴２に対応するパルスが欠損しているのは、単に検出されなかったことを示している。同スケールでは他の特徴１、３も他のスケールレベルと比べて位相が遅延している。これは検出レベルが低いことを反映している。
【０２２０】
図２１の（Ｂ）は、このような特徴検出細胞出力を特徴統合層のサブサンプリング細胞で時間的に積分する際の重み関数を示す。図２１の（Ｃ）は、その結果得られるサブサンプリング細胞出力を表す。図２１の（Ｄ）は、集団的符号化細胞において、サブサンプリング細胞出力を統合する際の各スケールごとの時間窓重み関数を表す。図２１の(Ｅ)は、集団的符号化細胞からの時間軸上の出力分布を示している。
【０２２１】
集団的符号化による効果を示す例として、スケールレベル１と２の特徴１について、集団的符号化を行う前後のパルス位置を見ると、各パルスの時間軸上位置が、スケールレベル１の方が位相遅れ（時間遅れ量Δp11）、スケールレベル２の方が位相の前進（時間進み量Δp12）となって変調されている。このことは、式（５）、（６）により、サブサンプリング細胞の出力がチャネル全体の活動レベル等に基づいて変調された結果であり、認識(検出)対象のサイズ(スケールレベル)が、予め設定されたスケールレベル１と２の中間にあることを反映している。その後の処理としては、実施形態１の図１５、１６に相当するチャネル活性度制御又はゲーティング機能を時間軸上で行えばよい。
【０２２２】
具体的には、チャネル活性度制御回路又はゲーティング回路は、時分割されたチャネルデータから、目標チャネル活性度を算出し（又はチャネルの選択をし）、各チャネル（スケールレベル）に対応する時間窓ごとにチャネル活性度に応じた後続の層のニューロン閾値の設定や信号レベルの増幅・減衰の制御を行う（又は選択チャネルのみ信号を通過させる）。
【０２２３】
以上説明した実施形態によれば、複数の解像度又はスケールレベルによる特徴検出を行い、検出された複数のスケールレベルに関する特徴について集団的符号化を行うことにより、検出対象のサイズが任意に変化しても検出性能の劣化を回避することができる。
【０２２４】
低次または高次の特徴要素（または図形パターン要素）の検出を解像度又はスケールレベルに応じて異なる位相を有するパルス列に変換して行うことにより、多重スケールでの認識処理を行う回路を物理的に異なる処理チャネルを設けることなく、同一の処理回路で行えるように構成したことにより、このような位相変換を行わない場合に比べて、回路規模及び消費電力を遥かに小さくすることができた。
【０２２５】
また、特徴検出信号であるパルス信号について時間窓内での重み付き荷重和の閾値処理することにより、複雑多様な背景下において、検出（認識）すべき対称の変形（位置変動、回転等を含む）、特にサイズの変化や照明、ノイズの影響等による特徴検出の欠損等が生じても、確実に所望のパターンを検出することができる。この効果は、特定のネットワーク構造によらず実現することができるものである。
【０２２６】
最後に、本発明に示した構成では、所定ニューロンの単一の入力線上に時間的に配列されるパルス列の時間窓内での各位置が、所定のパターンの特徴とスケールレベルに相当するようにしたことにより、ニューロン素子間の配線問題を軽減することができ、上記した信頼性を高い程度に保ちながら、２次元パターン処理により所定物体の認識検出を行う回路の規模、消費電力が従来より格段に抑えることができる。
【０２２７】
【発明の効果】
以上説明したように、本発明によれば、複数の解像度又はスケールレベルによる特徴検出を行い、検出された複数のスケールレベルに関する特徴について多重化（または集団的符号化）を行うことにより、検出対象のサイズが任意に変化しても検出性能の劣化を回避することができるという効果が得られる。
【０２２８】
また、特徴要素の検出を、解像度又はスケールレベルに応じて異なる位相を有するパルス列に変換して行うことにより、多重スケールでの認識処理を同一の処理回路で行えるようにしたことにより、回路規模及び消費電力を遥かに小さくすることができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態のネットワーク構成を示すブロック図である。
【図２】シナプス部とニューロン素子部の構成を示す図である。
【図３】実施形態１において特徴統合層または入力層から特徴検出層ニューロンへの複数パルス伝播の様子を示す図である。
【図４】シナプス回路の構成図を示す図である。
【図５】シナプス結合小回路の構成、及び実施形態１で用いるパルス位相遅延回路の構成を示す図である。
【図６】特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。
【図７】特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の時間窓の構成、重み関数分布の例、特徴要素の例を示す図である。
【図８】各層の処理手順を示すフローチャートである。
【図９】各特徴検出ニューロンの処理手順を示すフローチャートである。
【図１０】各特徴統合ニューロンの処理手順を示すフローチャートである。
【図１１】実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【図１２】特徴統合層の回路構成を示す図である。
【図１３】特徴統合層の回路構成を示す図である。
【図１４】正規化回路の構成を示す図である。
【図１５】チャネル活性度制御回路の構成を示す図である。
【図１６】ゲーティング回路の構成を示す図である。
【図１７】処理チャネル(スケールレベル)を時間軸方向に展開する場合に同一箇所でサイズの異なるパターンを検出した場合の特徴統合層への信号の例を示す図である。
【図１８】実施形態２で用いるネットワーク構成を示す図である。
【図１９】実施形態３で用いるネットワーク構成を示す図である。
【図２０】実施形態２の信号列の遷移を示す図である。
【図２１】実施形態３の信号列の遷移を示す図である。
【図２２】スケールレベル（解像度）の異なる階層的表現を模式的に示す図である。
【図２３】スケールレベルの集団的符号化の例を示す図である。
Claims (7)
- パターンを入力する入力手段と、
特徴を検出する複数の特徴検出層と該特徴検出層の検出結果を統合する複数の特徴統合層とが交互に接続され、それぞれ異なる解像度またはスケールレベルに対応する複数の処理チャネルを、前記複数の特徴検出層及び特徴統合層の各層に存在する当該複数の処理チャネルに属する複数の素子により形成し、後段の特徴検出層で前段の特徴統合層で統合された特徴より高次の特徴を検出することで、前記入力手段より入力されたパターンに対して、特定パターンの検出を行う階層処理手段とを有し、
前記複数の特徴検出層の各々が、前記入力手段または前段の特徴統合層から入力されたデータを所定の方法によりサンプリングして得られる各点に対応して、それぞれ異なる複数の解像度またはスケールレベルにおいてそれぞれ異なる所定の種類の特徴を検出して出力する複数の特徴検出素子を備え、
前記特徴統合層の各特徴統合素子が、同一の解像度又はスケールレベルにおける同一の種類の特徴を検出する前記複数の特徴検出素子の出力を局所領域ごとに統合し、前記複数の解像度又はスケールレベルに対する同一の種類の特徴の当該統合結果を結合して同一処理チャネルを形成する特徴検出素子に出力することを特徴とするパターン検出装置。 - 前記特徴統合層は、前記複数の解像度又はスケールレベルに対する前記同一の種類の特徴の統合結果のうち、最大の値を示す解像度又はスケールレベルの統合結果を選択して出力することを特徴とする請求項１に記載のパターン検出装置。
- 前記特徴統合層は、前記複数の解像度又はスケールレベルに対する前記同一の種類の特徴の統合結果のうち、所定の複数個の統合結果を結合して出力することを特徴とする請求項１に記載のパターン検出装置。
- 前記特徴検出層は、異なる空間周波数に関する空間フィルタリングを局所的に行うことを特徴とする請求項１に記載のパターン検出装置。
- 前記特徴検出層は、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換を行うことを特徴とする請求項１に記載のパターン検出装置。
- パターンを入力する入力工程と、
特徴を検出する複数の特徴検出層と該特徴検出層の検出結果を統合する複数の特徴統合層とが交互に接続され、それぞれ異なる解像度またはスケールレベルに対応する複数の処理チャネルを、前記複数の特徴検出層及び特徴統合層の各層に存在する当該複数の処理チャネルに属する複数の素子により形成し、後段の特徴検出層で前段の特徴統合層で統合された特徴より高次の特徴を検出する階層処理部を用いて、前記入力工程において入力されたパターンに対して、特定パターンの検出を行う階層処理工程とを有し、
前記階層処理工程が、
前記複数の特徴検出層の各々において、前記入力工程または前段の特徴統合層から入力されたデータを所定の方法によりサンプリングして得られる各点に対応して、複数の特徴検出素子がそれぞれ異なる複数の解像度またはスケールレベルにおいてそれぞれ異なる所定の種類の特徴を検出して出力する検出工程と、
前記特徴統合層の各特徴統合素子において、同一の解像度又はスケールレベルにおける同一の種類の特徴を検出する前記複数の特徴検出素子の出力を局所領域ごとに統合し、前記複数の解像度又はスケールレベルに対する同一の種類の特徴の当該統合結果を結合して同一処理チャネルを形成する特徴検出素子に出力する出力工程とを備えることを特徴とするパターン検出方法。 - 請求項６に記載のパターン検出方法によって処理対象画像のパターンより所定のパターンを検出した結果に基づき、当該処理対象画像の処理動作を制御することを特徴とする画像処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000181488A JP4532678B2 (ja) | 2000-06-16 | 2000-06-16 | パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 |
| US09/878,296 US7054850B2 (en) | 2000-06-16 | 2001-06-12 | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements |
| EP01305231A EP1164537B1 (en) | 2000-06-16 | 2001-06-15 | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements |
| DE60128029T DE60128029T2 (de) | 2000-06-16 | 2001-06-15 | Gerät und Verfahren zur Detektion oder Erkennung von Mustern mittels einer Vielzahl von Merkmaldetektionselementen |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000181488A JP4532678B2 (ja) | 2000-06-16 | 2000-06-16 | パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002008033A JP2002008033A (ja) | 2002-01-11 |
| JP4532678B2 true JP4532678B2 (ja) | 2010-08-25 |
Family
ID=18682408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000181488A Expired - Fee Related JP4532678B2 (ja) | 2000-06-16 | 2000-06-16 | パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4532678B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE602006009191D1 (de) | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
| JP2009004887A (ja) * | 2007-06-19 | 2009-01-08 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
| JP2009004888A (ja) * | 2007-06-19 | 2009-01-08 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
| KR101109351B1 (ko) | 2009-10-20 | 2012-01-31 | 인하대학교 산학협력단 | 가보 필터를 이용한 금속 패드의 상태 검사 방법 |
| US11222255B2 (en) * | 2017-08-17 | 2022-01-11 | Samsung Electronics Co., Ltd. | Neuromorphic processing apparatus |
| KR102082970B1 (ko) * | 2019-04-29 | 2020-02-28 | 주식회사 루닛 | 기계학습을 위한 정규화 방법 및 그 장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000506642A (ja) * | 1996-02-09 | 2000-05-30 | サーノフ コーポレイション | 不確定の訓練データを用いてオブジェクトを検出及び分類するようにニューラルネットワークを訓練する方法及び装置 |
| JP2000298660A (ja) * | 1998-08-12 | 2000-10-24 | Yeda Res & Dev Co Ltd | ネットワーク要素間の情報伝達を制御する自己適応スマート伝達デバイスを構成する方法及び装置 |
| JP2001043205A (ja) * | 1999-05-27 | 2001-02-16 | Denso Corp | ニューロン、当該ニューロンを用いて構成された階層型ニューラルネットワーク及び当該ニューロン内部での乗算処理に用いられる乗算回路 |
| JP2002009031A (ja) * | 2000-06-21 | 2002-01-11 | Oki Electric Ind Co Ltd | 半導体素子の製造方法 |
| JP2002008032A (ja) * | 2000-06-16 | 2002-01-11 | Canon Inc | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0634236B2 (ja) * | 1985-11-02 | 1994-05-02 | 日本放送協会 | 階層型情報処理方法 |
| JPH0281280A (ja) * | 1988-09-19 | 1990-03-22 | Hitachi Ltd | 神経回路網による高次情報処理方式 |
| JP3256553B2 (ja) * | 1991-01-25 | 2002-02-12 | 株式会社リコー | 信号処理装置の学習方法 |
| JP2624143B2 (ja) * | 1993-09-24 | 1997-06-25 | 日本電気株式会社 | ニューラルネットワークを用いた半導体集積回路装置 |
| JP3276547B2 (ja) * | 1995-12-01 | 2002-04-22 | シャープ株式会社 | 画像認識方法 |
-
2000
- 2000-06-16 JP JP2000181488A patent/JP4532678B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000506642A (ja) * | 1996-02-09 | 2000-05-30 | サーノフ コーポレイション | 不確定の訓練データを用いてオブジェクトを検出及び分類するようにニューラルネットワークを訓練する方法及び装置 |
| JP2000298660A (ja) * | 1998-08-12 | 2000-10-24 | Yeda Res & Dev Co Ltd | ネットワーク要素間の情報伝達を制御する自己適応スマート伝達デバイスを構成する方法及び装置 |
| JP2001043205A (ja) * | 1999-05-27 | 2001-02-16 | Denso Corp | ニューロン、当該ニューロンを用いて構成された階層型ニューラルネットワーク及び当該ニューロン内部での乗算処理に用いられる乗算回路 |
| JP2002008032A (ja) * | 2000-06-16 | 2002-01-11 | Canon Inc | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 |
| JP2002009031A (ja) * | 2000-06-21 | 2002-01-11 | Oki Electric Ind Co Ltd | 半導体素子の製造方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002008033A (ja) | 2002-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7054850B2 (en) | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements | |
| JP4208485B2 (ja) | パルス信号処理回路、並列処理回路、パターン認識装置、及び画像入力装置 | |
| US7707128B2 (en) | Parallel pulse signal processing apparatus with pulse signal pulse counting gate, pattern recognition apparatus, and image input apparatus | |
| JP4478296B2 (ja) | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 | |
| Kurniawan et al. | Traffic congestion detection: learning from CCTV monitoring images using convolutional neural network | |
| Wysoski et al. | Fast and adaptive network of spiking neurons for multi-view visual pattern recognition | |
| Zhao et al. | Feedforward categorization on AER motion events using cortex-like features in a spiking neural network | |
| US20170337469A1 (en) | Anomaly detection using spiking neural networks | |
| JP4083469B2 (ja) | 階層ネットワークを用いたパターン認識方法 | |
| Xiao et al. | An event-driven categorization model for AER image sensors using multispike encoding and learning | |
| JP2005352900A (ja) | 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 | |
| US20040103095A1 (en) | Hierarchical processing apparatus | |
| JP2002358523A (ja) | パターン認識処理装置及びその方法、画像入力装置 | |
| Liu et al. | Fast unsupervised learning for visual pattern recognition using spike timing dependent plasticity | |
| JP4510237B2 (ja) | パターン検出装置及び方法、画像処理装置及び方法 | |
| KR102187831B1 (ko) | Cctv를 이용한 혼잡도 판단 시스템의 제어 방법, 장치 및 프로그램 | |
| US7007002B2 (en) | Signal processing circuit involving local synchronous behavior | |
| JP4532678B2 (ja) | パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 | |
| JP4898018B2 (ja) | 信号処理回路及びパターン認識装置 | |
| JP4314017B2 (ja) | 階層処理装置 | |
| Hung et al. | A comparative study of radial basis function neural networks and wavelet neural networks in classification of remotely sensed data | |
| Gruel et al. | Simultaneous neuromorphic selection of multiple salient objects for event vision | |
| JP2002358502A (ja) | 並列パルス信号処理装置、パルス出力素子、及びパターン認識装置 | |
| Malasne et al. | Real time implementation of a face tracking | |
| Sadly | Application of a hybrid neural network model for multispectral remotely sensed image classification in the Belopa area South Sulawesi of Indonesia |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100525 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100611 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |