JP4750313B2

JP4750313B2 - 信号処理回路

Info

Publication number: JP4750313B2
Application number: JP2001164282A
Authority: JP
Inventors: 優和真継; 克彦森; 修野村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-05-31
Filing date: 2001-05-31
Publication date: 2011-08-17
Anticipated expiration: 2021-05-31
Also published as: JP2002358503A

Description

【０００１】
【発明の属する技術分野】
本発明は、処理内容に応じて回路構成を変えることができるアナログ／デジタル混載型の信号処理回路技術に関する。
【０００２】
【従来の技術】
従来、ユーザが任意の論理を構成可能なロジックＩＣとしてＦＰＧＡが提供されている。
【０００３】
ＦＰＧＡは、複数個の比較的大きな回路ブロックと配線ブロックをチップ上に規則的に並べて構成されている。回路ブロックおよび配線ブロックの内部には回路の電気的な接続または非接続を「プログラムできるデバイス」が多数配置されており、ユーザはこれらデバイスをプログラム（定義）することでブロック内部とブロック間接続をフィールド（利用現場）で回路設計することができる。チップ内にマトリクス状に各種論理回路を持つセル・ライブラリ・ブロックが配置されており、これらのセル・ライブラリ・ブロック間に、水平，垂直方向に信号配線が配設されている。これらの配線の交点や配線間には、スイッチ素子が配設されている。
【０００４】
スイッチ素子として、次の３つの方式が採用されている。
(1) メタル配線間にアモルファスＳｉを挟みイニシャルとして絶縁状態にしておき、所望のメタル配線間に電流を流し、この絶縁膜を破壊して短絡させる方式（アンチ・ヒューズ方式）、逆にポリＳｉ等で短絡しておいて、レーザ等で切断する方式（ヒューズ方式）。
(2) 通常のＭＯＳトランジスタをスイッチ素子とし、このゲートの電位状態をメモリで記憶する方式。メモリとしては、揮発性のＤＲＡＭ，ＳＲＡＭ等を用いるものや、不揮発性のＥＥＰＲＯＭを用いるものがあり、強誘電体メモリ（ＦＲＡＭ）を用いるものも提案されている。揮発性のものは、利用の度に論理接続，配線接続情報をＦＰＧＡ内部に取り込まなければならないデメリットがある反面、何回でも情報が変えられるReconfigurable Logicとなり得る。これに対して不揮発性のものは、電源をＯＦＦ／ＯＮしても論理接続，配線接続情報が保てるメリットがある。
(3) スイッチ素子自身をＥＥＰＲＯＭ等で構成して、トランジスタのＯＮ／ＯＦＦの情報を記憶させる方式。
【０００５】
ＦＰＧＡを使用した論理システムの設計に際しては、ＥＤＡベンダが提供する支援ツール等を用いて所望の論理機能をＨＤＬ（Hardware Description Language）で記述し、論理合成ツールを用いて論理回路データ（使用する論理ゲートの種類と端子間接続情報等）を得る。ここで得られた論理回路を実現するように上記基本論理セルＣＬＢの論理動作制御データとＣＬＢ間の結線データとを求め、さらにこの結線データから使用する配線およびクロスポイントスイッチＣＳＷのオン、オフ制御データを決定して全体的な論理回路システムを構築するものである。かかる論理設計はユーザにおいて容易に実行できるものであり、その利便性が広く認められるようになってきている。
【０００６】
一方、FPGAを応用し、アナログ処理素子を再構成可能に結線する方法として、特開平１１−１６８１８５号公報、特開２０００−３３１１１３号公報に開示されるような構成が知られる。前者は、積層基板上の一方にFPGAを形成し、他方にアナログ処理回路を形成し、両者を連結する入出力端子とインターフェース回路とを有している。また、後者は、第一及び第二のアナログ信号をそれぞれパルス幅変調（PWM）信号に変換した後、FPGA回路に両信号を入力し、FPGA回路で２つのPWM信号の論理演算を行わせることにより、再構成可能としたものである。
【０００７】
また、特許２６７９７３０号公報に開示される階層構造ニューラルネットでは、単層のハードウェアを時分割多重化使用して多層化することを可能とする階層構造ニューラルネットのアーキテクチャに関し、単層のハードウェアを時分割多重化使用して等価的に多層化することを可能とすることを目的とし、複数のニューロンモデルを相互に接続することにより形成されるニューラルネットにおいて、時分割多重化アナログ信号を外部からのデジタル重みデータとの積を生成し、かつその積を時分割的にコンデンサを介して加えることにより積分し、非線形出力関数を通した電圧を時分割的に出力することを可能とするニューロンモデルのユニットを複数設置して単層のユニット集合を形成する単層ユニット集合手段と、前記単層ユニット集合手段の出力を同じ単層ユニット集合の入力部に帰還する帰還手段と、前記単層ユニット集合手段から出力される各ユニットからのアナログ信号を時分割多重化し、さらに前記帰還手段を介して前記単層ユニット集合手段を時分割多重使用するための制御を実行する制御手段とを有し、単層構造のユニット集合手段を時分割多重使用することにより等価的に階層構造のニューラルネットを形成するように構成する。
【０００８】
USP5959871に係るFPAA（Field Programmable Analog Array）回路では、マルチプレクサ、デマルチプレクサと制御回路及びアナログ処理要素を含むプログラマブルなアナログ処理セルを信号線を介して並列的に配列し、プログラマブルなアナログ処理演算を行う。
【０００９】
【発明が解決しようとする課題】
上記従来例において、いわゆるFPGAは、いずれも論理回路を基本とする構成であった。即ち、論理ブロック間の接続状態のみを可変とする構成であった。従ってFPGAだけでは、神経回路網その他のアナログ的な並列演算処理を実装することはできなかった。
【００１０】
また、特開平１１−１６８１８５号公報に係る構成を神経回路網に適用する場合、神経素子の数が増すと入出力端子の数が指数関数的に増え、扱いが困難になること、そのために任意の配線構造を設定することが原理的に困難であること、積層基板上に実装するための特殊なプロセスが必要となるなどの問題があった。また、特開２０００−３３１１１３号公報に開示されるような構成では、基本的に２つのアナログ信号の擬似加算回路、または擬似積算回路を構成することはできても、大規模な並列階層処理回路を同様に実現することは困難であるという問題があった。
【００１１】
一方、特許２６７９７３０号公報に開示される階層的ニューラルネットワークにおいては、層間結合を任意に可変制御する手段を有していないために実質的に実現可能な処理の種類が極めて限定的になるという問題があった。
【００１２】
またUSP5959871に係る構成では、アナログ処理ユニット（セル）がそれぞれ、制御回路、アナログ処理回路要素、信号分岐回路その他を有しているため、回路構成要素（アナログ処理セル）の回路規模が非常に大きくなり、全体としての回路面積が非常に大きくならざるを得なかった。また、マルチプレクサ、デマルチプレクサを内蔵するアナログ処理ユニットを２次元平面に配列した構造では、任意の結合構造、特に階層的結合を実現することが困難であった。
【００１３】
【課題を解決するための手段】
本発明によれば、信号処理回路に、演算処理回路と、回路構成情報を記憶する回路構成情報記憶手段と、前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、前記演算処理回路は、複数のスイッチブロック手段と、それぞれ複数の第一及び第二のタイプのアナログ処理ブロック手段とが所定の信号線により所定のパターンで結線され、前記第一のタイプのアナログ処理ブロック手段は、下位層の前記第二のタイプのアナログ処理ブロック手段からの信号に所定の変調を与え、上位層の前記第二のタイプのアナログ処理ブロック手段へ出力し、前記第二のタイプのアナログ処理ブロック手段は、下位層の前記第一のタイプの複数アナログ処理ブロック手段からの信号を統合することにより所定の信号を出力し、前記スイッチブロック手段は、複数のスイッチ素子と複数の信号線とを有し、前記回路構成制御手段が、当該複数のスイッチ素子動作のオン、オフパターンを時分割で切り替えることで、前記第二のタイプのアナログ処理ブロック手段からの同一の信号を前記第一のタイプのアナログ処理ブロック手段が変調した信号の出力先となる前記第二のタイプのアナログ処理ブロック手段を順次選択するとともに、当該第一のタイプのアナログ処理ブロックの信号変調パラメータを出力先となる前記第二のタイプのアナログ処理ブロック手段に応じて制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする。
【００２０】
【発明の実施の形態】
＜第一の実施形態＞
全体構成と各部の概要
以下、図面を参照して本発明の第一の実施形態を詳細に説明する。図１は、本実施形態での再構成可能な処理回路の要部構成図を示す。この回路は、図５〜７に示すように、全体としては回路構成情報記憶手段１、および回路構成制御手段２とともに再構成処理回路３として信号処理回路を構成する。
【００２１】
再構成処理回路３は、多入力多出力が可能なスイッチブロックSW、２種類のアナログ処理ブロック（AB^IとAB^S）の３タイプの処理要素ブロック、及び各ブロック間の信号の伝達、スイッチブロックSWのON/OFFパターン制御を行うためのスイッチブロック制御線（図２参照、図１では不図示）、アナログ処理ブロックの信号変調パラメータを制御するためのアナログ処理ブロック制御線(図２参照、図１では不図示)とから構成される。
【００２２】
各制御線は、不図示のクロック信号線を含み、所定のクロックタイミングでデジタル的に制御信号を所定のブロックに伝達する。ここに、アナログ処理ブロックAB^Iは、階層レベルIのニューロン素子を表し、アナログ処理ブロックAB^Sは、以下に説明するシナプス素子を表す。スイッチブロックは、所定のクロック信号を入力し、デジタル的に制御される回路ブロックである。また、アナログ処理ブロック（AB^IとAB^S）は、アナログ的な処理を行うためのものであって、必ずしもキャパシタや抵抗等のアナログ回路要素のみから構成されるわけではなく、デジタル回路要素を内部に含んでいても良い。
【００２３】
図１においてI+1層のニューロン素子AB^I+1 _３が入力を受ける信号の伝達経路は、AB^I _４→SW→AB_S4→SW→AB^I+1 _３、AB^I ₃→SW→AB_S3→SW→AB^I+1 _３、及び、AB^I ₂→SW→AB_S _２→SW→AB^I+1 _３の3経路である。一方、I+1層のニューロン素子AB^I+1 _２が入力を受ける信号の伝達経路は、AB^I ₃→SW→AB_S3→SW→AB^I+1 _２、AB^I ₂→SW→AB_S _２→SW→AB^I+1 _２、及び、AB^I ₁→SW→AB_S1→SW→AB^I+1 _２の３経路である。これら２つの経路は部分的に重複しているが、重複部分にあるシナプス素子が施すアナログ変調量は信号経路によって一般的に異なり、シナプス素子では経路（入力信号）により異なる変調が与えられるように図３に示すような構成をとっている（詳細は後で説明）。
【００２４】
図４の回路構成制御手段２は、図２のスイッチブロック制御線およびアナログ処理ブロック制御線とに制御信号を出力する。前者に対応する制御信号は、各スイッチブロックSW内部のスイッチ素子（図５〜７）のオン、オフ制御情報を、後者に対応する制御信号は、シナプス素子での信号変調特性（例えば、パルス位相変調量など）またはニューロン素子での時間窓重み付き積分の時間窓幅、重み関数などの特性を制御する。
【００２５】
以下に説明する各アナログ処理ブロックAB（AB^I、AB_Sのいずれも）は、周囲をスイッチブロックSWで取り囲まれるようにして配列している。各ブロック形状は入出力方向が6方向あるため、正六角形をなすように表示されているが、他の形状で所定の入出力数を有するものであってもよい。各ブロック間の結線状態の例を図２に示す。SW₂の周囲に付してある番号は、スイッチブロックSWからの一般的な信号の伝達方向（垂直方向及び斜め方向）を表す。その伝達方向において実線はスイッチブロックSWを介してブロック間（スイッチブロック間またはスイッチブロックとアナログ処理ブロック間）における配線が信号の伝達可能な状態を表し、破線は信号伝達が不可能な配線の状態を表している。
【００２６】
各スイッチブロックSWは、図２において水平方向に走るスイッチブロック制御線を介して信号の入出力方向（図では６方向）別にON/OFF動作が設定される。スイッチブロックSWごとのON/OFFパターンのデータは、複数種類が予め所定のメモリ（SRAM、DRAM、MRAMなど）に記憶され、処理内容に応じて更新（切り替え）することが可能である。
【００２７】
図５（１）にスイッチブロックSWの構成を示す。ここでは、各方向別に計6個のデジタル回路要素であるスイッチ素子が配置され、それぞれのON/OFFパターン（ON状態は黒丸、OFF状態は白丸で表示）により、図５（２）に示すような信号の出力方向の制御機能、および図６（１）に示すように複数の入力信号を統合して所定の方向に出力する機能を実現することができる。
【００２８】
また、図６（２）或いは図７に示すように信号線を各方向に複数個独立して設定してもよい。図６（２）では、同一方向に走る複数信号線について１個のスイッチ素子を割り当てている。図７では、同一方向に走る複数の信号線それぞれについてスイッチ素子を設けている。このようにすることにより、複数のパルス信号の流れを同一スイッチブロックSWで別個独立に制御することができる。なお、スイッチ素子としては、従来技術の説明において示したような素子を用いればよい。スイッチブロック内のスイッチ素子の状態制御はスイッチブロック制御線を介して所定のクロックタイミングで行われる。
【００２９】
図１および図２において特に、信号線１、信号線２と示されているのは、ニューロン素子AB^Iにシナプス素子AB_Sでアナログ変調された信号を伝達するための線である。これは、図６（２）に示す構成をスイッチブロックSWにおいて用いた場合に相当する。図１において信号線１は、ニューロン素子AB^I+1 _３に、信号線２はニューロン素子AB^I+1 ₄に信号を伝達する。これら信号線は後述する局所共通バスラインとして用いられ、所定の間隔パターンからなるパルス列信号が伝播する。
【００３０】
図２では便宜上、以上説明したような信号線は２本のみ表示したが、実際にはさらに多くの信号線を配しても良い。ただし、信号線の本数が多くなると配線部分の面積の回路全体に占める割合が大きくなりすぎ、集積度が上がらなくなるなどの問題が生じるので、その本数には一定の制限を設ける。
【００３１】
しかしながら、その限度を超えた数の信号線が必要となる場合がある。例えば、ｎ個のI＋１層のニューロン素子が、ｍ個（ｎ＞ｍ）の信号線を用いて互いに部分的に重複するI層のｓ個のニューロン素子からの出力信号についてそれぞれ異なるアナログ変調をシナプス素子で行った後入力する場合である。
【００３２】
このような場合には、時分割でニューロン素子AB^Iブロックに接続するスイッチブロックSWのON/OFFパターンを切り替えて処理する。その際には、シナプス素子としてのアナログ処理ブロックAB_S内のアナログ変調回路（後述）の変調量も回路構成制御手段２からの制御信号がアナログブロック制御線(図２)を介して更新される。
【００３３】
次に、本実施形態の信号処理回路における各ブロックの機能について説明する。スイッチブロックSWは、それと接続するアナログ処理ブロック（AB^I、AB_S）からの信号の流れを制御することにより、上位の階層レベルのニューロン素子が入力を受ける下位階層のニューロン素子の範囲（以下、「受容野」という）を決定する。この受容野によって与えられる結合構造は複数配列されるスイッチブロックSWのON/OFFパターンにより任意に設定することができる。
【００３４】
さらに受容野内のシナプス結合荷重の分布構造は、後述するアナログ処理ブロック内の複数ある変調回路の個々のパラメータを設定することにより任意に与えることができる。
【００３５】
これらの結果として、デジタルメモリ素子にシナプス荷重情報或いは配線情報を格納して、メモリアクセスを頻繁に行うような構成をとる必要が無くなることにより、高速並列処理の特性が確保されると同時に、処理内容（抽出する特徴の種類）に応じた回路構成の変更といった柔軟性、拡張性がもたらされる。
【００３６】
アナログ処理ブロックAB_Sは、信号の変調量を複数のシナプス荷重値に応じて個々に設定可能な多入力多出力素子であり、典型的には入力信号にシナプス荷重値を積算した信号を出力する（後述する実施形態では入力パルス信号の位相変調信号を出力する）。図３に示すように、複数シナプス荷重値に対応するアナログ変調手段を内部に複数有する。
【００３７】
一つのアナログ処理ブロックAB_Sは、一定範囲内で出力側Iと入力側Jの各ニューロンの範囲を設定可能であり、内部に出力側ニューロン素子アドレスと入力側ニューロン素子アドレスによって決まるシナプス荷重値に相当する変調を与える複数のアナログ変調手段を有する。図３にその構造を示す。
【００３８】
図３（１）では、本発明で用いるシナプス素子の構成を示し、内部に出力線（入力線）の数と同数のアナログ変調手段を有する。図３では、表示を簡略化するためにアナログブロック制御線は示していないが、各アナログ変調手段は、当該制御線を介して変調量（本実施形態ではパルス位相（遅延量）またはパルス幅の変調）が設定または更新される。
【００３９】
図３（２）では、多入力一出力のシナプス素子の構成を示す。この素子は、上位層の複数のニューロン素子が重複する下位層ニューロンからの信号出力を時分割的に受ける場合に、各信号について上位層ニューロンに応じて異なるアナログ変調がシナプス素子で行われる場合に用いられる。
【００４０】
例えば、図１において、I層のニューロン素子AB^I _３からI+1層のニューロン素子AB^I+1 _３へ至る信号伝達経路（点線の矢印）とニューロン素子AB^I ₃からニューロン素子AB^I+1 _２へ至る信号伝達経路（実線の矢印）は、いずれもシナプス素子AB_S3を通る。
【００４１】
シナプス素子AB_S3においては、それぞれの伝達経路（または上位層ニューロンのアドレス）によって異なる変調量（パルス位相変調、パルス幅変調など）が得られるように内部にある複数の変調手段の各パラメータが設定されている。
【００４２】
このように構成することにより、近接するニューロン素子の間で互いに重複する受容野構造がある場合においても同一アナログ処理ブロックAB^Sを経由する複数の異なる信号伝達経路を設定することが可能となる。その結果、神経回路網を構成する回路要素間の配線問題の軽減、回路要素数の低減がもたらされる。
【００４３】
アナログ変調量は以下に説明するパルス位相変調においては、シナプス回路を構成する要素であるキャパシタに与える電荷量などによって与えることができ、アナログ処理ブロックAB_S内の各変調手段にある浮遊ゲート素子またはキャパシタにアナログ処理ブロック制御線（図２（１）に示す）を介して所定電荷量が与えられる。
【００４４】
ここで、図４に示す回路構成制御手段２は、回路構成情報記憶手段１に格納されたシナプス荷重値データ（所定の蓄積電荷量を与える印加電圧など）を読み出すと、浮遊ゲート素子（またはキャパシタ）において、シナプス荷重値相当の電荷が蓄積（電圧が発生）するまで電流を注入する。その後、受容野構造を構成する要素となる各シナプス回路要素AB_Sk（ｋ＝１，２,・・・）を時系列的にアクセスし、電圧印加して電荷（ホットエレクトロン）を注入することによりシナプス荷重の分布構造（受容野構造）を設定する。なお、高速に荷重値相当のデータを書き換え可能で、かつ所定時間そのデータを保持することができるメモリ素子（MRAM、FeRAMなど）が利用可能であれば、そのようなメモリ素子を用いても良い。
【００４５】
次に、図１に示す構成を用いて、並列階層処理により画像認識を行う神経回路網を形成した場合について説明する。はじめに図９を参照して神経回路網の処理内容を詳細に説明する。この神経回路網は、入力データ中の局所領域において、対象または幾何学的特徴などの認識(検出)に関与する情報を階層的に扱うものであり、その基本構造はいわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, “Convolutional Networks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)である。最終層（最上位層）からの出力は認識結果としての認識された対象のカテゴリとその入力データ上の位置情報である。
【００４６】
データ入力層１０１は、ＣＭＯＳセンサ、或いはＣＣＤ素子等の光電変換素子からの局所領域データを走査手段１の指示の下に入力する層である。最初の特徴検出層(１,０)は、データ入力層１０１より入力された画像パターンの局所的な低次の特徴（特定方向成分、特定空間周波数成分などの幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置を中心として局所領域(或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出する。そのために、特徴の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００４７】
特徴統合層１０３(２,０)は、所定の受容野構造(以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する)を有し、パルス列を発生するニューロン素子からなり、特徴検出層１０２(１,０)からの同一受容野内にある複数のニューロン素子出力の統合（局所平均化、最大出力検出等によるサブサンプリングなどの演算）を行う。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。
【００４８】
後続の層である各特徴検出層１０２（（１,１）、(１,２)、・・・、(１,M)）及び各特徴統合層１０３（(２,１)、(２,２)、・・・、(２,M)）は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（(１,１)、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（(２,１)、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。
【００４９】
以上に説明した並列階層構造を図１に示す構成で実現した場合は、シナプスはアナログ処理ブロックAB_Sを構成し、I層のニューロン素子は、アナログ処理ブロックAB^Iを構成するものである。
【００５０】
図８では、ある特徴検出（統合）細胞に対する受容野を形成する特徴統合(検出)細胞のニューロン群（n_i）からの出力（当該細胞から見ると入力）に関与する結合手段の構成を示している。信号伝達手段として太線で示している部分は局所的な共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。
【００５１】
いわゆる、興奮性結合はシナプス結合手段Ｓにおいて、パルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。本実施形態においては、シナプス結合手段Ｓは、主にパルスの位相変調素子として用い、信号の増幅は、特徴に固有な量としてのパルス到着時間の実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は、出力先のニューロンにおいて、個々の特徴に固有な時間軸上の到着位置(位相)を与え、定性的には興奮性結合はある基準位相に対する到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００５２】
図８の（A）において、各ニューロン素子n_jは、パルス信号（スパイクトレイン）を出力し、いわゆるintegrate-and-fire型の入出力処理を行う。次にアナログ処理ブロックAB^Iを構成するニューロン回路について説明する。各ニューロン素子は、いわゆるintegrate-and-fireニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点では、いわゆるintegrate-and-fireニューロンと同じである。
【００５３】
図８の（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路(IEEE Trans. on Neural Networks Vol. 10, pp.540)を拡張し、所定の時間窓内での入力パルス信号の重み付き積分を実行可能としている（時間窓重み付き積分による高次の特徴検出法については本出願人による特願２０００−１８１４８７号を参照）。ここでは、入力信号として興奮性と抑制性の入力を受けるものとして構成されている。
【００５４】
なお、各ニューロン素子のパルス発火タイミングの動作制御機構等に関しては、本願の主眼とするところではないので説明を省略する。
【００５５】
パルス信号によるニューロン間の信号の伝達はいわゆるAER（Address Event Representation）の手法（Lazzaro, et al. 1993, Silicon Auditory Processors as Computer Peripherals, In Tourestzky, D. (ed), Advances in Neural Information Processing Systems 5. San Mateo, CA:Morgan Kaufmann Publishers）を用いても良いし、本出願人による特願２０００−１８１４８７号に開示されるような方法などによればよい。これらは、図８に示したように局所的な共通バスを介して複数ニューロンからのパルス信号を伝達するのに好適な方法である。
【００５６】
上述したパターン認識装置をカメラその他の画像入力手段、或いはプリンタ及びディスプレイその他の画像出力手段に搭載することができる。その結果、低消費電力で小規模な回路構成により、特定被写体の認識または検出を行って所定の動作、例えば画像入力手段については、特定被写体を中心とするフォーカシング、露出補正、ズーミング、或いは色補正などの処理を行うことができる。画像出力手段についても特定被写体に関する最適色補正などの処理を自動的に行うことができる。
【００５７】
次に、本実施形態の構成に係るパターン検出（認識）装置を撮像装置に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１０を参照して説明する。図１０は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【００５８】
図１０の撮像装置1101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系1102、CCD又はＣＭＯＳイメージセンサー1103、撮像パラメータの計測部1104、映像信号処理回路1105、記憶部1106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部1107、EVFなどファインダーを兼ねた表示ディスプレイ1108、ストロボ発光部1109、記録媒体1110などを具備し、更に上述した時分割多重化処理を行うパターン認識装置を被写体検出（認識）装置1111として備える。
【００５９】
この撮像装置1101は、例えば撮影された映像中から予め登録された人物の顔画像の検出(存在位置、サイズの検出)を被写体検出(認識)装置1111により行う。そして、その人物の位置、サイズ情報が被写体検出(認識)装置1111から制御信号発生部1107に入力されると、同制御信号発生部1107は、撮像パラメータ計測部1104からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【００６０】
上述したパターン検出(認識)装置を、このように撮像装置に用いた結果、小型・低消費電力な回路で、高速（リアルタイム）に人物検出とそれに基づく撮影の最適制御を行うことができるようになる。
【００６１】
＜第二の実施形態＞
図１１に再構成可能なアナログデジタル混載回路として実現される神経回路網の他の構成例を示す。本実施形態に係る再構成可能な信号処理回路は、図８に示すようなパターン認識のための階層的神経回路網を実現する他の実施形態であり、パルス信号を検出カテゴリに応じてシナプス回路（アナログ処理ブロック）において位相変調することにより、階層的に低次特徴から高次特徴まで検出する点では第一の実施形態と同じである。
【００６２】
本信号処理回路は、シナプス素子としてのアナログ処理ブロックAB_S、パルス信号の位相遅延を与えるデジタル処理ブロックDB、受容野構造（ニューロン間の局所的結合構造）を可変とするためのスイッチブロックSW、及びアナログ処理ブロックAB_TIからの出力に基づき所定の信号出力を行う論理処理ブロックLB（ニューロン素子の一部）とから構成される。回路構成情報記憶手段１、回路構成制御手段２を含めた全体の構成は第一の実施形態と同様、図６に示すとおりである。
【００６３】
このように、論理処理要素その他のデジタル回路要素をアナログ回路要素と同様に分布、混在化させる構成により、大規模集積化してもアナログ処理要素の動作特性ばらつきの影響を受け難くし、安定動作可能とすることができる。デジタル回路要素においてアナログ処理要素の変動要因を吸収することができるからである。
【００６４】
図１１においてJ層のニューロン素子LB^J _３が、I層（J>I、一般的にJ=I-1）のニューロン素子から入力を受ける信号の伝達経路は、
LB^I _４→AB_S4→SW→DB_３→LB^J ₃、
LB^I ₃→AB_S3→DB_３→LB^J ₃、
LB^I ₂→AB_S _２→SW→DB_３→LB^J ₃
の３経路である。
【００６５】
一方、J層のニューロン素子LB^J _２がI層のニューロン素子から入力を受ける信号の伝達経路は、
LB^I ₃→AB_S3→SW→DB_２→LB^J ₂、
LB^I ₂→AB_S _２→DB_２→LB^J ₂、
LB^I ₁→AB_S1→SW→DB_２→LB^J ₂
の３経路である。
【００６６】
これら３経路からなる２種類の経路はシナプス素子AB_Sで部分的に重複しているが、第一の実施形態と同様、重複部分にあるシナプス素子が施すアナログ変調量は信号経路によって一般的に異なる。また、シナプス素子AB_Sは、複数の経路（信号線）からの入力信号についての変調機能のほかに、適切な経路（方向）への分岐出力機能も有している。このために、本実施形態で用いるシナプス素子用アナログ処理ブロックAB_Sは、図１２に示すような構成をとる。ここに、アナログ処理ブロックAB_Sは、３つの入力信号を別個独立に受け、内部に３つのアナログ変調手段と1個のスイッチ素子を有している。アナログ変調手段からの各出力は、スイッチ素子から５方向に任意に出力可能となっている。
【００６７】
また、本実施形態で用いるデジタル処理ブロックDBの構成例を図１３に示す。ここに、デジタル処理ブロックDBは、３つの遅延素子と１つのスイッチブロックを内部に有している。スイッチブロックは、特に時間的に出力方向を分岐するスイッチ素子から構成される点が図３に示すスイッチブロックSWと異なる。３つの遅延素子からの出力は統合されて１つの信号線に出力される。
【００６８】
シナプス用アナログ処理ブロックAB_Sでは、第一の実施形態と同様にパルス信号を入力し、所定のパルス位相変調（または時間遅れ）を与えて出力する。この変調量（または遅延量）は、図１４のAB_S用制御線を介して制御される。また、時間遅延を与えるデジタル処理ブロックDBは、図１４に示すDB用制御線を介して遅延特性が制御される。
【００６９】
本実施形態では、ニューロン素子による複数下位カテゴリの検出信号を統合する機能は、論理処理ブロックLBを用いて構成され、ニューロン素子回路の一部は上記論理処理ブロックLBを構成し、その論理処理ブロックは、予めリスト又は辞書形式で記述された組み合わせリスト構造データを参照して認識カテゴリに該当する組み合わせの入力信号があったか否かを判定する一種の組み合わせ論理回路および所定の認識（検出）信号の出力回路（Flip-Flop回路及び論理回路）等から構成される。
【００７０】
最も単純な論理回路の形態としては、第一の実施形態に示したようにシナプス回路で位相変調を受け、それぞれが異なる特徴カテゴリを表す複数のパルス信号列を論理処理ブロックが入力し、それらのANDをとる回路である。本実施形態では、論理処理ブロックLBによりANDをとる前に、デジタル処理ブロックDBにおいて遅延素子（デジタル回路素子）により各入力パルスに所定の遅延を与え、時間軸上でパルス到着時刻がほぼ同一になるようにする。
【００７１】
例えば、ある特徴カテゴリの検出を表すパルス信号について、基準時刻に対するそのパルス到着の時間をｔ_nとすると、遅延素子ではT-t_nの遅延（T>ｔ_ｎ）をそのパルス信号に対して与える。なお、遅延量はデジタル的に与えられるため、遅延素子からの出力パルスが互いに時間軸上で厳密に一致しない場合が生じえるが、その不一致の大きさは最大でもパルス幅の半分以下の程度となるように遅延量の精度が与えられているものとする。
【００７２】
第一の実施形態に示すようにシナプス回路素子での変調を受けたパルス信号を共通バス経由で論理処理ブロックが入力する場合には、上述した遅延素子は遅延量を入力パルスに応じて切り替える（変調する）。さらにマルチプレクサ回路を経由して多入力一出力のAND素子に入力する。
【００７３】
以上のようにすることにより、低次特徴のリスト構造で与えられる高次特徴データの検出は単純なAND処理により実現することができる。ただし、単純なAND処理では構成要素である全ての低次特徴データが検出されない限り、高次特徴の検出が行われることはない。そこで検出される構成要素の割合が一定値以上であれば該当する高次特徴が検出されたことになるように論理回路を構成してもよい。例えば、M個の低次特徴要素から構成される高次特徴の検出がN個の低次特徴要素の所定空間配置での検出が行われることによりなされるとすると、_MC_N（＝M！／（M-N）！N!）個（但し、ｍ！＝ｍ（ｍ−１）・・・２・１）の夫々異なる組み合わせのパルス信号を入力するN入力１出力AND素子を設定し、それぞれの出力のORをとるように構成すればよい。
【００７４】
次に、上記リスト構造データについて説明する。図７に示すように、高次パターンを構成する中次（低次）パターンの互いに連結するリスト構造として与えられる。
【００７５】
このデータ構造の例を図９に示す。ここに高次パターンのカテゴリを「顔」とし、これに対応して検出される予定の中次パターンのカテゴリは「目」、「鼻」、「口」のように与えられる。各中次パターンについても同様にそれを構成する低次パターンリスト構造（木構造）データとして与えられる。
【００７６】
このデータ構造には構成要素となる各中次パターンの空間配置情報が記述されていないが、これは、図８の階層的神経回路網を用いた構成において、各特徴検出層ニューロンがその前の層の特徴統合層に対して予め学習された空間配置を満たす複数の局所的特徴要素が存在することを検出できるようにシナプス結合していることを前提としているからである（特願２０００−１８１４８７号参照）。即ち、予定された空間配置関係を満たすような局所的特徴要素が存在すれば、それぞれの検出信号（パルス信号）が予め設定された時間間隔で特徴検出層ニューロンに入力されるため、特徴検出層ニューロン素子内では、特徴要素間の空間配置関係を記述するデータを参照しなくても良いからである。
【００７７】
図９において中次特徴が黒丸で表示されているのは、「顔」としての検出に必要な中耳特徴の検出の状態を表し、白丸として与えられているのは未検出の状態を示す。図９は、明らかに少なくとも３つの中次特徴の検出が必要であることを表している。
【００７８】
＜第三の実施形態＞
要部構成を図１６に示す。本実施形態においては、初期データ及び中間出力データ保持手段４を用い、中間出力データのフィードバックを行いながら回路構成の制御（再構成）を行うことにより、実質的に２層で図８に示す並列階層処理回路の実現を行う。ここに、ある時刻で各特徴検出層内において検出する特徴の種別（カテゴリまたはサイズ）は一つであり、その種別は時系列的に回路構成制御手段２により更新される。そのため、再構成処理回路３内において並列的に配置される特徴種別の数ｓは第一実施形態の場合の特徴種別数Nと比べて格段に少なくすることができる（ｓ＝１も可）。
【００７９】
ここでは、パターン認識を行う再構成処理回路３は、入力データ上の各サンプリング点において、時系列的に異なるカテゴリのパターン検出に関する中間処理結果を中間出力記憶手段４に保持しながら階層的に行う。回路構成制御手段２は、中間出力記憶手段４から読み出される各特徴検出層１０２での検出結果（ニューロン素子AB^D）を特徴統合層１０３の各ニューロン素子（AB^I）に出力するとともに、回路構成情報記憶手段１から読み出される回路構成情報に基づいてスイッチブロックSWのON/OFFパターン、およびアナログ処理ブロックABのパラメータの設定を行う。
【００８０】
再構成処理回路３においては、第一の実施形態と同様、カスケード的に交互に配列された特徴検出層１０２と特徴統合層１０３が、低次から高次パターン検出までを階層的に行う（図８）が、本実施形態では、処理の階層構成を仮想的に実現するために、それを時系列的に行う。このようにすることにより、全体的な回路規模を大幅に小さくすることができる。
【００８１】
各特徴検出層１０２からの出力は、後段の特徴統合層１０３において前実施形態と同様のサブサンプリング処理が行われた後、一時的に中間出力情報保持手段４に格納される。更に、特徴検出層１０２は、以下に示すようにシナプス荷重分布（局所受容野構造）が更新されると同時に、中間出力データ保持手段４から時系列的に特徴種別ごとの検出結果を入力する。
【００８２】
例えば、目に相当するパターン（中次パターン）の検出を行う特徴検出層１０２の局所受容野構造は、当該中次パターンを構成する低次パターンP₁,P₂,・・・P_nのそれぞれに固有な局所受容野構造として、パターンPｋ (k=1,・・・,n)ごとの特徴検出層出力を中間出力データ保持手段４から入力するたびに更新(または設定)される。なお、特徴検出層の各ニューロンの受容野構造は特徴種別に応じて更新されるが、特徴統合層各ニューロンの受容野構造は特徴種別のうち受容野サイズが同一であれば更新しない。
【００８３】
この局所受容野構造は、入力されるべき特徴の種別ごとに回路構成情報記憶手段１にデジタルデータとして保持され、当該記憶手段１から読み出され、回路構成制御手段２からの制御信号により更新される。
【００８４】
例えば、ある時刻で目に相当するパターンの検出を行っていた特徴検出層１０２（中次特徴検出を行う層）のニューロンの受容野構造は、別の時刻では、鼻又は口に相当するパターンの検出を行うように、回路構成制御手段２からの制御信号に従って所定の順序で更新される。
【００８５】
このように入力データについて、一つの再構成処理回路３で異なる特徴検出（認識）を時間的にずらして行う多重化処理を行うことにより、入力データ上のサンプリング位置での複数の特徴検出を別個独立に同時並列的に行う回路構成と比べて、大幅な回路規模の縮小がもたされる。
【００８６】
時間的に制御される受容野の構造は、動的に再構成可能なアナログデジタル回路要素を混載する回路構成情報データを格納する不図示のSRAM（またはMRAM、FRAM等）などから構成される回路構成情報記憶手段１と回路構成制御手段２とにより与えられる。
【００８７】
図９に示すような局所受容野構造を有するニューロンからなる階層的神経回路網を実現する際には、各層ごとに回路構成情報を更新するための記憶手段と回路構成制御手段が一般的に必要となるが、本実施形態では、以下に示すように、階層構造の層数が幾つであっても一セットの回路構成情報記憶手段１、及び回路構成制御手段２があれば足りる。
【００８８】
例えば、ある時刻で特徴検出層１０２が入力データ上の各サンプリング点で検出すべき特徴の種別（例えば、特徴カテゴリとサイズ）が一つであるとすると、特徴検出層ニューロンの各局所的受容野の構造も同一となる。その結果、受容野構造を与える回路構成情報記憶手段１及び回路構成制御手段２を共有化して時系列的に各スイッチブロックSBとアナログ処理ブロックAB_Sに回路構成情報を与えることができる。
【００８９】
受容野構造を反映した結合ごとの重み係数の更新及び設定は、回路構成情報記憶手段１から供給される重み係数データに従ってアナログ処理ブロックAB_Sのシナプス回路の荷重データが更新されることにより実現される。
【００９０】
例えば、シナプス荷重値はアナログ処理ブロックAB_S内の浮遊ゲート素子に蓄えられる注入電荷量により与えられるとすると、シナプス荷重の設定などは、回路構成情報記憶手段１に格納された重み係数データに相当するシナプスごとの荷重値に相当する電荷の注入が図２に示すAB_S制御線を介してなされることにより行われる。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、アナログ処理要素を複数含む並列処理回路構成において、アナログ信号処理要素とデジタル回路要素であるスイッチ要素を所定の格子上に配列し、各要素の制御を行うことにより、処理要素間の配線構造及び処理要素間を伝達する信号の重み付けを任意に制御可変としたので、複数の回路構成を少数の基本回路構成で多様に構成することができ、回路要素数の増減なく大規模な並列処理アナログ処理回路を小規模な回路構成で実現することができる。
【００９２】
また、アナログ処理要素、及びデジタル回路要素である論理処理要素とスイッチ要素を所定の格子上に配列し、各要素の制御を行うことにより、要素間の配線構造およびアナログ処理要素を介した要素間の信号伝達の重み付けを任意に設定制御可能としたことにより、回路規模をアナログ回路要素だけ、或いはデジタル回路要素だけで構成する場合と比べて大幅に縮小することができる。
【００９３】
特に、論理処理要素その他のデジタル回路要素をアナログ回路要素と同様に分布、混在化させることにより、大規模集積化してもアナログ処理要素の動作特性ばらつきの影響を受け難くし、安定動作可能とすることができる。
【図面の簡単な説明】
【図１】演算処理回路の要部構成図である。
【図２】再構成可能な信号処理回路の基本要素ブロック間の結線図である。
【図３】シナプス用アナログ処理ブロックの構成図である。
【図４】シナプス部とニューロン素子の構成を示す図である。
【図５】スイッチブロック手段の構成図である。
【図６】スイッチブロック手段の構成図である。
【図７】スイッチブロック手段の構成図である。
【図８】階層的神経回路網の構成図である。
【図９】再構成可能な信号処理回路の全体構成図である。
【図１０】パターン認識装置を撮影装置に搭載した応用例の要部構成図である。
【図１１】演算処理回路の要部構成図である。
【図１２】シナプス用アナログ処理ブロックの構成図である。
【図１３】本発明の第二の実施形態に係るデジタル処理ブロックの構成図である。
【図１４】再構成可能な信号処理回路の基本要素ブロック間の結線図である。
【図１５】中次特徴の配置関係を表すリスト構造データの例を示す図である。
【図１６】演算処理回路の要部構成図である。

Claims

演算処理回路と、
回路構成情報を記憶する回路構成情報記憶手段と、
前記回路構成情報記憶手段から読み出される回路構成情報に基づき前記演算処理回路に所定の制御信号を出力する回路構成制御手段とを有し、
前記演算処理回路は、複数のスイッチブロック手段と、それぞれ複数の第一及び第二のタイプのアナログ処理ブロック手段とが所定の信号線により所定のパターンで結線され、
前記第一のタイプのアナログ処理ブロック手段は、下位層の前記第二のタイプのアナログ処理ブロック手段からの信号に所定の変調を与え、上位層の前記第二のタイプのアナログ処理ブロック手段へ出力し、
前記第二のタイプのアナログ処理ブロック手段は、下位層の前記第一のタイプの複数アナログ処理ブロック手段からの信号を統合することにより所定の信号を出力し、
前記スイッチブロック手段は、複数のスイッチ素子と複数の信号線とを有し、
前記回路構成制御手段が、当該複数のスイッチ素子動作のオン、オフパターンを時分割で切り替えることで、前記第二のタイプのアナログ処理ブロック手段からの同一の信号を前記第一のタイプのアナログ処理ブロック手段が変調した信号の出力先となる前記第二のタイプのアナログ処理ブロック手段を順次選択するとともに、当該第一のタイプのアナログ処理ブロックの信号変調パラメータを出力先となる前記第二のタイプのアナログ処理ブロック手段に応じて制御することにより、前記演算処理回路に異なる複数の信号処理機能を実行させることを特徴とする信号処理回路。
前記スイッチブロック手段は、所定の信号線を介して前記複数のアナログ処理ブロック手段からの信号を入力することを特徴とする請求項１に記載の信号処理回路。
前記第一のタイプのアナログ処理ブロック手段は、入力信号変調手段と出力信号の分岐回路とを有することを特徴とする請求項１に記載の信号処理回路。
前記第二のタイプのアナログ処理ブロック手段は、入力信号に対して時間的に異なる所定の重み付き積分処理を行うことを特徴とする請求項１に記載の信号処理回路。
前記第一のタイプのアナログ処理ブロック手段は、異なる変調度を設定可能な複数の入力信号変調回路を有することを特徴とする請求項１に記載の信号処理回路。
前記入力信号変調回路は、パルス信号の遅延または位相を変調する回路であることを特徴とする請求項５に記載の信号処理回路。
前記スイッチブロック手段は、複数の入出力用信号線と、複数のスイッチ素子とを有し、所定の前記信号線から入力された信号を他の前記信号線に出力することを特徴とする請求項１に記載の信号処理回路。
前記第一のタイプのアナログ処理ブロック手段は、入力信号の変調手段を有し、前記第二のタイプのアナログ処理ブロック手段は、入力信号の重み付き時間積分を行うことを特徴とする請求項１に記載の信号処理回路。
前記スイッチブロック手段は、所定の制御線からの制御信号により前記複数のスイッチ素子のオンまたはオフ動作が設定されることを特徴とする請求項７に記載の信号処理回路。
前記スイッチブロック手段は、同一方向に複数の信号線を配してなることを特徴とする請求項７に記載の信号処理回路。