JP3929471B2 - 確率的パルス発生器と差分絶対値演算器及びこれを用いたマンハッタン距離演算装置 - Google Patents

確率的パルス発生器と差分絶対値演算器及びこれを用いたマンハッタン距離演算装置 Download PDF

Info

Publication number
JP3929471B2
JP3929471B2 JP2005502977A JP2005502977A JP3929471B2 JP 3929471 B2 JP3929471 B2 JP 3929471B2 JP 2005502977 A JP2005502977 A JP 2005502977A JP 2005502977 A JP2005502977 A JP 2005502977A JP 3929471 B2 JP3929471 B2 JP 3929471B2
Authority
JP
Japan
Prior art keywords
signal
pulse generator
stochastic
input
comparator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005502977A
Other languages
English (en)
Other versions
JPWO2004077669A1 (ja
Inventor
路人 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2004077669A1 publication Critical patent/JPWO2004077669A1/ja
Application granted granted Critical
Publication of JP3929471B2 publication Critical patent/JP3929471B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K3/00Circuits for generating electric pulses; Monostable, bistable or multistable circuits
    • H03K3/84Generating pulses having a predetermined statistical distribution of a parameter, e.g. random pulse generators

Description

本発明は、アナログ電圧の大きさに対応した数のパルスを確率的に発生する確率的パルス発生器、これを用いた差分絶対値演算器、及びこれを用いたマンハッタン距離演算装置に関する。
信号にノイズが混入すれば、S/N比は悪化し、元の信号を取得することは困難になることはいわゆる信号処理において一般的な常識と考えられている。しかし、自然界において生物はノイズにまみれた信号を極めて低消費パワーで処理して生活を行っている。その重要なメカニズムの1つとして確率共鳴現象という現象が確認されている。確率共鳴現象とは、ノイズを付与した双安定系において、むしろS/N比が改善される場合があるという現象である。
このような現象を工業に応用しようという従来例(以下、第1の従来例という)として、例えば特許文献1に記載された「時空間パターン検出方法及び装置ならびに記録媒体」が挙げられる。
図13に第1の従来例における検出信号を検出する方法を説明する図を示す。この第1の従来例ではニューラルネットワークという演算手法においてノイズが混入した信号を検出する方法が示されている。
図13によれば、まず手順101、102においてノイズを含まないパターンをニューラルネットに学習させた後、手順103でノイズを含む信号をこのニューラルネットに入力してさらに手順104で確率共鳴(確率共振)を発生させ、その後、手順106でフーリエ変換することにより特徴的な周波数ピークを見つけ、それによりノイズが混入した信号から元信号の周波数を見つけることが開示されている。
しかしながら、上記第1の従来例の検出方法では、そもそもノイズがどういうものであるかの定義が全く開示されておらず、例えばノイズに強い周波数成分が含まれている場合には、最終的な周波数ピーク検出でそれが解析されてしまい、正確な検出ができないという課題があった。
一方、近年のパーソナルコンピュータ(PC)の普及に見られるように、半導体素子も家庭内での使用も大幅に普及してき、単なる数値演算のみならず、インターネット、メールや画像処理など、個人的な用途での使用分野が増加しつつある。
しかしながら、これほど高速に演算できるようになったPCにおいても、全ての演算に対して十分な速度が得られているわけではない。例えば、人の発する声や言語を認識したり、カメラに写った人が誰であるかを認識したりするといった処理は、膨大な量の演算を行う必要があるため、実時間による処理は困難である。
このような認識処理の基本は、記憶されている音声や顔などの情報をベクトル化して参照ベクトルとして記憶しておき、入力情報を同様にベクトル化して入力ベクトルとし、これらの類似を検出し、どれに最も近いかという演算を行うことである。このようなベクトル比較処理は、連想メモリ、ベクトル量子化、動き予測等のパターン認識、及びデータ圧縮等の幅広い情報処理に利用され得る基本的な処理である。
このようなベクトル比較はいずれの用途においても膨大な演算量を必要とし、また従来のPCに代表されるノイマン型コンピュータでは、その原理として全てのベクトル比較演算を一旦終了しないと、どれが一番近いかを抽出できず、結果として非常に時間を要してしまう。
このような複数の数値間(数値の組みと数値の組みとの間)の「近さ」を高速に演算する新概念の従来の装置(以下、第2の従来例という)として、例えば、非特許文献1が挙げられる。
図34に、上記第2の従来例の距離演算装置の構成を示す。
図34の距離演算装置は、デジタルデータの一致/不一致を確率的に演算する装置である。入力データ101と記憶データ103とが一致する場合(両者とも1または両者とも0の場合)はXNOR回路120により1が出力される。XNOR回路120の出力側にはパルス幅がカオス的に変化するPWMカオス発生器121が接続されている。ここでPWMカオスが発生した後、ある時間後にラッチ信号105をラッチ回路122に入力すると、そのときの入力が保持される。ラッチ回路122にはカオス的に幅が変動する信号が入力されているので、ラッチ回路122が保持する値がHighとなる動作は確率的動作となる。そしてHighが保持されるとスイッチ109がONとなり電流源107により電流が供給される。これら電流の総和を検出し、上位抽出回路111により比較することで、入力データ101の群と記憶データ103の群が近いものほど電流が確率的に大きく検出されるので、ベクトル間の近さ(この場合ハミング距離)を確率的に演算することができるのである。なお、上記第2の従来例に用いられるカオスとして、図35の写像マップに示されるような、いわゆるロジスティックカオスが用いられる。
特開2000-3350号公報 IEICE Transactions on Electronics,Vol. E84−C, No.12, December 200, pp1723−1729項に記載の"A CMOS Stochastic Associative Processor Using PWM Chaotic Signals."
しかしながら、上記第2の従来例の距離演算装置は、まず第1にデジタル情報の比較であるために2値の比較しか実行できない。すなわち、このままではハミング距離演算装置としてしか動作しない。よって多ビット情報の比較には、2値比較をビット数の分だけ実行することになり、効率的ではない。
また、そもそも2値情報の比較(距離演算)はXNORで完了しているため、その後、カオスを導入して解を確率的にすることは演算のエネルギ効率の観点からも不利であり、距離演算装置としてはデジタルのみの演算に対して、消費エネルギの低減はあまり期待できない。
本発明は信号にノイズが含まれている場合に元の信号の周期成分を抽出することが可能な演算装置を提供することを第1の目的としている。
また、本発明は消費エネルギを低減しかつマンハッタン距離を演算可能な演算装置を提供することを第2の目的としている。
本件発明者は、上記の目的を達成すべく検討した結果、まず、確率共鳴を工業応用するためには、従来例でノイズと記述されたランダム信号を制御することが非常に重要であることに思い当たった。そして、これを具現化しかつ上記第1の目的を達成するものとして、パルスの発生を所望の確率に制御することを可能とする確率的パルス発生器を想到した。
そして、この確率パルス発生器を用いると、消費エネルギを低減しかつマンハッタン距離を演算可能な演算装置を提供するという第2の目的を達成できることを見出した。
すなわち、本発明の確率的パルス発生器は、ランダムに変動する変動信号を発生する変動信号発生器と、一方の入力信号と他方の入力信号との大小に応じてHighまたはLowの2値信号を出力する比較器とを備え、前記比較器に前記変動信号発生器から前記変動信号が前記一方の入力信号として入力され、それにより、前記比較器が前記他方の入力信号の大きさに対応した数のパルスを確率的に出力し、前記変動信号発生器が前記変動信号としてその大きさが統計的にヒストグラムを有する制御ランダム信号を発生し、前記制御ランダム信号のヒストグラムの分布により前記パルスの統計的なヒストグラムが制御され、 前記他方の入力信号が少なくとも周期的信号を成分に含み、前記制御ランダム信号は前記他方の入力信号の前記周期的信号の周波数帯域より高い周波数成分を含み、前記パルス発生器は前記周期的信号の周波数帯域より高い周波数の周波数帯域を遮断するローパスフィルタを有し、前記比較器から出力されるパルスが前記ローパスフィルタに入力される
前記変動信号発生器は記憶装置を有し、前記制御ランダム信号を、前記記憶装置に記憶された所定のヒストグラムの乱数デジタルデータをデジタル/アナログ変換して発生してもよい。
前記所定のヒストグラムの乱数デジタルデータは、逆変換法または棄却法により得られたものであってもよい。
前記変動信号が一様乱数であってもよい。
前記比較器がアナログコンパレータであってもよい。
前記比較器がチョッパ型CMOSコンパレータであってもよい。
前記他方の入力信号が前記チョッパ型CMOSコンパレータに入力されかつ該チョッパ型CMOSコンパレータにて保持され、その後、前記変動信号が該チョッパ型CMOSコンパレータに連続して入力されてもよい。
また、本発明に係る差分絶対値演算器は、ランダムに変動する変動信号を発生する変動信号発生器と、一方の入力信号と他方の入力信号との大小に応じてHighまたはLowの2値信号を出力する比較器とを備え、前記比較器に前記変動信号発生器から前記変動信号が前記一方の入力信号として入力され、それにより、前記比較器が前記他方の入力信号の大きさに対応した数のパルスを確率的に出力する確率的パルス発生器と、前記確率的パルス発生器でそれぞれ構成された第1、第2の確率的パルス発生器と、前記第1の確率的パルス発生器からの出力と前記第2の確率的パルス発生器からの出力との排他的論理和を出力する排他的論理和回路とを備え、前記第1の確率的パルス発生器への前記他方の入力信号及び前記変動信号がそれぞれVS1、VC1でかつ前記第1の確率的パルス発生器からの出力がV01であり、前記第2の確率的パルス発生器への前記他方の入力信号及び前記変動信号がそれぞれVS2、VC2でかつ前記第2の確率的パルス発生器からの出力がV02であるとき、前記変動信号VC1と前記変動信号VC2とが同一の変動信号であり、それにより、前記他方の入力信号VS1の値と前記他方の入力信号VS2の値との差分の絶対値が、前記排他的論理和からなる確率的なパルスの数として得られる。
前記排他的論理和からなる確率的なパルスは、前記他方の入力信号VS1の値と前記他方の入力信号VS2の値との差分の絶対値が小さいほどパルス発生確率が小さくてもよい。
前記変動信号VC1,VC2が、同じ数列を繰り返すようにして発生されてもよい。
また、本発明のマンハッタン距離演算装置は、請求項記載の差分絶対値演算器が、1つの前記変動信号発生器に複数並列に接続され、各々の前記差分絶対値演算器への前記他方の入力信号VS1及び前記他方の入力信号VS2として、前記差分絶対値演算器の数に対応する数の要素をそれぞれ有する2つのベクトルの各要素に対応する信号がそれぞれ入力され、それにより、前記2つのベクトルのマンハッタン距離が確率的なパルス数として得られる。このような構成とすると、パルスの発生が確率的であるために発生するマンハッタン距離演算の逆転を防止することができる。
本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。

本発明は上記のような構成を有し、第1に、演算装置において、信号にノイズが含まれている場合に元の信号の周期成分を抽出することができるという効果を奏する。
第2に、演算装置において、消費エネルギを低減しかつマンハッタン距離を演算できるという効果を奏する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は本発明の実施の形態1の確率的パルス発生器の構成の一例を示す回路図である。
図1において、確率的パルス発生器1は、制御ランダム信号発生器61と、比較器3と、エッジ検出器7と、カウンタ9とを有している。比較器3のプラス入力端子には、制御ランダム信号発生器61で発生した制御ランダム信号Vが入力され、マイナス入力端子には検出信号Vが入力されている。比較器3は、制御信号Vの検出信号に対する差分に応じて2値のパルスを出力する。エッジ検出器7は、比較器3から出力されたパルスの立ち上がりを検出して等幅のパルスを出力する。カウンタ9は、エッジ検出器7から出力されたパルスの例えば立ち上がりを検出してその数をカウントする。
次に、各構成要素の構成を詳しく説明する。
図2は比較器3の入力−出力特性を示すグラフである。比較器3は図2に示すような入力−出力特性を有しており、プラス端子に入力された電圧(ここでは、制御ランダム信号V)がマイナス端子に入力された電圧(ここでは、検出信号V)より大きくなると出力電圧Voutが“High”のレベル(以下、単にHighという)となり、逆の場合には“Low”のレベル(以下、単にLowという)となる。すなわち、比較器3の出力Voutは2値の電圧信号であり、HighとLowとの間で1往復以上変化することにより、パルス状に変化する。本実施の形態ではHighの出力電圧Voutが1[V]、Lowの出力電圧Voutが0[V]に設定されている。
このような比較器3としては、アナログコンパレータと呼ばれる素子を用いることができ、より具体的にはオペアンプを用いたり、またはラッチ回路を用いたりすることができる。
なお、ここでは、上述のように、比較器3のプラス端子に制御ランダム信号Vが入力され、マイナス端子には検出信号Vが入力されているが、これらは逆であっても同様の動作が得られることは言うまでもない。
図3は図1のエッジ検出器7の構成例を示す回路図である。
図3において、エッジ検出器7はAND回路13を有している。AND回路13には比較器3の出力Voutと、比較器3の出力Voutが反転されかつ遅延回路11で所定時間遅延された反転遅延出力Vout2が入力されている。AND回路13は、この入力された比較器3の出力Voutと反転遅延出力Vout2との論理和演算を実行し、この演算結果を電圧Vとして出力する。
図4(a),(b)は図3のエッジ検出器7の動作を示す波形図である。
図4(a)において、エッジ検出器7の一方の入力端子には実線で示す比較器3の出力Voutが入力され、エッジ検出器7の他方の入力端子には点線で示すように、この比較器3の出力Voutが反転されかつ遅延時間τだけ遅延された反転遅延出力Vout2が入力される。AND回路13は、図4(b)に示すように、この比較器3の出力Voutと反転遅延出力Vout2との論理和演算を実行し、その演算結果として、比較器3の出力Voutと反転遅延出力Vout2とが一致する場合にHigとなり、その他の場合にはLowとなる出力電圧Vを出力する。出力電圧Vにおいては、比較器3の出力Voutのパルスの立ち上がりにおいてパルスが発生しており(すなわちエッジ(立ち上がり)検出が行われており)、かつ出力電圧Vのパルスは、遅延回路11の遅延時間τに相当する幅を有することが理解される。このエッジ検出器7を備えることにより、図1のカウンタ9は安定してパルスの発生数をカウントすることができる。
制御ランダム信号発生器61は、例えば、LSIからなる演算器で構成され、例えば、後述する各種の計算を実行することにより制御ランダム信号を発生する。この制御ランダム信号については、後で詳しく説明する。
次に、以上のように構成された確率的パルス発生器1の動作について図5(a),(b)を用いて説明する。
図5(a)は確率的パルス発生器1への入力である制御ランダム信号Vと検出信号Vとの波形を示すグラフである。なお、図5(a)では原理を分かりやすく説明するため検出信号Vが一定電圧の場合を示している。
図1〜図5において、比較器3に図5(a)に示すような制御ランダム信号Vc及び検出信号Vが入力されると、図2示す比較器3の特性により、比較器3は、ランダム制御信号Vが検出信号Vより大きい状態ではHighの電圧Voutを、逆の状態ではLowの電圧Voutを出力する。
この電圧Voutがエッジ検出器7へ入力されると、図4に示すように、この電圧VoutがLowからHighへ立ち上がる際にエッジ検出器7から固定幅τのパルスを有する電圧Vが出力される。この出力された電圧Vのパルス数をカウンタ9がカウントする。
以上のような動作原理により、ある制御ランダム信号Vが入力された時間領域における検出信号Vに応じたパルスがランダムに出力され、このパルスの数が検出信号Vの大きさに従って出力されることとなる。
しかしながら、このようなランダムな制御信号Vで駆動される、確率的な動作の装置を制御することは非常に困難であると思われた。このことは、従来例においてノイズというものを定義できていないことからもその困難さが理解される。
しかし、本件発明者は、以下のような考察により、ランダムな制御信号Vの分布密度を制御することにより、このような確率的な系の全体を統計的に制御できる確率的パルス発生器の駆動法を見出した。
図6はこのパルス数が制御される原理を説明するグラフである。本実施の形態1の確率パルス発生器1では、制御ランダム信号Vが検出信号Vより小さい状態から大きい状態へ遷移したとき、パルスが発生され、これがカウントされる。図6は、制御ランダム信号Vを統計的にf(x)で表される分布密度に制御した場合について示している。なお、以下では、検出信号V及び制御ランダム信号Vの値が0(V)以上1(V)以下の場合について説明する。
例えば、パルス発生原理の一例として図6の場合を説明すると、検出信号Vの値が横軸(X軸)に「V」で示される値を取る場合、パルスが出力される確率は、図6中のAの領域に制御ランダム信号Vの値が存在して、その次にBの領域に制御ランダム信号Vの値が変化した時だけであるので、その確率Pは次の式で計算できる。ここで、Aの領域の面積をS、Bの領域の面積をSとすると、
Figure 0003929471
以下、この式を式(1)と呼ぶ。なお、
Figure 0003929471
である。以下、この式を式(2)と呼ぶ。従って、
Figure 0003929471
となる。以下、この式を式(3)と呼ぶ。この式(3)へ
Figure 0003929471
の式(4)を計算し代入すれば、パルス発生確率を検出信号Vの関数として知ることができるのである。
次に、統計的なパルス発生確率(分布密度)を既知とできる制御ランダム信号列の作成方法の一例について説明する。
一般的に、いわゆるプログラム言語において乱数を発生すると、統計的には大きさの分布密度は均一になる乱数が発生する。この一様乱数を用いて、図6のような連続で積分関数が計算可能な関数の分布密度の乱数を発生するには、逆変換法という手法で計算を実行することができる。
逆変化法とは、まず区間[0,1] の一様乱数を発生させることによって任意の面積S(x)を求め、下記のようにその任意の面積と同じ面積になるようにaから積分してxを求めるというものである。
式で書くと、一様乱数をRとすると
Figure 0003929471
となる。以下、この式を式(5)と呼ぶ。この式(5)をxについて解けば、任意の形の乱数が形成できることとなる。
以下、例えば、図7のようなx=0.5で0となり、x=0と1で最大の値を示すような2次関数の分布関数を得る場合について説明する。
まず、ヒストグラムの積分値が1であることから2次関数の式は次の式(6)に一意的に決定される。
Figure 0003929471
これを式(5)へ代入すると、
Figure 0003929471
となる。以下、この式を式(7)と呼ぶ。ここで、xmin=0とすると
Figure 0003929471
となる。以下、この式を式(8)と呼ぶ。これを逆に解くと
Figure 0003929471
となる。以下、この式を式(9)と呼ぶ。
図8に式(9)の関数を示す。また、この関数に順次一様乱数を投入したときの値の変化を図9に示す。図9によれば、この値はランダムな変動を示すことが分かる。
図10(a),(b),(c)には図9のランダムな変動を統計的に解釈する、発生値の発生密度を示す。なお、図10(a),(b),(c)は、投入した一様乱数Rの回数が、それぞれ、100回、1000回、10000回の場合を示している。
図10(a),(b),(c)から、投入回数が増えるほど、式(3)で示す2次関数へ漸近していく様子が観察され、式(6)が目的の分布密度を発生していることが理解される。
このように、目的とする分布密度のヒストグラムの乱数について、分布密度が積分可能な関数であれば、これを得ることが可能なことを示した。一方で、積分関数が既知でない関数に対しては数値計算によってこの分布関数を求めることはそれほど難しいことではないので割愛するが、同様の演算を数値計算上で実行すればよく、このような手法としては例えば棄却法がその一手法である。棄却法は、不連続関数などに対し、数値計算上で上記の条件を満たす数字をランダムに取得し、条件が満たされるまでランダムな数字を発生させる方法である。
以上のように、発生するノイズのヒストグラム(密度分布)を制御することが可能であることを示した。また、ノイズの密度分布が既知であれば、検出信号Vの大きさに応じ、どのような確率でパルス発生確率が変化するかも知ることが可能であることを示した。
このように、制御ランダム信号Vの密度分布を変化させることで、検出信号Vの大きさに対するパルスの発生確率を制御することが可能となるのである。
この原理により、検出信号Vに比例したパルス発生確率を得るだけでなく、ある検出信号Vより下で急速にパルス発生確率が低下するように制御することや、また、ある範囲の検出信号Vのパルス発生確率を高くするなど、自由な制御が可能となる。
特に、これらの処理の後は、発生されたパルスをカウントするだけであるため、LSI上では並列演算とすることも容易である。
なお、ここまでで説明した制御ランダム信号は、必ずしもLSI上で計算したものを確率的パルス発生器へ入力する必要はないことは言うまでもない。
すなわち、上記の手順で計算した数列をメモリに格納しておいて、これをデジタル・アナログ変換(D/A変換)して入力してもよい。図10(a),(b),(c)から明らかなように、制御ランダム信号Vは1万点ぐらいから安定なヒストグラムを示すことから、例えば10万点の制御ランダムデータを記憶していれば良い。倍制度実数を10万個記憶するとしても、8Byte×10万=800kByte程度であり、近年の不揮発メモリでも容易に記憶できる容量で、制御された所望のランダム性を発現することができる。
なお、本実施の形態1では、比較器の一方に検出信号Vを入力する例を示したが、この検出信号Vが既にノイズ成分を有していても、そのノイズのプロファイルが既知であれば、同様にパルス発生確率を制御できることは言うまでもない。また、制御ランダム信号Vをこのノイズプロファイルに合わせて最適な分布関数とすることで、そのパルス発生確率を最適化できることも同様である。
また、本実施の形態1では説明を簡単にするため、検出信号Vが一定(DC)の場合について説明したが、これが周期信号など変動する信号であっても同様に各時間での信号値に対して確率的にパルスが出力されることは言うまでも無い。この場合、出力されるパルスを例えばフーリエ変換することで、ある特徴的な周波数が確認されることとなる。
以上に説明したように、本発明の確率的パルス発生器は、比較器3の一方に微弱な信号(検出信号V)を、他方に分布密度を制御した制御ランダム信号Vを投入することで、検出信号Vの大きさに対応した確率パルスの発生頻度を制御することができる。
特に、本確率的パルス発生器によれば、ランダム信号を制御できるため、検出信号に既にノイズが含まれている場合でも、そのノイズの分布密度をキャンセルするプロファイルのランダム信号に設定することで、効率良く、元の検出信号の周期成分を抽出することができる。

(実施の形態2)
図11は、本発明の実施の形態2の確率的パルス発生器51の構成を示す回路図である。なお図11において図1と同一要素には同一符号を付してその説明を省略する。
図11において、本実施の形態の確率的パルス発生器51では、比較器3の出力がローパスフィルタ53に入力され、ローパスフィルタ53の出力が信号解析装置55に入力されている。ローパスフィルタ53は、ある周波数より低い周波数のみを通過させる機能を有する。信号解析装置55は、ローパスフィルタ53から出力される信号を解析する装置であり、例えばフーリエ変換などの周波数解析を実行する。
以下、図11の構成の実施の形態2の確率的パルス発生器について、その動作を説明する。
本実施の形態2の確率的パルス発生器は、実施の形態1の確率的パルス発生器と異なり、比較器3からの出力を、さらにローパスフィルタ53に入力することを特徴とする。なお、以下の説明では、比較器3の出力をVと記載し、この出力Vがローパスフィルタ53を通過した後の電圧をVと記載する。
図12(a)〜(e)は、制御ランダム信号として分布密度が均一な乱数を入力した場合における図11の確率的パルス発生器の各部位の電圧を示すグラフである。
図12(a)は検出信号Vの波形を示しており、ここでは1kHzの正弦波である。図12(b)は制御ランダム信号Vの波形を示しており、図示しないが振幅のヒストグラムは均一であるように制御されている。図12(c)は比較器3の出力電圧Vの波形を示している。この出力電圧Vは、正弦波である検出信号Vと制御ランダム信号Vとの比較により、図に示すような非常に短い時間幅のパルスを発生している。
実施の形態1では検出信号が一定である場合について説明したが、図12(c)に示すように、検出信号Vの値が大小に変化するとパルスの発生頻度がそれに応じて変化していることが理解される。
図12(d),(e)は、このパルス出力をローパスフィルタ53でフィルタリングした電圧Vの波形を示している。図12(d)は10kHz以下の信号を通過させた場合、図12(e)は2kHz以下の信号を通過させた場合について示している。なお、信号取得の都合上、図12(b)〜(e)は同時に取得したものではないので、若干の傾向差が存在している。
特に図12(e)から理解されるように、元の検出信号において特徴的な周波数より高くかつなるべく近い周波数以上の周波数を遮断することで、元の微弱な信号の特徴に非常に近い出力波形を得ることができる。
特にこの波形を信号解析器55で例えばフーリエ変換などで周波数解析すれば、検出信号周波数の特徴的な周波数である1kHzが非常に明瞭に観察できるのである。
なお、本実施の形態2では、実施の形態1と異なり比較器3の後にエッジ検出器7を挿入しなかったが、これを入れても同様に機能することは言うまでもない。但し図12(c)に示すように、検出信号Vの周波数に対して非常に高速に制御ランダム信号Vを変化させることで、短時間のパルスが多数発生することになるが、これらはいずれもローパスフィルタで鈍らせられるため、この場合、エッジ検出器7は実施の形態1のように正確にカウントするといった有用な機能はあまり得られない。
以上に説明したように、本実施の形態2の確率的パルス発生器は、比較器3により出力されたパルス出力を検出信号周波数において特徴的な周波数より上以上を遮断することで、元の検出信号の特徴的な波形を得ることを実現し、その解析を容易にする確率的パルス発生器を提供するものである。
特に制御ランダム信号Vの密度分布を制御することで、パルスの発生確率を統計的に制御できることを見出し、また制御ランダム信号Vの密度分布からパルス発生確率を計算可能であり、且つ制御ランダム信号Vの所望の密度分布を得ることが可能であることも示した。
このような原理に従い、実施の形態1の確率的パルス発生器において、特定の密度分布の制御ランダム信号Vにより、検出信号Vの検出状況(パルス発生確率)を制御することが可能な確率的パルス発生器とその駆動法を提供することが可能となった。このように制御ランダム信号Vを用いることで、検出信号Vがさらにノイズ成分を含んでいても、そのプロファイルを相殺する制御ランダム信号Vを適用することで検出信号内の信号成分を効率的に抽出できる。
また、実施の形態2の確率的パルス発生器は、比較器3からの出力をローパスフィルタ53へ通すことで、パルスが鈍った信号となり、検出信号の特徴的な周波数成分がより検出しやすくなる。

(実施の形態3)
図14は本発明の実施の形態3の確率的パルス発生器の構成の一例を示す回路図である。
図14において、確率的パルス発生器1は、実施の形態1の制御ランダム信号の一種である変動信号を発生する変動信号発生器71と、変動信号発生器71から出力される変動信号S及び検出信号(以下では入力信号という)Sを所定の式によりそれぞれ電圧信号からなる変動電圧V及び入力電圧Vに変換して出力する電圧変換器5a,5bと、電圧変換器5a,5bから出力される電圧信号を比較してパルス波形の電圧Vを出力する比較器3とを有している。本実施形態では、さらに、比較器3の出力Vのパルス波形の立ち上がりを検出し等幅のパルスVを出力するエッジ検出器7と、エッジ検出器7から出力されるパルスVのたとえば立ち上がりを検出してこれの数をカウントするカウンタ9とを有している。
確率的パルス発生器1は基本的に比較器3からなるが、後述する理由により電圧変換器5a,5bが設けられている。
比較器3、エッジ検出器7、及びカウンタ9は、実施の形態1のものと同様に構成され同様に動作するので、その説明を省略する。
変動信号発生器71は、実施の形態1の制御ランダム信号発生器61の一種であり、図15に示すように、入力される変量XをXn+1=f(X)の関数で表される所定の演算式について演算し、それにより得られたXn+1を出力する演算器201と、演算器201から出力されるXn+1を所定時間遅延させて、演算器201に入力する遅延回路202とを有している。これにより、演算器201から逐次されるXn+1が、変動信号Sとして外部に出力される。この変動信号Sにつては後で詳しく説明する。
なお、本実施の形態の確率的パルス発生器1においては、比較器3のプラス端子に変動信号Sまたはこれを電圧変換器5aにより変換した変動電圧Vが入力され、マイナス端子に確率的なパルスとして表す対象である入力信号Sまたはこれを電圧変換器5bにより変換した入力電圧Vが入力されるが、これらは逆であっても同様の動作をすることは言うまでもない。
以下、図14の構成の確率的パルス発生器1の動作について説明する。
第14図において、比較器3に変動電圧V及び入力電圧Vが入力されると、この変動電圧Vが入力された時間領域における入力電圧Vに応じたパルスがランダムに出力され、このパルスの数が入力電圧Vの大きさに従って出力される点は、実施の形態1と同様である。
次に、カウンタ9でカウントされるパルス数が入力電圧Vの電圧の大きさを確率的に表していることについて説明する。
図16は、入力電圧Vを横軸の値(0〜1[V])に固定した際に、変動電圧Vを1000回変動させたときに発生するパルスの数をプロットして示している。なお、変動電圧VSCは一様乱数に従うものとし、その変動範囲は同様に0〜1[V]の範囲とした。
図16に示すように、上に凸の2次関数状にパルスの発生数が変化する特性が得られている。ここで、図14の電圧変換器5bで入力信号Sを入力電圧Vに変換する際に、例えば次の式(10)で変換を実行する。
=0.4×(S-SSmin)/(SSmax-SSmin)・・・(10)
なお、SSmax、SSminはそれぞれ入力信号Sの最大値と最小値である。
変動電圧Vは例えば、0〜1の範囲の一様乱数を倍率1で電圧に変換する。
すると、入力電圧Vは0〜0.4[V]の電圧となるため、元の入力信号Sが大きいほど図16に示すように多くのパルスがカウントされる。
すなわち、本発明の確率的パルス発生器の、入力信号Sの大きさをパルス数に変換するという機能を以上の動作により得ることができるのである。なお、このパルスカウント数は図5(実施の形態1)からも理解されるように変動信号の変動数が小さいほど確率的であり、取得までの時間は短くできるが、誤差は大きい。一方で変動数を大きくすると、誤差は小さくなる。
次に本実施の形態3の場合の、入力電圧Vに対するパルスの発生確率について考察する。
まず、図17には本実施の形態3の場合の一様乱数の発生回数のヒストグラムを示している。図17に示すように比較的フラットであり、一様な分布の乱数である。
ここで、本発明の確率的パルス発生器のパルス発生条件を再度、図18により考えてみる。
上述のように(今の構成条件では)VがVより小さく、次のVがVより大きくなるときにパルスが発生するので、ある時のVをV(t)とし、次のVをV(t+1)とすると、写像空間では図18でハッチンングを施した部分が、パルスが発生する確率を表わす。
ここで、Vは一様乱数であることから0〜1の範囲である数が発生する確率は一様である。よってV(t)が0〜Vの範囲にある確率はVとなる。次にV(t+1)がV〜1の範囲にある確率は(1-V)となるので、結果的に本実施の形態1の確率的パルス発生器のパルス発生確率Pは次の式(11)で与えられる。
P=V(1-V)・・・(11)
上式のように、本実施の形態3の確率的パルス発生器は、Vの2次関数となり、図16のパルス発生は、1000回のV投入により、式(11)に示す2次関数に漸近していることが理解される。
以上に説明したように、本実施の形態の確率的パルス発生器1は、簡便な回路構成でありながら、変動電圧と入力電圧をそれぞれ最適な電圧値とし、これらを比較器へ入力することでパルスを発生させ、その数をカウントすることで入力電圧の大きさを確率的パルス数として得ることができる。
そして、この確率的パルス発生器1は、このような機能によりアナログ信号をデジタル値に変換することなく、直接的に確率的なパルス数としてその大小を表現できる。

(実施の形態4)
本発明の実施の形態4の確率的パルス発生器は、変動信号を実施の形態3の確率的パルス発生器とは異なる特性に制御し、それにより新たな機能を得るものである。以下、この点について説明する。
本実施の形態4の確率的パルス発生器は、変動信号として、テント写像のカオスを用いることを特徴とする。すなわち、図15の変動信号発生器71の演算器201が、次に述べるテント写像の演算を実行してテント写像のカオスからなる変動信号Sを出力する。
まず、図19によりテント写像のカオスについて説明する。
図19において初期値Xをまず任意に選択すると図の直線に従って、次の式(12)および式(13)で次の値を決定する。(写像)
=2X (X≦0.5)・・・(12)
=2(1−X) (X>0.5)・・・(13)
次に、得られたXの値により同様に式(12)、(13)によりXを求める。以上の単純な写像演算で得られるのがテント写像のカオスである。しかしながらこうして得られた数列は長期的に非常に複雑な振る舞いを示すようになることが知られている。
このテント写像カオスを変動信号Sとしたときのパルスの発生確率を、図20を用いて検討する。
なお、テント写像カオスは実施の形態3の一様乱数と同様に、ヒストグラムが一定となることが数学的に解かれていることから、以下のような解析が成立する。
先に実施の形態1で述べた理由と同様の理由から、図20(a)、(b)においてそれぞれハッチングで示した領域がパルス発生確率を示すことになる。
ここで実施の形態3と異なる点は、ここでは写像により次の値が決まるため、図20においてハッチングで示した面積がパルス発生確率を表わすことにならず、図20において太線で示した領域のみがパルスを発生しうることとなる点である。すなわち矢印で示した幅Pがパルス発生確率を示す。
図20に示すように、Vが2/3以上か以下かで幅Pの計算法が異なり、
P=V/2(V≦2/3)・・・(14)
P=1−V(V≧2/3)・・・(15)
となる。この式(14)、(15)によるパルス発生器確率の計算結果を図21に示す。
ここで、例えば、実施の形態3のようにVの範囲を0〜2/3(V)(図のA領域)となるように図14の電圧変換器5aを制御すると、本実施の形態4の確率的パルス発生器1は入力信号Sの値に対して、厳密解としては線形なパルス発生を得ることができ、パルス発生確率は0%から33%の間となることが理解される。
以上のことから、本実施の形態4の確率的パルス発生器は、厳密解として(変動信号を非常に多く変動させると)入力信号Sに対して線形なパルス数を得ることができる。
すなわち入力信号のアナログ値をパルス確率として線形に得ることができる。これにより、異なる入力信号に対するパルス確率の差分絶対値についても、パルス数の差として単純に計算することが可能となる。
なお、本実施の形態4では図21において領域Aを用いる場合について説明したが、領域Bでも同様の効果を得られることは言うまでもない。

(実施の形態5)
本発明の実施の形態5の確率的パルス発生器は、実施の形態4の確率的パルス発生器と異なり、変動信号として「ベルヌーイ・シフト」と呼ばれる数列を用いることを特徴とする。すなわち、図15の変動信号発生器71の演算器201が「ベルヌーイ・シフト」と呼ばれる数列を用いた演算を実行することにより、変動信号Sを出力する。
次に、図22によりベルヌーイ・シフト写像について説明する。
図22において、初期値Xをまず任意に選択すると図の直線に従って、次の式(16)および式(17)式で次の値を決定する(写像)。
=2X (X≦0.5)・・・(16)
=2X−1 (X≧0.5)・・・(17)
次に、得られたXの値により、同様に式(16)、(17)によりXを求める。以上の単純な写像を繰り返すのは実施の形態4と同様であり、またベルヌーイ・シフト写像も均一なヒストグラムの数列を発生する。
以上のことから、実施の形態4と同様に図23(a),(b)に示すように、本実施の形態5の確率的パルス発生器のパルス発生確率を得ることができる。パルス発生確率は図23(a),(b)の太線の写像上の領域であり、
P=V/2 (V≦0.5)・・・(18)
P=(1−V)/2 (V≧0.5)・・・(19)
式(18)、(19)によりパルス発生確率を計算した結果を、図24に示す。本実施の形態5の場合は、V=0.5に頂点を持ち、実施の形態4と同様に線形なパルス発生確率特性が得られる。
すなわち、例えば入力号電圧信号Vの範囲が0〜0.5(図のC領域)となるように図14の電圧変換器5aを制御すると、本実施の形態5の確率的パルス発生器は入力信号Sの値に対して厳密解として線形なパルス発生を得ることができ、パルス発生確率は0%から25%の間となることが理解される。
すなわち、本実施の形態5の確率的パルス発生器によっても、入力信号のアナログ値をパルス確率として線形に得ることができる。
なお、図24において領域Dを用いる場合でも同様であることは言うまでもない。
また、これまで実施の形態3〜5において、変動信号として一様変数、テント写像、ベルヌーイ・シフト写像を用いる場合のパルス発生について説明したが、これらの説明から理解されるように、変動信号は必ずしも計算を実行して得たものである必要はなく、例えば雑音信号を増幅したものであっても同様の動作が得られることはいうまでもない。特に雑音信号についてはヒストグラムが既知である方が好ましく、さらにはヒストグラム形状が安定であるものが、信号電圧への電圧変換の際の計算を決定しやすいと言う点で好ましい。

(実施の形態6)
本発明の実施の形態6の確率的パルス発生器は、比較器としてチョッパ型コンパレータを用いている点に特徴を有する。
チョッパ型コンパレータ(以下Cという)はアナログ−デジタル変換などに用いられる回路であり、トランジスタの閾値のばらつきをキャンセルできる動作を実行できることから、特にCMOSにおいて非常に有用な回路である。このCを用いて確率的パルス発生器を構成及び駆動できることは、シリコン半導体への導入を考慮すれば非常に産業的に効果の大きなものである。
図25は実施の形態6の確率的パルス発生器の構成を示す回路図である。なお、図25において、図14と同一部分には同一符号を付してその説明を省略する。図25において、本実施の形態6の確率的パルス発生器20では、比較器21が、キャパシタ、インバータ、スイッチ(例えばMOSトランジスタ)からなるCで構成されている。そして、比較器21にそれぞれスイッチ23a,23bを介して、電圧変換器5a,5bからの変動電圧V、入力電圧Vが入力されている。スイッチ23a,23bは、例えばMOSトランジスタで構成されている。
図26(a),(b)は、Cの動作を示す図である。Cは、図26(a)に示すように、スイッチSWを短絡した状態で電圧Vを印加し、次いで、図26(b)に示すように、この状態でスイッチSWをOFFし、その後、電圧Vを印加すると、VがVより大きい場合にはインバータが反転し、VoutがLowとなる。一方、VがVより小さい場合にはVoutはHighとなる。このように比較する電圧を、スイッチSWをOn/Offしながら順次比較しようとする電圧を入力することでその大小を比較できる。
なお、この例の場合、Voutは、まずHighになり、次いでLowに反転するが、これは本質ではなく、例えば、さらに出力にインバータを設ければHighとLowとを逆にすることもできる。
図27は本実施の形態6の確率的パルス発生器の動作を説明する図である。
図27(a)に示すように、確率的パルス発生器20では、まずスイッチ23aがOffされるとともにスイッチ23bがOnされ、Cからなる比較器21のスイッチSWもOnされる。すると、入力信号Sが電圧変換器5bにより、実施の形態3、4、5で説明した数式により入力電圧Vに変換され、スイッチ23bを経由して比較器21へ印加される。その後、比較器21のスイッチSWがOffされ、それによりVがCに書き込まれる。
次に、図27(b)に示すように、スイッチ23bがOffされるとともにスイッチ23aがOnされ、それにより、変動信号Scが実施の形態3〜5で説明した手順により変動電圧Vに変換され、スイッチ23aを経由して比較器21に印加される。すると、比較器21は実施の形態3と同様にHigh/Low信号Voutを出力し、これをエッジ検出回路7が等幅パルスVへ変換し、このパルスをカウンタ9がカウントする。
図28は本実施の形態6の確率的パルス発生器の動作状況を示すグラフである。図28は横軸が時間、縦軸が1[V/div]の電圧を示しており、グラフは下から順に入力電圧V、変動電圧V、比較器出力Voutを示している。
また、最初の10〜30[nsec]間に比較器21のスイッチSwを開閉し、0.5[V]の信号電圧Vを書き込んでいる。その後50[nsec]から変動電圧Vを順次印加している。
なお、この例ではテント写像カオスの数列に従った電圧を印加している。
本実施の形態6ではCの出力のHigh/Lowを反転しているので、出力Voutは最初に書き込んだVの値よりVが小さくなるとHighになる。図28においてもVが0.5[V]より高い状態から低い状態へ低下すると出力VoutがHighへ切り替わっている。ここでは割愛するが、この後、実施の形態3に示したエッジ検出を行えば、VoutがHighになったときのエッジを検出することができ、パルス数としてVの値を得ることができる。
本実施の形態6の確率的パルス発生器においては、特に図27(b)の状態で変動信号Sの値を順次変更するだけで連続して比較器21による比較動作が実行できるため、非常に簡便な駆動法で入力信号Sの値を確率パルス数へと変換することができる。すなわち変動信号Sを例えば実施の形態4のテント写像カオスとすれば、カウンタ9のカウント数は、変動信号Sの大きさを線形的に確率パルスとして表わすこととなる。

(実施の形態7)
本発明の実施の形態7の確率的パルス発生器は、変動電圧Vの与え方が実施の形態3〜6と異なる。
実施の形態3〜6の確率的パルス発生器では、変動電圧Vは、一様乱数や写像数列として、特にその値については言及しなかった。
本実施の形態7の確率的パルス発生器は、変動電圧Vとして、毎回同じ数列を印加することを特徴とする。
このような数列は、一様乱数を発生させたものを記憶装置に保持しておいて、毎回これを最初から順に用いることでも得ることができるし、またテント写像やベルヌーイ・シフトのような写像を用いる場合であれば、初期値を固定すれば、少なくともデジタル演算であれば、演算エラーがなければ毎回同一の数列を得ることができる。本実施の形態7では、図14の変動信号発生器71が、このような動作を行うよう構成されている。
図29は、このように毎回同じ数列を用いる場合と、完全にランダムとした場合について、実施の形態4のテント写像の場合におけるパルス発生確率を示している。
横軸は信号電圧Vを示し、縦軸はパルス発生確率Pを示す。このグラフは一例としてVを0.8から少しずつ大きくしながら、それぞれのVに対して変動電圧Vを100回変動させ、パルスが発生した確率を示している。
本実施の形態7の確率的パルス発生器は、テント写像の変動電圧を用いており、確率的パルス発生器は実施の形態4より、例えばV=1で最大の1/3となるように動作している。しかし、パルス発生確率Pはあくまで確率的であるため、図29に示すように、完全にランダムな変動信号に対しては、若干のぶれが見られる。すなわち、Pが最も大きいときにVが最大であるとは限らない。
しかし、ここで本件発明者は、変動信号を同一の数列として、毎回各Vに対してPを得たところ、図29に示すように階段状にPが変化し、少なくともPが最大の時のVの中に最大のVが含まれるようにPが発生する特性を示すことを突き止めた。
これは、毎回同じ数列を用いることにより、毎回同じ群のVとVの大小を比較することになるため、Vが大きくなったときに発生するパルスの確率は少なくとも小さくなることはなくなるためである。
以上のように、本実施の形態の確率的パルス発生器によれば、変動信号を毎回同一にするかしないかという簡単な制御だけで、大幅に確率的パルス発生器の動作を変更することができるものである。
特に写像系数列については、初期値を固定するかしないかというだけで、これだけの大幅な動作の制御を実行できることとなる。
完全なランダムな制御信号の場合、パルス発生確率Pはまさに確率的に比較的大きいVの群の中からランダムに抽出されるような動作をする。このようなランダムな動作は後述するベクトルマッチングにおけるマンハッタン距離演算に適用すれば、近いものの中から毎回ランダムにあるベクトルが抽出されることとなる。このような動作は、人間を相手にするような、「飽き」を生じさせない動作を機器に持たせるときに有用である。
また一方の同一数列変動信号を与える場合には、非常に多くの変数とある数字の近さを知りたいとき、少なくとも確実に正解の変数を残して変数群から近いものを抽出させるような、正確な演算が要求されるときには非常に有用な動作手法である。

(実施の形態8)
図30は本発明の実施の形態8の差分絶対値演算器の構成を示す回路図である。
図30において符号30は差分絶対値演算器を示す。符号31a,31bは実施の形態3〜7で説明した確率的パルス発生器をそれぞれ示す。確率的パルス発生器31aは、変動信号発生器71と比較器32aと電圧変換器33a、33bとを具備し、また確率的パルス発生器31bは変動信号発生器71と比較器32bと電圧変換器33c、33dとを具備している点は実施の形態3と同様である。但し、2つの確率的パルス発生器31a,31bが1つの変動信号発生器71を共有している。
また、比較器32a,32bの出力はそれぞれVout1(Vo1),Vout2(Vo2)であり、これらはそれぞれエッジ検出回路35a,35bへ入力されている。これらエッジ検出回路35a,35bの出力VP1,VP2はそれぞれXOR(排他的論理和)演算回路36へ入力され、XOR回路36の出力はカウンタ37へ接続されている。
本実施の形態6の差分絶対値演算器は、2つの入力信号(SS1、SS2)が存在し、これらの値の差分絶対値に対応した確率的パルスを発生する動作を提供するものである。
なお、図30に示すように、一方の入力信号SS1は確率的パルス発生器31aへ、他方の入力信号SS2は確率的パルス発生器32bへ入力されている。一方、変動信号Sは、同一のものが確率的パルス発生器32a,32bへそれぞれ入力されている。
以上のように構成された差分絶対値演算器の動作を図31により説明する。
図31は2つの入力信号SS1,SS2に対して同一の変動信号Sを与えたときの、エッジ検出回路35a,35bのぞれぞれの出力と、これらが入力されたXORの出力を示すグラフである。
なお、本実施の形態8においては、例えば実施の形態4の確率的パルス発生器を用いた場合について説明する。
確率的パルス発生器31a,31bは,それぞれ、実施の形態4に従い、変動電圧Vを変化させるたびに入力電圧VS1,VS2のそれぞれの大きさに対応した確率で、図31に示すように、それぞれパルスVP1,VP2を発生する。
ここで、2つの確率的パルス発生器31a,31bには同一の変動電圧Vが入力されているため、図に示すように、入力電圧VS1と入力電圧VS2との値が似通っていると、同時にパルスを発生する場合が多くなる。すると、XOR演算後にはLowが出力される場合が多くなる。
その一方、いずれか(ここでは確率的パルス発生器31bの方)の確率的パルス発生器のみがパルスを発生した場合には、XOR演算後にパルスが出力されることとなる。
すなわち、入力電圧VS1と入力電圧VS2との値が近いほど、同様にパルスVP1,VP2が発生し、XOR後はパルスが出力されにくくなる。一方、入力電圧VS1と入力電圧VS2との値が遠くなると、パルスVP1かパルスVP2のいずれかのパルスが発生する確率が高まるため、XOR後のパルスが出力されやすくなる。
以上のことから、図30の差分絶対値演算器30は、入力電圧SS1と入力電圧SS2の値が近いほどパルスが出力されにくい、すなわちSS1-SS2の差分絶対値に対応したパルスを確率的に出力する動作をすることが理解される。
図32は本実施の形態8の差分絶対値演算器の動作結果を示すグラフである。
図32の横軸はランダムに発生した2つの入力信号の差分絶対値であり、縦軸は変動信号を1000回変動させたとき(完全ランダム)に発生したパルスの発生数を示している。
非常に良好な線形性で差分絶対値を確率的なパルス数として表現できている。
以上に説明したように、本実施の形態8の差分絶対値演算器30は、2つの確率的パルス発生器に2つの入力信号を印加し、一方の変動信号は2つの確率的パルス発生器に同一のものを投入し、それぞれの出力をXOR演算することで、差分絶対値に対応したパルスを確率的に得ることができるものである。
なお、実施の形態7のように変動信号の数列を同一にすることで、同様に差分絶対値に対してパルス発生確率を階段状に変化させることができることは言うまでもない。

(実施の形態9)
本発明の実施の形態9は、マンハッタン距離演算装置を例示するものである。
図33は本実施の形態9のマンハッタン距離演算装置の構成を示す回路図である。
図33において、マンハッタン距離演算装置41は、n個の差分絶対値演算器43(1)〜43(n)を有している。差分絶対値演算器43(1)〜43(n)には、共通の変動信号発生器50から変動信号Sがそれぞれ入力されている。また、差分絶対値演算器43(1)〜43(n)には、2つのベクトル46,48の要素にそれぞれ対応する入力信号SS1(1)〜SS1(n),S2(1)〜SS2(n)が入力されている。そして、差分絶対値演算器43(1)〜43(n)の出力端子は、一端がカウンタ52に接続された共通の配線52aに接続されている。配線52aには、隣接する差分絶対値演算器43(1)〜43(n)の出力端子と配線52aとの接続部分同士の間に位置するように遅延回路45(1)〜45(n−1)が配設されている。一方のベクトル46はn個の要素を有し、この要素の数に対応したn個の値(信号)47(1)〜47(n)からなる。他方のベクトル48はn個の要素を有し、この構成要素の数に対応したn個の値(信号)49(1)〜49(n)からなる。遅延回路45(1)〜45(n−1)は、本実施の形態9では実施の形態3で述べた遅延回路の遅延時間τの2倍の遅延時間を有している。
次に、以上のように構成された実施の形態9のマンハッタン距離演算装置の動作を、図33を用いながら説明する。
ベクトル46とベクトル48との同一要素番号の信号SS1(i)とSS2(i)がそれぞれ差分絶対値演算器43(i)へ入力される。
すると、実施の形態8の差分絶対値演算器の動作で説明したように、信号SS1(i)とSS2(i)とにそれぞれ従う入力電圧VS1と入力電圧VS2とが各比較器へそれぞれ入力される。以上の動作は全ての差分絶対値演算器43(1)〜(n)で実行される。その結果、変動信号発生器50から差分絶対値演算器43(1)〜(n)に、ある変動信号Sが入力されると、SS1(i)とSS2(i)のマンハッタン距離に比例した確率でパルスが差分絶対値演算器43(1)〜(n)からそれぞれ出力される。
この出力されたパルスはそれぞれ遅延回路45を経て、カウンタ52へ到達する。ここで本実施の形態9では、遅延回路45の遅延時間はパルス幅τの2倍の2τとしているので、各差分絶対値演算器43(1)〜(n)から出力されたパルスは相互に時間的に重複することなくカウンタ52へ到達するので、正確にそのカウント数を計測することができる。
全てのパルスをカウントする時間を経た後、変動信号Sを変動させることで、同様にパルスを発生することができる。
以上の動作により、各差分絶対値演算器はベクトル要素間の差分絶対値の大きさに対応したパルスを発生するため、本実施の形態9のマンハッタン距離演算装置全体としては2つのベクトル間のマンハッタン距離に対応したパルスの数をカウンタ53で得ることができる。
なお同様の構造を並列的に拡張することで、入力ベクトルと膨大な数の参照ベクトルとのマッチングを同様に実行できることはいうまでもない。
このようなマンハッタン距離演算装置により、デジタル演算では非常に時間とエネルギとを要するベクトルマッチング演算を少ない消費電力で実行することができる。
特に本実施の形態9では、全ての差分絶対値演算器に同一の変動信号を投入しているため、実施の形態5で同一数列を投入する効果として説明したのと同様の効果により、カウンタ52でカウントされるパルス数の相互比較をした際、最もカウント数が低いベクトル群の中に、必ず最もマンハッタン距離が小さいベクトルが含まれることが保証される。
このように、膨大なベクトル列がある場合に、本発明のマンハッタン距離演算装置により、必ず正解が含まれるベクトル列群として大幅にその個数を削減することで、例えばその後デジタルで厳密なマンハッタン距離演算をするなどしても、総合的にはより高速で低消費なマンハッタン距離演算を実行できるものである。
なお、本実施の形態9では各差分絶対値演算器から同時に出力されるパルスのカウントのために遅延を用いたが、他の方法、例えばキャパシタへ充電するなどの手法であっても同様の機能が得られることは言うまでもない。

[実施の形態3〜9のまとめ]
以上に述べたように、本発明は、確率的パルス発生器の構成と、その動作のための変動信号、確率的パルス発生器を用いた差分絶対値演算器、さらには差分絶対値演算器を用いたベクトル間のマンハッタン距離演算器についての発明である。
まず、本発明の確率的パルス発生器は、簡便な回路構成でありながら、変動信号と入力信号をそれぞれ最適な電圧値に変換してこれらを比較器へ入力することでパルスを発生させることにより、パルスのカウント数で入力信号の大きさを確率的パルス数として得ることができるものである。このような機能によりアナログ信号をデジタル値に変換することなく、直接的に確率的なパルス数としてその大小を表現できる素子を提供できるものである。
この確率的パルス発生器のパルス発生を制御するために、テント写像カオスとベルヌーイ・シフトという写像による変動信号を用いると、入力信号と発生パルス確率とが線形的に対応するという点で特に有効であり、確率的パルス発生器の特性をさらに効果的に制御できる。特に他の複雑な制御を必要とすることなく、変動信号の変動回数を増していくだけで、入力信号の値の大きさに比例したパルス確率へと収束する機能を提供できることは、パルスのカウント数を取得した後にパルス数を相互に演算する際の計算精度が保証されるものであり、非常に有用な機能を提供するものである。
また、これら変動信号を全くのランダム信号とするか、少なくとも入力信号ごとに同じ数列を用いるかでパルスの発生数のランダム性を制御できることも示した。この制御は非常に簡単な制御でありながら、特に同じ数列を用いれば、入力信号の大小比較を行う際に、パルス数の反転が発生せず、最大パルス数の群が必ず最大の入力信号の場合を含むことを保証されることを示しており、特に差分絶対値演算やマンハッタン距離演算など、数値演算を実行し、最も値が大きいものや小さいものを抽出する演算の際に大きな効果を発揮するものである。
一方の完全にランダムな数列を用いる場合は、むしろ同じものが選ばれないことが好まれるような状況、例えば人間の感情に関する情報のベクトルマッチングなどの場合に、近いものの中からランダムに近い値やベクトルを抽出することができるものである。
またこのような確率的パルス発生器を用いた差分絶対値演算器は、2つの確率的パルス発生器とXOR論理回路という単純な構造でありながら、差分絶対値に対応したパルスを発生できるものであり、特にこの差分絶対値演算器を用いたマンハッタン距離演算装置の構成を単純化できるという点において非常に有用である。
本発明のマンハッタン距離演算装置は、現在のデジタルLSI社会において、MPEG画像圧縮や、画像認識、音声認識など、ベクトル間で最も近いものまたは遠いものを見つけるという情報処理が膨大化する状況に対し、とりあえず近いものの数を絞り込むという機能により、デジタルLSIが演算しなくてはいけない量を圧倒的に削減することができ、産業に貢献すること大なるものである。
上記説明から、当業者にとっては、本発明の多くの改良や他の実施の形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び/又は機能の詳細を実質的に変更できる。
本発明に係る確率的パルス発生器は、工業応用可能な確率的パルス発生器として有用である。
本発明に係る差分絶対値演算器は、マンハッタン距離演算装置等に用いられる差分絶対値演算器として有用である。
本発明に係るマンハッタン距離演算装置は、情報処理装置等に用いられるマンハッタン距離演算装置として有用である。
本発明に係る確率的パルス発生器の駆動方法は、工業応用可能な確率的パルス発生器の駆動方法として有用である。
本発明の実施の形態1の確率的パルス発生器の構成を示す回路図である。 図1の確率的パルス発生器の比較器の特性を示すグラフである。 図1の確率的パルス発生器のエッジ検出器の構成例を示す回路図である。 図3のエッジ検出器の動作を示すグラフである。 図5(a),(b)は図1の確率的パルス発生器の動作を示すグラフである。 図1の確率的パルス発生器のパルス発生確率を説明するための模式図である。 本発明の実施の形態1における制御ランダム信号取得の一例を説明するためのグラフである。 本発明の実施の形態1における制御ランダム信号発生関数の一例を示すグラフである。 本発明の実施の形態1における制御ランダム信号発生関数の信号発生状況を示すグラフである。 図10(a)〜(c)は本発明の実施の形態1における制御ランダム信号の発生回数と発生頻度との相関を示すグラフである。 本発明の実施の形態2の確率的パルス発生器の構成を示す回路図である。 図11の確率的パルス発生器の各部位における信号電圧の波形を示すグラフである。 第1の従来例の確率的パルスを用いた演算法の一例を示すフローチャートである。 本発明の実施の形態3の確率的パルス発生器の構成を示す回路図である。 図14の確率的パルス発生器の変動信号発生器の構成を示す回路図である。 図14の確率的パルス発生器のパルス発生状況を示すグラフである。 本発明の実施の形態3における変動信号の特性を示すグラフである。 図14の確率的パルス発生器のパルス発生確率の計算原理を説明する模式図である。 本発明の実施の形態4の確率的パルス発生器の変動信号の発生原理を示す模式図である。 図20(a),(b)は本発明の実施の形態4の確率的パルス発生器のパルス発生確率の計算原理を示す模式図である。 本発明の実施の形態4の確率的パルス発生器のパルス発生確率の厳密解を示すグラフである。 本発明の実施の形態5の確率的パルス発生器の変動信号の発生原理を示す模式図である。 図23(a),(b)は本発明の実施の形態5の確率的パルス発生器のパルス発生確率の計算原理を示す模式図である。 本発明の実施の形態5の確率的パルス発生器のパルス発生確率の厳密解を示すグラフである。 本発明の実施の形態6の確率的パルス発生器の構成例を示す回路図である。 図26(a),(b)は本発明の実施の形態6の確率的パルス発生器を構成するチョッパ型CMOSコンパレータの動作を説明するための回路図である。 図27(a),(b)は本発明の実施の形態6の確率的パルス発生器の動作を説明するための回路図である。 本発明の実施の形態6の確率的パルス発生器の動作例を示す模式図である。 本発明の実施の形態7の確率的パルス発生器のパルス発生確率の初期値制御による相違を比較して示すグラフである。 本発明の実施の形態8の差分絶対値演算器の構成例を示す回路図である。 図30の差分絶対値演算器の動作原理を示すグラフである。 図30の差分絶対値演算器の動作結果を示すグラフである。 本発明の実施の形態9のマンハッタン距離演算装置の構成例を示すブロック図である。 第2の従来例の距離演算装置の構成を示す模式図である。 第2の従来例において確率動作を発生させるロジスティックカオスを説明する模式図である。
符号の説明
1 確率的パルス発生器
3 比較器
5a,5b 電圧変換器
7 エッジ検出回路
9,52 カウンタ
11 遅延回路
13 AND回路
20 確率的パルス発生器
21 比較器
23a,23b スイッチ
30 差分絶対値演算器
31a,31b 確率的パルス発生器
32a,32b 比較器
33a〜33d 電圧変換器
35a,35b エッジ検出回路
36 XOR(排他的論理和)演算回路
37 カウンタ
41 マンハッタン距離演算装置
43(1)〜43(n) 差分絶対値演算器
45(1)〜45(n−1) 遅延回路
46 ベクトル
47(1)〜47(n) 要素に対応する信号
48 ベクトル
49(1)〜49(n) 要素に対応する信号
50,71 変動信号発生器
51 確率的パルス発生器
52a 配線
53 ローパスフィルタ
55 信号解析器
61 制御ランダム信号発生器
201 演算器
202 遅延回路
変動信号
入力信号
SW スイッチ
制御ランダム信号、変動信号
検出信号、入力電圧
パルス
out 比較器の出力

Claims (11)

  1. ランダムに変動する変動信号を発生する変動信号発生器と、一方の入力信号と他方の入力信号との大小に応じてHighまたはLowの2値信号を出力する比較器とを備え、
    前記比較器に前記変動信号発生器から前記変動信号が前記一方の入力信号として入力され、それにより、前記比較器が前記他方の入力信号の大きさに対応した数のパルスを確率的に出力し、
    前記変動信号発生器が前記変動信号としてその大きさが統計的にヒストグラムを有する制御ランダム信号を発生し、前記制御ランダム信号のヒストグラムの分布により前記パルスの統計的なヒストグラムが制御され、
    前記他方の入力信号が少なくとも周期的信号を成分に含み、
    前記制御ランダム信号は前記他方の入力信号の前記周期的信号の周波数帯域より高い周波数成分を含み、前記パルス発生器は前記周期的信号の周波数帯域より高い周波数の周波数帯域を遮断するローパスフィルタを有し、前記比較器から出力されるパルスが前記ローパスフィルタに入力される、確率的パルス発生器。
  2. 前記変動信号発生器は記憶装置を有し、前記制御ランダム信号を、前記記憶装置に記憶された所定のヒストグラムの乱数デジタルデータをデジタル/アナログ変換して発生する、請求項記載の確率的パルス発生器。
  3. 前記所定のヒストグラムの乱数デジタルデータは、逆変換法または棄却法により得られたものである、請求項記載の確率的パルス発生器。
  4. 前記変動信号が一様乱数である、請求項記載の確率的パルス発生器。
  5. 前記比較器がアナログコンパレータである、請求項1記載の確率的パルス発生器。
  6. 前記比較器がチョッパ型CMOSコンパレータである、請求項1記載の確率的パルス発生器。
  7. 前記他方の入力信号が前記チョッパ型CMOSコンパレータに入力されかつ該チョッパ型CMOSコンパレータにて保持され、その後、前記変動信号が該チョッパ型CMOSコンパレータに連続して入力される、請求項記載の確率的パルス発生器。
  8. ランダムに変動する変動信号を発生する変動信号発生器と、一方の入力信号と他方の入力信号との大小に応じてHighまたはLowの2値信号を出力する比較器とを備え、前記比較器に前記変動信号発生器から前記変動信号が前記一方の入力信号として入力され、それにより、前記比較器が前記他方の入力信号の大きさに対応した数のパルスを確率的に出力する確率的パルス発生器と、
    前記確率的パルス発生器でそれぞれ構成された第1、第2の確率的パルス発生器と、前記第1の確率的パルス発生器からの出力と前記第2の確率的パルス発生器からの出力との排他的論理和を出力する排他的論理和回路とを備え、
    前記第1の確率的パルス発生器への前記他方の入力信号及び前記変動信号がそれぞれVS1、VC1でかつ前記第1の確率的パルス発生器からの出力がV01であり、前記第2の確率的パルス発生器への前記他方の入力信号及び前記変動信号がそれぞれVS2、VC2でかつ前記第2の確率的パルス発生器からの出力がV02であるとき、
    前記変動信号VC1と前記変動信号VC2とが同一の変動信号であり、それにより、前記他方の入力信号VS1の値と前記他方の入力信号VS2の値との差分の絶対値が、前記排他的論理和からなる確率的なパルスの数として得られる、差分絶対値演算器。
  9. 前記排他的論理和からなる確率的なパルスは、前記他方の入力信号VS1の値と前記他方の入力信号VS2の値との差分の絶対値が小さいほどパルス発生確率が小さい、請求項記載の差分絶対値演算器。
  10. 前記変動信号VC1,VC2が、同じ数列を繰り返すようにして発生される、請求項記載の差分絶対値演算器。
  11. 請求項記載の差分絶対値演算器が、1つの前記変動信号発生器に複数並列に接続され、
    各々の前記差分絶対値演算器への前記他方の入力信号VS1及び前記他方の入力信号VS2として、前記差分絶対値演算器の数に対応する数の要素をそれぞれ有する2つのベクトルの各要素に対応する信号がそれぞれ入力され、それにより、前記2つのベクトルのマンハッタン距離が確率的なパルス数として得られる、マンハッタン距離演算装置。
JP2005502977A 2003-02-28 2004-03-01 確率的パルス発生器と差分絶対値演算器及びこれを用いたマンハッタン距離演算装置 Expired - Fee Related JP3929471B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2003052827 2003-02-28
JP2003052827 2003-02-28
JP2003112353 2003-04-17
JP2003112353 2003-04-17
PCT/JP2004/002480 WO2004077669A1 (ja) 2003-02-28 2004-03-01 確率的パルス発生器と差分絶対値演算器及びこれを用いたマンハッタン距離演算装置

Publications (2)

Publication Number Publication Date
JPWO2004077669A1 JPWO2004077669A1 (ja) 2006-06-08
JP3929471B2 true JP3929471B2 (ja) 2007-06-13

Family

ID=32929660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005502977A Expired - Fee Related JP3929471B2 (ja) 2003-02-28 2004-03-01 確率的パルス発生器と差分絶対値演算器及びこれを用いたマンハッタン距離演算装置

Country Status (3)

Country Link
US (1) US7449967B2 (ja)
JP (1) JP3929471B2 (ja)
WO (1) WO2004077669A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10050772B2 (en) 2016-03-17 2018-08-14 Samsung Sds Co., Ltd. Method and apparatus for generating standard pattern for data signals

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077192A1 (en) 2002-05-03 2008-03-27 Afferent Corporation System and method for neuro-stimulation
JP4600128B2 (ja) * 2005-04-12 2010-12-15 株式会社デンソー 演算回路及び画像認識装置
KR100730086B1 (ko) * 2006-07-10 2007-06-19 삼성전기주식회사 듀얼 시스템 송수신장치
ES2590280T3 (es) * 2006-08-03 2016-11-21 Tubitak Generación de números aleatorios usando caos de tiempo continuo
EP2605126A1 (en) * 2007-05-22 2013-06-19 TUBITAK-Turkiye Bilimsel ve Teknolojik ve Arastima Kurumu Method and hardware for generating random numbers using a fast oscillator and a noise source
WO2009025327A1 (ja) * 2007-08-22 2009-02-26 Osaka University ゆらぎ発振器、ゆらぎ発振システム、観測装置、及び制御システム
JP5522044B2 (ja) * 2008-08-08 2014-06-18 日本電気株式会社 クラスタリング装置、パターン判定方法、およびプログラム
US8344767B2 (en) 2010-10-14 2013-01-01 Fairchild Semiconductor Corporation Low power power-on-reset (POR) circuit
JP5900848B2 (ja) * 2011-12-23 2016-04-06 株式会社豊田中央研究所 信号再生装置及び信号再生方法
JP5771737B2 (ja) * 2012-02-17 2015-09-02 株式会社日立製作所 微小信号検出方法及びシステム
JP5916563B2 (ja) * 2012-08-23 2016-05-11 国立大学法人広島大学 連想メモリ
KR101425600B1 (ko) * 2012-11-02 2014-08-04 한국전자통신연구원 입력 시간 정보를 이용하는 난수 생성 장치 및 방법
JP6422073B2 (ja) * 2014-08-06 2018-11-14 東芝情報システム株式会社 A/d変換回路
CN105389544B (zh) * 2015-10-21 2018-04-17 深圳市汇顶科技股份有限公司 输出转换电路及指纹识别系统
US9910639B2 (en) * 2015-11-30 2018-03-06 International Business Machines Corporation Random number generation using threshold switching mechanism
US10520975B2 (en) * 2016-03-03 2019-12-31 Regents Of The University Of Minnesota Polysynchronous stochastic circuits
US10740686B2 (en) 2017-01-13 2020-08-11 Regents Of The University Of Minnesota Stochastic computation using pulse-width modulated signals
US10079548B2 (en) * 2017-01-23 2018-09-18 Dialog Semiconductor Inc. Synchronous rectifier control with adaptive minimum off-time
US10996929B2 (en) 2018-03-15 2021-05-04 Regents Of The University Of Minnesota High quality down-sampling for deterministic bit-stream computing
US10615764B1 (en) * 2018-09-10 2020-04-07 Hrl Laboratories, Llc Tunable pink noise generator with no low frequency cutoff

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5644609B2 (ja) * 1972-04-04 1981-10-21
JPS5912045B2 (ja) * 1975-03-26 1984-03-21 工業技術院長 不規則信号発生装置
FR2318430A1 (fr) * 1975-07-18 1977-02-11 Sercel Rech Const Elect Dispositif d'acquisition sur le terrain de donnees sismiques avec numeration a pesee aleatoire
JPH07105697B2 (ja) * 1986-05-12 1995-11-13 日本分光工業株式会社 疑似フオトンパルス発生装置
JPH05243922A (ja) * 1992-02-26 1993-09-21 Alps Electric Co Ltd 擬似乱数発生装置とこれを用いた光電スイッチ
JP3556318B2 (ja) * 1995-03-27 2004-08-18 株式会社ゆらぎ研究所 パルス発生回路
JP3708113B2 (ja) * 2002-07-22 2005-10-19 松下電器産業株式会社 確率的演算素子、その駆動方法及びこれを用いた認識処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10050772B2 (en) 2016-03-17 2018-08-14 Samsung Sds Co., Ltd. Method and apparatus for generating standard pattern for data signals

Also Published As

Publication number Publication date
JPWO2004077669A1 (ja) 2006-06-08
US20060155551A1 (en) 2006-07-13
US7449967B2 (en) 2008-11-11
WO2004077669A1 (ja) 2004-09-10

Similar Documents

Publication Publication Date Title
JP3929471B2 (ja) 確率的パルス発生器と差分絶対値演算器及びこれを用いたマンハッタン距離演算装置
Balavoine et al. Convergence and rate analysis of neural networks for sparse approximation
Xie et al. Time series prediction based on NARX neural networks: An advanced approach
Li et al. Time-varying system identification using an ultra-orthogonal forward regression and multiwavelet basis functions with applications to EEG
Hu et al. Fuzzy clustering data arrays with omitted observations
Concepción et al. Unveiling the dynamic behavior of fuzzy cognitive maps
Morioka et al. Connectivity-contrastive learning: Combining causal discovery and representation learning for multimodal data
Szczęsny 0.3 V 2.5 nW per channel current-mode CMOS perceptron for biomedical signal processing in amperometry
Sadeghi et al. Multi-state dependent parameter model identification and estimation for nonlinear dynamic systems
Shamsizadeh et al. Minimal intuitionistic general L-fuzzy automata
Schirmer et al. Device and time invariant features for transferable non-intrusive load monitoring
Mura Non-Markovian stochastic processes and their applications: from anomalous diffusion to time series analysis
JP4184921B2 (ja) 確率型演算素子
Yin et al. Tracking and identification of regime-switching systems using binary sensors
Cheng et al. Identification of quasi-ARX neurofuzzy model with an SVR and GA approach
Zamani et al. Separation of nonlinearly mixed sources using end-to-end deep neural networks
Bai et al. Space alternating variational estimation based sparse Bayesian learning for complex‐value sparse signal recovery using adaptive Laplace priors
Женбинг et al. Fuzzy Clustering Data Arrays with Omitted Observations
Studer et al. Marginalized continuous time Bayesian networks for network reconstruction from incomplete observations
Metzler et al. Generation of unpredictable time series by a neural network
Lee et al. Effect of the period of the Fourier series approximation for binarized neural network
Peng et al. A modified Oja–Xu MCA learning algorithm and its convergence analysis
Talaśka et al. Efficient transistor level implementation of selected fuzzy logic operators used in control systems
Li et al. Application of neural-network hybrid models in estimating the infection functions of nonlinear epidemic models
Arani et al. WLoLiMoT: a wavelet and LoLiMoT based algorithm for time series prediction

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070306

R150 Certificate of patent or registration of utility model

Ref document number: 3929471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130316

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130316

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140316

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees