TWI258715B

TWI258715B - Learning method for optimizing reference data and pattern recognition system

Info

Publication number: TWI258715B
Application number: TW094105905A
Authority: TW
Inventors: Hans Jurgen Mattausch; Tetsushi Koide; Yoshinori Shirakawa
Original assignee: Univ Hiroshima
Priority date: 2004-02-27
Filing date: 2005-02-25
Publication date: 2006-07-21
Also published as: KR100865201B1; EP1720130A4; CN100547613C; US20070003135A1; EP1720130A1; CN101546382A; WO2005083632A1; US7881525B2; KR20060118598A; CN1922632A; CN101546382B; JP3861157B2; JP2005242808A; TW200537392A

Description

1258715 (1) 九、發明說明【發明所屬之技術領域】 •本發明係有關於圖形契合（paitern matching)處理所ftt之Θ W貝料的追加並使其辨識之參照資料最佳化學習方法、使用該方法而進行參照資料之辨識、學習的圖形辨識系統。【先前技術】 • ffl形辨識系統中’圖形契合（pattern matching)處理係辨識處理中最爲重要的要素。先前的系統中，以處理器爲基礎而實現的模型是最爲一般常見。該模型中，係將輸入圖形的資料與記憶體內的複數參照資料進行逐一比較，將最類似圖形所示之參照資料加以偵測出來的手法。可是在此同時，該模型的手法中，逐一比較需要耗費很多的處理時間，且處理所需時間是和比較資料數的增加呈正比，是爲其問題。又，關於參照資料，由於是被逐一比較， ® 因此在比較順序的替換、新增參照資料之登錄時沒有學習的槪念，無法獲得學習所致之處理時間縮短之效果。圖形辨識和學習，係架構具有與人腦同等能力之人工智能系統所必需的不可欠缺之機能。因此’將這些機能在積體電路上實現，這在技術層面上是非常重要的。至目前爲止所提出之圖形辨識和學習機能的實現方法，幾乎都是使用類神經網路者。例如，下記文獻1就是其例子。〔文獻1〕岩田穆、雨宮好仁編著’ “類神經網路 (2) (2)1258715 LSI” ，電子資訊通訊學會，1 9 9 5 . 可是’使用類神經網路的方法中，各神經元的閥値和網路中的各網之比重是需要更新，而會有耗費大量處理時間的問題。又，由於沒有一個有效率地將圖形記憶在網路中的方法，因此圖形的資訊必須要被擷取至網路構造本身。甚至’在網路的學習已經結束後，爲了學習去認§载新的圖形’必須要讓網路全體重新學習，想要一邊進行認識處理一邊進行學習而更新網路的比重是有困難的。近年來使用類神經網路的硬體所致之實現方法的相關進展’係落後當初預期，從積體化或消費電路的觀點來看 ’現況下L SI化是有困難的。因此，以內建記憶體要素且可有效率地記憶圖形的更爲優異的新硬體來加以實現的方法，是被需要的。考慮以上諸事，近年來，全平行架構所致之小面積、高速聯想記憶體的開發正逐漸進行。例如，下記文獻2〜 8係有其詳細記載。〔文獻 2〕H. J. Mattausch，N. Omori，S. Fukae，T. Koide， and T. Gyoten，‘‘Fully-parallel pattern -matching engine with dynamic adaptability to Hamming or Manhattan distance’’，2002 Symposium on VLSI Circuit Dig. of Tech. Papers, pp. 252-255, 2002. 〔文獻 3〕T. Koide，Y. Yano，H. J. Mattausch，“An associative memory for real-time applications requiring fully parallel nearest Manhattan- distance-Search’’， Proc. (3) 1258715 of the Workshop on Synthesis And System Integration of Mixed Technologies, pp. 200-20 5, 2003. L 文獻 4〕H . J . M a 11 a u s c n , T . G v o h t e η , Y . Soda, T . K o i d e , “Compact associative-memory architecture with fully-parallel search capability for the minimum Hamming distance”，IEEE Journal of Solid-State Circuits, Vol. 37, pp. 218-227, 2002.

〔文獻 5〕Y· Yano，T. Koide，H. J. Mattausch， “Fully parallel nearest Manhattan-distance search memory with large reference-pattern number’’， Extend. Abst. of the International C ο n f. On Solid-State Devices and

Materials, pp. 2 5 4-25 5, 2002. 〔文獻6〕日本特願2001-011760號〔文獻7〕日本特願2002- 1 5 943 6號〔文獻8〕日本特願2002- 1 65 759號該聯想記憶體，係具有屬於辨識機能實現上很重要之要素的最小距離檢索機能，將檢索資料和各參照資料之比較，以數位所致之比較計算和類比所致之最小値計算來進行之，可使所有的資料間的比較是以平行處理來執行。因此，其是被當作能夠實現高速圖形契合處理的方式而受到囑目。可是在此同時，即使是以該聯想記憶體爲基礎的圖形辨識系統中，使其能有效辨識新的參照資料的學習所需的具體手法仍未建立，爲了追加或替換參照資料所需的處理 (4) (4)1258715 ，需要耗費大量的時間。【發明內容】如以上所述，在人工智能系統中，隨著輸入環境的變化而進行圖形辨識所需的機能是必需的，藉由學習而能進行更廣的辨識是重要的，但在先前的系統中，都是以處理器基礎或類神經網路基礎的方法來進行學習。爲了實現學習，在處理器基礎的系統中，需要更新網路全體的各網比重。因此，將圖形辨識和學習一倂進行的時候，在上述的先前系統中，從消費電力或電路規模的層面來看，會有難以積體化的問題。另一方面，雖然謀求高速契合處理之實現而提出了聯想記憶體基礎的圖形辨識系統，但使其能有效辨識新追加的參照資料的學習所需的具體手法仍未建立，參照資料的辨識、學習所需的處理需要耗費大量的時間〇本發明的目的，係提供一種參照資料最佳化學習方法、使用該方法而進行參照資料之辨識、學習的圖形辨識系統，能夠使圖形契合（pattern matching )處理所不可欠缺之新增參照資料的辨識是以較短時間自動學習。本發明所論之參照資料最佳化學習方法，具有以下的特徵。 (1 )屬於在身爲圖形檢索對象的輸入資料和複數之參照資料彼此之間，進行相當於類似度的距離演算，並將受閥値所決定之辨識領域內所存在之最小距離的參照資料 (5) (5)1258715 當成辨識資料而加以選擇時，藉由前記辨識資料的學習而將參照資料予以最佳化成前記圖形辨識用的參照資料最佳化學習方法，其特徵爲，具備：將必須做爲前記辨識資料而被選擇之參照資料所對應之輸入資料，擷取一定次數份 ;求出各輸入資料的與前記參照資料之距離分布的重心點 ;將前記參照資料的位置最佳化成位於前記重心點上的步驟。 (2 )於（1 )中，其特徵爲，前記參照資料的位置最佳化之際，係限制移動，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 (3 )於（1 )中，其特徵爲，前記參照資料的位置最佳化之際，係變更閥値而使辨識領域擴大或縮小，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 (4 )係屬於在身爲圖形檢索對象的輸入資料和複數之參照資料彼此之間，進行相當於類似度的距離演算，並將受閥値所決定之辨識領域內所存在之最小距離的參照資料當成辨識資料而加以選擇的圖形辨識中所使用，藉由前記辨識資料的學習而將參照資料予以最佳化成前記圖形辨識用的參照資料最佳化學習方法，其特徵爲：在前記參照資料的位置的最佳化之際，將位於前記辨識領域內的輸入資料數和位於領域外的輸入資料數分別加以計數；並在先到達前記一定次數之一側上，變更前記閥値而進行前記辨識領域的擴大或縮小。 -9- (6) (6)1258715 (5)於（3)或（4)中，其特徵爲，從預先設定好的機毕分布中’選擇出前記閥値的更新量。 (6 )於（3 )或（4 )中，其特徵爲，前記閥値的變更’係將表示前記輸入資料之集團中心和現在之參照資料的距離的値，和基準値進行比較，只有當超過基準値時，才實施前記閥値的變更。 (7 )於（1 )中’其特徵爲，供前記距離演算的距離的指標中，是使用了歐幾里得距離（Euclidean distance ) 、曼哈坦距離（Manhattan distance)、漢明距離（ Hamming distance)、馬哈朗諾比斯距離（M ah a 1 an o b i s distance) 之任何一者。又，本發明所論之圖形辨識系統，係具有以下特徵。 (8 ) —種圖形辨識系統，其特徵爲，具備··聯想記憶體，其係具備：參照資料記憶手段，至少記憶著用來辨識輸入圖形之檢索資料所需之複數參照資料；及最小距離檢索手段，求出與前記檢索資料呈最小距離之參照資料；及判斷手段，響應於前記最小距離是否爲閥値以上而判斷前記檢索資料與最小距離之參照資料的同一性；和最佳化手段，將必須做爲前記辨識資料而被選擇之參照資料所對應之輸入資料，擷·取一定次數份’求出各輸入貪料的與前記參照資料之距離分布的重心點’將前記參照資料的位置最佳化以使其位於前記重心點上；以前記經過最佳化的參照資料，將前記參照資料記憶手段所記億之參照資料加以更新。 -10- (7) (7)1258715 (9)於（8)中，其特徵爲，前記最佳化手段，係限制移動，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 (1 0 )於（8 )中，其特徵爲，前記最佳化手段，係變更閥値而使辨識領域擴大或縮小，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 (1 1 ) 一種圖形辨識系統，其特徵爲，具備：聯想記憶體，其係具備：參照資料記憶手段，至少記憶著用來辨識輸入圖形之檢索資料所需之複數參照資料；及最小距離檢索手段，求出與前記檢索資料呈最小距離之參照資料；及判斷手段，響應於前記最小距離是否爲閥値以上而判斷前記檢索資料與最小距離之參照資料的同一性；和最佳化手段，將位於前記閥値所決定之辨識領域內的輸入資料數與位於領域外之輸入資料數分別加以計數，並在先到達前記一定次數之一側上，變更前記閥値而進行前記辨識領域的擴大或縮小；以前記經過最佳化的參照資料，將前記參照資料記憶手段所記憶之參照資料加以更新。 (1 2 )於（1 0 )或（1 1 )中，其特徵爲，前記最佳化手段，係從預先設定好的機率分布中，選擇出前記閥値的更新量。 (1 3 )於（1 0 )或（1 1 )中，其特徵爲，前記最佳化手段，係將表示前記輸入資料之集團中心和現在之參照資料的距離的値，和基準値進行比較，只有當超過基準値時，才實施前記閥値的變更。 -11 - 1258715 (δ) (1 4 )於（8 )或（1 1 )中，其特徵爲’洪前記距離演算的距離的指標中，是使用了歐幾里得距離（ E u c 1 i d e a n d i s t a n c e )、曼哈坦距離（M a n h a 11 a n d i s t a n c e )、漢明距離（H a m m i n g d i s t a n c e )、馬哈朗諾比斯距離 (M ahala n obis distance)之任何一者。 (1 5 )於（8 )或（1 1 )中，其特徵爲’前記聯想記億體及最佳化手段，係整合至單1晶片積體電路內。 (1 6 ) —種圖形辨識系統，其特徵爲，具備：演算處理裝置，其係具備了，依照程式而執行演算處理的處理器，及至少將前記用來辨識輸入圖形之檢索資料所需之複數參照資料、前記處理器的演算處理結果、前記演算處理所用之參數加以記憶的記憶手段；且前記處理器，是藉由前記程式，而求出與前記檢索資料呈最小距離的參照資料，並響應於前記最小距離是否爲閥値以上，而判斷前記檢索資料與最小距離之參照資料的同一性；和最佳化手段；將必須做爲前記辨識資料而被選擇之參照資料所對應之輸入資料’擷取一定次數份，求出各輸入資料的與前記參照資料之距離分布的重心點，將前記參照資料的位置最佳化以使其位於前記重心點上；以前記經過最佳化的參照資料，將前記參照資料記憶手段所記憶之參照資料加以更新。 (1 7 )於（1 6 )中，其特徵爲，前記最佳化手段，係限制移動，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 (1 8 )於（1 6 )中，其特徵爲，前記最佳化手段，係 -12- 1258715 Ο) 變更閥値而使辨識領域擴大或縮小，以使得該當的辨識領域等，不會和相鄰的參照資料的辨識領 (1 9 ) 一種圖形辨識系統，其特徵爲，具備理裝置，其係具備了，依照程式而執行演算處理，及至少將前記用來辨識輸入圖形之檢索資料所參照資料、前記處理器的演算處理結果、前記演用之參數加以記憶的記憶手段；且前記處理器，記程式，而求出與前記檢索資料呈最小距離的參並響應於前記最小距離是否爲閥値以上，而判斷資料與最小距離之參照資料的同一性；和最佳化位於前記閥値所決定之辨識領域內的輸入資料數域外之輸入資料數分別加以計數，並在先到達前數之一側上，變更前記閥値而進行前記辨識領域縮小；以前記經過最佳化的參照資料，將前記參憶手段所記憶之參照資料加以更新。 (20 )於（18 )或（19 )中，其特徵爲，前手段，係從預先設定好的機率分布中，選擇出前更新量。 (2 1 )於（1 8 )或（1 9 )中，其特徵爲，前手段，係將表示前記輸入資料之集團中心和現在料的距離的値，和基準値進行比較，只有當超過，才實施前記閥値的變更。 (22)於（16)或（19)中，其特徵爲，供演算的距離的指標中，是使用了歐幾里辑參照資料域重疊。 : 演算處的處理器需之複數算處理所是藉由則照資料，前記檢索手段，將與位於領記一定次的擴大或照資料記記最佳化記閥値的記最佳化之參照資基準値時前記距離，距離（ -13- (10) 1258715

Euclidean distance ) 、曼哈坦距離（M a n h a 11 a n d i s t a n c e )、漢明距離（Hamming distance )、馬哈朗諾比斯距離 (M a h a 1 a η o b i s d i s t a n c e )之任何一者。 (23 )於（1 6 )或（1 9 )中，其特徵爲，前記演算裝置及最佳化手段，係整合至單1晶片積體電路內。【實施方式】以下將參照圖面，詳細說明用來實施本發明之最佳形 ® 態。 .適用了本發明所論方法的聯想記憶體，如圖1所示，是將預先儲存在記憶體內的複數之參照資料（亦稱爲樣版 )與輸入資料（亦稱爲檢索資料），根據預先指定的距離指標而以類似度進行比較，藉由檢索出和輸入資料最類似 (距離爲最小）的參照資料（以下稱爲「臝者」（winner ))，而進行圖形契合的機能記憶體。圖2係做爲上記聯想記憶體之一例，而朝向高速處理 ^ 、小面積、低消費電力之實現而正在開發的，進行全並列最小距離檢索型（全並列型聯想記憶體）的構成例的方塊圖。在圖中，記憶體核心部份，係以記憶體領域1 00、臝者出列增幅電路（以下稱WLA電路）200、全臝者取得電路（以下稱WTA電路）3 0 0所構成；又，做爲周邊電路而具有··列解碼器及R/W電路（Μ X W列）1 1 〇、行解碼器（R行）1 2 0、檢索資料保存電路（Μ位元X W ) 1 3 0。記憶體領域1 〇〇，係由：用來將參照資料以單元（Μ -14- (11) 1258715 位元）單位而加以保存所需之SRAM記憶胞（Cell) m形成的W X R個的單元保存電路（u S )、在各單元內計算出參照資料和檢索資料之差之絕對値（後述的曼哈坦距離）的W X R個之單元比較電路（u C )、將計算出來的距離轉換成類比電壓（或電流）的R個之字重比較電路（WC ) ^ 所構成。字重比較電路W C所生成之比較訊號C i係進入w L A 電路200，WLA電路200則將該訊號Ci藉由電路本身的 ^ 平衡而控制之，在最初階段是將各行的電壓的差增幅成最大。WLA電路200和WTA電路3 00的特徵，係面積增加的比例是對行數R呈線形Ο ( R )的小面積就能加以實現〇 WTA電路3 00係具有將WLA電路2 00所增幅過的各行的電壓輸出LAi的差，更進一步加以增幅之機能。WTA 電路3 00的輸出Mi中，是臝者行爲“1”，其他的輸者行爲的數位訊號。WLA電路200，係爲了使增幅點的臝者 -^ 行會獲得最大增幅而將內部的回饋訊號F加以使用，當送 • 返至字重比較電路WC之際，藉由使用該當 WLA電路 200所內藏之電壓追隨器電路，使得回饋能高速化。此處，上記的曼哈坦距離D，係當向量( a!，a2， .··，ai，…，aN ) ，b= ( h，b2，…，bi，···，bN )時，可以下式表示：

N D - ΣΚ " bil 1=1 -15- (12) 1258715 圖3保本發明所論之最佳化學習演算法的槪處是以將圖形的色調和形狀以2次元加以分類時示。圖3中的左上（a)中，輸入資料（八角形事先儲存的四個參照資料A、B、C、D之中，將曼哈坦距離i者的最類似圖形當作臝者而加以選的臝者係爲八角形的記號。假設此時的最小曼「鳳者距離D w丨」。右鳳者距離D w丨是在相對參照資料i而決定之辨識領域的閥値距離Dthi以下（Dwd Dthi) 係被視爲已辨識之臝者。鳳者距離D w i稱爲「辨識贏者距離d r w ’當最類似的圖形是存在於預先指定之閥値內的形就可藉由聯想記憶體而被辨識。相對於此，若 Dthi (即Dwi > Dthi )，則該輸入資料係被視爲參照資料；若輸入資料和任一參照資料都找不到視爲無法辨識。但是，在聯想記憶體中因爲係藉資料和輸入資料加以比較而檢索臝者，求出臝者 ’因此事先備妥最佳的參照資料對於有效的辨識。例如，圖3中的中央（b )處，輸入資料的分示般的時候，參照資料B所示的輸入資料集團的上是在參照資料B ’者較爲佳。又，由於「辨識臝者距離Di'Wi」係將閥値者距離D w,加以比較而判斷是否能被辨識，因此 Dthi的設定對於辨識的提升是重要的。例如，念圖，此爲例來表記號）與帶有最小擇。此時坦距離爲預先指定，則臝者」。如此時候’圖 Dwi大於不類似於類似，則由將參照距離D w i 是重要的布是如圖中心埋想 Dthi和臝最佳閥値關於閥値 -16- (13) (13)1258715

Dth,，假定對應於（類似於）某參照資料i的輸入資料是可完全（100% )辨識的閥値爲Dmaxi，則當 Dthi遠小於 Dm ax i時將會導致辨識率降低；反之，過大時有時會導致被辨識成和其他參照資料一致（圖3中的（c ) 、（ d )) 。因此，若參照資料和Dth,的領域（辨識領域）重合，則由於其重疊的比率而有可能導致錯誤進行辨識，因此必須要解除辨識領域重合。此種辨識領域重合的解除，係如圖4中的下部（c ) 所示，可藉由將參照資料錯開（C — C ’，D — D ’），或如圖5中的下部（c )所示，藉由將參照資料i之彼此的閥値Dthi予以縮小，而加以實現。如此，在聯想記憶體基礎系統中，針對爲了正確進行辨識所需之各參照資料i的閥値Dthi的最佳化所致之辨識領域的最佳化是必需的。於是本發明的.所謂最佳化學習，係指將參照資料更新成最佳者的「參照資料最佳學習」，和將各參照資料所持有的閥値更新成最佳的「辨識領域最佳學習」這兩種意思。以下將參照圖6〜圖9而詳細說明各者的學習演算法。此外，在以下的說明中，US、SB、G係分別代表參照資料、輸入資料、參照資料和輸入資料之差的向量。又，如圖6所示，聯想記憶體內部保存著的參照資料的集合設爲 US= { US】，US2，…，USi，…，USR } ( R係聯想記憶體的資料數（行數））。各參照資料係假設爲分別由 Μ位元的W字所構成。因此，U S, = C X, i，X i 2，…，X t」， …，x,w ) ( W係聯想記憶體的向量數（列數））。對於 -17- (14) (14)1258715 參封貪料USdl^i^R)，將被辨識成辨識臝者的N個輸入資料的集合定義爲SH sBu，SBu，…，SBu， …’SBi，n} (1 ‘ UN)，再將輸入資料，定義成SB,，， (y丨uk，y丨2 k，…，yi」』，…，y丨w，k) (1 ^ j ^ w)。圖7係本發明之參照資料及辨識領域之最佳化學習演算法的流程圖。首先’針對參照資料的最佳化學習演算法來說明。本演算法中所謂的最佳參照資料，係假設爲位於使某參照資料會成爲辨識臝者的全部輸入資料的重心（中心）（圖3 中的（a ))。可是，在輸入資料是隨著時間而連續輸入這類的線上辨識當中，由於一開始無法一次得知所有的輸入資料之資訊，因此一般很難獲得最佳的參照資料。於是在本發明中’根據已被視爲辨識臝者的參照資料所對應之一定次數份的輸入資料，計算他們的重心，進行參照資料的最佳化。藉由進行如此處理，則即使當有任何影響導致輸入資料的分布變得紊亂時，仍可充分對應其分布的變化依照圖7的流程圖，說明將參照資料更新成最佳的學習演算法。首先’向US輸入了輸入資料SB,，k (步驟S1 )，執行臝者的偵測（步驟S2 ) ’則U S i會成爲臝者。其次，計算出臝者距離D W 1·，k ’進行和閥値D t h i的比較（步驟S3)。比較的結果，當D w i，k $ D t h ,時，則辨識成 D r w | = D w i. k，籍由（1 )式計算出輸入貪料S B i，k和參照資料U S 1的向量差G i，k並加以記憶（步驟S 4 ) ° -18- (15) 1258715

Gi>kr:SBi?k-USi ⑴ 此處，根據已成爲N次辨識臝者（步驟S6、S7)的參照資料所對應之輸入資料，將參照資料US i藉由以下的 (2)式加以更新（步驟S8)。

1 N USi =： uSi + ~ EGi,k (2) k=l 輸入資料係在每次輸入時進行辨識，對於已成爲N • 次辨識鳳者（步驟S 6、步驟S 7 )的參照資料，G ^ k是被計算了 N次份。Gi，k係代表著輸入資料和成爲辨識臝者之參照資料之間的差到達何種程度的向量。從N次份的G ,, k 求出式（2 )的第二項，就可得知參照資料和輸入資料的重心的差有多大。若該差很大，則由式（2 )而將參照資料更新成最佳以使該差變小（步驟S 8 )。但是，差的大小判斷基準，係從N次份的輸入資料和參照資料的差所求出的距離（例如曼哈坦距離）與閥値（例如曼哈坦距離 φ )的比率。此外，式（2 )的第二項所示之大小的判斷基準係如同後述之更新處理所用的式（7 )。參照資料更新和閥値更新的程序係爲同樣的處理，當輸入資料的重心和參照資料的差是很大的時候，則將參照資料和閥値加以更新。其次說明將各參照資料US,所持有的閥値Dthi予以最佳化的學習演算法。首先，閥値的變更，係相當於辨識領域的縮小或放大。因此，必須要判斷，輸入資料是以位於辨識領域內、外 -19- (16) (16)1258715 達到多少比率而輸入的。本發明中，如圖8所示位於以虛線表示的辨識領域的內側（$ Dthi )，或外側（> CKhi ) 的輸入資料數係分別加以計數（步驟S 6、S 1 0 )，當預先指定之一定次數輸入資料是發生N次時，則將辨識領域予以縮小或擴大。此處’當某參照資料U S i成爲臝者時（步驟S 2 )，亦即臝者距離是小於閥値時，則將臝者距離視爲辨識臝者距離 Drwi，k ( 1，2，···，！<：，♦··，>〇 (步驟 S3)，並將這些輸入資料的集合視爲SBf { SBK1，SBi，2，…，sBl5k ，…，SBi，N}。另一方面，當大於閥値時，將臝者距離視爲臝者距離Dwi，k ( 1，2，…，k，…，N )，並將這些輸入資料的集合視爲 SBei= { SBel5l，SBei,2，···，SBei，k ，…，SBei，N }。這些係爲了獲得閥値的更新量Dc所需之參數。Dthi和Dwi或者DrWl的差Dgi是用以下的（3 ) 、（4 )式來求出（步驟s 1 1 ) 。d g i係表示N次份的輸入資料是距離閥値達到多遠的程度，閥値更新係使該距離變小。

[1 N

Dgi=N Σ lDthi-D^i,k| (先在辨識領域的內側被辨識N次的情形）（3) k = l -20- (5) (17) (5) (17)1258715 p(Dcj_)二----Dc-ι + - — (Dgi + 1)2 〇gi + 1 藉此可學習如下。

Dth^Dth^D^ (使閥値變大的時候）（6)

Dthj = Dthj -Dc{(使閥値變小的時候）（7)

參照資料及閥値的兩個學習中進行更新處理。目前， N

Girii = (8)

=(zil' zi2'…'zij,…，ziw) (9) 從其中求出Gmi的各次元的平均所求出的曼哈坦距離 G t丨

1 W

Gti = - Σ z±j do) 當Gti是小於閥値的時候（例如閥値的2成左右），則參照資料、閥値均不會更新。因爲，Gti係表示輸入資料的集合的中心與目前的參照資料外的曼哈坦距離、亦即新參照資料是要從現在的參照資料U S ,起移動多少，由於 Gti越小，更新量就越少，即便更新也不能期待辨識率的提升。於是，當此種更新量少的時候就避免更新，壓低更新次數，使其可進行效率良好的參照資料之最佳化。其次，說明基於上記參照資料及辨識領域之最佳化學習演算法的聯想記憶體基礎系統的架構。圖1 〇係聯想記憶體基礎之最佳化學習系統的架構之 -21 - (18) (18)1258715 方塊圖。架構係針對聯想記憶體裝置400，具備了控制電路500、學習電路600、比較電路700、資料保存電路800 、保存目標選擇電路9 0 0。聯想記憶體裝置400，係具備：進行最小距離檢索之聯想記憶體4 1 〇、將輸入資料予以暫時保存的輸入緩衝區 4 2 0、將聯想記憶體4 1 0所抽出之2進位數（只有臝者輸出爲“ 1” ’其他之位址行則輸出爲“0”）轉換成行位址的編碼器4 3 0。控制電路5 00，係控制本系統全體的處理。學習電路 6 0 0，係將決定了聯想記憶體裝置4 0 0的參照資料及辨識領域之閥値，學習成最佳値而加以更新。比較電路7 0 0，係備有：閥値比較用、更新控制用的比較器7 1 0、720。資料保存電路800，係具備第1至第4記憶體810〜840，用來保存閥値記億用、參照資料學習用、閥値縮小用、閥値擴大用之各計算結果。保存目標選擇電路900，係具備第1及第2計數器910、920，會將控制電路500及學習電路600的各處理過程中所獲得的資料，選擇其保存目的地。圖1 1係上記學習電路6 0 0的具體構成的方塊圖。該學習電路6 0 0，係具備：--輸入選擇開關6 2 1，其係將減算器601、加算器6 02、除算器6 0 3、亂數產生器604、機率分布儲存記憶體6 0 5及供各區塊60 1〜6 0 5之資料輸出入的暫存器（R E G ) 6 1 1〜6 1 5、來自輸入緩衝區4 2 0的輸入資料、來自編碼器4 3 0的臝者行位址、來自資料保存電 -22- (19) 1258715 路8 Ο 0之記憶體8 1 0〜8 4 0的資料（以下記作記億體1、記憶體2、記憶體3、記憶體4 )予以選擇性地擷取，並導出至減算器601、加算器602、除算器603;及一輸出選擇開關622，其係將被擷取至暫存器6 1 1〜6 1 5的資料，往聯想記憶體裝置400、資料保存電路8 00導出。圖1 〇及圖1 1所示之構成的架構中，其具體動作說明如下。爲了使說明簡化，假設是W = 2的參照資料的第丨行上’有USe ( 80，1 10 )是被預先儲存在聯想記憶體41〇內。首先，令閥値D t h i = 1 0是被儲存在閥値記憶用的記憶體 1內，一旦輸入資料SBi，，（ 75，1 12 )是被輸入至聯想記憶體4 1 0，則從聯想記憶體4 1 0而i行變成臝者的時候，只有第i行會輸出「1」，其他行則輸出「〇」。從聯想記憶體4 1 0，發出（〇，…，1 ’…) τ ( T表示轉置）輸入至編碼器4 3 0，從該編碼器4 3 0則輸出行位址i。一旦向學習電路6 0 0輸入i行，則將參照資料第i行 USi=(80，110)和輸入資料SBiM=(75，112)的距離，根據距離指標（例如曼哈坦距離）而加以計算出來。以減算器601來進行各次元的減算。藉由式子（1)求出：

Gi, k=SBi，k—USi (11) (12) = (75, 112) -（80, 110) = (-5, 2) (13) 從該計算結果進行補數的轉換後’使用加算器6〇2而 -23- (20) 1258715 計算出臝者距離（例如曼哈坦距離）DwiM = 7。由方値比較用的第1比較器7 1 0來比較閥値與臝者距離 > D w i，i，因此該臝者係爲辨識臝者，而在參照資用的記憶體2內記憶著G,」。又，Dw0 = DrWl;1二: 閥値縮小周的記憶體3內記憶著Dri。一旦{ SBj，2 ’，SBj,3 ’ SBi，4) = { ( 86,112 81,114) ’ （77，105) }和成爲辨識臝者的輸入資輸入達到預先決定之一定次數（N == 4 )時，則得g • ，Gi，3，Gh4}={ (6,2)，（1，4)，（·3,5)

Drwi，2，Drwi，3，Drwi，4}=(8，5，8)。參照資料的記憶體2內是記憶著G m i = ( - 1，1 3 )，閥値縮小體3內則記憶著

N Σ |Dthi^wi/k| = 12 k = l 。由於輸入了 N = 4次份，因此使用減算器6 〇 1、 602、除算器603 ’從式（1 〇 )求出Gtr=3。做爲參 Gti = 3若是被判斷爲太小的時候，不會進行學習。更新前地閥値地2成以下的時候更新量就算太小， Gti = 3是大於該値，因此會進行參照資料的最佳化領域的最佳化。藉由式（2 )，參照資料被更新成〇,3 ) + ( 80，1 10 ) = ( 80，1 13 )，閥値則藉由式（3 新成D g i = 3。以式（5 )產生DCl的方法說明如下。圖9中的時候，機率分布儲存記憶體6〇5係對Ggi = 3而預著 0·0〇〜〇·45 、 0.46〜0.71 、 0.72〜0.91 、 0.92〜1 一 24- 卜以閥則Dih丨料學習，而在 )，( 料是被 I { G i , 2 }及{ 學習用用記憶加算器更新量若假定則由於及閥値 USi=( )而更，G g i 3 先存放 .00 〇此 (21) (21)1258715 時，藉由亂數產生器604而產生0·00〜1.00的均態亂數，如圖12所示，可得：當亂數爲0.〇〇〜0.45時則DCl = 0 ，爲 0.46 〜〇·7 1 時貝〇 DCi = l，爲 0.72 〜0.9 1 時貝ij DCi = 2，爲0.9 2〜1 . 〇〇時則D c i = 3。現在，假設得到D c t = 1，則根據式（6 )而更新成D t h i = 1 0 -1 = 9。將參照資料更新學習演算法，和各參照資料所帶有之閥値更新學習演算法（辨識領域最佳化演算法），使用C 語言而在計算機上予以實現，爲了驗證其有效性而以計算機來進行模擬。其結果分別示於圖1 3、圖1 4。此處所謂的學習次數，係實際上將參照資料或閥値予以更新過的次數。圖13的模擬條件，係令R=i、W = 5、N = 4，輸入資料的偏差是使用常態分布。常態分布，係如圖1 5 A所示的機率分布，距離中心的偏差s係以 P(s) , βχρ (14) 之機率而獲得。該模擬中係令σ =3。又，爲了確認參照資料的最佳化是曾經發生過，當輸入資料的中心發生變化日寸確5忍到篸照貪料是追從該變化而變化。其方法是，旦有一定次數輸入資料被輸入，則令輸入資料的中心値在各;人兀上「加1」而逐漸使其變化。換言之，輸入資料的中心最開始爲（i 〇，i 5 )的時候，令第1次變化後爲（ 1 1，1 6 ) 〇圖14的模擬條件，係令R=l、W = 5、N = 4，輸入資料的偏差是使用常態分布和均態分布。均態分布，係如圖 -25- (15) (22) 1258715 1 5 B所示的機率分布，距離中心的偏差s係以 P⑻=-—]：__ 2 X 3σ (16) -3σ < s < 3σ 之機率而獲得。該模擬中係令σ =3。又，該模擬中並未使輸入資料發生變化。做爲表不進行最佳化的程度的指標，在圖1 3中是用灰差率’在圖1 4中則是用距離誤差率^此處的誤差率^ 係表示成 ai = [MSEj - MSEOjl MSE〇i (17) Ί Ν _ MSEi XKk-uSil k = l MSE〇i =作吨—us〇i|2p(SB〇i)dWsB〇i MSEi ’係對i行之參照資料的輸入資料的平均自乘誤差（ ^ 每達一定次數便計算一次）。M S E 0 i，係從針對理想之參照資料的所有輸入資料中所獲得之推定的平均自乘誤差，若無限地輸入輸入資料則所得的平均自乘誤差會是M S E i ’是可能產生的誤差。換言之，誤差率a i係表示了，現在的平均自乘誤差MSE1，和可能產生的誤差MSEOi之遠離程度的比率。該誤差率a i係越接近「〇」則代表參照資料越被最佳化。距離誤差係以 -26- (20) (23)1258715 aDj_ 二 |〇thj_ - D maxj_| D maxj_ 來表示。D m a x ί係使得辨識率成爲1 〇〇 %的該距離誤差率係代表著越接近「〇」則辨識佳化。又，可以得知，參照資料即使對應於布之變化仍會追從，而會成爲響應於輸入資參照資料。圖14中，輸入資料的輸入分布布和均態分布這兩種，兩種分布在學習後，使辨識率達75 %以上。此處圖14中，常態料上的距離誤差率是變大的。其理由爲，常中由於是以最佳的參照資料爲中心而輸入資閥値係大大地偏差，其結果爲使得距離誤差此外，上記實施形態中，做爲距離指標用曼哈坦距離（Manhattan distance)，但可使用歐幾里得距離（Euclidean distance) Hamming distance )、馬哈朗諾比斯距離 distance ) 〇又，上記實施形態中，雖然是針對以聯礎的圖形辨識系統來加以說明，但本發明並例如亦可適用在處理器基礎的圖形辨識系統對處理器基礎的情形的實施形態，參照圖1 圖1 6係採用了本發明之最佳化學習方礎之圖形辨識系統的構成方塊圖。圖16中閥値。因此’ 領域是越被最輸入資料的分料變化的最佳是使用常態分閥値都成了可分布的輸入資態分布之輸入料有所偏移1 率變大。的例子雖然是除此以外，亦、漢明距離（ (Mahalanobis 想記憶體爲基非侷限於此，。以下，將針 6來加以說明法的處理器基 ’ 1 〇〇〇係 c p u -27- (24) 1258715 (中央處理單元），1 1 Ο 0係記憶體’ 1 3 Ο 0係C P U 1 Ο Ο 0與記憶體ποο之間進行寫入資料、讀出資料之傳送的資料匯流排-。 CPU 1 000，係具備ALU (計算邏輯單元）1010、暫存器1 0 1 1〜1 0 1 3、控制器1 〇 2 0。控制器1 0 2 0，係根據預先登錄之程式而選擇性地命令ALU 1 0 1 0進行加減算、比較、除算等，另一方面，還控制著記憶體1 1 0 0的讀取、寫入。ALU1 010的輸出入部上分別配置著暫存器1〇1 1〜 Β 1 0 1 3做爲緩衝區。記憶體1 1〇〇，係具備：將輸入資料SBi〜SBR予以暫時存放的領域1 1 1 〇、將參照資料USi i〜USRW予以存放且可將其更新的領域1120、將閥値資料〇1111〜〇“11予以存放的領域1 1 3 0、將C P U 1 0 0 0的距離計算結果D i〜D R予以存放的領域1 140、將臝者距離Dwu〜DwR，N予以存放的領域1 1 5 〇、將臝者距離與閥値的差D g i〜D gR予以存放的領域1 160、將檢索資料與參照資料的差GK1〜GR，N予 ® 以存放的領域1 1 7 0、將被輸入至閥値內側的次數的値（第1計數器値）1〜N予以存放的領域Η 8 0、將被輸入至閥値外側的次數的値（第2計數器値）1〜Ν予以存放的領域1 1 90、將機率性的閥値更新量資料Dc予以存放的領域1 20 0 ;且藉由CPU 1 000側的控制器1 020進行讀取、寫入之控制。上記構成中，控制器1 02 0的執行程式內，是將相同於前面所述之聯想記憶體的處理藉由軟體來加以執行。亦 -28- (25) 1258715 即，在CPU 1000中，藉由對記憶體；11〇〇的畜將圖形檢索對象的輸入資料進行與複數參照畜 ’ 相當於類似度的距離演算’在閥値所決定之辨具有最小距離的參照資料當作辨識資料而加以. 此處，上記控制器1 0 2 0的執行程式中，據圖7所示的流程圖的參照資料之最佳化學習，記憶體Π 0 0內的參照資料，係經常更新成可謀求圖形辨識所需時間的縮短。如之前所述 ® 理器基礎的系統中，由於並未嵌入參照資料最致之更新處理，因此圖形辨識所需時間的縮短提升是有困難的。但是藉由嵌入了本發明的最可解決上記問題，可以實現圖形辨識所需時間識率的提升。此外，即使在上記處理器基礎的系統中，標的例子除了曼哈坦距離以外，也可利用歐幾

Euclidean distance)、漢明距離（Hamming d ^ 馬哈朗諾比斯距離（Mahalanobis distance )。〔產業上利用之可能性〕本發明係可適用於，人工智能系統、自律證系統、IDS (不當入侵偵測系統）、資料庫際網路路由器、對象辨識、電動義肢、家事協之圖形契合處理上。料交換，而料彼此之間識領域內將選擇。是嵌入有根處理。藉此最佳狀態，，先前的處佳化學習所、辨識率的佳化處理就的縮短、辨做爲距離指里得距離（ i s t a n c e ) 、機器人、認存系統、網助機器人等 -29- (26) (26)1258715 【圖式簡單說明】〔圖1〕適用了本發明所論之方法的聯想記憶體的槪念圖。〔圖2〕做爲圖1之聯想記憶體之一例的全並列型聯想記憶體之構成例的方塊圖。〔圖3〕本發明所論之最佳化學習方法的槪念圖。〔圖4〕本發明所論之最佳化學習方法的槪念圖。〔圖5〕本發明所論之最佳化學習方法的槪念圖。〔圖6〕本發明所適用之聯想記憶體的參照資料和輸入資料的對應關係的圖示。〔圖7〕本發明所論之參照資料及辨識領域之最佳化學習演算法的流程圖。〔圖8〕爲了說明圖7之閥値最佳化學習演算法的辨識領域之縮小及擴大之樣子的槪念圖。〔圖9〕本發明所論之閥値的更新量之選擇的表示機率分布的特性圖。〔圖1 〇〕本發明所論之附加有學習機能的聯想記憶體的架構之方塊圖。〔圖1 1〕圖1 0所示之學習電路的具體構成的方塊圖 0 〔圖1 2〕圖1 1所示的機率分布儲存記憶體爲D g i二3 時所發生之亂數選擇之一例的槪念圖。〔圖1 3〕針對本發明所論之參照資料最佳學習的模擬結果的圖表。 -30- (27) 1258715 〔圖1 4〕針對本發明所論之閥値之最佳化學習（辨識領域最佳化）的模擬結果的圖表。 ' 〔圖1 5〕圖1 5 A係圖1 3的模擬所使用之輸入資料的偏差的樣子的常態分布的波形圖。圖1 5 B係圖1 3、圖1 4 的模擬所使用之輸入資料的偏差的樣子的均態分布的波形圖。〔圖1 6〕採用本發明之最佳化學習方法的處理器基礎之圖形辨識系統的構成之方塊圖。【主要元件符號說明】 100 記憶體領域 1000 CPU 10 10 ALU 1 0 1 1 〜1 0 1 3 暫存器 1020 控制器 1100 記憶體 13 00 資料匯流排 200 W L A電路 300 WTA電路 400 聯想記憶體裝置 4 10 聯想記憶體 420 輸入緩衝區 430 編碼器 500 控制電路 -31 - (28)1258715 600 學 60 1 減 602 加 603 除 604 亂 605 機 6 1 1 〜6 1 5 暫 6 2 1 輸 622 輸 700 比 7 10 第 720 比 800 資 8 1 0 〜840 記 900 保 9 10 第 920 第

習電路算器算器算器數產生器率分布儲存記憶體存器入選擇開關出選擇開關較電路 1比較器較器料保存電路憶體存目標選擇電路 1計數器 2計數器 -32-

Claims

1258715 (1) 十、申請專利範圍 1.一種參照資料最佳化學習方法，係屬於在身爲圖形檢索對象的輸入資料和複數之參照資料彼此之間，進行相當於類似度的距離演算，並將受閥値所決定之辨識領域內所存在之最小距離的參照資料當成辨識資料而加以選擇的圖形辨識中所使用，藉由前記辨識資料的學習而將參照資料予以最佳化成前記圖形辨識用的參照資料最佳化學習方法，其特徵爲，具備：將必須做爲前記辨識資料而被選擇之參照資料所對應之輸入資料，擷取一定次數份的步驟；和求出各輸入資料的與前記參照資料之距離分布的重心點的步驟；和將前記參照資料的位置最佳化成位於前記重心點上的步驟 ° 2 .如申請專利範圍第1項所記載之參照資料最佳化學習方法，其中，前記參照資料的位置最佳化步驟，係限制移動，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 3 .如申請專利範圍第1項所記載之參照資料最佳化學習方法，其中，前記參照資料的位置最佳化步驟，係變更閥値而使辨識領域擴大或縮小，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 4.如申請專利範圍第3項所記載之參照資料最佳化學習方法，其中，前記參照資料的位置最佳化步驟，係從預 -33- (2) (2)1258715 先設定好的機率分布中，選擇出前記閥値的變更量。 5. 如申請專利範圍第3項所記載之參照資料最佳化學習方法，其中，前記參照資料的位置最佳化步驟，係將表示前記輸入資料之集團中心和現在之參照資料的距離的値，和基準値進行比較，只有當超過基準値時，才實施前記閥値的變更。 6. 如申請專利範圍第1項所記載之參照資料最佳化學習方法，其中，供前記距離演算的距離的指標中，是使用了歐幾里得距離（Euclidean distance)、曼哈坦距離（ Manhattan distance )、漢明距離（Hamming distance)、馬哈朗諾比斯距離（Mahalanobis distance)之任何一者。 7 . —種參照資料最佳化學習方法，係屬於在身爲圖形檢索對象的輸入資料和複數之參照資料彼此之間，進行相當於類似度的距離演算，並將受閥値所決定之辨識領域內所存在之最小距離的參照資料當成辨識資料而加以選擇的圖形辨識中所使用，藉由前記辨識資料的學習而將參照資料予以最佳化成前記圖形辨識用的參照資料最佳化學習方法，其特徵爲，具備·《將位於前記辨識領域內的輸入資料數和位於領域外的輸入資料數分別加以計數的步驟；和判別前記辨識領域內外各別之輸入資料數之中先到達前記一定次數的一側的步驟；和在先到達前記一定次數之一側上，變更前記閥値而進行前記辨識領域的擴大或縮小，而將前記參照資料的位置 -34- (3) (3)1258715 予以最佳化之步驟。 8 .如申請專利範圍第7項所記載之參照資料最佳化學習方法，其中，前記參照資料的位置最佳化步驟，係從預先設定好的機率分布中，選擇出前記閥値的變更量。 9 .如申請專利範圍第8項所記載之參照資料最佳化學習方法，其中，前記參照資料的位置最佳化步驟，係將表示前記輸入資料之集團中心和現在之參照資料的距離的値，和基準値進行比較，只有當超過基準値時，才實施前記閥値的變更。 1 0 .如申請專利範圍第7項所記載之參照資料最佳化學習方法，其中，供前記距離演算的距離的指標中，是使用了歐幾里得距離（Euclidean distance )、曼哈坦距離（ Manhattan distance ) 、漢明距離(Hamming distance) 、馬哈朗諾比斯距離（Mahalanobis distance)之任何一者。 1 1 . 一種圖形辨識系統，其特徵爲，具備：聯想記憶體，其係具備：參照資料記憶手段，至少記憶著用來辨識輸入圖形之檢索資料所需之複數參照資料；及最小距離檢索手段，求出與前記檢索資料呈最小距離之參照資料；及判斷手段，響應於前記最小距離是否爲閥値以上而判斷前記檢索資料與最小距離之參照資料的同一性 •’和最佳化手段，將必須做爲前記辨識資料而被選擇之參照資料所對應之輸入資料，擷取一定次數份，求出各輸入資料的與前記參照資料之距離分布的重心點，將前記參照 -35- (4) (4)!258715 資料的位置最佳化以使其位於前記重心點上；以前s3經過最佳化的穸照食料’將前記參照資料胃p f章手段所記憶之參照資料加以更新。 1 2 ·如申請專利範圍第1 1項所記載之圖髟辨識系統，其中’則s5最佳化手段’係限制移動’以使得該當參照薈料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊〇 1 3 ·如申請專利範圍第1 i項所記載之圖形辨識系統，其中’前記最佳化手段，係變更閥値而使辨識領域擴大或縮小，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 1 4 ·如申請專利範圍第1 1項所記載之圖形辨識系統，其中，前記最佳化手段，係從預先設定好的機率分布中，選擇出前記閥値的變更量。 1 5 .如申請專利朝圍弟1 1項所g己載之圖形辨識系統，其中，前記最佳化手段，係將表示前記輸入資料之集團中心和現在之參照資料的距離的値，和基準値進行比較，只有當超過基準値時，才實施前記閥値的變更。 1 6 ·如申請專利範圍第1 1項所記載之圖形辨識系統，其中，供前記距離演算的距離的指標中，是使用了歐幾里得距離（Euclidean distance)、曼哈坦距離（Manhattan distance )、漢明距離（H a m m i n g d i s t a n c e )、馬哈朗諾比斯距離（M a h a 1 a η o b i s d i s t a n c e )之任何一者。 1 7 .如申請專利範圍第1 1項所記載之圖形辨識系統， -36- (5) (5)1258715 其中，前記聯想記億體及最佳化手段，係整合至單1晶片積體電路內。 18.—種圖形辨識系統，其特徵爲，具備：聯想記憶體，其係具備：參照資料記憶手段，至少記憶著用來辨識輸入圖形之檢索資料所需之複數參照資料；及最小距離檢索手段，求出與前記檢索資料呈最小距離之參照資料；及判斷手段，響應於前記最小距離是否爲閥値以上而判斷前記檢索資料與最小距離之參照資料的同一性 ;和最佳化手段，將位於前記閥値所決定之辨識領域內的輸入資料數與位於領域外之輸入資料數分別加以計數，並在先到達前記一定次數之一側上，變更前記閥値而進行前記辨識領域的擴大或縮小；以前記經過最佳化的參照資料，將前記參照資料記憶手段所記憶之參照資料加以更新。 1 9 .如申請專利範圍第1 8項所記載之圖形辨識系統，其中，前記最佳化手段，係從預先設定好的機率分布中，選擇出前記閥値的變更量。 20.如申請專利範圍第1 8項所記載之圖形辨識系統，其中，前記最佳化手段，係將表示前記輸入資料之集團中心和現在之參照資料的距離的値，和基準値進行比較，只有當超過基準値時，才實施前記閥値的變更。 2 1 .如申請專利範圍第1 8項所記載之圖形辨識系統，其中，供前記距離演算的距離的指標中，是使用了歐幾里 -37- (6) (6)1258715 得距離（E u c 1 i d e a n d i s t a n c e )、曼哈坦距離（M a n h a Π a n d i s t a n c e )、漢明距離（H a m m i n g d i s t a n c e )、馬哈朗諾比斯距離（M a h a 1 a η o b i s d i s t a n c e )之任何一者。 22 .如申請專利範圍第1 8項所記載之圖形辨識系統，其中，前記聯想記憶體及最佳化手段，係整合至單1晶片積體電路內。 2 3.—種圖形辨識系統，其特徵爲，具備：演算處理裝置，其係具備了，依照程式而執行演算處理的處理器，及至少將前記用來辨識輸入圖形之檢索資料所需之複數參照資料、前記處理器的演算處理結果、前記演算處理所用之參數加以記憶的記憶手段；且前記處理器，是藉由前記程式，而求出與前記檢索資料呈最小距離的參照資料，並響應於前記最小距離是否爲閥値以上，而判斷前記檢索資料與最小距離之參照資料的同一性；和最佳化手段；將必須做爲前記辨識資料而被選擇之參照資料所對應之輸入資料，擷取一定次數份，求出各輸入資料的與前記參照資料之距離分布的重心點，將前記參照資料的位置最佳化以使其位於前記重心點上；以前記經過最佳化的參照資料，將前記參照資料記憶手段所記憶之參照資料加以更新。 24 .如申請專利範圍第2 3項所記載之圖形辨識系統，其中，前記最佳化手段，係限制移動，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊 -38- (7) (7)1258715 ϋ 2 5 .如申請專利範圍第2 3項所記載之圖髟辨識系統，其中，前記最佳化手段，係變更閥値而使辨識領域擴大或縮小，以使得該當參照資料的辨識領域等，不會和相鄰的參照資料的辨識領域重疊。 2 6 ·如申請專利範圍第2 5項所記載之圖形辨識系統，其中，前記最佳化手段，係從預先設定好的機率分布中，選擇出前記閥値的變更量。 27.如申請專利範圍第25項所記載之圖形辨識系統，其中，前記最佳化手段，係將表示前記輸入資料之集團中心和現在之參照資料的距離的値，和基準値進行比較，只有當超過基準値時，才實施前記閥値的變更。 2 8.如申請專利範圍第23項所記載之圖形辨識系統，其中，供前記距離演算的距離的指標中，是使用了歐幾里得距離（Euclidean distance)、曼哈坦距離（Manhattan distance)、漢明距離（Hamming distance)、馬哈朗諾比斯距離（Mahalanobis distance)之任何一者。 29·如申請專利範圍第23項所記載之圖形辨識系統，其中，前記演算處理裝置及最佳化手段，係整合至單1晶片積體電路內。 3 〇 . —種圖形辨識系統，其特徵爲，具備：演算處理裝置，其係具備了，依照程式而執行演算處理的處理器，及至少將前記用來辨識輸入圖形之檢索資料所需之複數參照資料、前記處理器的演算處理結果 -39- (8) (8)

1258715 、前記演算處理所用之參數加以記憶的記憶處理器，是藉由前記程式，而求出與前記檢距離的參照資料，並響應於前記最小距離是，而判斷前記檢索資料與最小距離之參照資和最佳化手段，將位於前記閥値所決定之輸入資料數與位於領域外之輸入資料數分別在先到達前記一定次數之一側上，變更前記記辨識領域的擴大或縮小；以前記經過最佳化的參照資料，將前記手段所記憶之參照資料加以更新。 3 1 ·如申請專利範圍第3 0項所記載之圖其中，前記最佳化手段，係從預先設定好的ί 選擇出前記閥値的變更量。 3 2 ·如申請專利範圍第3 0項所記載之圖$ 其中，前記最佳化手段，係將表示前記輸入1 心和現在之參照資料的距離的値，和基準値免有當超過基準値時，才實施前記閥値的變更。 3 3 ·如申請專利範圍第3 0項所記載之圖其中，供前記距離演算的距離的指標中，是fi 得距離（Euclidean distance )、曼哈坦距離 distance)、漢明距離（Hamming distance) 比斯距離（M a h a 1 a η o b i s d i s t a n c e )之任何一者 3 4 ·如申請專利範圍第3 0項所記載之圖形段；且前記資料呈最小爲閥値以上的同一性；識領域內的以計數，並値而進行前照資料記憶辨識系統，率分布中，辨識系統，料之集團中行比較，只辨識系統，用了歐幾里 (Manhattan 、馬哈朗諾〇辨識系統， -40- (9) 1258715 其中，前記演算裝置及最佳化手段，係整合至單1晶片積體電路內。

-41 -