TWI258715B - Learning method for optimizing reference data and pattern recognition system - Google Patents
Learning method for optimizing reference data and pattern recognition system Download PDFInfo
- Publication number
- TWI258715B TWI258715B TW094105905A TW94105905A TWI258715B TW I258715 B TWI258715 B TW I258715B TW 094105905 A TW094105905 A TW 094105905A TW 94105905 A TW94105905 A TW 94105905A TW I258715 B TWI258715 B TW I258715B
- Authority
- TW
- Taiwan
- Prior art keywords
- distance
- data
- recording
- identification
- reference data
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Description
1258715 (1) 九、發明說明 【發明所屬之技術領域】 •本發明係有關於圖形契合(paitern matching)處理 所ftt之Θ W貝料的追加並使其辨識之參照資料最佳化學習 方法、使用該方法而進行參照資料之辨識、學習的圖形辨 識系統。 【先前技術】 • ffl形辨識系統中’圖形契合(pattern matching)處 理係辨識處理中最爲重要的要素。先前的系統中,以處理 器爲基礎而實現的模型是最爲一般常見。該模型中,係將 輸入圖形的資料與記憶體內的複數參照資料進行逐一比較 ,將最類似圖形所示之參照資料加以偵測出來的手法。可 是在此同時,該模型的手法中,逐一比較需要耗費很多的 處理時間,且處理所需時間是和比較資料數的增加呈正比 ,是爲其問題。又,關於參照資料,由於是被逐一比較, ® 因此在比較順序的替換、新增參照資料之登錄時沒有學習 的槪念,無法獲得學習所致之處理時間縮短之效果。 圖形辨識和學習,係架構具有與人腦同等能力之人工 智能系統所必需的不可欠缺之機能。因此’將這些機能在 積體電路上實現,這在技術層面上是非常重要的。至目前 爲止所提出之圖形辨識和學習機能的實現方法,幾乎都是 使用類神經網路者。例如,下記文獻1就是其例子。 〔文獻1〕岩田穆、雨宮好仁編著’ “類神經網路 (2) (2)1258715 LSI” ,電子資訊通訊學會,1 9 9 5 . 可是’使用類神經網路的方法中,各神經元的閥値和 網路中的各網之比重是需要更新,而會有耗費大量處理時 間的問題。又,由於沒有一個有效率地將圖形記憶在網路 中的方法,因此圖形的資訊必須要被擷取至網路構造本身 。甚至’在網路的學習已經結束後,爲了學習去認§载新的 圖形’必須要讓網路全體重新學習,想要一邊進行認識處 理一邊進行學習而更新網路的比重是有困難的。 近年來使用類神經網路的硬體所致之實現方法的相關 進展’係落後當初預期,從積體化或消費電路的觀點來看 ’現況下L SI化是有困難的。因此,以內建記憶體要素且 可有效率地記憶圖形的更爲優異的新硬體來加以實現的方 法,是被需要的。 考慮以上諸事,近年來,全平行架構所致之小面積、 高速聯想記憶體的開發正逐漸進行。例如,下記文獻2〜 8係有其詳細記載。 〔文獻 2〕H. J. Mattausch,N. Omori,S. Fukae,T. Koide, and T. Gyoten,‘‘Fully-parallel pattern -matching engine with dynamic adaptability to Hamming or Manhattan distance’’,2002 Symposium on VLSI Circuit Dig. of Tech. Papers, pp. 252-255, 2002. 〔文獻 3〕T. Koide,Y. Yano,H. J. Mattausch,“An associative memory for real-time applications requiring fully parallel nearest Manhattan- distance-Search’’, Proc. (3) 1258715 of the Workshop on Synthesis And System Integration of Mixed Technologies, pp. 200-20 5, 2003. L 文獻 4〕H . J . M a 11 a u s c n , T . G v o h t e η , Y . Soda, T . K o i d e , “Compact associative-memory architecture with fully-parallel search capability for the minimum Hamming distance”,IEEE Journal of Solid-State Circuits, Vol. 37, pp. 218-227, 2002.
〔文獻 5〕Y· Yano,T. Koide,H. J. Mattausch, “Fully parallel nearest Manhattan-distance search memory with large reference-pattern number’’, Extend. Abst. of the International C ο n f. On Solid-State Devices and
Materials, pp. 2 5 4-25 5, 2002. 〔文獻6〕日本特願2001-011760號 〔文獻7〕日本特願2002- 1 5 943 6號 〔文獻8〕日本特願2002- 1 65 759號 該聯想記憶體,係具有屬於辨識機能實現上很重要之 要素的最小距離檢索機能,將檢索資料和各參照資料之比 較,以數位所致之比較計算和類比所致之最小値計算來進 行之,可使所有的資料間的比較是以平行處理來執行。因 此,其是被當作能夠實現高速圖形契合處理的方式而受到 囑目。 可是在此同時,即使是以該聯想記憶體爲基礎的圖形 辨識系統中,使其能有效辨識新的參照資料的學習所需的 具體手法仍未建立,爲了追加或替換參照資料所需的處理 (4) (4)1258715 ,需要耗費大量的時間。 【發明內容】 如以上所述,在人工智能系統中,隨著輸入環境的變 化而進行圖形辨識所需的機能是必需的,藉由學習而能進 行更廣的辨識是重要的,但在先前的系統中,都是以處理 器基礎或類神經網路基礎的方法來進行學習。爲了實現學 習,在處理器基礎的系統中,需要更新網路全體的各網比 重。因此,將圖形辨識和學習一倂進行的時候,在上述的 先前系統中,從消費電力或電路規模的層面來看,會有難 以積體化的問題。另一方面,雖然謀求高速契合處理之實 現而提出了聯想記憶體基礎的圖形辨識系統,但使其能有 效辨識新追加的參照資料的學習所需的具體手法仍未建立 ,參照資料的辨識、學習所需的處理需要耗費大量的時間 〇 本發明的目的,係提供一種參照資料最佳化學習方法 、使用該方法而進行參照資料之辨識、學習的圖形辨識系 統,能夠使圖形契合(pattern matching )處理所不可欠 缺之新增參照資料的辨識是以較短時間自動學習。 本發明所論之參照資料最佳化學習方法,具有以下的 特徵。 (1 )屬於在身爲圖形檢索對象的輸入資料和複數之 參照資料彼此之間,進行相當於類似度的距離演算,並將 受閥値所決定之辨識領域內所存在之最小距離的參照資料 (5) (5)1258715 當成辨識資料而加以選擇時,藉由前記辨識資料的學習而 將參照資料予以最佳化成前記圖形辨識用的參照資料最佳 化學習方法,其特徵爲,具備:將必須做爲前記辨識資料 而被選擇之參照資料所對應之輸入資料,擷取一定次數份 ;求出各輸入資料的與前記參照資料之距離分布的重心點 ;將前記參照資料的位置最佳化成位於前記重心點上的步 驟。 (2 )於(1 )中,其特徵爲,前記參照資料的位置最 佳化之際,係限制移動,以使得該當參照資料的辨識領域 等,不會和相鄰的參照資料的辨識領域重疊。 (3 )於(1 )中,其特徵爲,前記參照資料的位置最 佳化之際,係變更閥値而使辨識領域擴大或縮小,以使得 該當參照資料的辨識領域等,不會和相鄰的參照資料的辨 識領域重疊。 (4 )係屬於在身爲圖形檢索對象的輸入資料和複數 之參照資料彼此之間,進行相當於類似度的距離演算,並 將受閥値所決定之辨識領域內所存在之最小距離的參照資 料當成辨識資料而加以選擇的圖形辨識中所使用,藉由前 記辨識資料的學習而將參照資料予以最佳化成前記圖形辨 識用的參照資料最佳化學習方法,其特徵爲:在前記參照 資料的位置的最佳化之際,將位於前記辨識領域內的輸入 資料數和位於領域外的輸入資料數分別加以計數;並在先 到達前記一定次數之一側上,變更前記閥値而進行前記辨 識領域的擴大或縮小。 -9- (6) (6)1258715 (5)於(3)或(4)中,其特徵爲,從預先設定好 的機毕分布中’選擇出前記閥値的更新量。 (6 )於(3 )或(4 )中,其特徵爲,前記閥値的變 更’係將表示前記輸入資料之集團中心和現在之參照資料 的距離的値,和基準値進行比較,只有當超過基準値時, 才實施前記閥値的變更。 (7 )於(1 )中’其特徵爲,供前記距離演算的距離 的指標中,是使用了歐幾里得距離(Euclidean distance ) 、曼哈坦距離 (Manhattan distance)、漢明距離 ( Hamming distance)、馬哈朗諾比斯距離(M ah a 1 an o b i s distance) 之任何一者。 又,本發明所論之圖形辨識系統,係具有以下特徵。 (8 ) —種圖形辨識系統,其特徵爲,具備··聯想記 憶體,其係具備:參照資料記憶手段,至少記憶著用來辨 識輸入圖形之檢索資料所需之複數參照資料;及最小距離 檢索手段,求出與前記檢索資料呈最小距離之參照資料; 及判斷手段,響應於前記最小距離是否爲閥値以上而判斷 前記檢索資料與最小距離之參照資料的同一性;和最佳化 手段,將必須做爲前記辨識資料而被選擇之參照資料所對 應之輸入資料,擷·取一定次數份’求出各輸入貪料的與前 記參照資料之距離分布的重心點’將前記參照資料的位置 最佳化以使其位於前記重心點上;以前記經過最佳化的參 照資料,將前記參照資料記憶手段所記億之參照資料加以 更新。 -10- (7) (7)1258715 (9)於(8)中,其特徵爲,前記最佳化手段,係限 制移動,以使得該當參照資料的辨識領域等,不會和相鄰 的參照資料的辨識領域重疊。 (1 0 )於(8 )中,其特徵爲,前記最佳化手段,係 變更閥値而使辨識領域擴大或縮小,以使得該當參照資料 的辨識領域等,不會和相鄰的參照資料的辨識領域重疊。 (1 1 ) 一種圖形辨識系統,其特徵爲,具備:聯想記 憶體,其係具備:參照資料記憶手段,至少記憶著用來辨 識輸入圖形之檢索資料所需之複數參照資料;及最小距離 檢索手段,求出與前記檢索資料呈最小距離之參照資料; 及判斷手段,響應於前記最小距離是否爲閥値以上而判斷 前記檢索資料與最小距離之參照資料的同一性;和最佳化 手段,將位於前記閥値所決定之辨識領域內的輸入資料數 與位於領域外之輸入資料數分別加以計數,並在先到達前 記一定次數之一側上,變更前記閥値而進行前記辨識領域 的擴大或縮小;以前記經過最佳化的參照資料,將前記參 照資料記憶手段所記憶之參照資料加以更新。 (1 2 )於(1 0 )或(1 1 )中,其特徵爲,前記最佳化 手段,係從預先設定好的機率分布中,選擇出前記閥値的 更新量。 (1 3 )於(1 0 )或(1 1 )中,其特徵爲,前記最佳化 手段,係將表示前記輸入資料之集團中心和現在之參照資 料的距離的値,和基準値進行比較,只有當超過基準値時 ,才實施前記閥値的變更。 -11 - 1258715 (δ) (1 4 )於(8 )或(1 1 )中,其特徵爲’洪前記距離 演算的距離的指標中,是使用了歐幾里得距離( E u c 1 i d e a n d i s t a n c e )、曼哈坦距離(M a n h a 11 a n d i s t a n c e )、漢明距離(H a m m i n g d i s t a n c e )、馬哈朗諾比斯距離 (M ahala n obis distance)之任何一者。 (1 5 )於(8 )或(1 1 )中,其特徵爲’前記聯想記 億體及最佳化手段,係整合至單1晶片積體電路內。 (1 6 ) —種圖形辨識系統,其特徵爲,具備:演算處 理裝置,其係具備了,依照程式而執行演算處理的處理器 ,及至少將前記用來辨識輸入圖形之檢索資料所需之複數 參照資料、前記處理器的演算處理結果、前記演算處理所 用之參數加以記憶的記憶手段;且前記處理器,是藉由前 記程式,而求出與前記檢索資料呈最小距離的參照資料, 並響應於前記最小距離是否爲閥値以上,而判斷前記檢索 資料與最小距離之參照資料的同一性;和最佳化手段;將 必須做爲前記辨識資料而被選擇之參照資料所對應之輸入 資料’擷取一定次數份,求出各輸入資料的與前記參照資 料之距離分布的重心點,將前記參照資料的位置最佳化以 使其位於前記重心點上;以前記經過最佳化的參照資料, 將前記參照資料記憶手段所記憶之參照資料加以更新。 (1 7 )於(1 6 )中,其特徵爲,前記最佳化手段,係 限制移動,以使得該當參照資料的辨識領域等,不會和相 鄰的參照資料的辨識領域重疊。 (1 8 )於(1 6 )中,其特徵爲,前記最佳化手段,係 -12- 1258715 Ο) 變更閥値而使辨識領域擴大或縮小,以使得該當 的辨識領域等,不會和相鄰的參照資料的辨識領 (1 9 ) 一種圖形辨識系統,其特徵爲,具備 理裝置,其係具備了,依照程式而執行演算處理 ,及至少將前記用來辨識輸入圖形之檢索資料所 參照資料、前記處理器的演算處理結果、前記演 用之參數加以記憶的記憶手段;且前記處理器, 記程式,而求出與前記檢索資料呈最小距離的參 並響應於前記最小距離是否爲閥値以上,而判斷 資料與最小距離之參照資料的同一性;和最佳化 位於前記閥値所決定之辨識領域內的輸入資料數 域外之輸入資料數分別加以計數,並在先到達前 數之一側上,變更前記閥値而進行前記辨識領域 縮小;以前記經過最佳化的參照資料,將前記參 憶手段所記憶之參照資料加以更新。 (20 )於(18 )或(19 )中,其特徵爲,前 手段,係從預先設定好的機率分布中,選擇出前 更新量。 (2 1 )於(1 8 )或(1 9 )中,其特徵爲,前 手段,係將表示前記輸入資料之集團中心和現在 料的距離的値,和基準値進行比較,只有當超過 ,才實施前記閥値的變更。 (22)於(16)或(19)中,其特徵爲,供 演算的距離的指標中,是使用了歐幾里辑 參照資料 域重疊。 : 演算處 的處理器 需之複數 算處理所 是藉由則 照資料, 前記檢索 手段,將 與位於領 記一定次 的擴大或 照資料記 記最佳化 記閥値的 記最佳化 之參照資 基準値時 前記距離 ,距離( -13- (10) 1258715
Euclidean distance ) 、曼哈坦距離(M a n h a 11 a n d i s t a n c e )、漢明距離(Hamming distance )、馬哈朗諾比斯距離 (M a h a 1 a η o b i s d i s t a n c e )之任何一者。 (23 )於(1 6 )或(1 9 )中,其特徵爲,前記演算裝 置及最佳化手段,係整合至單1晶片積體電路內。 【實施方式】 以下將參照圖面,詳細說明用來實施本發明之最佳形 ® 態。 .適用了本發明所論方法的聯想記憶體,如圖1所示, 是將預先儲存在記憶體內的複數之參照資料(亦稱爲樣版 )與輸入資料(亦稱爲檢索資料),根據預先指定的距離 指標而以類似度進行比較,藉由檢索出和輸入資料最類似 (距離爲最小)的參照資料(以下稱爲「臝者」(winner )),而進行圖形契合的機能記憶體。 圖2係做爲上記聯想記憶體之一例,而朝向高速處理 ^ 、小面積、低消費電力之實現而正在開發的,進行全並列 最小距離檢索型(全並列型聯想記憶體)的構成例的方塊 圖。在圖中,記憶體核心部份,係以記憶體領域1 00、臝 者出列增幅電路(以下稱WLA電路)200、全臝者取得電 路(以下稱WTA電路)3 0 0所構成;又,做爲周邊電路 而具有··列解碼器及R/W電路(Μ X W列)1 1 〇、行解碼 器(R行)1 2 0、檢索資料保存電路(Μ位元X W ) 1 3 0。 記憶體領域1 〇 〇,係由:用來將參照資料以單元(Μ -14- (11) 1258715 位元)單位而加以保存所需之SRAM記憶胞(Cell) m形 成的W X R個的單元保存電路(u S )、在各單元內計算出 參照資料和檢索資料之差之絕對値(後述的曼哈坦距離) 的W X R個之單元比較電路(u C )、將計算出來的距離轉 換成類比電壓(或電流)的R個之字重比較電路(WC ) ^ 所構成。 字重比較電路W C所生成之比較訊號C i係進入w L A 電路200,WLA電路200則將該訊號Ci藉由電路本身的 ^ 平衡而控制之,在最初階段是將各行的電壓的差增幅成最 大。WLA電路200和WTA電路3 00的特徵,係面積增加 的比例是對行數R呈線形Ο ( R )的小面積就能加以實現 〇 WTA電路3 00係具有將WLA電路2 00所增幅過的各 行的電壓輸出LAi的差,更進一步加以增幅之機能。WTA 電路3 00的輸出Mi中,是臝者行爲“1”,其他的輸者行爲 的數位訊號。WLA電路200,係爲了使增幅點的臝者 -^ 行會獲得最大增幅而將內部的回饋訊號F加以使用,當送 • 返至字重比較電路WC之際,藉由使用該當 WLA電路 200所內藏之電壓追隨器電路,使得回饋能高速化。 此處,上記的曼哈坦距離D,係當向量( a!,a2, .··,ai,…,aN ) ,b= ( h,b2,…,bi,···,bN )時, 可以下式表示:
N D - ΣΚ " bil 1=1 -15- (12) 1258715 圖3保本發明所論之最佳化學習演算法的槪 處是以將圖形的色調和形狀以2次元加以分類時 示。圖3中的左上(a)中,輸入資料(八角形 事先儲存的四個參照資料A、B、C、D之中,將 曼哈坦距離i者的最類似圖形當作臝者而加以選 的臝者係爲八角形的記號。假設此時的最小曼 「鳳者距離D w丨」。 右鳳者距離D w丨是在相對參照資料i而決定 之辨識領域的閥値距離Dthi以下(Dwd Dthi) 係被視爲已辨識之臝者。 鳳者距離D w i稱爲「辨識贏者距離d r w ’當最類似的圖形是存在於預先指定之閥値內的 形就可藉由聯想記憶體而被辨識。相對於此,若 Dthi (即Dwi > Dthi ),則該輸入資料係被視爲 參照資料;若輸入資料和任一參照資料都找不到 視爲無法辨識。但是,在聯想記憶體中因爲係藉 資料和輸入資料加以比較而檢索臝者,求出臝者 ’因此事先備妥最佳的參照資料對於有效的辨識 。例如,圖3中的中央(b )處,輸入資料的分 示般的時候,參照資料B所示的輸入資料集團的 上是在參照資料B ’者較爲佳。 又,由於「辨識臝者距離Di'Wi」係將閥値 者距離D w,加以比較而判斷是否能被辨識,因此 Dthi的設定對於辨識的提升是重要的。例如, 念圖,此 爲例來表 記號)與 帶有最小 擇。此時 坦距離爲 預先指定 ,則臝者 」。如此 時候’圖 Dwi大於 不類似於 類似,則 由將參照 距離D w i 是重要的 布是如圖 中心埋想 Dthi和臝 最佳閥値 關於閥値 -16- (13) (13)1258715
Dth,,假定對應於(類似於)某參照資料i的輸入資料是 可完全(100% )辨識的閥値爲Dmaxi,則當 Dthi遠小於 Dm ax i時將會導致辨識率降低;反之,過大時有時會導致 被辨識成和其他參照資料一致(圖3中的(c ) 、 ( d )) 。因此,若參照資料和Dth,的領域(辨識領域)重合, 則由於其重疊的比率而有可能導致錯誤進行辨識,因此必 須要解除辨識領域重合。 此種辨識領域重合的解除,係如圖4中的下部(c ) 所示,可藉由將參照資料錯開(C — C ’,D — D ’),或如 圖5中的下部(c )所示,藉由將參照資料i之彼此的閥 値Dthi予以縮小,而加以實現。如此,在聯想記憶體基 礎系統中,針對爲了正確進行辨識所需之各參照資料i的 閥値Dthi的最佳化所致之辨識領域的最佳化是必需的。 於是本發明的.所謂最佳化學習,係指將參照資料更新 成最佳者的「參照資料最佳學習」,和將各參照資料所持 有的閥値更新成最佳的「辨識領域最佳學習」這兩種意思 。以下將參照圖6〜圖9而詳細說明各者的學習演算法。 此外,在以下的說明中,US、SB、G係分別代表參 照資料、輸入資料、參照資料和輸入資料之差的向量。又 ,如圖6所示,聯想記憶體內部保存著的參照資料的集合 設爲 US= { US】,US2,…,USi,…,USR } ( R係聯想 記憶體的資料數(行數))。各參照資料係假設爲分別由 Μ位元的W字所構成。因此,U S, = C X, i,X i 2,…,X t」, …,x,w ) ( W係聯想記憶體的向量數(列數))。對於 -17- (14) (14)1258715 參封貪料USdl^i^R),將被辨識成辨識臝者的N個 輸入資料的集合定義爲SH sBu,SBu,…,SBu, …’SBi,n} (1 ‘ UN),再將輸入資料,定義成SB,,, (y丨uk,y丨2 k,…,yi」』,…,y丨w,k) (1 ^ j ^ w)。 圖7係本發明之參照資料及辨識領域之最佳化學習演 算法的流程圖。 首先’針對參照資料的最佳化學習演算法來說明。本 演算法中所謂的最佳參照資料,係假設爲位於使某參照資 料會成爲辨識臝者的全部輸入資料的重心(中心)(圖3 中的(a ))。可是,在輸入資料是隨著時間而連續輸入 這類的線上辨識當中,由於一開始無法一次得知所有的輸 入資料之資訊,因此一般很難獲得最佳的參照資料。於是 在本發明中’根據已被視爲辨識臝者的參照資料所對應之 一定次數份的輸入資料,計算他們的重心,進行參照資料 的最佳化。藉由進行如此處理,則即使當有任何影響導致 輸入資料的分布變得紊亂時,仍可充分對應其分布的變化 依照圖7的流程圖,說明將參照資料更新成最佳的學 習演算法。首先’向US輸入了輸入資料SB,,k (步驟S1 ),執行臝者的偵測(步驟S2 ) ’則U S i會成爲臝者。 其次,計算出臝者距離D W 1·,k ’進行和閥値D t h i的比較( 步驟S3)。比較的結果,當D w i,k $ D t h ,時,則辨識成 D r w | = D w i. k,籍由(1 )式計算出輸入貪料S B i,k和參照資 料U S 1的向量差G i,k並加以記憶(步驟S 4 ) ° -18- (15) 1258715
Gi>kr:SBi?k-USi ⑴ 此處,根據已成爲N次辨識臝者(步驟S6、S7)的 參照資料所對應之輸入資料,將參照資料US i藉由以下的 (2)式加以更新(步驟S8)。
1 N USi =: uSi + ~ EGi,k (2) k=l 輸入資料係在每次輸入時進行辨識,對於已成爲N • 次辨識鳳者(步驟S 6、步驟S 7 )的參照資料,G ^ k是被 計算了 N次份。Gi,k係代表著輸入資料和成爲辨識臝者之 參照資料之間的差到達何種程度的向量。從N次份的G ,, k 求出式(2 )的第二項,就可得知參照資料和輸入資料的 重心的差有多大。若該差很大,則由式(2 )而將參照資 料更新成最佳以使該差變小(步驟S 8 )。但是,差的大 小判斷基準,係從N次份的輸入資料和參照資料的差所 求出的距離(例如曼哈坦距離)與閥値(例如曼哈坦距離 φ )的比率。此外,式(2 )的第二項所示之大小的判斷基 準係如同後述之更新處理所用的式(7 )。參照資料更新 和閥値更新的程序係爲同樣的處理,當輸入資料的重心和 參照資料的差是很大的時候,則將參照資料和閥値加以更 新。 其次說明將各參照資料US,所持有的閥値Dthi予以 最佳化的學習演算法。 首先,閥値的變更,係相當於辨識領域的縮小或放大 。因此,必須要判斷,輸入資料是以位於辨識領域內、外 -19- (16) (16)1258715 達到多少比率而輸入的。本發明中,如圖8所示位於以虛 線表示的辨識領域的內側($ Dthi ),或外側(> CKhi ) 的輸入資料數係分別加以計數(步驟S 6、S 1 0 ),當預先 指定之一定次數輸入資料是發生N次時,則將辨識領域 予以縮小或擴大。 此處’當某參照資料U S i成爲臝者時(步驟S 2 ), 亦即臝者距離是小於閥値時,則將臝者距離視爲辨識臝者 距離 Drwi,k ( 1,2,···,!<:,♦··,>〇 (步驟 S3),並將 這些輸入資料的集合視爲SBf { SBK1,SBi,2,…,sBl5k ,…,SBi,N}。另一方面,當大於閥値時,將臝者距離 視爲臝者距離Dwi,k ( 1,2,…,k,…,N ),並將這些 輸入資料的集合視爲 SBei= { SBel5l,SBei,2,···,SBei,k ,…,SBei,N }。這些係爲了獲得閥値的更新量Dc所需 之參數。Dthi和Dwi或者DrWl的差Dgi是用以下的(3 ) 、(4 )式來求出(步驟s 1 1 ) 。d g i係表示N次份的輸入 資料是距離閥値達到多遠的程度,閥値更新係使該距離變 小。
[1 N
Dgi=N Σ lDthi-D^i,k| (先在辨識領域的內側被辨識N次的情形) (3) k = l -20- (5) (17) (5) (17)1258715 p(Dcj_)二----Dc-ι + - — (Dgi + 1)2 〇gi + 1 藉此可學習如下。
Dth^Dth^D^ (使閥値變大的時候) (6)
Dthj = Dthj -Dc{(使閥値變小的時候) (7)
參照資料及閥値的兩個學習中進行更新處理。目前, N
Girii = (8)
=(zil' zi2'…'zij,…,ziw) (9) 從其中求出Gmi的各次元的平均所求出的曼哈坦距離 G t丨
1 W
Gti = - Σ z±j do) 當Gti是小於閥値的時候(例如閥値的2成左右), 則參照資料、閥値均不會更新。因爲,Gti係表示輸入資 料的集合的中心與目前的參照資料外的曼哈坦距離、亦即 新參照資料是要從現在的參照資料U S ,起移動多少,由於 Gti越小,更新量就越少,即便更新也不能期待辨識率的 提升。於是,當此種更新量少的時候就避免更新,壓低更 新次數,使其可進行效率良好的參照資料之最佳化。 其次,說明基於上記參照資料及辨識領域之最佳化學 習演算法的聯想記憶體基礎系統的架構。 圖1 〇係聯想記憶體基礎之最佳化學習系統的架構之 -21 - (18) (18)1258715 方塊圖。架構係針對聯想記憶體裝置400,具備了控制電 路500、學習電路600、比較電路700、資料保存電路800 、保存目標選擇電路9 0 0。 聯想記憶體裝置400,係具備:進行最小距離檢索之 聯想記憶體4 1 〇、將輸入資料予以暫時保存的輸入緩衝區 4 2 0、將聯想記憶體4 1 0所抽出之2進位數(只有臝者輸 出爲“ 1” ’其他之位址行則輸出爲“0”)轉換成行位址的編 碼器4 3 0。 控制電路5 00,係控制本系統全體的處理。學習電路 6 0 0,係將決定了聯想記憶體裝置4 0 0的參照資料及辨識 領域之閥値,學習成最佳値而加以更新。比較電路7 0 0, 係備有:閥値比較用、更新控制用的比較器7 1 0、720。 資料保存電路800,係具備第1至第4記憶體810〜840, 用來保存閥値記億用、參照資料學習用、閥値縮小用、閥 値擴大用之各計算結果。保存目標選擇電路900,係具備 第1及第2計數器910、920,會將控制電路500及學習 電路600的各處理過程中所獲得的資料,選擇其保存目的 地。 圖1 1係上記學習電路6 0 0的具體構成的方塊圖。該 學習電路6 0 0,係具備:--輸入選擇開關6 2 1,其係將減 算器601、加算器6 02、除算器6 0 3、亂數產生器604、機 率分布儲存記憶體6 0 5及供各區塊60 1〜6 0 5之資料輸出 入的暫存器(R E G ) 6 1 1〜6 1 5、來自輸入緩衝區4 2 0的輸 入資料、來自編碼器4 3 0的臝者行位址、來自資料保存電 -22- (19) 1258715 路8 Ο 0之記憶體8 1 0〜8 4 0的資料(以下記作記億體1、 記憶體2、記憶體3、記憶體4 )予以選擇性地擷取,並 導出至減算器601、加算器602、除算器603;及一輸出 選擇開關622,其係將被擷取至暫存器6 1 1〜6 1 5的資料 ,往聯想記憶體裝置400、資料保存電路8 00導出。 圖1 〇及圖1 1所示之構成的架構中,其具體動作說明 如下。 爲了使說明簡化,假設是W = 2的參照資料的第丨行 上’有USe ( 80,1 10 )是被預先儲存在聯想記憶體41〇內 。首先,令閥値D t h i = 1 0是被儲存在閥値記憶用的記憶體 1內,一旦輸入資料SBi,,( 75,1 12 )是被輸入至聯想記 憶體4 1 0,則從聯想記憶體4 1 0而i行變成臝者的時候, 只有第i行會輸出「1」,其他行則輸出「〇」。從聯想記 憶體4 1 0,發出(〇,…,1 ’…) τ ( T表示轉置)輸 入至編碼器4 3 0,從該編碼器4 3 0則輸出行位址i。 一旦向學習電路6 0 0輸入i行,則將參照資料第i行 USi=(80,110)和輸入資料SBiM=(75,112)的距離,根 據距離指標(例如曼哈坦距離)而加以計算出來。以減算 器601來進行各次元的減算。藉由式子(1)求出:
Gi, k=SBi,k—USi (11) (12) = (75, 112) -(80, 110) = (-5, 2) (13) 從該計算結果進行補數的轉換後’使用加算器6〇2而 -23- (20) 1258715 計算出臝者距離(例如曼哈坦距離)DwiM = 7。由方 値比較用的第1比較器7 1 0來比較閥値與臝者距離 > D w i,i,因此該臝者係爲辨識臝者,而在參照資 用的記憶體2內記憶著G,」。又,Dw0 = DrWl;1二: 閥値縮小周的記憶體3內記憶著Dri。 一旦{ SBj,2 ’,SBj,3 ’ SBi,4) = { ( 86,112 81,114) ’ (77,105) }和成爲辨識臝者的輸入資 輸入達到預先決定之一定次數(N == 4 )時,則得g • ,Gi,3,Gh4}={ (6,2),(1,4),(·3,5)
Drwi,2,Drwi,3,Drwi,4}=(8,5,8)。參照資料 的記憶體2內是記憶著G m i = ( - 1,1 3 ),閥値縮小 體3內則記憶著
N Σ |Dthi^wi/k| = 12 k = l 。由於輸入了 N = 4次份,因此使用減算器6 〇 1、 602、除算器603 ’從式(1 〇 )求出Gtr=3。做爲 參 Gti = 3若是被判斷爲太小的時候,不會進行學習。 更新前地閥値地2成以下的時候更新量就算太小, Gti = 3是大於該値,因此會進行參照資料的最佳化 領域的最佳化。藉由式(2 ),參照資料被更新成 〇,3 ) + ( 80,1 10 ) = ( 80,1 13 ),閥値則藉由式(3 新成D g i = 3。 以式(5 )產生DCl的方法說明如下。圖9中 的時候,機率分布儲存記憶體6〇5係對Ggi = 3而預 著 0·0〇〜〇·45 、 0.46〜0.71 、 0.72〜0.91 、 0.92〜1 一 24- 卜以閥 則Dih丨 料學習 ,而在 ),( 料是被 I { G i , 2 }及{ 學習用 用記憶 加算器 更新量 若假定 則由於 及閥値 USi=( )而更 ,G g i 3 先存放 .00 〇 此 (21) (21)1258715 時,藉由亂數產生器604而產生0·00〜1.00的均態亂數 ,如圖12所示,可得:當亂數爲0.〇〇〜0.45時則DCl = 0 ,爲 0.46 〜〇·7 1 時貝〇 DCi = l,爲 0.72 〜0.9 1 時貝ij DCi = 2, 爲0.9 2〜1 . 〇 〇時則D c i = 3。現在,假設得到D c t = 1,則根 據式(6 )而更新成D t h i = 1 0 -1 = 9。 將參照資料更新學習演算法,和各參照資料所帶有之 閥値更新學習演算法(辨識領域最佳化演算法),使用C 語言而在計算機上予以實現,爲了驗證其有效性而以計算 機來進行模擬。其結果分別示於圖1 3、圖1 4。此處所謂 的學習次數,係實際上將參照資料或閥値予以更新過的次 數。 圖13的模擬條件,係令R=i、W = 5、N = 4,輸入資料 的偏差是使用常態分布。常態分布,係如圖1 5 A所示的 機率分布,距離中心的偏差s係以 P(s) , βχρ (14) 之機率而獲得。該模擬中係令σ =3。又,爲了確認參 照資料的最佳化是曾經發生過,當輸入資料的中心發生變 化日寸 確5忍到篸照貪料是追從該變化而變化。其方法是, 旦有一定次數輸入資料被輸入,則令輸入資料的中心値 在各;人兀上「加1」而逐漸使其變化。換言之,輸入資料 的中心最開始爲(i 〇,i 5 )的時候,令第1次變化後爲( 1 1,1 6 ) 〇 圖14的模擬條件,係令R=l、W = 5、N = 4,輸入資料 的偏差是使用常態分布和均態分布。均態分布,係如圖 -25- (15) (22) 1258715 1 5 B所示的機率分布,距離中心的偏差s係以 P⑻=-—]:__ 2 X 3σ (16) -3σ < s < 3σ 之機率而獲得。該模擬中係令σ =3。又,該模擬中並 未使輸入資料發生變化。 做爲表不進行最佳化的程度的指標,在圖1 3中是用 灰差率’在圖1 4中則是用距離誤差率^此處的誤差率^ 係表示成 ai = [MSEj - MSEOjl MSE〇i (17) Ί Ν _ MSEi XKk-uSil k = l MSE〇i =作吨—us〇i|2p(SB〇i)dWsB〇i MSEi ’係對i行之參照資料的輸入資料的平均自乘誤差( ^ 每達一定次數便計算一次)。M S E 0 i,係從針對理想之參 照資料的所有輸入資料中所獲得之推定的平均自乘誤差, 若無限地輸入輸入資料則所得的平均自乘誤差會是M S E i ’是可能產生的誤差。換言之,誤差率a i係表示了,現 在的平均自乘誤差MSE1,和可能產生的誤差MSEOi之遠 離程度的比率。該誤差率a i係越接近「〇」則代表參照資 料越被最佳化。 距離誤差係以 -26- (20) (23)1258715 aDj_ 二 |〇thj_ - D maxj_| D maxj_ 來表示。D m a x ί係使得辨識率成爲1 〇 〇 %的 該距離誤差率係代表著越接近「〇」則辨識 佳化。又,可以得知,參照資料即使對應於 布之變化仍會追從,而會成爲響應於輸入資 參照資料。圖14中,輸入資料的輸入分布 布和均態分布這兩種,兩種分布在學習後, 使辨識率達75 %以上。此處圖14中,常態 料上的距離誤差率是變大的。其理由爲,常 中由於是以最佳的參照資料爲中心而輸入資 閥値係大大地偏差,其結果爲使得距離誤差 此外,上記實施形態中,做爲距離指標 用曼哈坦距離(Manhattan distance),但 可使用歐幾里得距離(Euclidean distance) Hamming distance )、馬哈朗諾比斯距離 distance ) 〇 又,上記實施形態中,雖然是針對以聯 礎的圖形辨識系統來加以說明,但本發明並 例如亦可適用在處理器基礎的圖形辨識系統 對處理器基礎的情形的實施形態,參照圖1 圖1 6係採用了本發明之最佳化學習方 礎之圖形辨識系統的構成方塊圖。圖16中 閥値。因此’ 領域是越被最 輸入資料的分 料變化的最佳 是使用常態分 閥値都成了可 分布的輸入資 態分布之輸入 料有所偏移1 率變大。 的例子雖然是 除此以外,亦 、漢明距離( (Mahalanobis 想記憶體爲基 非侷限於此, 。以下,將針 6來加以說明 法的處理器基 ’ 1 〇 〇 〇 係 c p u -27- (24) 1258715 (中央處理單元),1 1 Ο 0係記憶體’ 1 3 Ο 0係C P U 1 Ο Ο 0與 記憶體ποο之間進行寫入資料、讀出資料之傳送的資料 匯流排-。 CPU 1 000,係具備ALU (計算邏輯單元)1010、暫存 器1 0 1 1〜1 0 1 3、控制器1 〇 2 0。控制器1 0 2 0,係根據預先 登錄之程式而選擇性地命令ALU 1 0 1 0進行加減算、比較 、除算等,另一方面,還控制著記憶體1 1 0 0的讀取、寫 入。ALU1 010的輸出入部上分別配置著暫存器1〇1 1〜 Β 1 0 1 3做爲緩衝區。 記憶體1 1〇〇,係具備:將輸入資料SBi〜SBR予以暫 時存放的領域1 1 1 〇、將參照資料USi i〜USRW予以存放且 可將其更新的領域1120、將閥値資料〇1111〜〇“11予以存 放的領域1 1 3 0、將C P U 1 0 0 0的距離計算結果D i〜D R予 以存放的領域1 140、將臝者距離Dwu〜DwR,N予以存放 的領域1 1 5 〇、將臝者距離與閥値的差D g i〜D gR予以存放 的領域1 160、將檢索資料與參照資料的差GK1〜GR,N予 ® 以存放的領域1 1 7 0、將被輸入至閥値內側的次數的値( 第1計數器値)1〜N予以存放的領域Η 8 0、將被輸入至 閥値外側的次數的値(第2計數器値)1〜Ν予以存放的 領域1 1 90、將機率性的閥値更新量資料Dc予以存放的領 域1 20 0 ;且藉由CPU 1 000側的控制器1 020進行讀取、寫 入之控制。 上記構成中,控制器1 02 0的執行程式內,是將相同 於前面所述之聯想記憶體的處理藉由軟體來加以執行。亦 -28- (25) 1258715 即,在CPU 1000中,藉由對記憶體;11〇〇的畜 將圖形檢索對象的輸入資料進行與複數參照畜 ’ 相當於類似度的距離演算’在閥値所決定之辨 具有最小距離的參照資料當作辨識資料而加以. 此處,上記控制器1 0 2 0的執行程式中, 據圖7所示的流程圖的參照資料之最佳化學習 ,記憶體Π 0 0內的參照資料,係經常更新成 可謀求圖形辨識所需時間的縮短。如之前所述 ® 理器基礎的系統中,由於並未嵌入參照資料最 致之更新處理,因此圖形辨識所需時間的縮短 提升是有困難的。但是藉由嵌入了本發明的最 可解決上記問題,可以實現圖形辨識所需時間 識率的提升。 此外,即使在上記處理器基礎的系統中, 標的例子除了曼哈坦距離以外,也可利用歐幾
Euclidean distance)、漢明距離(Hamming d ^ 馬哈朗諾比斯距離(Mahalanobis distance )。 〔產業上利用之可能性〕 本發明係可適用於,人工智能系統、自律 證系統、IDS (不當入侵偵測系統)、資料庫 際網路路由器、對象辨識、電動義肢、家事協 之圖形契合處理上。 料交換,而 料彼此之間 識領域內將 選擇。 是嵌入有根 處理。藉此 最佳狀態, ,先前的處 佳化學習所 、辨識率的 佳化處理就 的縮短、辨 做爲距離指 里得距離( i s t a n c e ) 、 機器人、認 存系統、網 助機器人等 -29- (26) (26)1258715 【圖式簡單說明】 〔圖1〕適用了本發明所論之方法的聯想記憶體的槪 念圖。 〔圖2〕做爲圖1之聯想記憶體之一例的全並列型聯 想記憶體之構成例的方塊圖。 〔圖3〕本發明所論之最佳化學習方法的槪念圖。 〔圖4〕本發明所論之最佳化學習方法的槪念圖。 〔圖5〕本發明所論之最佳化學習方法的槪念圖。 〔圖6〕本發明所適用之聯想記憶體的參照資料和輸 入資料的對應關係的圖示。 〔圖7〕本發明所論之參照資料及辨識領域之最佳化 學習演算法的流程圖。 〔圖8〕爲了說明圖7之閥値最佳化學習演算法的辨 識領域之縮小及擴大之樣子的槪念圖。 〔圖9〕本發明所論之閥値的更新量之選擇的表示機 率分布的特性圖。 〔圖1 〇〕本發明所論之附加有學習機能的聯想記憶 體的架構之方塊圖。 〔圖1 1〕圖1 0所示之學習電路的具體構成的方塊圖 0 〔圖1 2〕圖1 1所示的機率分布儲存記憶體爲D g i二3 時所發生之亂數選擇之一例的槪念圖。 〔圖1 3〕針對本發明所論之參照資料最佳學習的模 擬結果的圖表。 -30- (27) 1258715 〔圖1 4〕針對本發明所論之閥値之最佳化學習(辨 識領域最佳化)的模擬結果的圖表。 ' 〔圖1 5〕圖1 5 A係圖1 3的模擬所使用之輸入資料的 偏差的樣子的常態分布的波形圖。圖1 5 B係圖1 3、圖1 4 的模擬所使用之輸入資料的偏差的樣子的均態分布的波形 圖。 〔圖1 6〕採用本發明之最佳化學習方法的處理器基 礎之圖形辨識系統的構成之方塊圖。 【主要元件符號說明】 100 記憶體領域 1000 CPU 10 10 ALU 1 0 1 1 〜1 0 1 3 暫存器 1020 控制器 1100 記憶體 13 00 資料匯流排 200 W L A電路 300 WTA電路 400 聯想記憶體裝置 4 10 聯想記憶體 420 輸入緩衝區 430 編碼器 500 控制電路 -31 - (28)1258715 600 學 60 1 減 602 加 603 除 604 亂 605 機 6 1 1 〜6 1 5 暫 6 2 1 輸 622 輸 700 比 7 10 第 720 比 800 資 8 1 0 〜840 記 900 保 9 10 第 920 第
習電路 算器 算器 算器 數產生器 率分布儲存記憶體 存器 入選擇開關 出選擇開關 較電路 1比較器 較器 料保存電路 憶體 存目標選擇電路 1計數器 2計數器 -32-
Claims (1)
1258715 (1) 十、申請專利範圍 1.一種參照資料最佳化學習方法,係屬於在身爲圖形 檢索對象的輸入資料和複數之參照資料彼此之間,進行相 當於類似度的距離演算,並將受閥値所決定之辨識領域內 所存在之最小距離的參照資料當成辨識資料而加以選擇的 圖形辨識中所使用,藉由前記辨識資料的學習而將參照資 料予以最佳化成前記圖形辨識用的參照資料最佳化學習方 法,其特徵爲,具備: 將必須做爲前記辨識資料而被選擇之參照資料所對應 之輸入資料,擷取一定次數份的步驟;和 求出各輸入資料的與前記參照資料之距離分布的重心 點的步驟;和 將前記參照資料的位置最佳化成位於前記重心點上的 步驟 ° 2 .如申請專利範圍第1項所記載之參照資料最佳化學 習方法,其中,前記參照資料的位置最佳化步驟,係限制 移動,以使得該當參照資料的辨識領域等,不會和相鄰的 參照資料的辨識領域重疊。 3 .如申請專利範圍第1項所記載之參照資料最佳化學 習方法,其中,前記參照資料的位置最佳化步驟,係變更 閥値而使辨識領域擴大或縮小,以使得該當參照資料的辨 識領域等,不會和相鄰的參照資料的辨識領域重疊。 4.如申請專利範圍第3項所記載之參照資料最佳化學 習方法,其中,前記參照資料的位置最佳化步驟,係從預 -33- (2) (2)1258715 先設定好的機率分布中,選擇出前記閥値的變更量。 5. 如申請專利範圍第3項所記載之參照資料最佳化學 習方法,其中,前記參照資料的位置最佳化步驟,係將表 示前記輸入資料之集團中心和現在之參照資料的距離的値 ,和基準値進行比較,只有當超過基準値時,才實施前記 閥値的變更。 6. 如申請專利範圍第1項所記載之參照資料最佳化學 習方法,其中,供前記距離演算的距離的指標中,是使用 了歐幾里得距離(Euclidean distance)、曼哈坦距離( Manhattan distance )、漢明距離(Hamming distance)、 馬哈朗諾比斯距離(Mahalanobis distance)之任何一者。 7 . —種參照資料最佳化學習方法,係屬於在身爲圖形 檢索對象的輸入資料和複數之參照資料彼此之間,進行相 當於類似度的距離演算,並將受閥値所決定之辨識領域內 所存在之最小距離的參照資料當成辨識資料而加以選擇的 圖形辨識中所使用,藉由前記辨識資料的學習而將參照資 料予以最佳化成前記圖形辨識用的參照資料最佳化學習方 法,其特徵爲,具備·《 將位於前記辨識領域內的輸入資料數和位於領域外的 輸入資料數分別加以計數的步驟;和 判別前記辨識領域內外各別之輸入資料數之中先到達 前記一定次數的一側的步驟;和 在先到達前記一定次數之一側上,變更前記閥値而進 行前記辨識領域的擴大或縮小,而將前記參照資料的位置 -34- (3) (3)1258715 予以最佳化之步驟。 8 .如申請專利範圍第7項所記載之參照資料最佳化學 習方法,其中,前記參照資料的位置最佳化步驟,係從預 先設定好的機率分布中,選擇出前記閥値的變更量。 9 .如申請專利範圍第8項所記載之參照資料最佳化學 習方法,其中,前記參照資料的位置最佳化步驟,係將表 示前記輸入資料之集團中心和現在之參照資料的距離的値 ,和基準値進行比較,只有當超過基準値時,才實施前記 閥値的變更。 1 0 .如申請專利範圍第7項所記載之參照資料最佳化 學習方法,其中,供前記距離演算的距離的指標中,是使 用了歐幾里得距離(Euclidean distance )、曼哈坦距離( Manhattan distance ) 、漢明距離(Hamming distance) 、 馬哈朗諾比斯距離(Mahalanobis distance)之任何一者。 1 1 . 一種圖形辨識系統,其特徵爲,具備: 聯想記憶體,其係具備:參照資料記憶手段,至少記 憶著用來辨識輸入圖形之檢索資料所需之複數參照資料; 及最小距離檢索手段,求出與前記檢索資料呈最小距離之 參照資料;及判斷手段,響應於前記最小距離是否爲閥値 以上而判斷前記檢索資料與最小距離之參照資料的同一性 •’和 最佳化手段,將必須做爲前記辨識資料而被選擇之參 照資料所對應之輸入資料,擷取一定次數份,求出各輸入 資料的與前記參照資料之距離分布的重心點,將前記參照 -35- (4) (4)!258715 資料的位置最佳化以使其位於前記重心點上; 以前s3經過最佳化的穸照食料’將前記參照資料胃p f章 手段所記憶之參照資料加以更新。 1 2 ·如申請專利範圍第1 1項所記載之圖髟辨識系統, 其中’則s5最佳化手段’係限制移動’以使得該當參照薈 料的辨識領域等,不會和相鄰的參照資料的辨識領域重疊 〇 1 3 ·如申請專利範圍第1 i項所記載之圖形辨識系統, 其中’前記最佳化手段,係變更閥値而使辨識領域擴大或 縮小,以使得該當參照資料的辨識領域等,不會和相鄰的 參照資料的辨識領域重疊。 1 4 ·如申請專利範圍第1 1項所記載之圖形辨識系統, 其中,前記最佳化手段,係從預先設定好的機率分布中, 選擇出前記閥値的變更量。 1 5 .如申請專利朝圍弟1 1項所g己載之圖形辨識系統, 其中,前記最佳化手段,係將表示前記輸入資料之集團中 心和現在之參照資料的距離的値,和基準値進行比較,只 有當超過基準値時,才實施前記閥値的變更。 1 6 ·如申請專利範圍第1 1項所記載之圖形辨識系統, 其中,供前記距離演算的距離的指標中,是使用了歐幾里 得距離(Euclidean distance)、曼哈坦距離(Manhattan distance )、漢明距離(H a m m i n g d i s t a n c e )、馬哈朗諾 比斯距離(M a h a 1 a η o b i s d i s t a n c e )之任何一者。 1 7 .如申請專利範圍第1 1項所記載之圖形辨識系統, -36- (5) (5)1258715 其中,前記聯想記億體及最佳化手段,係整合至單1晶片 積體電路內。 18.—種圖形辨識系統,其特徵爲,具備: 聯想記憶體,其係具備:參照資料記憶手段,至少記 憶著用來辨識輸入圖形之檢索資料所需之複數參照資料; 及最小距離檢索手段,求出與前記檢索資料呈最小距離之 參照資料;及判斷手段,響應於前記最小距離是否爲閥値 以上而判斷前記檢索資料與最小距離之參照資料的同一性 ;和 最佳化手段,將位於前記閥値所決定之辨識領域內的 輸入資料數與位於領域外之輸入資料數分別加以計數,並 在先到達前記一定次數之一側上,變更前記閥値而進行前 記辨識領域的擴大或縮小; 以前記經過最佳化的參照資料,將前記參照資料記憶 手段所記憶之參照資料加以更新。 1 9 .如申請專利範圍第1 8項所記載之圖形辨識系統, 其中,前記最佳化手段,係從預先設定好的機率分布中, 選擇出前記閥値的變更量。 20.如申請專利範圍第1 8項所記載之圖形辨識系統, 其中,前記最佳化手段,係將表示前記輸入資料之集團中 心和現在之參照資料的距離的値,和基準値進行比較,只 有當超過基準値時,才實施前記閥値的變更。 2 1 .如申請專利範圍第1 8項所記載之圖形辨識系統, 其中,供前記距離演算的距離的指標中,是使用了歐幾里 -37- (6) (6)1258715 得距離(E u c 1 i d e a n d i s t a n c e )、曼哈坦距離(M a n h a Π a n d i s t a n c e )、漢明距離(H a m m i n g d i s t a n c e )、馬哈朗諾 比斯距離(M a h a 1 a η o b i s d i s t a n c e )之任何一者。 22 .如申請專利範圍第1 8項所記載之圖形辨識系統, 其中,前記聯想記憶體及最佳化手段,係整合至單1晶片 積體電路內。 2 3.—種圖形辨識系統,其特徵爲, 具備:演算處理裝置,其係具備了,依照程式而執行 演算處理的處理器,及至少將前記用來辨識輸入圖形之檢 索資料所需之複數參照資料、前記處理器的演算處理結果 、前記演算處理所用之參數加以記憶的記憶手段;且前記 處理器,是藉由前記程式,而求出與前記檢索資料呈最小 距離的參照資料,並響應於前記最小距離是否爲閥値以上 ,而判斷前記檢索資料與最小距離之參照資料的同一性; 和 最佳化手段;將必須做爲前記辨識資料而被選擇之參 照資料所對應之輸入資料,擷取一定次數份,求出各輸入 資料的與前記參照資料之距離分布的重心點,將前記參照 資料的位置最佳化以使其位於前記重心點上; 以前記經過最佳化的參照資料,將前記參照資料記憶 手段所記憶之參照資料加以更新。 24 .如申請專利範圍第2 3項所記載之圖形辨識系統, 其中,前記最佳化手段,係限制移動,以使得該當參照資 料的辨識領域等,不會和相鄰的參照資料的辨識領域重疊 -38- (7) (7)1258715 ϋ 2 5 .如申請專利範圍第2 3項所記載之圖髟辨識系統, 其中,前記最佳化手段,係變更閥値而使辨識領域擴大或 縮小,以使得該當參照資料的辨識領域等,不會和相鄰的 參照資料的辨識領域重疊。 2 6 ·如申請專利範圍第2 5項所記載之圖形辨識系統, 其中,前記最佳化手段,係從預先設定好的機率分布中, 選擇出前記閥値的變更量。 27.如申請專利範圍第25項所記載之圖形辨識系統, 其中,前記最佳化手段,係將表示前記輸入資料之集團中 心和現在之參照資料的距離的値,和基準値進行比較,只 有當超過基準値時,才實施前記閥値的變更。 2 8.如申請專利範圍第23項所記載之圖形辨識系統, 其中,供前記距離演算的距離的指標中,是使用了歐幾里 得距離(Euclidean distance)、曼哈坦距離(Manhattan distance)、漢明距離(Hamming distance)、馬哈朗諾 比斯距離(Mahalanobis distance)之任何一者。 29·如申請專利範圍第23項所記載之圖形辨識系統, 其中,前記演算處理裝置及最佳化手段,係整合至單1晶 片積體電路內。 3 〇 . —種圖形辨識系統,其特徵爲, 具備:演算處理裝置,其係具備了,依照程式而執行 演算處理的處理器,及至少將前記用來辨識輸入圖形之檢 索資料所需之複數參照資料、前記處理器的演算處理結果 -39- (8) (8)
1258715 、前記演算處理所用之參數加以記憶的記憶 處理器,是藉由前記程式,而求出與前記檢 距離的參照資料,並響應於前記最小距離是 ,而判斷前記檢索資料與最小距離之參照資 和 最佳化手段,將位於前記閥値所決定之 輸入資料數與位於領域外之輸入資料數分別 在先到達前記一定次數之一側上,變更前記 記辨識領域的擴大或縮小; 以前記經過最佳化的參照資料,將前記 手段所記憶之參照資料加以更新。 3 1 ·如申請專利範圍第3 0項所記載之圖 其中,前記最佳化手段,係從預先設定好的ί 選擇出前記閥値的變更量。 3 2 ·如申請專利範圍第3 0項所記載之圖$ 其中,前記最佳化手段,係將表示前記輸入1 心和現在之參照資料的距離的値,和基準値免 有當超過基準値時,才實施前記閥値的變更。 3 3 ·如申請專利範圍第3 0項所記載之圖 其中,供前記距離演算的距離的指標中,是fi 得距離(Euclidean distance )、曼哈坦距離 distance)、漢明距離(Hamming distance) 比斯距離(M a h a 1 a η o b i s d i s t a n c e )之任何一者 3 4 ·如申請專利範圍第3 0項所記載之圖形 段;且前記 資料呈最小 爲閥値以上 的同一性; 識領域內的 以計數,並 値而進行前 照資料記憶 辨識系統, 率分布中, 辨識系統, 料之集團中 行比較,只 辨識系統, 用了歐幾里 (Manhattan 、馬哈朗諾 〇 辨識系統, -40- (9) 1258715 其中,前記演算裝置及最佳化手段,係整合至單1晶片積 體電路內。
-41 -
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004053433A JP3861157B2 (ja) | 2004-02-27 | 2004-02-27 | 参照データ最適化装置とパターン認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200537392A TW200537392A (en) | 2005-11-16 |
TWI258715B true TWI258715B (en) | 2006-07-21 |
Family
ID=34908742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW094105905A TWI258715B (en) | 2004-02-27 | 2005-02-25 | Learning method for optimizing reference data and pattern recognition system |
Country Status (7)
Country | Link |
---|---|
US (1) | US7881525B2 (zh) |
EP (1) | EP1720130A4 (zh) |
JP (1) | JP3861157B2 (zh) |
KR (1) | KR100865201B1 (zh) |
CN (2) | CN100547613C (zh) |
TW (1) | TWI258715B (zh) |
WO (1) | WO2005083632A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI414998B (zh) * | 2009-01-07 | 2013-11-11 | Micron Technology Inc | 型樣辨識處理器之電力消耗管理之方法及系統 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4892720B2 (ja) * | 2005-09-14 | 2012-03-07 | 国立大学法人広島大学 | 最小ユークリッド距離検索連想メモリ装置 |
JP5193518B2 (ja) * | 2007-07-13 | 2013-05-08 | 株式会社東芝 | パターン探索装置及びその方法 |
JP4631937B2 (ja) * | 2008-06-18 | 2011-02-16 | 株式会社デンソー | 学習装置及び燃料噴射システム |
JP4710932B2 (ja) * | 2008-07-09 | 2011-06-29 | ソニー株式会社 | 学習装置、学習方法、およびプログラム |
US8589760B1 (en) * | 2010-03-31 | 2013-11-19 | Sk Hynix Memory Solutions Inc. | Defect scan and manufacture test |
JP5598082B2 (ja) * | 2010-05-17 | 2014-10-01 | 日本電気株式会社 | 異常判定装置、異常判定プログラムおよび異常判定方法 |
US8799760B2 (en) * | 2011-12-08 | 2014-08-05 | Xerox Corporation | Smart macros using zone selection information and pattern discovery |
JP6271881B2 (ja) * | 2013-06-26 | 2018-01-31 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム、記録媒体 |
WO2015011907A1 (ja) * | 2013-07-25 | 2015-01-29 | 国立大学法人広島大学 | k近傍法連想メモリ |
US9619753B2 (en) | 2014-12-30 | 2017-04-11 | Winbond Electronics Corp. | Data analysis system and method |
JP6389438B2 (ja) * | 2015-01-30 | 2018-09-12 | 国立大学法人広島大学 | k近傍法連想メモリ |
CN107133549B (zh) | 2016-02-29 | 2020-11-24 | 上海联影医疗科技有限公司 | Ect运动门控信号获取方法及ect图像重建方法 |
US9607058B1 (en) * | 2016-05-20 | 2017-03-28 | BlackBox IP Corporation | Systems and methods for managing documents associated with one or more patent applications |
CN106251381B (zh) * | 2016-07-29 | 2020-02-04 | 上海联影医疗科技有限公司 | 图像重建方法 |
US11010431B2 (en) * | 2016-12-30 | 2021-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting machine learning algorithms and data pattern matching in ethernet SSD |
JP7193708B2 (ja) * | 2018-10-19 | 2022-12-21 | 富士通株式会社 | 最適化装置及び最適化装置の制御方法 |
US10811003B2 (en) | 2018-10-31 | 2020-10-20 | International Business Machines Corporation | Language phonetic processing based on fine-grained mapping of phonetic components |
JP7459679B2 (ja) * | 2020-06-23 | 2024-04-02 | 富士通株式会社 | 行動認識方法、行動認識プログラム及び行動認識装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57212586A (en) * | 1981-06-25 | 1982-12-27 | Fujitsu Ltd | Character recognizing system |
JPS61261799A (ja) * | 1985-05-16 | 1986-11-19 | 株式会社リコー | 不特定話者用コ−ドブツク作成方法 |
US5060277A (en) * | 1985-10-10 | 1991-10-22 | Palantir Corporation | Pattern classification means using feature vector regions preconstructed from reference data |
CA2012938A1 (en) * | 1989-04-19 | 1990-10-19 | Patrick F. Castelaz | Clustering and association processor |
JP3118725B2 (ja) * | 1991-09-11 | 2000-12-18 | 株式会社日立製作所 | 自動分類方法 |
JP3165247B2 (ja) * | 1992-06-19 | 2001-05-14 | シスメックス株式会社 | 粒子分析方法及び装置 |
JP3312149B2 (ja) * | 1993-12-27 | 2002-08-05 | シャープ株式会社 | 文字や音声の認識装置における認識評価閾値の作成方法 |
EP0694852B1 (en) * | 1994-07-28 | 2002-06-26 | International Business Machines Corporation | Innovative neuron circuit architectures |
GB9415398D0 (en) | 1994-07-29 | 1994-09-21 | Texas Instruments Ltd | Improvements in or relating to microprocessors |
JPH0969159A (ja) * | 1995-08-31 | 1997-03-11 | Sharp Corp | テンプレートマッチング装置 |
US6104833A (en) * | 1996-01-09 | 2000-08-15 | Fujitsu Limited | Pattern recognizing apparatus and method |
US6345119B1 (en) * | 1996-02-19 | 2002-02-05 | Fujitsu Limited | Handwritten character recognition apparatus and method using a clustering algorithm |
US5832182A (en) * | 1996-04-24 | 1998-11-03 | Wisconsin Alumni Research Foundation | Method and system for data clustering for very large databases |
ATE203607T1 (de) * | 1997-05-07 | 2001-08-15 | Siemens Ag | Verfahren zur anpassung eines referenzdatensatzes anhand mindestens eines eingabedatensatzes durch einen rechner |
KR19990027482A (ko) | 1997-09-30 | 1999-04-15 | 전주범 | 패턴 인식 시스템에서 영상내 물체 구성 직선들의 관계 설정방법 |
US6272250B1 (en) * | 1999-01-20 | 2001-08-07 | University Of Washington | Color clustering for scene change detection and object tracking in video sequences |
ATE430966T1 (de) * | 1999-01-13 | 2009-05-15 | Computer Ass Think Inc | Unterschriften-erkennungs-system und -verfahren |
JP4024430B2 (ja) | 1999-06-28 | 2007-12-19 | 日本マイヤー株式会社 | 経編機におけるマシンベースの熱歪防止装置 |
GB0023004D0 (en) * | 2000-09-20 | 2000-11-01 | Koninkl Philips Electronics Nv | Improved graphical user interface |
JP4629213B2 (ja) | 2000-11-24 | 2011-02-09 | Hoya株式会社 | 内視鏡の外装チューブ装着構造及び内視鏡の外装チューブ装着方法 |
JP4619523B2 (ja) | 2000-12-05 | 2011-01-26 | 株式会社トプコン | 模型眼 |
US20030086520A1 (en) * | 2001-11-07 | 2003-05-08 | Russell William Earl | System and method for continuous optimization of control-variables during operation of a nuclear reactor |
KR100863128B1 (ko) * | 2001-12-22 | 2008-10-15 | 주식회사 케이티 | 도메인 최적화를 이용한 무선망 최적화 방법 |
US7016529B2 (en) | 2002-03-15 | 2006-03-21 | Microsoft Corporation | System and method facilitating pattern recognition |
JP2004013504A (ja) | 2002-06-06 | 2004-01-15 | Univ Hiroshima | パターン認識システム、このシステムに用いられる連想メモリ装置及びパターン認識処理方法 |
JP4172584B2 (ja) * | 2004-04-19 | 2008-10-29 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 文字認識結果出力装置、文字認識装置、その方法及びプログラム |
-
2004
- 2004-02-27 JP JP2004053433A patent/JP3861157B2/ja not_active Expired - Lifetime
-
2005
- 2005-02-24 KR KR1020067017039A patent/KR100865201B1/ko not_active IP Right Cessation
- 2005-02-24 EP EP05719478A patent/EP1720130A4/en not_active Withdrawn
- 2005-02-24 CN CNB200580005836XA patent/CN100547613C/zh not_active Expired - Fee Related
- 2005-02-24 WO PCT/JP2005/003028 patent/WO2005083632A1/ja active Application Filing
- 2005-02-24 CN CN2009101380651A patent/CN101546382B/zh not_active Expired - Fee Related
- 2005-02-25 TW TW094105905A patent/TWI258715B/zh not_active IP Right Cessation
-
2006
- 2006-08-24 US US11/508,901 patent/US7881525B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI414998B (zh) * | 2009-01-07 | 2013-11-11 | Micron Technology Inc | 型樣辨識處理器之電力消耗管理之方法及系統 |
Also Published As
Publication number | Publication date |
---|---|
KR100865201B1 (ko) | 2008-10-23 |
EP1720130A4 (en) | 2008-10-08 |
CN100547613C (zh) | 2009-10-07 |
US20070003135A1 (en) | 2007-01-04 |
EP1720130A1 (en) | 2006-11-08 |
CN101546382A (zh) | 2009-09-30 |
WO2005083632A1 (ja) | 2005-09-09 |
US7881525B2 (en) | 2011-02-01 |
KR20060118598A (ko) | 2006-11-23 |
CN1922632A (zh) | 2007-02-28 |
CN101546382B (zh) | 2011-09-28 |
JP3861157B2 (ja) | 2006-12-20 |
JP2005242808A (ja) | 2005-09-08 |
TW200537392A (en) | 2005-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI258715B (en) | Learning method for optimizing reference data and pattern recognition system | |
CN109918532B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
Wang et al. | The global fuzzy c-means clustering algorithm | |
Imoto et al. | Bayesian network and nonparametric heteroscedastic regression for nonlinear modeling of genetic network | |
CN111581414B (zh) | 服饰识别、分类及检索的方法、装置、设备及存储介质 | |
CA2447692A1 (en) | Consistent read in a distributed database environment | |
CN111382572B (zh) | 一种命名实体识别方法、装置、设备以及介质 | |
CN104715021A (zh) | 一种基于哈希方法的多标记学习的设计方法 | |
CN112800231B (zh) | 电力数据校验方法、装置、计算机设备和存储介质 | |
CN110210625A (zh) | 基于迁移学习的建模方法、装置、计算机设备和存储介质 | |
JP2022530447A (ja) | ディープラーニングに基づく中国語単語分割方法、装置、記憶媒体及びコンピュータ機器 | |
Zhu et al. | Progressface: Scale-aware progressive learning for face detection | |
CN117315090A (zh) | 基于跨模态风格学习的图像生成方法及装置 | |
CN109614074A (zh) | 基于概率转移矩阵模型的近似加法器可靠度计算方法 | |
CN109543700B (zh) | 一种抗遮挡的服饰关键点检测方法 | |
CN105354264B (zh) | 一种基于局部敏感哈希的主题标签快速赋予方法 | |
Takaishi et al. | Free-form feature classification for finite element meshing based on shape descriptors and machine learning | |
Kuang et al. | Ontology-driven hierarchical deep learning for fashion recognition | |
Wu et al. | Image Matching Algorithm Based on Topology Consistency of Bidirectional Optimal Matching Point Pairs. | |
CN111368109B (zh) | 遥感图像检索方法、装置、计算机可读存储介质及设备 | |
CN111984812A (zh) | 一种特征提取模型生成方法、图像检索方法、装置及设备 | |
Li et al. | On clustering algorithms for biological data | |
CN113837228B (zh) | 基于惩罚感知中心损失函数的用于细粒度物体检索方法 | |
US11960814B2 (en) | Wafer searching method and device | |
Ebrahimi et al. | A hybrid approach for categorizing images based on complex networks and neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |