TWI249133B - Integrated circuit apparatus and neuro element - Google Patents

Integrated circuit apparatus and neuro element Download PDF

Info

Publication number
TWI249133B
TWI249133B TW092106800A TW92106800A TWI249133B TW I249133 B TWI249133 B TW I249133B TW 092106800 A TW092106800 A TW 092106800A TW 92106800 A TW92106800 A TW 92106800A TW I249133 B TWI249133 B TW I249133B
Authority
TW
Taiwan
Prior art keywords
input
resistance value
neural component
pulse wave
voltage
Prior art date
Application number
TW092106800A
Other languages
English (en)
Other versions
TW200307220A (en
Inventor
Masayuki Tajiri
Nobuyoshi Awaya
Original Assignee
Sharp Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kk filed Critical Sharp Kk
Publication of TW200307220A publication Critical patent/TW200307220A/zh
Application granted granted Critical
Publication of TWI249133B publication Critical patent/TWI249133B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C13/00Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0007Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising metal oxide memory material, e.g. perovskites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C2213/00Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/30Resistive cell, memory material aspects
    • G11C2213/31Material having complex metal oxide, e.g. perovskite structure

Description

1249133 / 览 5,-β 玫、發明說明: · [發明所屬之技術領域】-本發明係關於一種製作人類神經元模型之神經元件,該神 經元件將權重分別指定予由複數個輸入端所輸入之輸入信 號,將經過加權之相關輸入信號輸入至一算術機構(means) 並執行運异,以及在運异結果超出一預定值時觸發(fjre) 並輸出預疋輸出仏號。本發明亦關於一種用於實現該神經 元件之積體電路裝置。 【先前技術】 φ) 神經元件係一種製作神經元模型之裝置,該裝置藉由一電 子電路形成一組織,如人類的大腦和眼球。更尤甚者,藉由 以相等電子零件或電子電路取代一神經元之一個細胞體、一 個軸索以及複數個樹狀突與突觸,得以實現神經元件。 圖1係一用於解釋神經元件概念之概要圖。複數個具有輸 入自複數個輸入端1至1之電壓%至1的輸入信號係分別藉 由加權因子W!至Wn予以加權,且神經元件在這些經過加權 之輸入信號上執行運算,例如底下之加法運算。 _ θ m =V 1 Wi+V2W2+V3W3 + ... vnwn 然後,當運异之結果數值0超出一預定門檻值TH時,則輸 出一具有一預定電壓vout之輸出信號,且該信號成為下一級 神經元件之輸入信號。 圖2係一傳統普通神經元件之電路圖。在此實施例中,藉 由以複數個固定式電阻^丨至丨〕…取代突觸、以一算術機構 84153-930506.doc 1249133 93. D>: 12取代細胞體、以及以導線之類物件取代樹狀突與軸索,一 人類之神經元可經過模型製作成為一整體。來自複數個輸入 端1!至In之輸入信號(其電壓為%至Vn)係分別藉由固定式電 阻13-1至13-n之電阻值心至]^予以加權。因此,輸入電壓Vl 至Vn得以轉換成強度為Vl/Rl、V2/R2、V3/R3、…、Vn/Rn2 電流且算術加總在一起,並接著予以輸入至例如比較器等所 組成之算術機構12。然後,當流至算術機構12之輸入電流總 合超出一預定門檻值時,一具有一預定電壓vQut之輸出信號 係由算術機構12予以輸出並作為一輸入信號予以送至下一 級神經元件。注意與算術機構12之特定架構有關,使用各種 與圖2所示電路架構不同之電路係可行的。 順道一提,複數個上述神經元件係結合在一起用於如字元 辨識及语音辨識之領域,一般的數位電腦較難處理這些領域 。然而’舉例而言,就藉由重複多次接收相同刺激實現一製 作人類神經元特性之模型,即逐漸增加反應速度之功能,亦 即使反應更敏感來說,有必要根據對應於人類所接收之刺激 之輸入#號之累積輸入(施加)次數逐步地改變加權因子,並 以非揮發性方式維持逐步變動之加權因子。 依照能夠逐步改變加權因子並以非揮發性方式維持逐步 變動之加權因子之神經元件,存在一揭露於日本專利申請案 早期公開制第6-21531號(1994年)之已知發明,該已知發明 構成一作用為圖2所示加權機構之電阻,該加權機構具有一 使用硫族元素(chalcogen)化合物之可變電阻。 然而,在上述日本專利申請案早期公開制第6_2i53i(i994 84153-930506.doc 1249133
年)所揭露之發明之袖缸< 、、、工凡件中,雖然加權因子可依據施加 於用作加權機構(可·雷卩、 電阻)之喬可珍化合物之脈波電壓強 度予以改變,仍铁不可@ w i 因子 文仞…+ 了此依據脈波電壓之施加次數改變加權 由在於阿可珍化合物之電阻值變化使用-導因於電流 所產生之焦耳熱介於結晶狀態與非結晶狀態之間的相位轉 移且所加加之脈波電麼強度係反射在形成之晶體區與非結 晶區之間的佔空率上,並接著予以儲存。然而,恰在此刻之 :儲存於喬可珍化合物構成之加權機構内與先前輸人波冑 ^ 壓(由先前輸入脈波電壓所構成介於晶體區與非結晶區之間 的佔二率)有關之資汛係由與新施加之脈波電壓有關之資訊 予以覆寫。換句話說,儲存於喬可珍化合物所構成之加權機 構内之資訊僅呼應最後施加之脈波電壓。 因此’在上述揭露於日本專利申請案早期公開制第 6-21531號(1994年)之發明之神經元件中,喬可珍化合物在 施加一輸入信號之後的電阻值與再次施加相同輸入電壓之 後的電阻值之間沒有變化。為了簡化說明,讓我們考慮具有 一輸入之神經元件。例如,假設施加一振幅為3伏特之脈波 電壓,喬可珍化合物之鬲體區與非結晶區之間的佔空率係進 入藉由施加振幅為3伏特之脈波電壓所產生之狀態,且電阻 值由100仟歐姆變為10仟歐姆。之後,振幅為3伏特之相同脈 波電壓再次施加時,喬可珍化合物之晶體區與非結晶區之間 的佔空率僅可進入藉由施加振幅為3伏特之脈波電壓而得到 的狀態内。所以,即使重複多次施加振幅為3伏特之脈波電 84153-930506.doc
HI 1249133 壓’喬可珍化合物之電阻值未改變且仍然是丨0仟歐姆。 由此,在上述揭露於曰本專利申請案早期公開制第 6-21531(1994年)之發明之神經元件中,當相同輸入信號係 重複輸入時,功能為加權機構之喬可珍化合物之電阻值並未 改變。因此,為了觸發神經元件,有必要施加一具有較大振 幅之脈波電壓,該較大振幅係大到足以觸發神經元件。所以 傳統神經元件將不再藉由繼續施加相同輸入信號觸發。為 了上述理由,揭露於曰本專利申請案早期公開制第6_2丨53 i 號(1994年)之發明之神經元件無法製作藉由重複多次接收 相同刺激反應更加敏感之人類神經元功能之模型。 另外,前述曰本專利申請案早期公開制第6_21531〇994年 )在圖2描繪一種含有複數個電晶體和連接於電晶體閘極之 加權機構之神經元件,其中加權機構使用例如靜態隨機存取 記憶體(SRAM)單元、電容和浮動閘。然而,該神經元件面 臨加權構作在電路上所佔有之面積增加的問題。 【發明内容】 本發明已解決上述問題’且_本發明之目的在於提供一種 能夠依據輸入信唬之累積施加次數改變加權因子並以非揮 發性方式維持加權因子以便製作人類神經元特性模型之神 經元件’該人類神經元件特性舉例即藉由重複多次接收相同 刺激更快速地,換句話說,更敏感地逐漸反應之功能。 再者’為了實現該神經元件,一本發明之目的在於提供— 種包含-可變電阻之積體電路裝置,該可變電阻依據輸入信 號之累積施加次數改變其電阻值並以非揮發性方式維持電 84153-930506.doc
系替換f 、乂八 '入· 月曰 1249133 阻值。 本各明之進一步目的在於提供一種包含加權機構之神經 -件,其中加權機構在-電路上之面積係儘可能地予以絮 小。 农 另外為了實現該神經元件,―本發明之目的在於提供— 種包含-可變電阻之積體電路裝置,該可變電阻依據輪二作 说之累積施加次數改變其電阻值並以非揮發性 阻值。 可包 =本發明之積體電路的特徵在於包含‘·—由-種依據脈波 %壓之累積施加次數改變並兩 爻具私阻值並以非揮發性方式維持 電阻值之材料所構成之可變電阻;以及基於一藉由可變電阻 予以轉換之輸入信號用於執行一算術 出一預定值的情況下輪出-預定輪出信號之算術機構 除此之外,-本發明之神經元件之特徵在於包含:由一種 依據脈波電塵之累積施加次數改變一加權因子並以非揮發 性方式維持該加權因子之材料所製成之可變電阻所組成之 力:核機構;以及基於一藉由加權機構予以加權之輸入信號執 行一异術運算並在運算έ士罢扣山 _ . Ό果超出一預定值時藉由觸發輸出 一預定輸出信號之算術棒構。 在該本發明之積體電路裝置和神經元件中,可變電阻(加 權機構)依據脈波電麼之累積施加次數改變電阻值(加權因 子)並以非揮發性方式維持電阻值(加權因子)。因此,算術 機構基於每一個可變電阻(加權機構)所轉換之輸入信號執 灯-异術運算並在運算結果超出一預定值時輪出一預定輸 84153-930506.doc -10- 1^133
出4號,而每一個可變带 4 後仍保存其電阻值。兒且(加權機構)即使在電源供給中斷 係 Ιέ 丹I,本發明之積體電路 -種具有-触_構$ 神^件之㈣在於材料 。 …卞構之氣化物,該鈣鈦礦架構至少包含 在4本發明之積體電 八辟々力 #置及神經元件中,由一且有至少 含錳之鈣鈦礦架構之4诈仏 依據脈波電麼之累積施加次:構::可變電阻(加權機構) 非揮發性方式保存電阻值广〜電阻值(加權因子)並以 另外’本發明之積體雷 、電^置和神經元件之特徵在於具有 鈣鈦礦架構之氧化物係 c + τ 衣不马 Pr(丨-χΑΜη〇3、La(1.x)CaxMn03 、或^y)CaxPbyMn〇3(其中X<1、y<l、x+y<i)之材料中的任 何一種材料。 在該本發明之積體電路裝置和神經元件i由分析值為 施〇3、La(1-x)CaxMn〇3、4La(i x y)CaxPbyMn〇3(其甲 W / 1 x+y<l)中任何一種之氧化物所構牟之可變電阻(加權 機構)依據脈波電壓累積施加次數改變電阻值(加權因子)並 以非揮發性方式保存電阻值。 另外,本發明之積體電路裝置和神經元件之特徵在於具有 舞欽礦架構之氧化物係表示為PrG7CaG3Mn〇3、 La0.65Ca0.35MnO3、或La0.65Ca0_175Pb0.175MnO3之材料中的任何一 種材料。 在該本發明之積體電路裝置和神經元件中,由表示為
Pr0.7Ca0.3MnO3、La0.65Ca0.35MnO3、或 La0.65Ca0.175Pb0.175MnO3 之 84153-930506.doc -11 - 1249133 材料中的任何一種材料所 脈波電壓之累積施加次數改變電阻二y機構)依據 發性方式保存電阻值。夂電阻值(加核因子)並以非揮 發明之積體電㈣置之特徵在於可變電阻係串接 ^術機構與複數個輸人端中之其中—個或每—個之間。 本發明之独元件之㈣在於加權機構係串接 於,術機構與複數個輸入端中之其中一個或每一個之間。
=本發明之簀體電路裝置和神經元件n 變電阻係串 接於异術機構與複數個輸人端之其中—個或每_個之間。因 :二:-負脈波電麼首先施加至每—個可變電阻(加權糊 〃極性與第一輸入脈波相同之脈波電屋隨後進—步予以 一 乂便事先提升電阻值(加權因子)時,然後,在重複施加 :正輸入脈波電麼時’可變電阻(加權機構)之電阻值依據正 用入脈波電μ之累積施加次數逐漸減少,且加權因子之數值 而曰加丨中加權因子之數值係每一個可變電阻之 的倒數。 再者,本發明之積體電路裝置之特徵在於可變電阻係串接 ;複數個輸入端之其中一個或每一個與一接地電位之間,且 其進-步特徵在於包含一串接於複數個輸入端之其中一個 或每一個與算術機構之間的固定式電阻。 另外,本發明之神經元件之特徵在於加權機構係串接於複 =個輸入端之其中之—或每—個與_接地電位之間,且其進 一步特徵在於包含-串接於複數個輸人端之其t -個或每 一個與异術機構之間的固定式電阻。 84153-930506.doc -12-
1249133 在該本發明之積體電路裝置和神經元件中,可變電阻係串 接於複數個輸入端之其中一個或每一個與一接地電位之間 ’並進一步提供一串接於複數個輸入端之其中一個或每一個 與鼻術機構之間的固定式電阻。因此,隨著每一個電阻之電 阻值增加,由每一個輸入端流向每一個固定式電阻之輸入電 流流量增加,且流入神經元件之算術機構之電流亦增加。 再者,本發明之積體電路之特徵在於可變電阻在施加一極 性與初始狀態中所輸入之脈波電壓相同之脈波電壓時增加 其電阻值,而在施加一極性與初始狀態中所輸入之脈波電壓 相反之脈波電壓時減少該電阻值。 另外,本發明之神經元件之特徵在於加權機構在施加一極 性與初始狀悲中所輸入之脈波電壓相同之脈波電塵時以一 方向改變加權因子,而在施加一極性與初始狀態中所輸入之 脈波電壓相反之脈波電壓時以相反方向改變該加權因子。 在該積體電路裝置和神經元件中,可變電阻在施加一極性 與初始狀態中所輸入之脈波電壓相同之脈波電壓時增加其 電阻值,而在施加一極性與初始狀態中所輸入之脈波電壓相 反之脈波電壓時減少該電阻值。 本發明之上述及進一步目的將經由底下配合附加圖式之 詳細說明益加完整明顯。 【實施方式】 底下說明將基於描繪某些本發明具體實施例之圖式詳細 解釋本發明。 注思,作為一神經元件之加權機構,亦即一本發明積體電 84153-930506.doc -13 -
種由具有含錳之鈣鈦礦架構之 nPCMO膜”),所組 ’本發明使用一種由
即在笔源供給中斷時維持電阻值
Ik著脈波電壓之施加於室溫 终給中斷時仍具有非揮發性 維持電阻值之特徵,如美國 路之可變電阻, 氧化物,如prQ · 成之可變電阻, 專利案第6,204,139Β1號所揭露之特徵。 、一 八!弓鈦確架構係—種首先以氧化莉鈦(p_skite)(CaTi〇3)作 刀析之日日體架構,並意指一種如同理想晶格之簡單立方架構。 圖3係一用於本發明之氧化物薄膜(pcM〇膜)之電阻值變 匕圖"私阻值之變化係藉由脈波電壓之施加予以產生。該圖 表示當一脈波電壓如上述施加於pCM〇薄膜時,首先,電阻 值僅卩通脈波電壓之振幅呈指數增加,而與脈波電壓之極性無 關。在此種情況下,由於電阻值變化平滑,在加權時實現細 微變化係可行的。反之,雖然未示於圖3,當一極性與首先 施加之脈波電壓相反之脈波電壓被施加時,pCM〇薄膜之電 阻值減少。 圖4A和圖4B係用於本發明之氧化物薄膜(pCM〇膜)之電 阻值變化圖,電阻值之變化係導因於短時間脈波電壓之施加 ’且圖4A表示施加正脈波時之電阻值變化,而圖4B則表示 施加負脈波時之電阻值變化。 更明確地,如上所述之PCMO膜顯示圖4A和圖4B中相關於 具有短脈寬(奈秒等級)之脈波電壓之圖示所示之電阻值變 化。由圖3之圖示特徵可知,電阻值隨脈波電壓之振幅增加 ,反之,在圖4A之圖示中,電阻值依據極性(正極性)與首先 84153-930506.doc -14- 1249133 丨換;負 日 施加之脈波電壓相 次數而增加。 同之脈波電壓(+3至+5伏特)之累積施加 =田極負極性)與首先施加之脈波電壓相反之脈 ;电壓(-3至-5伏特)被施加時,如圖仙之圖示所示, 薄膜之電阻值依據脈波之累積施加次數而減少。藉由使用一 可變電阻作為加權機構,其中可變電阻利用依據脈波電麼累 積&加-人數之電阻值變化’實現藉由重複接收相同刺激更快 速地回應,換句話說即藉由學習更敏感地回應,之人類神經 元功能變得可行。 •除了上述特徵外,有了具有含猛之賴礦架構之氧化物薄 膜如上述之PCMO ’所固有之非揮發性特徵,電阻值即使 在電源供給中斷後仍得以維持,亦即,加權機構之加權因子 即使在電源供給中斷後仍得以保存。除此之外,如將於猶後 所述,由於單獨加權機構能夠藉由—由上述氧化物薄膜所構 成之可變電阻,或一可變電阻與一固定式電阻,予以實現, 使單獨加權機構所佔有之面積減少係可行的,藉以使神經元 件之整個面積大幅減少。 圖5係一表示上述氧化物薄膜所組成之非揮發性可變電阻 木構貫施例之概要圖。一用於製造圖5所示非揮發性可變電 阻之方法係如底下所述。 首先,一由二氧化矽(SiOj膜或氧化鑭鋁(LaA1〇j膜所構 成之絕緣膜2係沉積在一矽晶圓丨上,其中絕緣膜2係一單晶 絶緣體。一材料為鉑(Pt)、銥(Ir)、鈦(Ti)、或導電氧化物 YBaCu3〇7之底部電極3係沉積在絕緣膜2上。另外,在底部 84153-930506.doc -15 - 1249133 F 於 u 電極3上,一由分析值標示 马 pr(Nx)、CaxMn03、La(1.x)CaxMn03 或 La(i_x_y)CaxPbyMn〇3(复 φ "τ χ<ι、y<1、x+y<1),例如
Pr〇.7Ca〇.3Mn03、La0 65Ca0 M ^ T 5 n〇r 以及La0.65Ca0,175Pb0i75Mn〇3 之材料中的任何一種枒粗&址丄 科所構成之氧化錳膜4係藉由 MOCVD法、旋轉被覆法、帝射幻…" 支友田射刻除法(laser ablation)、濺鍍 法等予以沉積0另外,鉑 你作為一上部電極5予以蒸發沉簀 於氧化錳膜4上。為了盥一邋始从你 ” 導線接觸,使用金(Au)、銀(Ag) 、鉑或一例如二氧化銥(Ir〇2)之導電氧化物。 ^意’在圖5所示之實施例中’—二氧㈣膜係用作絕緣 膜2卩鈦作為基部之鉑係用作底部電極3、卩⑽。 (~7〜雜〇3)係用作氧化猛膜4、卩及始係用作上部電極$ :另外,圖5所示非揮發性可變電阻之尺寸係一直徑大約2〇〇 微米且厚度大約3_埃之圓圈’且電阻在電路上所佔有之面 積係非常地小。 ,、次,底下說明將引用圖6中表示積體電路裝置實施例之 電路圖解釋積體電路裝置之電路架構,亦即本發明之神經元 件; 非揮發性可變電阻11_丨至11_11(分別具有電阻值心至心)係 經形成以具有一種架構,該架構使用,如圖5所示之氧化錳 膜4,一種表示電阻值在室溫下隨著脈波電壓之施加而變化 之材料所構成之薄膜,亦即一具有含錳之鈣鈦礦架構之氧化 物,舉例如美國專利案第6,2〇4,139則所揭露之份〇7Ca^Mn〇3 (PCMO)。卩返著該等非揮發性可變電阻11 _ 1至11 之使用,依 據脈波電壓之累積施加次數改變電阻值R!至Rn係可行的。 84153-930506.doc -16- 1249133 多^丨㈣ 'm 5. -¾ .; 在圖6中,一以虛線包圍引用參考編號12予以標示之部分 ’ 係一對應於神經元細胞體之算術機構。對於算術機構之電路 . 而言’係舉例採用文件,,類比式超大型積體電路(VLSI)和神 經系統(卡沃米德(Carver Mead)所作)所述之算術機構。更 尤甚者’算術機構12之電路包含一含有兩電容14_1與14-2之 電容性分壓電路;一放大器121 ;和一含有兩電晶體%&與 Mb之重置電路,以及實現以神經元中之軸突丘產生一神經 脈博並接著以一電子電路回復原始狀態之功能。其它神經元 件之輸出(於前一級中)係作為輸入信號自輸入端^至。(輸入 g 信號之電壓值分別為Vl至Vn)經由非揮發性可變電阻丨Μ至 11 -η送至异術機構丨2。這些輸入信號呼應其它神經元之突觸 和軸索。 在圖6所示本發明之神經元件中,一負脈波電壓係預先送 至非揮發性可變電阻1 1 _ 1至1 1 _n作為加權機構,然後進一步 知加一極性與第一輸入脈波相同之脈波電壓以便事先提升 電阻值。在後續的輸入過程中,正輸入電壓%至%係分別 自輸入端I!至In送至非揮發性可變電阻丨1-;[至丨1-n,且該等 ® 電流係接著經由非揮發性可變電阻丨丨至丨1-η作算術加總 並流入算術機構12。此時之電流總合〗係以底下方程式予以 表示。 Ι=Σ Vi/Ri =V1/Ri+V2/R2+V3/R3 + ...+vn/Rn 然而’在此實施例中,藉由重覆施加正輸入脈波電壓,非 揮發性可變電阻11-1至n-n之電阻值心至心依據累積施加 84153-930506.doc •17-
1249133 次數步階式地減少,且加權因子Wi^Wn之數值增加,其中 加權因子w丨至w n之數值係非揮發性可變電阻丨丨-丨至丨^ n之 電阻值1至1的倒數。注意圖i所示之物理量θ與電流j相關 ,且加權因子〜1至^¥11與1/111至1/1111相關,故圖6所示之電路 係貫質等於作為先前技藝實施例示於圖1之電路。 順道一提,構成每一個非揮發性可變電阻丨丨_丨至丨1 之 PCMO所具有的一項特徵在於第一次施加一脈波電壓時,電 阻值無關於脈波電壓的極性而增加,然後當所施加之脈波電 壓極性與初始輸入脈波相同時,電阻值增加,但當所施加之 脈波電壓極性相反時,電阻值減少。另外,存在一項非揮發 性可變電阻11 -1至11 -XI在增加電阻值時比減少電阻值時更 易X控制之特徵。因此,就利用非揮發性可變電阻1 1 _ 1至 1 l-n之數目增加使控制更容易的觀點來看,當一藉由增加加 權機構之加權因子用於增加輸入電流之電路設計受到採用 時,實現一非常易於使用之神經元件係可行的。 為了該等理由,如圖7之電路圖所示,在相關輸入端]^至 Ιη與接地電位之間串接非揮發性可變電阻1 1 _ 1至1 l-n,同時 在相關輸入端L至In與算術機構12之間串接固定式電阻13-1 至13-n,並藉以經由固荩式電阻丨^丨至^巧將輸入脈波電壓 輸入至异術機構12係有作用的。隨著非揮發性可變電阻1 u 至ll-η之電阻值心至!^增加,由輸入端^至]^流向固定式電 阻13-1至13-n之輸入電流流量增加,故流入神經元件之算術 機構12之電流亦因而增加。 為了上述理由,在圖7所示的神經元件中,如同圖6所示之 84153-930506.doc -18-
1249133 神經單元事先增加每一個非揮發性可變電阻丨丨至丨丨之 電阻值是不需要的,且存在每一個固定式電阻13-1至13-n之 電阻值可依據使用神經元件的目的予以事先設定的優點。 圖ό和圖7所示之每一個神經元件之算術機構12之運作原 理係如底下所述。注意算術機構12包含一電容14-1(具有電 容值(^),電容14-1之一端係共接於每一個非揮發性可變電 阻11-1至ll_n之輸出端、或每一個固定式電阻13-1至134之 輸出端’且另一端係連接至接地電位;一電容14-2(具有電 容值CD,電容14-2之一端係連接至放大器121之輸出端且另 &係連接至放大器121之輸入端以便形成一回授迴路;以 及電晶體Ma和Mb,電晶體Ma和Mb係在放大器121之輸入端 與接地電位之間申接。除此之外,放大器121之輸出端係連 接至電晶體Ma之閘極,且一神經元件中連接至下一級之輸 出Vback#連接至電晶體Mb之閘極。 當流向异術機構12之輸入電流流入電容14-1且電荷累積 時,電容14-1之一端(放大器121之輸入端)的電位Vin接著上 升。在Vin較低的週期期間’放大器ι21的增益不大於1,且 通過電容14-2的正回授因而難以動作,以及的上升較為 適中。然而,當vin上升到某一數值時,放大器121的增益陡 峭上升,且分量(^/(q+C2)乘上放大器12ι輸出端電位v〇ut 上升量之結果係藉由通過電容14-2之正回授回饋回放大器 121之輸入端。因此,放大器121的輸出信號,即算術機構12 之輸出信號之電壓vQut,陡峭上升至一電源供給電壓乂⑽。 這呼應於觸發一神經元。 84153-930506.doc -19- I249133 買 月 曰 在~真實神經元中,位於軸突丘之正回授係藉由一取決於 電壓之納離子通道(sodium channel)予以達成。當細胞體内 侧的電位上升時,鈉離子通道呈開啟且鈉離子電流(s〇diurn current)增加,藉以使細胞質更正向鈉離子之反向電位(5 5毫 伏特)。換句話說,通過電容14-2之正回授執行神經元中通 過鈉離子通道之正回授。另一方面,電容14-1的作用為細胞 膜〇
在重置電路中,當放大器121輸出端的電位从_和連接至 下一級神經元件的輸出電位Vback已變得夠高時,以該兩電位 作為閘極輸入之電晶體Ma* Mb係同時開啟,且儲存於電容 w-i内的電荷接著流向接地電位,藉以重置算術機構a。因 此,每一個神經元件的輸出得以穩定,且每一個神經元件係 在輪出觸發下一級神經元件之後予以重置。
上述神經元件的重置運作係類似於神經元中鉀離子通〗 的功能。雖然鉀離子通道的數目大於鈉離子通道的數目" 離子通道對於改變細胞質電位具有不良較應並在神經1 糟由鈉離子通道的功能予以完全去極化之後逐漸地增力^ 啟通道之數目,但開啟之鈉離子通道則因該等通道固有之; 作用性而減少。當開啟之鉀離子通道變得比開啟之鈉離子土 道還多時,細胞質係變得更負向卸離子之反向電位(灿 特)。當細胞體再次極化眭,„ ^ 化日守,開啟之鈉離子通道快速減少: 鈉離子電流亦降低,且細胞質 l貝^位付以進一步降低。最絲 鉀離子通道(potassium ch π ^ ^ 夠再次觸發的狀態。 文種月1 84153-930506.doc -20. 1249133 1 在一真實電路中,由於電容144有漏電現象,當來自其它 神經元件之輸入信號’亦即分別輸入至輸入端丨丨至^之輸入 信號中斷時,電容14-1中的電荷最後將將全部漏失。因此, 雖然上述重置電路並非必要,但假使需要在電容丨4_丨中的電 荷全部漏失前連續觸發神經元件,則有必要為電容14_丨中之 強制性電荷漏失預作準備。 圖8概要圖示觸發本發明積體電路裝置和神經元件所需的 日τγ間更尤甚者,圖8係一表示觸發本發明神經元件所需的
時間’其中本發明之神經元件使用—種如上述用於加權機構 ,即可變電阻,具有含錳之鈣鈦礦架構之氧化物,圖8並描 繪每次一串脈波電壓重覆施加於本發明之神經元件和積體 電路裝置之可變電阻(加權機構)時,電阻值如何改變,換句 話祝,即流入算術機構12之放大器121之電流之電壓…化)如 何改變。 备一串脈波電壓第一次予以重覆施加時,電壓 之上升較為適中,且電壓Vin達到放大器i2i之門檻電壓
並於時間u發生觸發。之後,當算術機構12一旦重置且一 脈波d係於第_次予以重覆施加時,電壓之上升與 人相比更快一些。理由在於每一個非揮發性可變電阻。 至ll-η之電阻值已藉r ^ Sir 'cir ^ r— 上 糟由串脈波電壓之第一次施加予以 :且電阻值係以非揮發性方式予以維持,故電容14]中之 =積與第—次施加時相比較因而更為快速。所以,當一 、::係於第_次予以重覆施加時,觸發時間(—hg) 其中t2比第—次施加時之闕短。另外,t-串脈波 84153-930506.doc -21 - 1249133
以重覆施加時,觸發時間 壓係於弟三次以上述之相同方式予 為比t2還短的t3。 觸發時間逐步變快的事實意指本發明之神經元件隨著相 同信號之施加次數上升而反應更加敏感,這㈣意指—神經 元件之實現更類似人類之神經元。 、 注意,在由一喬可珍化合物所構成之傳統可變電阻係用作 加權機構的情況下,即使相同輸入信號係經重覆施加,可變 電阻之電阻值仍不改變,故觸發時間固定不變。再者,若以 使用由喬可珍化合物所構成之傳統可變電阻之加權機構而 °除非轭加脈覓至少為t3之週期之輸入脈波電壓,否則 觸發不會發生。反之,在本發明中,即使輸人脈波電壓的脈 寬小於t3之週期,若重覆予以施加,最終會發生觸發。理由 在於可,交電阻之電阻值係藉由重覆施加脈波電壓予以逐漸 減 >,且輸入脈波當然具有一觸發所需的脈寬。 順道一提,與异術機構12有關,尤甚是放大器丨2丨,有各 種可能的具體實施例,且其中最簡單的—個實施例係如圖9 之電路圖所示串接兩個反相器22和23的架構。然而,當重置 係在輸入#唬仍然存在的情況下藉由使電晶體和Mb所 組成之重置電路動作予以執行時,會有輸出發生振盪的可能 性。在真實的神經元中,這問題並不這麼嚴重,因為真實神 經元並非以如同電子電路般快速之時脈運作,且對於傳送至 突觸之輸入延遲因而通常有足夠的時間。然而,在一藉由半 導體予以貫現且於高速運作之神經元件中,需要充分地考量 輸出信號的振盪問題。 84153-930506.doc -22- 1249133 為了避免此一存在於神經元件中+ 些量測係可行的,…$牛中之輸嶋《,採行某 級令連接-、由…^ A下一級中之神經元件,在充分後 _ ^ ?經7°件之輸出作為送至重置電路_電晶體Mb 充分改良重置電路中電晶㈣^ 1及將一通路電晶體(pass transist〇r)連接至每一個神經元 件之輸出端以時脈式控制送至下一級之輸入。 广在另放大為121之具體實施例_,可使用一如圖10中之 電路圖所示之位準切換器(或稱電平轉換器)(level shlf㈣ 24在使用圖1()中之電路圖所示之位準切換器以之架構中, 田振I開始% ’振堡頻率與圖9所示電路圖中含有兩個串接 反相σσ之木構相比較係較長的。因此,即使在振盪發生時, 若^在高速運作期間發生,在達到振盪峰值之前通常會有來 自前級之輸人已經衰減或重置運作已經完成的現象,且因而 存在使電路免於失控㈣n away)的高度可能性。然而,如圖 、所示由於用於放大器121之位準切換器24之電晶體數目 增加到六個,存在抵消降低加權機構所佔有之面積的可能性。 另一方面,如圖11之電路圖所示,當一差動放大器25係用 作放大器121時,藉由改變參考電位Vr£f改變神經元件之輸 出門檻值係可行的。在此種情形下,當Vref上升時,神經元 件之輸出門檻值亦上升且供應輸出之前所需的電流量上升 ’以及神經元件本身因而變為非作用。 雖然並非精確相等,但是當由外部查看神經元件時,上述 功能仍非常類似神經元中氯離子通道的功能。由於氣離子通 道具有增加膜狀物導電性而不改變細胞質電位的效果,故得 84l53-930506.doc -23-
1249133 以降低鈉和鉀對細胞膜的影響。所以,神經元對來自突觸之 輸入的反應變得較差。 由於圖π之電路圖中所示的差動放大器通常放大能力不 足,故可藉由安裝圖12之電路圖中所示的反相器26改良輸入 /輪出特性。 如以上之詳細說明所述,根據本發明之積體電路裝置和神 元件,藉由形成一利用氧化物薄膜,更明確地說係一種具 有含錳之鈣鈦礦架構之氧化物薄膜,之可變電阻,其中該氧 化物薄膜具有隨脈波電壓之累積施加次數於室溫改變之電 阻值亚以非揮發性方式維持該電阻值,依據如同傳統神經元 件^之脈波電M振幅改變權重、以及亦依據過去所輸入之脈 波私屋之累積次數改變權重係可行的,藉以實現與人類神經 元更類似的神經元件。 再者,如圖8之圖所示,在本發明之神經元件中,每一次 重覆轭加一串脈波電壓時,流入算術機構之電流之電壓(ν^) 更力陕速地、交知更南,且觸發時間因而逐漸變得更快。更快 速的觸發間時意指神經元件隨著相同信號施加次數的增加 反應更敏感,藉以實現與人類神經元更類似的神經元件。 -卜根據本發明之積體電路裝置和神經元件,藉由對於 二核機構使用固定式電阻和非揮發性可變電阻之組合,有可 J用非揮發性可變電阻之特徵,亦即,控制在提升電阻值 守更為容易,以及消除事先提升非揮 的必要性。因此,依據使 ^ ^阻值 —^ 像便用神經兀件電路的目的預先設定固 疋式電阻之電阻值變得可行。 84153-930506.doc -24- 另外’根據本發明之積辦雷 在電路加…、體電路虞置和神經元件,加權機構 在電路上所佔有的面積可作得非常小。 由於本發明可用許多 卞夕形式予以體現而不脫離其實質特徵 n A之具體實施例因而係屬於描述性且非限制性, 因為杨明之料係由附加之中請專利範圍而非先前說明 予乂界疋J_所有洛於中請專利範圍之界標和界限内之變化 ,或其界標和界限之等義字因而係易欲於藉由申請專利範圍 予以含括。 【圖式簡單說明】 圖1係一解釋神經元件概念之概要圖; 圖2係一傳統普通神經元件之電路圖; 圖3圖tf對-用於本發明之氧化物薄膜㈣則膜)施加脈 波电壓所導致之電阻值變化; 圖4A圖不對用於本發明之氧化物薄膜(pcM〇膜)施加一 正短時間脈波電壓所導致之電阻值變化; 圖4B圖不對用於本發明之氧化物薄膜(1^%〇膜)施加一 負短時間脈波電壓所導致之電阻值變化; 圖5係一表示本發明積體電路裝置中氧化物薄膜(PCm〇 膜)所組成之非揮發性電阻架構實施例之概要圖; 圖6係一表示積體電路裝置基本電路架構實施例之電路圖 ’亦即一本發明之神經元件; 圖7係另一表示積體電路裝置基本電路架構實施例之電路 圖’亦即本發明之神經元件; 圖8係一概要表示觸發本發明之積體電路裝置和神經元件 84153-930506.doc -25 - 1249133
a 之所需時間圖; 其代表一本 ,其代表一本 ,其代表一本 ,其代表一本 圖9係一表示神經元件之算術機構之電路圖, 發明具體實施例中之例子; 圖10係一表示神經元件之算術機構之電路圖 發明具體實施例中之例子; 圖11係一表示神經元件之算術機構之電路圖 發明具體實施例中之例子;以及 圖12係一表示神經元件之算術機構之電路圖' 發明具體實施例中之例子。 【圖式代表符號說明】 1 石夕晶圓 2 絕緣膜 3 底部電極 4 氧化锰膜 5 上部電極 11 -1〜11 _n 可變電阻 12 算術機構 13-1 〜13-2 固定式電阻 14-1, 14-2 電容 _ 121 放大器 22, 23, 26 反相器 24 位準切換器 25 差動放大器 Rl -Rn 電阻值 84153-930506.doc -26-
_L
Vi 〜vn 電壓 Il-In 輸入端 w!〜wn 加權因子 Θ 運算結果 TH 預定門植值 Vout 預定電壓 Ma,Mb 電晶體 84153-930506.doc -27

Claims (1)

1249133 •構之範圍第"項之神經元件,其中該具有物架 物係標示為Pr(1.x)CaxMn〇3、La〇x)CaxMn〇3 ^:rpby^ 13.:1=Γ範圍第12項之神經元件,其中該加權機構係串 、複數個輸入端中之一個或各個與該算術機構之間。 •如申請專利範圍第12項之神經㈣,其中該加權機構㈣ 接於複數個輪入端中之一個或各個與-接地電位之間;以 及 其進一步包含一連接於該複數個輸入端中之一個或各 個與該算術機構之間的固定式電阻。 15.如申料利範圍第11項之神經元件,其中該具㈣鈦礦架 構之乳化物係標示為Pr。7Ca。3Mn〇3、La。“Ca。35Μη〇3、或 La〇.65Ca0.i75Pb0.i75Mn03之材料中的任一材料。 以如申請專利範圍第15項之神經元件,其中該加權機構係串 接於複數個輸入端中之一個或各個與該算術機構之間。 17.如申請專利範圍第15項之神經元件,其中該加權機構係串 接於複數個輸入端中之一個或各個與一接地電位之間;以 其進步包含一連接於該複數個輸入端中之一個或各 個與該算術機構之間的固定式電阻。 18·如申請專利範圍第1〇至丨7項中任一項之神經元件,其中該 加權機構在施加一極性與初始狀態中所輸入之脈波電壓 84153-930506.doc
TW092106800A 2002-03-27 2003-03-26 Integrated circuit apparatus and neuro element TWI249133B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002089796A JP4248187B2 (ja) 2002-03-27 2002-03-27 集積回路装置及びニューロ素子

Publications (2)

Publication Number Publication Date
TW200307220A TW200307220A (en) 2003-12-01
TWI249133B true TWI249133B (en) 2006-02-11

Family

ID=27800497

Family Applications (1)

Application Number Title Priority Date Filing Date
TW092106800A TWI249133B (en) 2002-03-27 2003-03-26 Integrated circuit apparatus and neuro element

Country Status (6)

Country Link
US (1) US6956280B2 (zh)
EP (1) EP1349110A3 (zh)
JP (1) JP4248187B2 (zh)
KR (1) KR100599826B1 (zh)
CN (1) CN100407471C (zh)
TW (1) TWI249133B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282660B2 (en) 2014-01-06 2019-05-07 Qualcomm Incorporated Simultaneous latency and rate coding for automatic error correction

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712942B2 (en) * 2003-03-24 2014-04-29 AEMEA Inc. Active element machine computation
JP4792714B2 (ja) * 2003-11-28 2011-10-12 ソニー株式会社 記憶素子及び記憶装置
US6949435B2 (en) * 2003-12-08 2005-09-27 Sharp Laboratories Of America, Inc. Asymmetric-area memory cell
TWI355661B (en) * 2003-12-18 2012-01-01 Panasonic Corp Method for using a variable-resistance material as
US7060586B2 (en) * 2004-04-30 2006-06-13 Sharp Laboratories Of America, Inc. PCMO thin film with resistance random access memory (RRAM) characteristics
JP4546842B2 (ja) * 2005-01-20 2010-09-22 シャープ株式会社 不揮発性半導体記憶装置及びその制御方法
JP2006245280A (ja) * 2005-03-03 2006-09-14 Matsushita Electric Ind Co Ltd 電界効果トランジスタ及びその動作方法
US8395199B2 (en) 2006-03-25 2013-03-12 4D-S Pty Ltd. Systems and methods for fabricating self-aligned memory cell
US7932548B2 (en) 2006-07-14 2011-04-26 4D-S Pty Ltd. Systems and methods for fabricating self-aligned memory cell
US8454810B2 (en) 2006-07-14 2013-06-04 4D-S Pty Ltd. Dual hexagonal shaped plasma source
US8308915B2 (en) 2006-09-14 2012-11-13 4D-S Pty Ltd. Systems and methods for magnetron deposition
WO2008126365A1 (ja) * 2007-03-29 2008-10-23 Panasonic Corporation 不揮発性記憶装置、不揮発性記憶素子および不揮発性記憶素子アレイ
KR101438469B1 (ko) * 2007-12-05 2014-09-05 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로
TWI356488B (en) * 2008-03-26 2012-01-11 Univ Nat Chiao Tung Memory device and method of manufacturing the same
US9026768B2 (en) 2009-09-14 2015-05-05 AEMEA Inc. Executing machine instructions comprising input/output pairs of execution nodes
US8527438B2 (en) * 2009-12-22 2013-09-03 International Business Machines Corporation Producing spike-timing dependent plasticity in an ultra-dense synapse cross-bar array
CN101916393B (zh) * 2010-07-14 2012-09-26 中国科学院半导体研究所 具有图像分割功能的脉冲耦合神经网络的实现电路
CN102456157B (zh) * 2010-10-20 2015-08-26 北京大学 神经元器件和神经网络
US9152779B2 (en) 2011-01-16 2015-10-06 Michael Stephen Fiske Protecting codes, keys and user credentials with identity and patterns
US10268843B2 (en) 2011-12-06 2019-04-23 AEMEA Inc. Non-deterministic secure active element machine
CN103078054B (zh) * 2013-01-04 2015-06-03 华中科技大学 一种模拟生物神经元和神经突触的单元、装置及方法
CN103312605B (zh) 2013-05-29 2017-06-20 华为技术有限公司 一种网关设备身份设置的方法及管理网关设备
JP5885719B2 (ja) * 2013-09-09 2016-03-15 株式会社東芝 識別装置および演算装置
KR101529655B1 (ko) * 2013-12-04 2015-06-19 포항공과대학교 산학협력단 가변저항층을 가지는 rram과 이를 포함하며 향상된 시냅스 특성을 가지는 전자 소자
US10643125B2 (en) 2016-03-03 2020-05-05 International Business Machines Corporation Methods and systems of neuron leaky integrate and fire circuits
WO2018100790A1 (ja) * 2016-11-30 2018-06-07 国立研究開発法人科学技術振興機構 ニューロン回路、システムおよびスイッチ回路
EP3680907A4 (en) * 2017-09-07 2020-10-28 Panasonic Corporation ARITHMETIC CIRCUIT OF A NEURONAL NETWORK USING A NON-VOLATILE SEMI-CONDUCTOR MEMORY
TWI641989B (zh) * 2017-11-20 2018-11-21 旺宏電子股份有限公司 類神經計算裝置
US10719296B2 (en) * 2018-01-17 2020-07-21 Macronix International Co., Ltd. Sum-of-products accelerator array
CN109670585B (zh) * 2018-12-29 2024-01-23 中国人民解放军陆军工程大学 神经元仿生电路和神经形态系统
US11587612B2 (en) * 2019-07-03 2023-02-21 Micron Technology, Inc. Neural network memory with an array of variable resistance memory cells
JP7398841B2 (ja) * 2020-06-19 2023-12-15 国立研究開発法人産業技術総合研究所 情報処理装置および情報処理装置の駆動方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4618985A (en) * 1982-06-24 1986-10-21 Pfeiffer J David Speech synthesizer
US4874963A (en) * 1988-02-11 1989-10-17 Bell Communications Research, Inc. Neuromorphic learning networks
JPH0621531A (ja) 1992-07-01 1994-01-28 Rohm Co Ltd ニューロ素子
KR0185756B1 (ko) * 1994-02-02 1999-05-15 정호선 비선형 회로와 이를 이용한 혼돈 신경망
US6002965A (en) * 1998-06-10 1999-12-14 Katz; Amiram Self applied device and method for prevention of deep vein thrombosis
US6204139B1 (en) * 1998-08-25 2001-03-20 University Of Houston Method for switching the properties of perovskite materials used in thin film resistors
US6473332B1 (en) * 2001-04-04 2002-10-29 The University Of Houston System Electrically variable multi-state resistance computing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282660B2 (en) 2014-01-06 2019-05-07 Qualcomm Incorporated Simultaneous latency and rate coding for automatic error correction

Also Published As

Publication number Publication date
US20030183878A1 (en) 2003-10-02
US6956280B2 (en) 2005-10-18
TW200307220A (en) 2003-12-01
CN100407471C (zh) 2008-07-30
CN1447457A (zh) 2003-10-08
JP4248187B2 (ja) 2009-04-02
KR20030078020A (ko) 2003-10-04
KR100599826B1 (ko) 2006-07-12
EP1349110A3 (en) 2006-03-22
JP2003283003A (ja) 2003-10-03
EP1349110A2 (en) 2003-10-01

Similar Documents

Publication Publication Date Title
TWI249133B (en) Integrated circuit apparatus and neuro element
Del Valle et al. Challenges in materials and devices for resistive-switching-based neuromorphic computing
Hu et al. Modeling affections with memristor-based associative memory neural networks
Li et al. Ultrafast synaptic events in a chalcogenide memristor
Yang et al. Synaptic plasticity and memory functions achieved in a WO3− x-based nanoionics device by using the principle of atomic switch operation
Kim et al. Demonstration of unsupervised learning with spike-timing-dependent plasticity using a TFT-type NOR flash memory array
Park et al. Neuromorphic speech systems using advanced ReRAM-based synapse
Mandal et al. Novel synaptic memory device for neuromorphic computing
Chang et al. Building neuromorphic circuits with memristive devices
Liu et al. Optimization of non-linear conductance modulation based on metal oxide memristors
Sung et al. Simultaneous emulation of synaptic and intrinsic plasticity using a memristive synapse
CN110289317B (zh) 铁电石墨烯晶体管及基于它的互补型突触器件和调控方法
US10740672B2 (en) Capacitative artificial neural networks
US10867237B2 (en) Single-component artificial neuron based on Mott insulators, network of artificial neurons and corresponding manufacturing method
Piccolboni et al. Investigation of the potentialities of Vertical Resistive RAM (VRRAM) for neuromorphic applications
US20210174173A1 (en) Circuit Structure and Driving Method Thereof, Neural Network
CN110362291B (zh) 一种利用忆阻器进行非易失性复杂运算的方法
Mahalanabis et al. Demonstration of spike timing dependent plasticity in CBRAM devices with silicon neurons
Gerasimova et al. Design of memristive interface between electronic neurons
CN112418414A (zh) 利用单栅极的反馈电场效电子器件的整合放电神经元电路
CN113196307A (zh) 神经元及包括其的神经形态系统
Wang et al. Emerging memristive devices for brain-inspired computing and artificial perception
CN112270409A (zh) 一种基于霍尔条的无监督学习突触单元电路
CN217443887U (zh) 三端忆阻神经元器件
Fang et al. In-materio reservoir computing based on nanowire networks: Fundamental, progress, and perspective

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees