JP7356393B2 - 半導体装置 - Google Patents

半導体装置 Download PDF

Info

Publication number
JP7356393B2
JP7356393B2 JP2020070703A JP2020070703A JP7356393B2 JP 7356393 B2 JP7356393 B2 JP 7356393B2 JP 2020070703 A JP2020070703 A JP 2020070703A JP 2020070703 A JP2020070703 A JP 2020070703A JP 7356393 B2 JP7356393 B2 JP 7356393B2
Authority
JP
Japan
Prior art keywords
voltage
wiring
voltage value
value
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020070703A
Other languages
English (en)
Other versions
JP2021168024A (ja
Inventor
潤一 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2020070703A priority Critical patent/JP7356393B2/ja
Priority to US17/226,965 priority patent/US20210319301A1/en
Publication of JP2021168024A publication Critical patent/JP2021168024A/ja
Application granted granted Critical
Publication of JP7356393B2 publication Critical patent/JP7356393B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/04Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0433Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a single floating gate transistor and one or more separate select transistors
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/04Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0466Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells with charge storage in an insulating layer, e.g. metal-nitride-oxide-silicon [MNOS], silicon-oxide-nitride-oxide-silicon [SONOS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)

Description

本発明は、半導体装置に関し、例えば、AI(Artificial Intelligence)に用いられる半導体装置に関する。
AIの推論と学習(転移学習)を行うためには、転置行列演算が必要とされる。非特許文献1には、クロスポイント型のRRAMを用いて転置行列演算を行う方式が示される。クロスポイント型のRRAMは、抵抗素子のみをメモリセルとする対称型メモリセルを有する。対称型メモリセル(抵抗素子)に流れる電流の大きさは、メモリセルに接続される交差配線の電圧を入れ替えても変わらない。このため、転置行列演算を容易に実現できる。
Ming Cheng, et al., "TIME:A Training-in-memory Architecture for Memristor-based Deep Neural Networks", 2017 54th ACM/EDAC/IEEE Design Automation Conference (DAC)
近年、AI市場が成長し、クラウドにおける演算負荷や通信負荷等が増加している。また、例えば、生産ラインなどでは、クラウドに、AIの学習で必要とされる機密データをアップデートしたくないといった事情がある。このため、例えば、生産ラインの現場といったエンドポイントにて、学習または一部学習(すなわち、転移学習)を行える仕組みが望まれる。
エンドポイントのインテリジェント化を省電力で実現する方式として、非特許文献1に示されるクロスポイント型のRRAMを用いる方式が考えられる。しかし、クロスポイント型のRRAMにおいて、交差配線には、選択メモリセルに限らず非選択メモリセルも接続される。このため、非選択メモリセルへのディスターブ等によって、信頼性を確保することが容易でない。一方、メモリセル内に、抵抗素子に加えて選択トランジスタ等を設けることも考えられる。ただし、この場合、メモリセルの対称性が得られなくなり、転置行列演算を高精度に実現することが困難となる恐れがある。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施の形態の半導体装置は、演算メモリを含む。演算メモリは、第1の配線と、第2の配線と、第1の配線に対応する第1の端子と、第2の配線に対応する第2の端子と、非対称型メモリセルと、第1の電圧印加回路と、第2の電圧印加回路と、電圧制御回路とを有する。非対称型メモリセルは、第1の配線と第2の配線との間に接続され、第1の配線の電圧と第2の配線の電圧とを入れ替えた場合に、流れる電流の大きさが異なる特性を有する。第1の電圧印加回路は、第1の配線に、第1の電圧値に定められる第1の電圧を印加する。第2の電圧印加回路は、第2の配線に、第2の電圧値に定められる第2の電圧を印加する。電圧制御回路は、第1の電圧値と第2の電圧値とを定める。ここで、電圧制御回路は、第1の端子からの第1の入力値を受けた第1の場合に、第2の電圧値を固定し、第1の電圧値を、第2の電圧値以上の範囲内で、第1の入力値に対して正の傾きで変化させる。さらに、電圧制御回路は、第2の端子からの第2の入力値を受けた第2の場合に、第1の電圧値を固定し、第2の電圧値を、第1の電圧値以下の範囲内で、第2の入力値に対して負の傾きで変化させる。
一実施の形態の半導体装置を用いることで、非対称型メモリセルであっても、転置行列演算を高精度に実現することが可能になる。
図1は、本発明の一実施の形態による半導体装置の概略構成例を示すブロック図である。 図2は、AIにおける推論動作の一例を説明する概略図である。 図3は、図2のニューラルネットワークを演算メモリに実装した場合の基本構成例を示す概略図である。 図4は、AIにおける学習時の誤差補正演算の一例を説明する概略図である。 図5は、図1において、演算メモリの主要部の概略構成例および動作例を示す概略図である。 図6は、図5における電圧制御回路の詳細な動作例を説明する図である。 図7は、図5の演算メモリが図6の電圧設定テーブルに基づいて動作した場合における電気的特性の検証結果の一例を示す図である。 図8は、図1において、演算メモリの主要部のより詳細な構成例、およびフォワードプロパゲーション(FP)時の動作例を示す回路図である。 図9は、図8と異なり、バックプロパゲーション(BP)時の構成例および動作例を示す回路図である。 図10は、図8における各周辺回路のより詳細な構成例および動作例を示す回路図である。 図11は、図9における各周辺回路のより詳細な構成例および動作例を示す回路図である。 図12は、図7における一部の特性を抽出した図である。 図13は、図6の電圧設定テーブルの図12の特性に基づく変形例を示す図である。
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
以下、実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態では、特に必要なとき以外は同一または同様な部分の説明を原則として繰り返さない。
《半導体装置の概略構成》
図1は、本発明の一実施の形態による半導体装置の概略構成例を示すブロック図である。実施の形態の半導体装置は、例えば、1個の半導体チップで構成される。当該半導体装置は、少なくとも演算メモリPIMを備えたマイクロコントローラ、SoC(System on Chip)、または単体の半導体記憶装置等である。
その一例として、図1の半導体装置DEVは、例えば、演算メモリPIMに加えて、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)、RAM(Random Access Memory)、フラッシュメモリFMEM、および通信インタフェースCIF等を備える。これらの各部は、互いにバスBSで接続される。演算メモリPIMは、詳細は後述するが、例えば、AIで必要な積和演算を行う機能を有している。
《AIにおける演算メモリ》
図2は、AIにおける推論動作の一例を説明する概略図である。図2には、入力層ILと、中間層MLと、出力層OLとを含む複数層のニューラルネットワークNNが示される。図2において、入力層ILには、i個の入力データxが入力される。これに応じて、各入力データxに重み係数wijが積和演算されることで、中間層MLには、j個のデータyが生成される。さらに、当該j個のデータyに重み係数wjkが積和演算されることで、出力層OLには、k個のデータzが生成される。そして、このk個のデータzが出力データoとして出力される。
具体例として、中間層MLから出力層OLへデータを伝播する場合を想定する。この場合、中間層MLのデータ(y,y,y)は、列方向に(w11,w21,w31)を含む行列Wを用いて積和演算される。このような推論動作は、フォワードプロパゲーション(FP)と呼ばれる。なお、中間層MLは、1層に限らず複数層であってよい。ここで、このようなニューラルネットワークNNは、演算メモリPIMに実装されることが可能である。
図3は、図2のニューラルネットワークを演算メモリに実装した場合の基本構成例を示す概略図である。図3には、図2における中間層MLと出力層OLとの間のニューラルネットワークNNの構成例が示される。中間層MLの各データy~yは、入力となり、3本のビット線BLの各電圧値で表される。一方、出力層OLの各データz~zは、出力となり、3本のソース線SLの各電流値で表される。そして、重み係数wjkは、3本のビット線BLと3本のソース線SLの交点にそれぞれ配置されるメモリセルMCの電気的特性(例えば、印加電圧に対する電流特性)で表される。
図4は、AIにおける学習時の誤差補正演算の一例を説明する概略図である。学習動作の方式として、バックプロパゲーション(BP)が広く知られている。バックプロパゲーション(BP)では、次の処理[A]と処理[B]とが行われる。処理[A]では、図2のフォワードプロパゲーション(FP)が行われ、教師データtと出力データoとの差分に基づいて誤差データδが算出される。処理[B]では、算出された誤差データδを、フォワードプロパゲーション(FP)とは逆に、出力層OLから入力層ILに向けて順に伝播させていくことで、各重み係数の補正量が算出される。なお、このような誤差補正演算によって算出された各重み係数の補正量は、別途、各重み係数を実際に更新する際に用いられる。
具体例として、図4に示されるように、入力層ILと中間層MLとの間の重み係数W11[1]の補正量を算出する場合を想定する。この場合、誤差データδ,δ,δを、出力層OLから中間層MLに向けて、それぞれ、重み係数w11,w12,w13を用いて伝播させる必要がある。すなわち、図4に示されるように、誤差データ(δ,δ,δ)を対象に、列方向に(w11,w12,w13)を含む行列Wを用いた積和演算が行われる。なお、誤差データδ,δ,δは、それぞれ、教師データt,t,tと、出力データo,o,oとの差分に基づいて算出される。
このように、バックプロパゲーション(BP)では、図3のフォワードプロパゲーション(FP)の際に用いた行列Wとは異なり、当該行列Wの転置行列Wを用いた演算が必要となる。ここで、転置行列Wを用いた演算は、図3の演算メモリPIMにおいて、入力と出力とを入れ替えることで実現できる。すなわち、出力層OLの各データz~zは、出力に代わって入力となり、ソース線SLの各電圧値で表される。一方、中間層MLの各データy~yは、入力に代わって出力となり、ビット線BLの各電流値で表される。
このように、ニューラルネットワークNNを演算メモリPIMに実装することで、行列演算および転置行列演算を高速または低消費電力で実現することが可能になる。すなわち、CPUやGPUといったプロセッサに代わって、メモリの構成およびメモリセルの電気的特性を利用して演算処理を行えるようになる。
《演算メモリの概略構成および動作》
図5は、図1において、演算メモリの主要部の概略構成例および動作例を示す概略図である。図5には、図2~図4で述べたような、フォワードプロパゲーション(FP)時とバックプロパゲーション(BP)時の各動作と、各動作を担う演算メモリPIMの基本構成とが示される。まず、フォワードプロパゲーション(FP)時における演算メモリPIMの基本構成について説明する。
入力端子(第1の端子)P1iは、ビット線(第1の配線)BLに対応して設けられ、例えば、図2における中間層MLのデータyが入力される。出力端子(第2の端子)P2oは、ソース線(第2の配線)SLに対応して設けられ、例えば、図2における出力層OLのデータzを出力する。ビット線BLとソース線SLは、互い交差する方向に配置される。そして、ビット線BLとソース線SLの交点には、メモリセルMCが配置される。
メモリセルMCは、この例では、メモリセルトランジスタMTおよび選択トランジスタSTを備えるフラッシュメモリセルである。メモリセルトランジスタMTは、ゲートがコントロールゲート線(第3の配線)CGLに接続され、しきい値電圧(Vt)の大きさに基づいて情報を記憶する。すなわち、メモリセルトランジスタMTは、しきい値電圧(Vt)の大きさに基づいて、例えば、図2における重み係数wjkを記憶する。明細書では、コントロールゲートをCGと略す。
一方、選択トランジスタSTは、ビット線BLとソース線SLとの間でメモリセルトランジスタMTと直列に接続され、ゲートがワード線(第4の配線)WLに接続される。具体的には、選択トランジスタSTの一端は、ビット線BLに接続され、メモリセルトランジスタMTの一端は、ソース線SLに接続される。選択トランジスタSTは、メモリセルMCがアクセス対象のメモリセルとなる場合に、ワード線WLを介してオンに制御される。
ビット線ドライバ(第1の電圧印加回路)BDは、ビット線BLに、所定の電圧値に定められるビット線電圧Vblを印加する。一方、ソース線ドライバ(第2の電圧印加回路)SDは、ソース線SLに、所定の電圧値に定められるソース線電圧Vslを印加する。ここで、当該ビット線BLおよびソース線SLの各電圧値は、電圧制御回路VICTLによって定められる。
電圧制御回路VICTLは、入力端子P1iからの入力値(例えば電圧値)VinFを受けた場合に、ソース線ドライバSDへ電圧制御信号Sslを出力することで、ソース線電圧Vslの電圧値を固定する。この状態で、電圧制御回路VICTLは、ビット線ドライバBDへ電圧制御信号Sblを出力することで、ビット線電圧Vblの電圧値を、ソース線電圧Vslの電圧値以上の範囲内で入力値VinFに対して正の傾きで変化させる。すなわち、電圧制御回路VICTLは、ビット線電圧Vbl≧ソース線電圧Vslとなるように電圧を制御する。
これにより、ビット線BLからソース線SLの方向へ、ビット線電圧Vbl(ひいては入力値VinF)に応じて変化し、かつメモリセルトランジスタMTによって重み付けられた出力電流IoutF(ソース線電流Isl)が流れる。ソース線電流検出回路(第2の電流検出回路)ISDTは、このソース線SLに流れる出力電流IoutFを検出し、それを出力値(例えば電圧値)VoutFに変換して出力端子P2oへ出力する。
次に、バックプロパゲーション(BP)時における演算メモリPIMの基本構成について説明する。入力端子P2iは、ソース線SLに対応して設けられ、例えば、図4における出力層OLからのデータ(誤差データδ)が入力される。出力端子P1oは、ビット線BLに対応して設けられ、例えば、図4において、入力層ILに向けた中間層MLのデータ(誤差データδw)を出力する。
ここで、電圧制御回路VICTLは、フォワードプロパゲーション(FP)時とは反対に、入力端子P2iからの入力値(例えば電圧値)VinBを受けた場合に、ビット線ドライバBDへ電圧制御信号Sblを出力することで、ビット線電圧Vblの電圧値を固定する。この状態で、電圧制御回路VICTLは、ソース線ドライバSDへ電圧制御信号Sslを出力することで、ソース線電圧Vslの電圧値を、ビット線電圧Vblの電圧値以下の範囲内で、入力値VinBに対して負の傾きで変化させる。すなわち、電圧制御回路VICTLは、バックプロパゲーション(BP)時においても、フォワードプロパゲーション(FP)時と同じく、ビット線電圧Vbl≧ソース線電圧Vslとなるように各電圧を制御する。
これにより、ビット線BLからソース線SLの方向へ、ソース線電圧Vsl(ひいては入力値VinB)に応じて変化し、かつメモリセルトランジスタMTによって重み付けられた出力電流IoutB(ビット線電流Ibl)が流れる。ビット線電流検出回路(第1の電流検出回路)IBDTは、このビット線BLに流れる出力電流IoutFを検出し、それを出力値(例えば電圧値)VoutBに変換して出力端子P1oへ出力する。
ここで、例えば、非特許文献1に示されるクロスポイント型のRRAMでは、対称型メモリセルが用いられる。対称型メモリセルは、ビット線BLの電圧とソース線SLの電圧とを入れ替えた場合に、流れる電流の方向が異なるのみで、流れる電流の大きさは同一となる特性を有する。このため、フォワードプロパゲーション(FP)時とバックプロパゲーション(BP)時とで、単純に電圧を入れ替えることで、行列演算と転置行列演算とを実現できる。
しかし、例えば、図5に示したようなメモリセル(フラッシュメモリセル)MCは、非対称型メモリセルである。非対称型メモリセルは、ビット線BLの電圧とソース線SLの電圧とを入れ替えた場合に、流れる電流の方向に加えて、流れる電流の大きさも異なる特性を有する。そこで、図5に示されるような方式によって、フォワードプロパゲーション(FP)時とバックプロパゲーション(BP)時とで、ビット線BLの電圧とソース線SLの電圧との大小関係が変わらないように制御することが有益となる。
ここで、特に、フラッシュメモリは、例えば、クロスポイント型のRRAMと比べて、製造プロセス等が成熟している。また、メモリセルMC内に選択トランジスタSTを備えることで、クロスポイント型のRRAMにおける信頼性の問題等も生じない。このため、非対称型メモリセルとしてフラッシュメモリセルを用いることで、コストや信頼性等の観点で有益な効果が得られる。ただし、非対称型メモリセルは、フラッシュメモリセルに限らず、例えば、選択トランジスタおよび抵抗素子を備えたRRAMメモリセル等であってもよい。
図6は、図5における電圧制御回路の詳細な動作例を説明する図である。電圧制御回路VICTLは、例えば、図6に示されるような電圧設定テーブルVTBLを有し、これに基づいて各電圧を定める。電圧設定テーブルVTBLは、フォワードプロパゲーション(FP)の入力値Vin(VinF)と、ビット線電圧Vbl、ソース線電圧Vsl、CG線電圧Vcgおよびワード線電圧Vwlの各電圧値との対応関係を記憶する。CG線電圧Vcgは、CG線CGLの電圧であり、ワード線電圧Vwlは、ワード線WLの電圧である。
この例では、電圧制御回路VICTLは、フォワードプロパゲーション(FP)の入力値Vin(VinF)を受けた場合、ソース線電圧Vslの電圧値を0.2Vに固定する。そして、電圧制御回路VICTLは、ビット線電圧Vblの電圧値を、0.0~0.6の入力値VinFに応じて、0.2~0.8Vで変化させる。この際に、入力値Vin(例えば電圧値[V])は、“ビット線電圧Vbl-ソース線電圧Vsl”に反映される。
また、電圧制御回路VICTLは、CG線電圧Vcgおよびワード線電圧Vwlの各電圧値を、共にソース線電圧Vsl(0.2V)を基準に一定の電位差(この例では1.0V)を持つように定める。すなわち、CG線電圧Vcgおよびワード線電圧Vwlの各電圧値は、共に1.2Vに定められる。
さらに、電圧設定テーブルVTBLは、バックプロパゲーション(BP)の入力値Vin(VinB)と、ビット線電圧Vbl、ソース線電圧Vsl、CG線電圧Vcgおよびワード線電圧Vwlの各電圧値との対応関係を記憶する。この例では、電圧制御回路VICTLは、バックプロパゲーション(BP)の入力値Vin(VinB)を受けた場合、ビット線電圧Vblの電圧値を0.6Vに固定する。そして、電圧制御回路VICTLは、ソース線電圧Vslの電圧値を、0.0~0.6の入力値VinBに応じて、0.6~0.0Vで変化させる。
また、電圧制御回路VICTLは、CG線電圧Vcgおよびワード線電圧Vwlの各電圧値を、共にソース線電圧Vsl(0.6~0.0V)の変化に追従するように定める。この際には、フォワードプロパゲーション(FP)時と異なり、ソース線電圧Vslの変化に伴うバックバイアス効果の変化分が補正される。例えば、ソース線電圧Vslの電圧値が0.6Vの場合、CG線電圧Vcgおよびワード線電圧Vwlの各電圧値は、1.6Vではなく1.7Vに定められる。また、ソース線電圧Vslの電圧値が0.0Vの場合、CG線電圧Vcgおよびワード線電圧Vwlの各電圧値は、1.0Vではなく0.95Vに定められる。
なお、電圧制御回路VICTLは、図6の電圧設定テーブルVTBLで定められた各入力値Vinの間の値が入力された場合には、適宜線形補間を行うことで各電圧値を定める。例えば、フォワードプロパゲーション(FP)の入力値Vin(VinF)として0.1を受けた場合、電圧制御回路VICTLは、ビット線電圧Vblの電圧値を0.3Vに定めればよい。また、電圧制御回路VICTLは、このような電圧設定テーブルVTBLに限らず、例えば、電圧設定テーブルVTBLに対応する数式等を用いて各電圧値を定めてもよい。
図7は、図5の演算メモリが図6の電圧設定テーブルに基づいて動作した場合における電気的特性の検証結果の一例を示す図である。図7において、横軸は入力値Vin(VinF,VinB)[V]であり、縦軸は出力電流Iout(IoutF,IoutB)[A]である。図7に示されるように、図5の制御方式を用いると共に、図6で述べたようなバックバイアス効果の補正も加えることで、フォワードプロパゲーション(FP)時とバックプロパゲーション(BP)時とで同等の特性を実現できる。なお、図7に示されるように、出力電流Iout(ひいては重み係数w)は、メモリセルトランジスタMTのしきい値電圧(Vt)が低い場合には大きくなり、しきい値電圧(Vt)が高い場合には小さくなる。
《演算メモリの詳細》
図8は、図1において、演算メモリの主要部のより詳細な構成例、およびフォワードプロパゲーション(FP)時の動作例を示す回路図である。図9は、図8と異なり、バックプロパゲーション(BP)時の構成例および動作例を示す回路図である。図8および図9に示す演算メモリPIMは、メモリアレイMARYと、アレイ制御回路ACTLと、ビット線制御回路BLCTLと、ソース線制御回路SLCTLと、電圧制御回路VICTLと、出力制御回路VOCTLとを備える。
メモリアレイMARYは、複数のビット線BLm(m=1,2,…)と、複数のソース線SLn(n=1,2,…)と、複数のワード線WLnA,WLnB(n=1,2,…)と、複数のCG線CGLnA,CGLnB(n=1,2,…)と、複数のメモリセルMCnmA,MCnmB(n=1,2,…、m=1,2,…)とを備える。“n”は、ロウ方向の識別番号を表し、“m”は、ロウ方向と交差するカラム方向の識別番号を表す。
複数のワード線WLnA,WLnB、複数のCG線CGLnA,CGLnBおよび複数のソース線SLnは、共に、ロウ方向に並んで配置される。一方、複数のビット線BLmは、カラム方向に並んで配置される。メモリセルMCnmAは、複数のワード線WLnA(またはCG線CGLnA)と複数のビット線BLmの交点にそれぞれ配置される。同様に、メモリセルMCnmBは、複数のワード線WLnB(またはCG線CGLnB)と複数のビット線BLmの交点にそれぞれ配置される。
この例では、隣接して配置される2個のメモリセルMCnmA,MCnmB(例えばMC11A,MC11B)は、ソース線SLn(SL1)を共有している。このため、1本のビット線BLmと、1本のソース線SLnの交点には、2個のメモリセルMCnmA,MCnmBが配置されることになる。このように、ソース線SLnを共有することで、演算メモリPIMの集積度を高めることが可能になる。ただし、この場合、例えば、図3において、1個のメモリセルMCの代わりに2個のメモリセルMCが配置されるような形となる。このため、この2個のメモリセルMCを何らかの形で分離する必要がある。
そこで、例えば、複数の中間層MLを含むニューラルネットワークNNの場合、2個のメモリセルMCnmA,MCnmBの一方は、ある中間層MLを実装し、2個のメモリセルMCnmA,MCnmBの他方は、別の中間層MLを実装すればよい。このように、対応する層を分け、2個のメモリセルMCnmA,MCnmBに同時にアクセスする必要性を無くすことで、集積度を高めつつ、所望の動作を実現できるようになる。
アレイ制御回路ACTLは、複数のワード線ドライバWDnA,WDnB(n=1,2,…)と、複数のCG線ドライバCGDnA,CGDnB(n=1,2,…)とを備える。複数のワード線ドライバWDnA,WDnBは、それぞれ、複数のワード線WLnA,WLnBに、ワード線電圧VwlnA,VwlnB(n=1,2,…)を印加する。複数のCG線ドライバCGDnA,CGDnBは、それぞれ、複数のCG線CGLnA,CGLnBに、CG線電圧VcgnA,VcgnB(n=1,2,…)を印加する。なお、以降では、ある中間層MLの動作を対象として、前述したように、別の中間層MLで用いられるワード線電圧VwlnBおよびCG線電圧VcgnBは、0Vに固定される(ひいては、メモリセルMCnmBへのアクセスは行われない)ものとして説明する。
ビット線制御回路BLCTLは、各ビット線BLmに対応して、図5に示したようなビット線ドライバBDm(m=1,2,…)と、ビット線電流検出回路IBDTm(m=1,2,…)とを備える。ソース線制御回路SLCTLは、各ソース線SLnに対応して、図5に示したようなソース線ドライバSDn(n=1,2,…)と、ソース線電流検出回路ISDTn(n=1,2,…)とを備える。
電圧制御回路VICTLは、図6に示したような電圧設定テーブルVTBLを備える。また、電圧制御回路VICTLには、入力端子P11i,P12i,…,P21i,P22i,…からの入力値(Vin)が入力される。入力端子P11i,P12i,…は、例えば、図2における中間層MLの各ノード(y,y,…)にそれぞれ対応する。一方、入力端子P21i,P22i,…は、例えば、図4における出力層OLの各ノード(z,z,…)にそれぞれ対応する。
電圧制御回路VICTLは、入力端子P11i,P12i,…からの入力か入力端子P21i,P22i,…からの入力かに基づいてフォワードプロパゲーション(FP)かバックプロパゲーション(BP)かを判別する。そして、電圧制御回路VICTLは、電圧設定テーブルVTBLに基づいて、各電圧値を定めるための各電圧制御信号を出力する。具体的には、電圧制御信号Sbl1,Sbl2,…は、ビット線ドライバBD1,BD2,…に対して、ビット線電圧Vbl1,Vbl2,…の電圧値を指示する。
また、電圧制御信号Swl1A,Swl2A,…は、ワード線ドライバWD1A,WD2A,…に対して、ワード線電圧Vwl1A,Vwl2A,…の電圧値を指示する。電圧制御信号Scg1A,Scg2A,…は、CG線ドライバCGD1A,CGD2A,…に対して、CG線電圧Vcg1A,Vcg2A,…の電圧値を指示する。電圧制御信号Ssl1,Ssl2,…は、ソース線ドライバSD1,SD2,…に対して、ソース線電圧Vsl1,Vsl2,…の電圧値を指示する。
出力制御回路VOCTLには、ソース線電流検出回路ISDT1,ISDT2,…からの出力値VoutF1,VoutF2,…と、ビット線電流検出回路IBDT1,IBDT2,…からの出力値VoutB1,VoutB2,…とが入力される。出力制御回路VOCTLは、電圧制御回路VICTLからのフォワードプロパゲーション(FP)かバックプロパゲーション(BP)かの判別結果に基づいて、出力値VoutF1,VoutF2,…か出力値VoutB1,VoutB2,…の一方を選択する。
そして、出力制御回路VOCTLは、選択した出力値を、対応する出力端子P11o,P12o,…,P21o,P22o,…へ出力する。出力端子P11o,P12o,…は、例えば、図4における中間層MLの各ノード(y,y,…)にそれぞれ対応する。一方、出力端子P21o,P22o,…は、例えば、図2における出力層OLの各ノード(z,z,…)にそれぞれ対応する。
このような構成において、図8のフォワードプロパゲーション(FP)時の主要な動作について説明する。ここでは、説明の簡素化のため、ビット線BLおよびソース線SLのそれぞれが2本である場合を想定する。まず、電圧制御回路VICTLは、入力端子P11i,P12iからの入力値VinF1,VinF2に応じて、それぞれ、ビット線電圧Vbl1,Vbl2を制御する。
これに応じて、ソース線SL1には、ビット線電圧Vbl1とメモリセルMC11Aの重み係数とに基づく電流と、ビット線電圧Vbl2とメモリセルMC12Aの重み係数とに基づく電流とを加算した電流が流れる。ソース線電流検出回路ISDT1は、この加算電流を検出し、電圧値に変換することで出力値VoutF1を出力する。同様に、ソース線SL2には、ビット線電圧Vbl1とメモリセルMC21Aの重み係数とに基づく電流と、ビット線電圧Vbl2とメモリセルMC22Aの重み係数とに基づく電流とを加算した電流が流れる。ソース線電流検出回路ISDT2は、この加算電流を検出し、電圧値に変換することで出力値VoutF2を出力する。
出力制御回路VOCTLは、この出力値VoutF1,VoutF2を、それぞれ、出力端子P21o,P22oへ出力する。このように、フォワードプロパゲーション(FP)時には、入力端子P11i,P12i(図2の中間層MLの各ノード(y,y))からの入力値VinF1,VinF2が行列の重み係数を用いて積和演算され、その結果が、出力端子P21o,P22o(図2の出力層OLの各ノード(z,z))へ出力される。
次に、図9のバックプロパゲーション(BP)時の主要な動作について説明する。ここでも、ビット線BLおよびソース線SLのそれぞれが2本である場合を想定する。まず、電圧制御回路VICTLは、入力端子P21i,P22iからの入力値VinB1,VinB2に応じて、それぞれ、ソース線電圧Vsl1,Vsl2を制御する。
これに応じて、ビット線BL1には、ソース線電圧Vsl1とメモリセルMC11Aの重み係数とに基づく電流と、ソース線電圧Vsl2とメモリセルMC21Aの重み係数とに基づく電流とを加算した電流が流れる。ビット線電流検出回路IBDT1は、この加算電流を検出し、電圧値に変換することで出力値VoutB1を出力する。同様に、ビット線BL2には、ソース線電圧Vsl1とメモリセルMC12Aの重み係数とに基づく電流と、ソース線電圧Vsl2とメモリセルMC22Aの重み係数とに基づく電流とを加算した電流が流れる。ビット線電流検出回路IBDT2は、この加算電流を検出し、電圧値に変換することで出力値VoutB2を出力する。
出力制御回路VOCTLは、この出力値VoutB1,VoutB2を、それぞれ、出力端子P11o,P12oへ出力する。このように、バックプロパゲーション(BP)時には、入力端子P21i,P22i(図4の出力層OLの各ノード(z,z))からの入力値VinB1,VinB2が転置行列の重み係数を用いて積和演算され、その結果が、出力端子P11o,P12o(図4の中間層MLの各ノード(y,y))へ出力される。
ここで、入力端子P11i,P12i,P21i,P22iは、それぞれ、出力端子P11o,P12o,P21o,P22oと共通化されてもよい。すなわち、例えば、入力端子P11iと出力端子P11oは、入出力端子(P11)として共通化されてもよい。この場合、出力制御回路VOCTLは、例えば、図8において、入力と出力とが衝突しないよう、出力端子P11o,P12oをハイインピーダンスに制御すればよい。
図10は、図8における各周辺回路のより詳細な構成例および動作例を示す回路図である。図11は、図9における各周辺回路のより詳細な構成例および動作例を示す回路図である。図10および図11において、ビット線ドライバBDは、駆動トランジスタTD1とアンプ回路AMP1とを備える。アンプ回路AMP1は、駆動トランジスタTD1の出力電圧値(すなわちビット線電圧Vblの電圧値)が電圧制御信号Sblで指示される値となるように、駆動トランジスタTD1のゲートを負帰還で制御する。
ビット線電流検出回路IBDTは、センストランジスタTS1と、電流センサISEN1とを備える。センストランジスタTS1は、駆動トランジスタTD1とカレントミラー回路を構成する。電流センサISEN1は、例えば、抵抗素子等によってセンストランジスタTS1に流れる電流を検出する。
ソース線ドライバSDは、駆動トランジスタTD2とアンプ回路AMP2とを備える。アンプ回路AMP2は、駆動トランジスタTD2の出力電圧値(すなわちソース線電圧Vslの電圧値)が電圧制御信号Sslで指示される値となるように、駆動トランジスタTD2のゲートを負帰還で制御する。ソース線電流検出回路ISDTは、センストランジスタTS2と、電流センサISEN2とを備える。センストランジスタTS2は、駆動トランジスタTD2とカレントミラー回路を構成する。電流センサISEN2は、例えば、抵抗素子等によってセンストランジスタTS2に流れる電流を検出する。
ワード線ドライバWDは、駆動トランジスタTD3とアンプ回路AMP3とを備える。アンプ回路AMP3は、駆動トランジスタTD3の出力電圧値(すなわちワード線電圧Vwlの電圧値)が電圧制御信号Swlで指示される値となるように、駆動トランジスタTD3のゲートを負帰還で制御する。CG線ドライバCGDは、駆動トランジスタTD4とアンプ回路AMP4を備える。アンプ回路AMP4は、駆動トランジスタTD4の出力電圧値(すなわちCG線電圧Vcgの電圧値)が電圧制御信号Scgで指示される値となるように、駆動トランジスタTD4のゲートを負帰還で制御する。
図10のフォワードプロパゲーション(FP)時には、ビット線BLに向けて入力値VinFが入力され、ソース線SLに出力電流IoutFが流れる。電流センサISEN2は、この出力電流IoutFに応じてセンストランジスタTS2に流れる検出電流IdetFを検出し、出力値VoutFを出力する。一方、図11のバックプロパゲーション(BP)時には、ソース線SLに向けて入力値VinBが入力され、ビット線BLに出力電流IoutBが流れる。電流センサISEN1は、この出力電流IoutBに応じてセンストランジスタTS1に流れる検出電流IdetBを検出し、出力値VoutBを出力する。
《電圧設定テーブルの変形例》
図12は、図7における一部の特性を抽出した図である。例えば、図5におけるメモリセルトランジスタMTは、主に線形領域で動作する。ただし、厳密には、図12に示されるように、電圧と電流の関係は、非線形な特性となり得る。これに伴い、AIからの入力値とAIへの出力値との関係も、非線形な特性となり得る。そこで、線形性を保てるように補正を行ってもよい。
図12の例では、例えば、AIからの入力値(AI Vin)が0.00,0.25,0.50,0.75,1.00の場合に、AIへの出力値(AI Vout)も同じく0.00,0.25,0.50,0.75,1.00となるように、演算メモリPIMへの入力値Vinが補正される。具体的には、AIからの入力値(AI Vin)が0.00,0.25,0.50,0.75,1.00の場合に、演算メモリPIMへの入力値Vinは、0.00,0.07,0.14,0.24,0.45に補正される。
図13は、図6の電圧設定テーブルの図12の特性に基づく変形例を示す図である。電圧制御回路VICTLは、図13に示されるような電圧設定テーブルVTBL2に基づいて、AIからの入力値(AI Vin)を演算メモリPIMへの入力値Vinに補正する。そして、電圧制御回路VICTLは、この演算メモリPIMへの入力値Vinに基づいて各電圧値を定める。例えば、フォワードプロパゲーション(FP)時で、AIからの入力値(AI Vin)が0.25の場合、演算メモリPIMへの入力値Vinは、0.07に補正される。これに応じて、ビット線電圧Vblの電圧値は、ソース線電圧Vslの電圧値(0.20V)を基準として0.27Vに定められる。
《実施の形態の主要な効果》
以上、実施の形態の半導体装置を用いることで、代表的には、非対称型メモリセルであっても、転置行列演算を高精度に実現することが可能になる。その結果、フラッシュメモリセルを代表とする成熟した設計資産を利用して、ニューラルネットワークを構築できるようになり、コストの低減や信頼性の向上等が図れる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
BD ビット線ドライバ
BL ビット線
CGL コントロールゲート(CG)線
VTBL 電圧設定テーブル
DEV 半導体装置
IBDT ビット線電流検出回路
ISDT ソース線電流検出回路
MC メモリセル
MT メモリセルトランジスタ
NN ニューラルネットワーク
P1i,P2i,P11i,P12i,P21i,P22i 入力端子
P1o,P2o,P11o,P12o,P21o,P22o 出力端子
PIM 演算メモリ
SD ソース線ドライバ
SL ソース線
ST 選択トランジスタ
VICTL 電圧制御回路
VinF,VinB 入力値
WL ワード線

Claims (7)

  1. 演算メモリを含む半導体装置であって、
    前記演算メモリは、
    第1の配線と、
    第2の配線と、
    前記第1の配線に対応する第1の端子と、
    前記第2の配線に対応する第2の端子と
    前記第1の配線と前記第2の配線との間に接続され、前記第1の配線の電圧と前記第2の配線の電圧とを入れ替えた場合に、流れる電流の大きさが異なる特性を有する非対称型メモリセルと、
    前記第1の配線に、第1の電圧値に定められる第1の電圧を印加する第1の電圧印加回路と、
    前記第2の配線に、第2の電圧値に定められる第2の電圧を印加する第2の電圧印加回路と、
    前記第1の電圧値と前記第2の電圧値とを定める電圧制御回路と、
    を有し、
    前記電圧制御回路は、
    前記第1の端子からの第1の入力値を受けた第1の場合に、前記第2の電圧値を固定し、前記第1の電圧値を、前記第2の電圧値以上の範囲内で、前記第1の入力値に対して正の傾きで変化させ、
    前記第2の端子からの第2の入力値を受けた第2の場合に、前記第1の電圧値を固定し、前記第2の電圧値を、前記第1の電圧値以下の範囲内で、前記第2の入力値に対して負の傾きで変化させ、
    前記非対称型メモリセルは、
    ゲートが第3の配線に接続され、しきい値電圧の大きさに基づいて情報を記憶するメモリセルトランジスタと、
    前記第1の配線と前記第2の配線との間で前記メモリセルトランジスタと直列に接続され、ゲートが第4の配線に接続される選択トランジスタと、
    を有する、
    半導体装置。
  2. 請求項1記載の半導体装置において、
    前記第1の場合に、前記第2の配線に流れる電流を検出する第2の電流検出回路と、
    前記第2の場合に、前記第1の配線に流れる電流を検出する第1の電流検出回路と、
    を更に有する、
    半導体装置。
  3. 請求項記載の半導体装置において、
    前記電圧制御回路は、
    前記第1の場合に、前記第3の配線の電圧値と前記第4の配線の電圧値とを固定し、
    前記第2の場合に、前記第3の配線の電圧値と前記第4の配線の電圧値とを、共に、前記第2の入力値に応じて変化させる、
    半導体装置。
  4. 請求項記載の半導体装置において、
    前記電圧制御回路は、電圧設定テーブルを有し、
    前記電圧設定テーブルは、
    前記第1の入力値と、前記第1の電圧値、前記第2の電圧値、前記第3の配線の電圧値および前記第4の配線の電圧値との対応関係と、
    前記第2の入力値と、前記第1の電圧値、前記第2の電圧値、前記第3の配線の電圧値および前記第4の配線の電圧値との対応関係と、
    を予め記憶している、
    半導体装置。
  5. 請求項1記載の半導体装置において、
    前記演算メモリは、ニューラルネットワークを実装する、
    半導体装置。
  6. 請求項記載の半導体装置において、
    前記第1の配線は、第1の方向に並んで複数配置され、
    前記第2の配線は、前記第1の方向と交差する第2の方向に並んで複数配置され、
    前記非対称型メモリセルは、前記複数の第1の配線と前記複数の第2の配線の交点に配置される、
    半導体装置。
  7. 請求項記載の半導体装置において、
    前記演算メモリは、第1の層および第2の層を含む複数層の前記ニューラルネットワークを実装し、
    隣接して配置される2個の前記非対称型メモリセルは、前記第2の配線を共有しており、
    前記2個の前記非対称型メモリセルの一方は、前記第1の層を実装し、
    前記2個の前記非対称型メモリセルの他方は、前記第2の層を実装する、
    半導体装置。
JP2020070703A 2020-04-10 2020-04-10 半導体装置 Active JP7356393B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020070703A JP7356393B2 (ja) 2020-04-10 2020-04-10 半導体装置
US17/226,965 US20210319301A1 (en) 2020-04-10 2021-04-09 Semiconductor device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020070703A JP7356393B2 (ja) 2020-04-10 2020-04-10 半導体装置

Publications (2)

Publication Number Publication Date
JP2021168024A JP2021168024A (ja) 2021-10-21
JP7356393B2 true JP7356393B2 (ja) 2023-10-04

Family

ID=78006364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020070703A Active JP7356393B2 (ja) 2020-04-10 2020-04-10 半導体装置

Country Status (2)

Country Link
US (1) US20210319301A1 (ja)
JP (1) JP7356393B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023167115A1 (ja) * 2022-03-02 2023-09-07 渡辺浩志 シリコンブレイン

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049842A1 (ja) 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019202427A1 (en) 2018-04-16 2019-10-24 International Business Machines Corporation Resistive processing unit architecture with separate weight update and inference circuitry

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049842A1 (ja) 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019202427A1 (en) 2018-04-16 2019-10-24 International Business Machines Corporation Resistive processing unit architecture with separate weight update and inference circuitry

Also Published As

Publication number Publication date
JP2021168024A (ja) 2021-10-21
US20210319301A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US11934480B2 (en) NAND block architecture for in-memory multiply-and-accumulate operations
US20190164044A1 (en) Neural network circuits having non-volatile synapse arrays
CN110825345A (zh) 使用非易失性存储器单元的乘法
CN110729011B (zh) 用于类神经网路的存储器内运算装置
US11443172B2 (en) Synapse array of neuromorphic device including synapses having ferro-electric field effect transistors and operation method of the same
TWI718626B (zh) 用於深度學習神經網路之可組態類比神經記憶體系統
US11119674B2 (en) Memory devices and methods for operating the same
US10553646B2 (en) Circuit and layout for resistive random-access memory arrays
TW201921354A (zh) 使用半導體記憶元件之類神經網路運算電路及動作方法
JP7356393B2 (ja) 半導体装置
KR20180020078A (ko) 뉴로모픽 컴퓨팅을 위한 저전압 아날로그 또는 멀티레벨 메모리
CN111095300A (zh) 使用半导体存储元件的神经网络运算电路
KR20210151737A (ko) 신경망을 위한 시냅스 스트링 및 시냅스 스트링 어레이
KR20180120511A (ko) 전달 함수 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
US10553643B2 (en) Circuit and layout for resistive random-access memory arrays having two bit lines per column
KR102607860B1 (ko) 3차원 적층 시냅스 구조를 갖는 뉴로모픽 장치 및 이를 포함하는 메모리 장치
TWI641989B (zh) 類神經計算裝置
KR20180095978A (ko) 병렬 연결된 가변 저항기 및 트랜지스터를 가진 시냅스를 포함하는 뉴로모픽 소자
JP6913656B2 (ja) 演算装置
US6404693B1 (en) Integrated circuit memory devices that select sub-array blocks and input/output line pairs based on input/output bandwidth, and methods of controlling same
US11189339B1 (en) Performing in-memory computing based on multiply-accumulate operations using non-volatile memory arrays
JPH04237388A (ja) ニューロプロセッサ
JP2020155164A (ja) メモリ制御回路
WO2023171683A1 (ja) ニューラルネットワーク演算回路
TWI787813B (zh) 尖峰時序相依可塑性的寫入方法及突觸陣列裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230922

R150 Certificate of patent or registration of utility model

Ref document number: 7356393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150