JP7470112B2 - 持続性メモリクリーニング - Google Patents

持続性メモリクリーニング Download PDF

Info

Publication number
JP7470112B2
JP7470112B2 JP2021521981A JP2021521981A JP7470112B2 JP 7470112 B2 JP7470112 B2 JP 7470112B2 JP 2021521981 A JP2021521981 A JP 2021521981A JP 2021521981 A JP2021521981 A JP 2021521981A JP 7470112 B2 JP7470112 B2 JP 7470112B2
Authority
JP
Japan
Prior art keywords
data
circuitry
volatile storage
subset
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021521981A
Other languages
English (en)
Other versions
JP2022511405A (ja
Inventor
ジョセフ ラッシング、アンドリュー
Original Assignee
アーム・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アーム・リミテッド filed Critical アーム・リミテッド
Publication of JP2022511405A publication Critical patent/JP2022511405A/ja
Application granted granted Critical
Publication of JP7470112B2 publication Critical patent/JP7470112B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1441Resetting or repowering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893Caches characterised by their organisation or structure
    • G06F12/0897Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/30Means for acting in the event of power-supply failure or interruption, e.g. power-supply fluctuations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/073Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a memory management context, e.g. virtual memory or cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10Address translation
    • G06F12/1027Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/20Employing a main memory using a specific memory technology
    • G06F2212/202Non-volatile memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Power Sources (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

本開示は、データ処理に関する。より具体的には、データ記憶装置に関する。
揮発性記憶回路では、データは、その回路に電力が供給されている限りでのみ保持される。対照的に、持続性記憶回路は、たとえ電力が供給されていない間であってもデータを記憶することができる。データ処理装置では、記憶装置の両方の形態を使用することができる。しかしながら、持続性記憶装置は揮発性記憶装置よりも遅い傾向があるため、データを損失又は破損する可能性のある揮発性記憶装置に保持されるかどうか、又はデータを損失又は破損する可能性は低いが待ち時間が増大することになる持続性記憶装置に保持されるかどうかに関して、トレードオフが存在する。データは、同時に両方の記憶装置の形態で記憶することができる。しかしながら、コヒーレンシ/一貫性を提供することは、特に関与する大量のデータが存在する場合に、記憶回路間の帯域幅の増大につながる。
第1の例示的構成から見て、提供されるデータ処理装置は、電力が提供されている間にデータを記憶する揮発性記憶回路と、電力の非存在下でデータを記憶する持続性記憶回路と、揮発性記憶回路から持続性記憶回路にデータを転送する転送回路と、を備え、転送回路は、一次電源が揮発性記憶回路に対して利用不可能となることに応じて、揮発性記憶回路から持続性記憶回路にデータを転送するように構成されており、転送回路は、データのサブセットのインジケーションを含む明示的な要求に応じて、揮発性記憶回路から持続性記憶回路にデータのサブセットを転送するように構成されている。
第2の例示的構成から見て、提供される方法は、一次電源が揮発性記憶回路に対して利用不可能となることに応じて、揮発性記憶回路から持続性記憶回路にデータを転送することと、揮発性記憶回路内のデータのサブセットのインジケーションを含む明示的な要求を受信することと、明示的な要求に応じて、揮発性記憶回路から持続性記憶回路にデータのサブセットを転送することと、を含む。
第3の例示的構成から見て、提供されるデータ処理装置は、電力が提供されている間にデータを記憶する手段と、電力の非存在下でデータを記憶する手段と、電力の非存在下でデータを記憶する手段に電力が提供されている間に、データを記憶する手段からデータを転送する手段と、を備え、データを転送する手段は、電力が供給されている間に一次電源がデータを記憶する手段に対して利用不可能となることに応じて、電力が供給されている間にデータを記憶する手段から、電力の非存在下でデータを記憶する手段にデータを転送するものであり、データを転送する手段はまた、データのサブセットのインジケーションを含む明示的な要求に応じて、電力が供給されている間にデータを記憶する手段から、電力の非存在下でデータを記憶する手段にデータのサブセットを転送するものである。
添付図面に示されるそれらの実施形態を参照して、あくまで一例として本発明を更に説明する。
いくつかの実施形態による装置を概略的に示す。 いくつかの実施形態による装置を概略的に示す。 持続性記憶回路のバイトアドレス指定可能な性質を示す。 いくつかの実施形態による装置を概略的に示す。 いくつかの実施形態による、使用モードを指定するためのページテーブルエントリ(PTE)及び相互接続ルーティングテーブルの使用例を示す。 いくつかの実施形態による、使用モードを指定するためのページテーブルエントリ(PTE)及び相互接続ルーティングテーブルの使用例を示す。 いくつかの実施形態による転送プロセスのオフロードを示す。 いくつかの実施形態によるデータ処理の方法を示す。
添付図面を参照して実施形態を検討する前に、以下の実施形態の説明を行う。
いくつかの態様によれば、提供されるデータ処理装置は、電力が提供されている間にデータを記憶する揮発性記憶回路と、電力の非存在下でデータを記憶する持続性記憶回路と、揮発性記憶回路から持続性記憶回路にデータを転送する転送回路と、を備え、転送回路は、一次電源が揮発性記憶回路に対して利用不可能となることに応じて、揮発性記憶回路から持続性記憶回路にデータを転送するように構成されており、転送回路は、データのサブセットのインジケーションを含む明示的な要求に応じて、揮発性記憶回路から持続性記憶回路にデータのサブセットを転送するように構成されている。
データ処理装置内では、持続点が定義される。この持続点の前に記憶されたデータは、電力損失の場合に失われる傾向がある。持続点を過ぎると、たとえ電源障害の場合であっても、持続性記憶媒体にマッピングされたデータを保持させるアクションがとられる。これは、持続性記憶装置に保持されているデータによって達成され得る。あるいは、データは、一次電源障害の場合に、データを持続性記憶装置に転送するのに十分な時間を提供するために二次電源を使用する、揮発性記憶装置に保持することができる。二次電源は専用電源であってもよく、又は更には障害中の一次電源のキャパシタンスであってもよい。データ処理装置内では、深い持続点もまた定義され、これはそれ自体が持続点を超えている(例えば、深い持続点を過ぎた全てのものは持続点も過ぎている)。深い持続点は、一次電源の障害の場合に、データがより強く「保証」され続ける点を定義する。これには、ホストプロセッサクラッシュなどの一次電源の障害、又はバッテリバックアップ障害を超えるシナリオに対する絶縁を含むことができる。例えば、持続点は1つの保証レベルを提供し得、深い持続点は、より高い保証レベルを提供し得る。したがって、深い持続点は、持続性記憶回路自体の開始を定義することができる。そのようなシステム内では、データが深い持続点で記憶されるようにデータを制御することが可能である。これは、データが失われることを抑制するのに特に重要であり、より強い「保証」がデータの安全性に必要とされる、ジャーナル(ジャーナル付きファイルシステム内の)又はデータベースメンテナンスレコードなどの特に価値のあるデータに対して重要であり得る。したがって、データのサブセットが深い持続点(例えば、持続性記憶回路)を過ぎて転送されることを(例えば、電力損失などのイベントに対する応答ではなく、実行時の動作の結果として)明示的に要求することが可能である。データのサブセットが指定される(例えば、データがフィルタリングされている)ため、揮発性記憶装置内の全てのデータを持続性記憶装置に転送する必要がないことによって、帯域幅を保存することができる。
いくつかの実施形態では、更なる揮発性記憶回路は、転送回路は、更なる揮発性記憶回路を検索することなく、揮発性記憶回路からのデータのサブセットを検索するように構成されている。その結果、データの識別又は分析が行われる範囲を制限することが可能である。例えば、いくつかの実施形態では、データのサブセットを転送する明示的な要求は、「持続点」の後ろにある揮発性記憶回路への検索を制限するためのインジケーションを追加的に行うことができる。持続性の「保証」又は約束がCPU(又は他のデバイス)によって以前に要求され、かつ、持続点の後ろに存在する揮発性記憶回路の一部分によって確認応答されたデータのサブセットを転送することにのみ関心があるため、他の場所を検索する必要はなく、例えば、特に持続点を超える上流の揮発性キャッシュのスヌーピング又は検索を制限することができる。
いくつかの実施形態では、データのサブセットは、アドレス識別子によって示される。アドレス識別子は、持続性記憶装置に転送される1つ以上の指定されたロケーションに関して提供され得る。これは、例えば、オフセットと共の、又は範囲の一部としての、開始点であり得る。
いくつかの実施形態では、データのサブセットは、仮想マシン識別子、アプリケーション空間識別子、又はメモリロケーションの使用モードのうちの少なくとも1つによって示される。特定の仮想マシンによって使用されるメモリを表すために、仮想マシン識別子(VMID)を使用することができる。対照的に、特定のアプリケーションによって使用されるメモリを識別するために、アプリケーション空間識別子(ASID)を使用することができる。使用モードは、メモリがどのように使用されているかを示す。例えば、持続性媒体によって実際にバックアップされたメモリは、更新が持続性として実際に確認応答されることを更新を強制しないか又は保証しないことによって、揮発性記憶装置として使用することができる。したがって、この特定の例では、使用モードは、記憶装置が持続性記憶装置によってバックアップされているが、使用モードが揮発性記憶装置であるという事実を反映することになる。
いくつかの実施形態では、使用モードは、仮想メモリアドレスに関連して定義される。例えば、特定の仮想メモリアドレスは、持続性な方法で使用されるメモリの領域であるものとして示され得る。これは、例えば、単一のビットで表すことができる。
いくつかの実施形態では、使用モードは、少なくとも部分的な物理メモリアドレスに関連して定義される。例えば、特定の物理メモリアドレスは、持続性な方法で使用されるメモリの領域であるものとして示され得る。一部の物理アドレスは、仮想から物理への変換が多数のステップで生じる場合に発生し得る。例えば、仮想アドレスは、その後に物理アドレスに変換される、少なくとも部分的な物理アドレス(例えば、中間アドレス)に変換することができる。
いくつかの実施形態では、使用モードは、ページテーブルエントリ又は相互接続ルーティング回路によって定義される。ページテーブルエントリは、例えば、仮想アドレスから(少なくとも部分的に)物理アドレスに変換するために、トランスレーションルックアサイドバッファ及び/又はページウォーキング回路で使用される。相互接続ルーティング回路は、例えばその要求のアドレスに基づいて特定の要求を送信すべきハードウェアの部分を判定するために使用される。これらの例のいずれかでは、使用モードを表すために新しいフィールドを追加することができる。
いくつかの実施形態では、揮発性記憶回路及び持続性記憶回路は、メモリ階層の一部を含む。メモリ階層には、典型的に、より小さくより高速な上位レベルキャッシュと、より大きくより低速な下位レベルキャッシュが含まれる。頻繁にはアクセスされないデータ又は最近アクセスされていないデータがメモリ階層の下位レベルに記憶され、最近アクセスされたデータがメモリ階層の上位レベルに記憶されるように、キャッシュ間でデータを転送することができる。そのような階層では、SCMなどの持続性記憶装置によって、より下位レベルをバックアップすることができる。
いくつかの実施形態では、揮発性記憶回路は、メモリ階層内のラストレベルキャッシュ又はそれ以上のものである。ラストレベルキャッシュ(LLC)は、キャッシュの形態をとるメモリ階層内の最後の記憶回路と見なすことができる。階層の次の(より下位の)レベルは、そのようなストレージクラスメモリ(SCM)のバッキングストアである。そのようなキャッシュは、多数のプロセッサ間で共有され得る。しかしながら、これは義務的ではない。
いくつかの実施形態では、データ処理装置は、一次電源が揮発性記憶回路に対して利用不可能となることに応じて、揮発性記憶回路に電力を供給するバックアップエネルギー源を備える。バックアップエネルギー源は、持続点を過ぎた揮発性記憶装置の全てが、一次電源が利用不可能となる場合に持続性記憶装置に転送される、最悪ケースシナリオを取り扱うのに十分な容量を有するように選択されている。バックアップエネルギー源は、必ずしもエネルギー供給源である必要はないことに留意されたい。障害中の一次電源のキャパシタンスが関連データの全てを転送するのに十分である場合、これはバックアップエネルギー源自体として機能することができる。
いくつかの実施形態では、データ処理装置は、命令ストリームを実行する処理回路を備え、ここで処理回路は、信号を転送回路に送信してデータのサブセットを示すように構成されている。したがって、揮発性記憶装置から持続性記憶装置に転送されるデータに関する信号は、命令を実行するCPUなどの処理回路によって開始され得る。
いくつかの実施形態では、持続性記憶回路は、処理回路から信号を受信するように構成されており、データがアクセスされることになる持続性記憶回路内のロケーションを示す。持続性記憶回路は、持続性記憶回路内に記憶された個々のバイトがデバイスドライバを使用することなくアドレス指定され得るという点で、アドレス指定可能なバイトであり得る。これは、(潜在的に4kBのデータを記憶する)データのブロックが、個々のバイトではなく一度に記憶又はアクセスされる他の形態の記憶装置とは対照的である。バイトアドレス指定可能記憶装置を有することの結果として、CPUと記憶回路自体との間の待ち時間は、デバイスドライバが仲介として機能するのに必要とされる状況よりも改善することができる。
いくつかの実施形態では、持続性記憶回路は、転送回路から信号を受信するように構成されており、データがアクセスされることになる持続性記憶回路内のロケーションを示す。
いくつかの実施形態では、信号は、データが書き込まれることなる持続性記憶回路内のロケーションを示す。
いくつかの実施形態では、処理回路は、データのサブセットが揮発性記憶回路から持続性記憶回路に転送されている間に、命令ストリームを実行し続けるように構成されている。これにより、データが揮発性記憶装置から持続性記憶装置に転送されている間に、処理回路が動作し続けることが可能になる。したがって、転送を実行する作業は、処理回路から「オフロード」される。
ここで、特定の実施形態を、図面を参照して説明する。
図1は、いくつかの実施形態による装置100を示している。装置は、命令ストリームを実行する中央処理装置(CPU)110を含む。これらの命令の実行中、CPU110は、キャッシュ120及びストレージクラスメモリ(SCM)150の形態の1つ以上の記憶回路を使用することができる。
装置100内には、電源190が設けられている。電源190は、CPU120、及び記憶回路120、150のそれぞれに電力供給する。電源190から電力が供給される限り、各記憶回路にアクセスすることができる。しかしながら、キャッシュ120は「揮発性」であり、その結果、記憶された任意のデータは、電力が供給されなくなると失われ得る。キャッシュ120は、バックアップバッテリ170を備えている。電力が失われた場合、このキャッシュ120は、記憶されたデータをSCM150に転送するように設計されている。このようにして、たとえキャッシュが揮発性記憶装置である場合であっても、電力障害の場合に、記憶されたデータを保持するための約束又は保証を提供することによって、持続性な方法で機能することが可能であり得る。したがって、これらのキャッシュは、持続点160の後ろに存在する。将来の持続性の約束又は保証を与えられて持続性であるとマークされ、キャッシュ120に記憶されたデータは、たとえ電力障害の場合であって保存される。
しかしながら、そのような持続性データが常に保存されることは保証されない。例えば、バッテリバックアップ170が電源190と同時に障害となった場合、又は以前に障害となっており問題としてのフラグが立てられていなかった場合には、キャッシュ120に記憶されたデータがSCM150に転送されることは不可能になる。したがって、状況によっては、より強い約束又は保証が望ましい場合がある。これは、データベースメンテナンスレコード又はジャーナルファイルシステム内のジャーナルなどの、より重要なデータを有する場合であり得る。したがって、本装置100はまた、データ連続性のはるかに強い約束又は保証が提供される、深い持続点170を定義する。実際に、この実施例では、深い持続点170は、SCM150の境界に設定される。その結果、この実施例では、深い持続点170を越えて記憶されるデータは、常に持続的に記憶される。
上記の段落では、電力障害が発生する状況について説明した。しかしながら、発生し得る他の形態の障害が存在することを理解されたい。例えば、電力スパイク、回路内のわずかなエラー又は欠陥、及び特定の形態の攻撃(例えば、DRAMの場合のローハマー)は、記憶回路内の個々のビットを反転させ得る。これは、ECCなどの技術によって緩和することができる。しかしながら、この方法で、全てのエラーが修復されるか、又は完全に抑制され得るわけではない。その結果、これらのエラーが発生し得る範囲を制限するために、深い持続点170でデータが記憶されることが望ましい場合がある。
電力障害が生じたときに、持続点160を過ぎて揮発性記憶回路から持続性記憶回路まで自動的に転送されているデータに加えて、CPU110は、キャッシュ120に記憶されたデータのサブセットを持続性記憶回路150に能動的にプッシュすることもまた可能である。この技術を、図4を参照してより詳細に説明する。
図2は、いくつかの実施形態による装置100を示している。この装置は、この装置がレベル1キャッシュ120、レベル2キャッシュ130,レベル3キャッシュ140、及びストレージクラスメモリ(SCM)150の形態の記憶回路を含むメモリ階層195を含むことを除いて、図1を参照して示される装置と同様である。レベル1キャッシュ120などのメモリ階層195の上部に向けたそれらの回路は、SCM150などの階層195の底部におけるそれらの記憶回路よりも小さくかつより速い。
レベル1キャッシュ120、レベル2キャッシュ130、及びレベル3キャッシュ140は、「揮発性」媒体から構成されており、その結果、記憶されている任意のデータは、それらが電力を供給されなくなると失われ得る。レベル2キャッシュ130及びレベル3キャッシュ140には、バックアップバッテリ170、175が設けられている。電力が失われた場合、これらのキャッシュ130、140は、記憶されたデータをSCM150に転送するように設計されている。このようにして、たとえレベル2キャッシュ130及びレベル3キャッシュ140が揮発性記憶装置であっても、電力障害の場合に記憶されたデータを保持するための約束又は保証を提供することによって、持続性な方法で機能することが可能であり得る。したがって、これら2つのキャッシュは、持続点160の後ろに存在する。(持続点160の前にある)レベル1キャッシュ120は、そのようなメカニズムを提供しない。この階層195内で、レベル3キャッシュ140は、ラストレベルキャッシュ(LLC)として記述される。LLCは、階層195で生じる最後のキャッシュである。
図2は、メモリ階層195に関して説明されている本技術を例示しているが、データ書き込みがバッファされる他のロケーションにも適用可能であることに留意されたい。例えば、レベル3キャッシュ140とSCM150との間に位置し得る相互接続及びメモリコントローラに適用可能である。
図3は、SCM150の挙動を示している。特に、図3は、SCM150がどのようにバイトアドレス指定可能記憶装置として使用され得るかを示している。バイトアドレス指定可能記憶装置により、CPU110などのプロセッサが、記憶回路150内の特定のバイトに書き込み又は記憶する命令を実行することが可能である。さらに、揮発性記憶装置から持続性記憶装置にデータをコピーする転送回路、又はSCM150は、記憶回路内の特定のバイトにアクセスするための書き込みを発行することができる。この書き込みは、記憶回路150によって直接解釈される。換言すれば、CPU110からの書き込みを解釈するために、及びそのデバイスドライバによってその記憶回路に発行される更なる信号のために、デバイスドライバが提供される必要はない。この1つの結果は、データが必ずしもブロックベースでブロックにアクセスされる必要はないことである。特に、バイトアドレス指定可能でない記憶回路は、多数のバイトが同時にアクセスされなければならないようにブロック配向される傾向がある。デバイスドライバはしたがって、多くの場合、記憶回路とCPUとの間のバッファ又は仲介として機能し、必要なブロックを引き寄せ、ブロック上のアクセスを実行して所望のバイトに影響を及ぼし、次いでブロックを記憶装置に戻す。しかしながら、バッファからのそのようなローディング及び保存は、記憶回路とCPUとの間の変換を必要とするため、時間がかかり得る。その結果、ブロックベース記憶装置は、バイトアドレス指定可能記憶装置よりも遅くなる傾向がある。当然のことながら、これは、バイトのグループで同時に動作する任意の記憶回路が、「ブロックベース記憶装置」と言えるわけではない。その代わりに、差別化要因は、デバイスドライバの存在と見なすことができる。
図3の実施例では、バイト0x0101への読み出し命令の形態でCPU110によって発行される読み出し命令は、記憶回路150にバイト0x0101に記憶されているデータに応答させることが示されている。この実施例では、データは、デバイスドライバを必要とせずにCPU110に戻される10010011である。
図4は、いくつかの実施形態による装置300を示している。装置300は、揮発性記憶回路130及び持続性記憶回路150と共に、命令ストリームを実行するCPU110を更に含む。回路300は、持続点160を更に含む。しかしながら、この実施例では、持続点は、CPU110のすぐ下に設定される。物理的観点から揮発性媒体から構成される揮発性記憶回路130は、持続点160を下回り、バックアップバッテリ175によって支持されている。この実施例では、バックアップバッテリ175が使用されるが、いくつかの状況では、障害中の主電源190のキャパシタンスは、揮発性記憶回路130から持続性記憶回路150に必要なデータを転送するために十分であり得ることを理解されたい。そのような場合、バックアップバッテリ175は必要とされなくてもよい。深い持続点170は、持続性記憶回路150の境界にあるように設定されている。
この実施例では、転送回路320は、電源190が故障した場合及び故障したときに、揮発性記憶回路から持続性記憶回路150に関連データを転送する責任を負う。加えて、この実施例では、持続性記憶回路150は相互接続回路330を介してアクセスされる。したがって、持続性記憶回路150は、CPU110を含む多数の異なるCPUにアクセス可能な記憶回路であり得る。加えて、CPU110は、トランスレーションルックアサイドバッファ(TLB)310を含む。TLB310は、仮想メモリアドレスを物理メモリアドレスに変換する責任を負う。TLB310は、変換を実行するために、又はそのような変換の結果を記憶するために、ページウォーキング回路と組み合わせて機能し得る。
この実施例では、CPU110は、揮発性記憶回路130から転送されるデータのサブセットを示す記述子を構築することができる。記述子は、仮想マシン識別子(VMID)、アプリケーション空間識別子(ASID)、使用モード、及びアドレスなどの1つ以上の識別子を示すことができる。次いで、CPUは、記述子を使用して転送回路320を管理し、それによって一致しているデータを転送する、オフロード回路340を呼び出す。記述子内の1つ以上の識別子と一致する、揮発性記憶回路130内に記憶されているデータのサブセットは次いで、持続性記憶回路150に転送される。この実施形態では、転送回路320を管理するオフロード回路340への転送を完了するタスクをオフロードすることによって、転送プロセスがCPU110と非同期的に発生する。したがって、CPU110は、転送が行われる間、命令を実行し続けることができる。次いで、揮発性記憶回路130に記憶されているデータのサブセットは、主電源190からの電力損失がないにもかかわらず、深い持続点170にプッシュされる。そのような動作は、データのサブセットをより良好に保護するためにとられ得る。その結果、例えば、バックアップ電源が問題を解決できない複数の電力障害又はハードウェアエラーの結果として、このデータが破損又は失われる可能性がより低くなる。揮発性記憶回路130に記憶されたデータのサブセットは識別子を介して指定されているため、揮発性記憶回路130内の全てのデータが、深い持続点170にプッシュされる必要はない。したがって、これにより、揮発性記憶回路130に記憶されたデータの全てが転送回路320によって持続性記憶回路150に転送される状況とは対照的に、帯域幅消費を低減することができる。
転送されるデータのサブセットを示す記述子は、データのサブセットのルックアップ又は検索が持続点160の後ろに存在する揮発性記憶装置のみに制約され得るかどうかを通信するオプションを追加的に有し得る。このオプションは、データのサブセットが持続点160に既に以前にプッシュされており、したがって最終的に(電力障害時に)持続性となったことが保証又は約束されたことが既知の場合に使用することができる。
いくつかの実施形態では、転送はコピーの形態をとる。結果として、データは、その現在の形態で保存されているが、更に揮発性記憶回路130内に記憶し続けることによって、迅速にアクセスし続けることができる。これにより、待ち時間を低減するためのステップを更に取りながら、データのコピーを保存する。しかしながら、揮発性記憶回路130内にのみ記憶されているデータに対する将来の修正により、持続性記憶回路150にプッシュされたデータと比較して、損失のリスクが増大する。
これらの実施例では、持続点160及び深い持続点170は、特定の記憶回路の境界に設定されることに留意されたい。しかしながら、他の実施形態では、持続点160は、記憶回路の一部をカバーするように設定され得る。例えば、揮発性記憶回路130の一部のみが、バックアップバッテリ175によってバックアップされ得る。
図5Aは、TLBの一例を示している。図5Aでは、テーブルの各行は、仮想アドレス、仮想アドレスが変換される物理アドレス、メモリロケーションが持続性な方法で使用されることを意図しているかどうかを示すタイプ(又は、他の実施形態では、メモリが持続性であるべきロケーション)、仮想アドレスに関連付けられた仮想マシン識別子、及び仮想アドレスに関連付けられたアプリケーション空間識別子、を含む。検討されるように、「クリーン」命令又はオフロードコマンドで提供される識別子により、持続性記憶回路150に転送される、要求された識別子と一致するそれらのPTE属性を有するメモリの領域に関連付けられた揮発性記憶装置内に、データが生成される。クリーン命令でCPU110によって提供される識別子は、仮想アドレス又は物理アドレスに関連し得ることを理解されたい。
図5Bは、デバイス間の要求をルーティングするために使用される、相互接続ルーティング回路330のテーブルに使用され得るテーブルを示している。そのようなテーブルは、その要求のアドレスに基づいて、要求が発行されることになる特定のデバイスを示すために使用される。したがって、テーブルの列には、アドレス列、ハードウェアの一部を識別するハードウェアID列、及び前述のタイプ列が含まれる。
これらの実施例では、メモリの特定のバイトに対して個々のエントリが提供される。しかしながら、テーブルのエントリは、あるいは、特定のアドレス/バイト範囲(仮想又は物理のいずれか)を識別することができる。
図6は、いくつかの実施形態による、クリーンプロセスがどのように実行されるかを示すフローチャート500を示している。プロセスは、CPUが命令ストリームを実行するステップ510において開始する。これらの命令の実行中のある時点において、ステップ520でのCPU110は、クリーン信号/コマンド/記述子をオフロード回路340に発行する。この実施例では、記述子は、特定のVMIDを指定する。この時点において、2つの動作が同時に発生する。ステップ530において、CPUは、命令ストリーム内の命令を実行し続ける。その間、ステップ540において、オフロード回路340は、転送回路320によって、ステップ520で発行されたクリーン信号で指定されたVMIDと一致する揮発性記憶回路130内のエントリを、揮発性記憶回路130から持続性記憶回路150へ(すなわち、深い持続点を過ぎて)転送させる。ステップ550において、転送が完了したかどうかが判定される。もしそうでない場合、ステップ530及び540は継続する。転送が完了した場合、ステップ560において、プロセスは、CPU110を中断して転送が行われることを示すことによって終了する。これにより、割り込みが発生するか、又は確認応答信号がCPU110に返送される結果となり得る。
したがって、転送回路320を使用してデータエントリが揮発性記憶回路から持続性記憶回路150に転送されるのと同時にCPU110が命令を実行することができることが、前述の説明からである。したがって、CPU110が動作を継続的に監督する必要はない。さらに、特定の識別子が提供され得るため、揮発性記憶回路130から持続性記憶回路150に保存される多数のアドレスを個別に発行するために、CPU110が、動作を監督するソフトウェアの使用により時間がかかり、CPU110に他の命令を同時に実行させることができなくなる可能性があるソフトウェアを使用する必要はない。
図7は、例えば転送回路320によって実行され得る、いくつかの実施形態によるデータ処理の方法を示すフローチャート600を示している。プロセスは、通知が受信されるステップ610において開始する。ステップ620において、一次電力障害が発生したかどうかが判定される。すなわち、通知が、一次電源が利用不可能になっているという通知であるかどうかが判定される。もしそうであれば、転送回路320は、持続性であるようにマークされた揮発性記憶回路130内にあるデータを持続性記憶回路150に転送させる。次いで、プロセスはステップ610に戻る。ステップ620において通知によって一次電力障害が示されていない場合、ステップ640において、データの転送に対する明示的な要求が行われているかどうかが判定される。もしそうであれば、ステップ650において、明示的な要求に示されるデータのサブセットが持続性記憶回路150で転送される。このプロセスは、CPU110が転送される個々のアドレスのそれぞれ及び全てを指示することを必要とせずに行われてもよく、したがって図6を参照して説明されている他の命令を示すためにCPU110を解放する。転送を実行した後、プロセスはプロセス610に戻る。ステップ640において明示的な要求が発行されない場合、受信されている通知のための適切なハンドラがステップ660において実行され、その後プロセスはステップ610に戻る。
したがって、上記の段落では、持続点160及び深い持続点170の両方がどのように動作することができるかを説明している。転送回路320は、一次電力障害に応じて、持続点160から深い持続点170までデータを転送させる。CPU110はまた、機密又は非常に重要なデータを深い持続点にプッシュさせることができる。これにより、そのデータに対するより良好なセキュリティを提供し、その損失又は破損に対してより良好なセーフガードを提供する。深い持続点170にプッシュされるデータのサブセットのみを指定することによって、全てのデータが転送された場合に必要とされる帯域幅の使用を低減することが可能である。
本出願において、「~ように構成される(configured to)」という用語は、装置の要素が、定義された動作を実行することができる構成を有することを意味するために使用される。このコンテキストにおいて、「構成」は、ハードウェア又はソフトウェアの相互接続の構成又は方法を意味する。例えば、装置は、定義された動作を提供する専用ハードウェアを有してもよく、又はプロセッサ若しくは他の処理デバイスは、機能を実行するようにプログラムされてもよい。「構成されている」は、定義された動作を提供するために、装置要素を任意の方法で変更する必要を意味しない。
本発明の例示的な実施形態が添付の図面を参照して本明細書で詳細に説明されてきたが、本発明はそれらの正確な実施形態に限定されず、添付の特許請求の範囲によって定義される本発明の範囲及び精神から逸脱することなく、当業者によって様々な変更、追加、及び修正を行うことができることを理解されたい。例えば、従属請求項の特徴の様々な組み合わせは、本発明の範囲から逸脱することなく、独立請求項の特徴によって作製され得る。

Claims (16)

  1. データ処理装置であって、
    電力が提供されている間にデータを記憶する揮発性記憶回路と、
    電力の非存在下でデータを記憶する持続性記憶回路と、
    前記揮発性記憶回路から前記持続性記憶回路にデータを転送する転送回路と、を備え、
    前記転送回路が、一次電源が前記揮発性記憶回路に対して利用不可能となることに応じて、前記揮発性記憶回路から前記持続性記憶回路に前記データを転送するように構成されており、
    前記転送回路が、前記データのサブセットのインジケーションを含む明示的な要求に応じて、前記揮発性記憶回路から前記持続性記憶回路に前記データの前記サブセットを転送するように構成され、
    前記データの前記サブセットが、
    仮想マシン識別子、
    アプリケーション空間識別子、又は
    メモリロケーションの使用モード、の少なくとも1つによって示されている、データ処理装置。
  2. 更なる揮発性記憶回路を備え、
    前記転送回路が、前記更なる揮発性記憶回路を検索することなく、前記揮発性記憶回路からの前記データの前記サブセットを検索するように構成されている、請求項1に記載のデータ処理装置。
  3. 前記データの前記サブセットがアドレス識別子によって示されている、請求項1又は2に記載のデータ処理装置。
  4. 前記使用モードが、仮想メモリアドレスに関連して定義されている、請求項1~3のいずれか一項に記載のデータ処理装置。
  5. 前記使用モードが、少なくとも部分的な物理メモリアドレスに関連して定義されている、請求項1~4のいずれか一項に記載のデータ処理装置。
  6. 前記使用モードが、ページテーブルエントリ又は相互接続ルーティング回路によって定義されている、請求項1~5のいずれか一項に記載のデータ処理装置。
  7. 前記揮発性記憶回路及び前記持続性記憶回路が、メモリ階層の一部を含む、請求項1~のいずれか一項に記載のデータ処理装置。
  8. 前記揮発性記憶回路が、前記メモリ階層内のラストレベルキャッシュである、請求項に記載のデータ処理装置。
  9. 前記一次電源が前記揮発性記憶回路に対して利用不可能となることに応じて、前記揮発性記憶回路に電力を供給するバックアップエネルギー源を備える、請求項1~のいずれか一項に記載のデータ処理装置。
  10. 命令ストリームを実行する処理回路、を備え、
    前記処理回路が、処理回路信号を前記転送回路に送信して、前記データの前記サブセットを示すように構成されている、請求項1~のいずれか一項に記載のデータ処理装置。
  11. 前記持続性記憶回路が、前記処理回路から前記処理回路信号を受信するように構成されており、データがアクセスされることになる前記持続性記憶回路内のロケーションを示す、請求項10に記載のデータ処理装置。
  12. 前記持続性記憶回路が、前記転送回路から転送回路信号を受信するように構成されており、データがアクセスされることになる前記持続性記憶回路内のロケーションを示す、請求項1~10のいずれか一項に記載のデータ処理装置。
  13. 前記転送回路信号が、データが書き込まれることになる前記持続性記憶回路内の前記ロケーションを示す、請求項12に記載のデータ処理装置。
  14. 前記処理回路が、前記データの前記サブセットが前記揮発性記憶回路から前記持続性記憶回路に転送されている間に、前記命令ストリームを実行し続けるように構成されている、請求項10若しくは請求項11に記載の、又は、請求項10に従属する場合の請求項12若しくは13に記載のデータ処理装置。
  15. 方法であって、
    転送回路が、一次電源が揮発性記憶回路に対して利用不可能となることに応じて、前記揮発性記憶回路から持続性記憶回路にデータを転送することと、
    前記転送回路が、前記揮発性記憶回路内の前記データのサブセットのインジケーションを含む明示的な要求を受信することと、
    前記転送回路が、前記明示的な要求に応じて、前記揮発性記憶回路から前記持続性記憶回路に前記データの前記サブセットを転送することと、を含み、
    前記データの前記サブセットが、
    仮想マシン識別子、
    アプリケーション空間識別子、又は
    メモリロケーションの使用モード、の少なくとも1つによって示されている、方法。
  16. データ処理装置であって、
    電力が提供されている間にデータを記憶する手段と、
    電力の非存在下でデータを記憶する手段と、
    前記電力の非存在下で前記データを記憶する手段に電力が提供されている間に、前記データを記憶する手段からデータを転送する手段と、を備え、
    前記データを転送する手段が、一次電源が電力が供給されている間に前記データを記憶する手段に対して利用不可能となることに応じて、電力が供給されている間に前記データを記憶する手段から、前記電力の非存在下で前記データを記憶する手段にデータを転送するものであり、
    前記データを転送する手段がまた、前記データのサブセットのインジケーションを含む明示的な要求に応じて、電力が供給されている間に前記データを記憶する手段から、前記電力の非存在下で前記データを記憶する手段に前記データの前記サブセットを転送するものであり、
    前記データの前記サブセットが、
    仮想マシン識別子、
    アプリケーション空間識別子、又は
    メモリロケーションの使用モード、の少なくとも1つによって示されている、データ処理装置。
JP2021521981A 2018-11-02 2019-10-16 持続性メモリクリーニング Active JP7470112B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/178,681 US10915404B2 (en) 2018-11-02 2018-11-02 Persistent memory cleaning
US16/178,681 2018-11-02
PCT/GB2019/052947 WO2020089589A1 (en) 2018-11-02 2019-10-16 Persistent memory cleaning

Publications (2)

Publication Number Publication Date
JP2022511405A JP2022511405A (ja) 2022-01-31
JP7470112B2 true JP7470112B2 (ja) 2024-04-17

Family

ID=68343165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021521981A Active JP7470112B2 (ja) 2018-11-02 2019-10-16 持続性メモリクリーニング

Country Status (5)

Country Link
US (1) US10915404B2 (ja)
JP (1) JP7470112B2 (ja)
KR (1) KR20210084571A (ja)
CN (1) CN112889037A (ja)
WO (1) WO2020089589A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455251B2 (en) * 2020-11-11 2022-09-27 Advanced Micro Devices, Inc. Enhanced durability for systems on chip (SOCs)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134490A (ja) 1999-11-01 2001-05-18 Fujitsu Ltd キャッシュメモリの制御方法及びその方法を実現する計算機
JP2004531814A (ja) 2001-04-19 2004-10-14 インターナショナル・ビジネス・マシーンズ・コーポレーション ライトバック・キャッシュ情報の信頼性を改善するための方法および装置
JP2007011580A (ja) 2005-06-29 2007-01-18 Toshiba Corp 情報処理装置
JP2009187062A (ja) 2008-02-01 2009-08-20 Fujitsu Ltd 情報処理装置、該情報処理装置で行われるデータ記憶を制御する制御部およびデータ記憶の制御方法
JP2014182836A (ja) 2013-03-15 2014-09-29 Intel Corp 永続記憶装置へのライトバックを必要とする非トランザクションコード領域の先頭および終端を指し示す命令
US20150052299A1 (en) 2013-08-14 2015-02-19 Micron Technology, Inc. Apparatuses and methods for providing data to a configurable storage area
JP2017517040A (ja) 2014-02-21 2017-06-22 エイアールエム リミテッド 格納されたアドレス変換の無効化
JP2017220237A (ja) 2016-06-08 2017-12-14 三星電子株式会社Samsung Electronics Co.,Ltd. メモリモジュール、これを含むシステム及びその動作方法
US20180032439A1 (en) 2016-07-28 2018-02-01 Dell Products L.P. System and method for controlling cache flush size

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040148360A1 (en) * 2003-01-24 2004-07-29 Hewlett-Packard Development Company Communication-link-attached persistent memory device
JP5459006B2 (ja) 2010-03-24 2014-04-02 富士通株式会社 メモリ管理装置、メモリ管理方法及びメモリ管理プログラム
US9208071B2 (en) * 2010-12-13 2015-12-08 SanDisk Technologies, Inc. Apparatus, system, and method for accessing memory
US9678863B2 (en) * 2012-06-12 2017-06-13 Sandisk Technologies, Llc Hybrid checkpointed memory
US10489158B2 (en) * 2014-09-26 2019-11-26 Intel Corporation Processors, methods, systems, and instructions to selectively fence only persistent storage of given data relative to subsequent stores
US9851990B2 (en) * 2015-01-30 2017-12-26 American Megatrends, Inc. Method and system for performing on-demand data write through based on UPS power status
US20180024768A1 (en) 2015-02-13 2018-01-25 Hewlett Packard Enterprise Development Lp Partitioning memory modules into volatile and non-volatile portions
US20160283145A1 (en) * 2015-03-24 2016-09-29 Lenovo (Beijing) Co., Ltd. Electronic Device, Power Failure Protection Method and Data Recovery Method
US10268612B1 (en) * 2016-09-23 2019-04-23 Amazon Technologies, Inc. Hardware controller supporting memory page migration

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134490A (ja) 1999-11-01 2001-05-18 Fujitsu Ltd キャッシュメモリの制御方法及びその方法を実現する計算機
JP2004531814A (ja) 2001-04-19 2004-10-14 インターナショナル・ビジネス・マシーンズ・コーポレーション ライトバック・キャッシュ情報の信頼性を改善するための方法および装置
JP2007011580A (ja) 2005-06-29 2007-01-18 Toshiba Corp 情報処理装置
JP2009187062A (ja) 2008-02-01 2009-08-20 Fujitsu Ltd 情報処理装置、該情報処理装置で行われるデータ記憶を制御する制御部およびデータ記憶の制御方法
JP2014182836A (ja) 2013-03-15 2014-09-29 Intel Corp 永続記憶装置へのライトバックを必要とする非トランザクションコード領域の先頭および終端を指し示す命令
US20150052299A1 (en) 2013-08-14 2015-02-19 Micron Technology, Inc. Apparatuses and methods for providing data to a configurable storage area
JP2017517040A (ja) 2014-02-21 2017-06-22 エイアールエム リミテッド 格納されたアドレス変換の無効化
JP2017220237A (ja) 2016-06-08 2017-12-14 三星電子株式会社Samsung Electronics Co.,Ltd. メモリモジュール、これを含むシステム及びその動作方法
US20180032439A1 (en) 2016-07-28 2018-02-01 Dell Products L.P. System and method for controlling cache flush size

Also Published As

Publication number Publication date
US10915404B2 (en) 2021-02-09
KR20210084571A (ko) 2021-07-07
CN112889037A (zh) 2021-06-01
US20200142774A1 (en) 2020-05-07
JP2022511405A (ja) 2022-01-31
WO2020089589A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US9910602B2 (en) Device and memory system for storing and recovering page table data upon power loss
US20200264980A1 (en) Apparatus and method of handling caching of persistent data
TWI446166B (zh) 判定快取策略的方法、處理器和設定快取策略的系統
US11544093B2 (en) Virtual machine replication and migration
US20090164715A1 (en) Protecting Against Stale Page Overlays
KR20120058352A (ko) 하이브리드 메모리 시스템, 및 그 관리 방법
TW201502781A (zh) 解決記憶體存取錯誤時重播記憶體交易
KR20100132244A (ko) 메모리 시스템 및 메모리 시스템 관리 방법
US9916256B1 (en) DDR storage adapter
US20100185831A1 (en) Semiconductor integrated circuit and address translation method
US20140052924A1 (en) Selective Memory Scrubbing Based on Data Type
US9081693B2 (en) Data type dependent memory scrubbing
CN108694101B (zh) 存储器侧高速缓存内容的持久性高速缓存
JP2010152747A (ja) ストレージシステム、ストレージのキャッシュ制御方法、及びキャッシュ制御プログラム
JP7470112B2 (ja) 持続性メモリクリーニング
US20180365183A1 (en) Cooperative overlay
US8185699B2 (en) Cache memory controller and cache memory controlling method
US9639467B2 (en) Environment-aware cache flushing mechanism
US20230409472A1 (en) Snapshotting Pending Memory Writes Using Non-Volatile Memory
JP5795418B2 (ja) キャッシュ装置、及び記憶システム
TW201418984A (zh) 保護碟資料完整性的方法及實現其之電腦程式產品
JP5627754B2 (ja) 仮想記憶管理装置及び記憶管理装置
TWI704454B (zh) 固態儲存裝置的對應表管理方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210511

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210820

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240405

R150 Certificate of patent or registration of utility model

Ref document number: 7470112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150