JP6667629B2 - 記憶システムおよびソリッドステートディスク - Google Patents
記憶システムおよびソリッドステートディスク Download PDFInfo
- Publication number
- JP6667629B2 JP6667629B2 JP2018522781A JP2018522781A JP6667629B2 JP 6667629 B2 JP6667629 B2 JP 6667629B2 JP 2018522781 A JP2018522781 A JP 2018522781A JP 2018522781 A JP2018522781 A JP 2018522781A JP 6667629 B2 JP6667629 B2 JP 6667629B2
- Authority
- JP
- Japan
- Prior art keywords
- die
- segment
- solid state
- identifier
- state disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000007787 solid Substances 0.000 title claims description 313
- 238000013507 mapping Methods 0.000 claims description 233
- 238000004891 communication Methods 0.000 claims description 88
- 238000000034 method Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 description 76
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
- G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
- G06F12/1009—Address translation using page tables, e.g. page table structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0688—Non-volatile semiconductor memory arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1032—Reliability improvement, data loss prevention, degraded operation etc
- G06F2212/1036—Life time enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1041—Resource optimization
- G06F2212/1044—Space efficiency improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/21—Employing a record carrier using a specific recording technology
- G06F2212/214—Solid state disk
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/65—Details of virtual memory and virtual address translation
- G06F2212/657—Virtual address space management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/72—Details relating to flash memory management
- G06F2212/7201—Logical to physical mapping or translation of blocks or pages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/72—Details relating to flash memory management
- G06F2212/7208—Multiple device management, e.g. distributing data over multiple flash devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/72—Details relating to flash memory management
- G06F2212/7211—Wear leveling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Description
ソリッドステートディスクは、書き込み要求を受信し、書き込みアドレスおよび目標データのデータ長に従って、目標データを記憶するように構成される。
メモリは、ローカルマッピングテーブルを記憶するように構成され、ローカルマッピングテーブルは、セグメントとソリッドステートディスクの物理ブロックアドレスとの間のマッピング関係を記録するように構成され、ソリッドステートディスクの物理ブロックアドレスは、ブロック識別子を含み、
プロセッサは、書き込みアドレスに含まれた第1のセグメントの識別子および使用可能なオフセットに従って、ローカルマッピングテーブルに問い合わせし、ローカルマッピングテーブルに第1のセグメントに対応するブロックが記録されている場合、使用可能なオフセットに従って、ページ識別子を判定し、目標データのデータ長に基づいて、かつページ識別子に対応するページから開始して、目標データをブロックに書き込むように構成される、さもなければ、第1のダイに接続されたチャネルの識別子と第1のダイの識別子とに基づいて、第1のダイの複数のブロックからブランクブロックを選択し、書き込みアドレスに含まれる使用可能なオフセットに従って、ページ識別子を判定し、目標データのデータ長に基づいて、かつページ識別子に対応するページから開始して、目標データをブランクブロックに書き込むように構成される。
通信インターフェースは、書き込み要求を受信するように構成され、書き込み要求は、書き込みアドレス、目標データ、および目標データのデータ長を含み、書き込みアドレスは、第1のセグメントの識別子および使用可能なオフセットを含み、第1のセグメントの識別子は、第1のダイの識別子および第1のダイに接続されたチャネルの識別子を運び、
メモリは、ローカルマッピングテーブルを記憶するように構成され、ローカルマッピングテーブルは、セグメントとソリッドステートディスクの物理ブロックアドレスとの間のマッピング関係を記録するように構成され、ソリッドステートディスクの物理ブロックアドレスは、ブロック識別子を含み、
プロセッサは、書き込みアドレスに含まれた第1のセグメントの識別子および使用可能なオフセットに従って、ローカルマッピングテーブルに問い合わせし、ローカルマッピングテーブルに第1のセグメントに対応するブロックが記録されている場合、使用可能なオフセットに従って、ページ識別子を判定し、目標データのデータ長に基づいて、かつページ識別子に対応するページから開始して、目標データをブロックに書き込むように構成される、さもなければ、
第1のセグメントの識別子を解析して、第1のダイの識別子および第1のダイに接続されたチャネルの識別子を取得し、第1のダイに接続されたチャネルの識別子と第1のダイの識別子とに基づいて、第1のダイの複数のブロックからブランクブロックを選択し、書き込みアドレスに含まれる使用可能なオフセットに従って、ページ識別子を判定し、目標データのデータ長に基づいて、かつページ識別子に対応するページから開始して、目標データをブランクブロックに書き込むように特に構成される。
コントローラによって、複数のダイから第1のダイを選択するステップと、
コントローラによって、複数のセグメントから第1のセグメントを選択し、第1のセグメントの使用可能なオフセットを判定するステップと、
コントローラによって、書き込み要求を生成するステップであって、書き込み要求は、書き込みアドレス、目標データ、および目標データのデータ長を含み、書き込みアドレスは、第1のダイに接続されたチャネルの識別子、第1のダイの識別子、第1のセグメントの識別子、および使用可能なオフセットを含む、ステップと、
コントローラによって、ソリッドステートディスクに書き込み要求を送信するステップと、
を含む。
セグメント識別子:セグメントを一意的に識別するために使用され、セグメント識別子は、数字、文字、もしくは記号であってもよいし、数字、文字、もしくは記号の任意の組み合わせであってもよい;
ホスト論理ブロックアドレス:セグメント内の各オフセットによって記憶されたデータに対応するホスト論理ブロックアドレスを示すために使用される;
セグメント状態:セグメントの現在の状態を示し、本実施形態では、フリー(Free)状態、書き込み(Writing)状態、フル(Full)状態、およびガベージコレクション(Garbage Collection)状態の4つの状態が存在し、フリー状態は、セグメントにデータが現在書き込まれていないことを示し、例えば、セグメントは、初期化されたセグメントまたはガーベジコレクションが行われたばかりのセグメントであり得、書き込み状態は、セグメントが既に割り当てられ、データの書き込みに使用し得ることを示し、フル状態は、セグメントのすべての空間が既にいっぱいであることを示し、ガベージコレクション状態は、セグメント上で現在ガベージコレクションが現在行われていることを示す;
セグメント内の無効なデータの量:任意のパラメータであり、セグメント内の無効なデータの量を記録するために使用され、初期値は0であり、セグメントに記録されているホスト論理ブロックアドレスのデータに対して変更または削除動作が行われるたびに、セグメント内の無効データ量の値に1が加算される;
ソリッドステートディスク識別子:任意のパラメータであり、セグメントが割り当てられた場合にセグメントに対応するソリッドステートディスクを示すために使用される;
チャネル識別子:任意のパラメータであり、セグメントが割り当てられた場合にセグメントに対応するチャネルを示すために使用される;
ダイ識別子:任意のパラメータであり、セグメントが割り当てられた場合にセグメントに対応するダイを示すために使用される;
使用可能なオフセット:任意のパラメータであり、セグメントの現在の使用可能なオフセットの開始位置を記録するために使用され、初期値は0であってもよい。セグメントの異なる容量設定に基づいて、セグメントのオフセットの値の範囲が変わる。上述のように、本発明の本実施形態では、セグメントの容量は、ソリッドステートディスク内のブロックの容量の整数倍であることが提案される。ここで、例えば、ブロックの容量は8MBであり、セグメントの容量は16MBである、すなわち、ソリッドステートディスクでは、各セグメントに対応する2つのブロックが存在するはずである。各ブロックに512ページが含まれる場合、セグメントの容量は1024ページに相当する。この場合、セグメントのオフセットの値の範囲は0〜1023である。従って、セグメントの使用可能なオフセットの初期値は0である。各オフセットはブロックの1ページに対応し、セグメントに連続してデータが書き込まれると、使用可能なオフセットの値が大きくなる。ここで、使用可能なオフセットが0〜511に設定されている場合、値は、セグメントに対応する2つのブロックのうちの第1ブロックの512ページに対応し、使用可能なオフセットが512〜1023に設定されている場合、値は、セグメントに対応する2つのブロックのうちの第2のブロックの512ページに対応する。
ブランクセグメントキュー:すべての未割り当てセグメントを管理するために使用され、すべてのセグメントは、初期フェーズで管理のためにキューに配置される;
フルロードセグメントキュー:セグメントがユーザに既に割り当てられていて、セグメントが既にいっぱいになっている、つまり、使用可能な空間がない場合、セグメントは管理のためにフルロードセグメントキューに配置される。
ックアドレスを取得する。本実施形態では、1ページ分の容量(16KBなど)は、説明のための一例としてのみ用いられていることに留意されたい。実際の適用では、ページの容量の整数倍を単位として、ホストからのデータに対して分割および/または結合動作を行うことができる。具体的なサイズは柔軟に設定することができる。コントローラ100は、ホスト書き込み要求を受信した後、次の手続きを開始して後続のステップの動作を行うことができる、または上述したようにホスト書き込み要求で運ばれたデータをキャッシュし、第1の条件が満たされた場合、以下の手続きを開始して後続ステップの動作を行うことができる。本実施形態では、第1の条件は、ホスト書き込み要求で運ばれたキャッシュされたデータのデータ長が特定の閾値よりも大きいことであり得る、またはコントローラ100は、ホスト書き込み要求で運ばれ、コントローラ100によってキャッシュされるデータをソリッドステートディスク200に周期的に書き込むことができ、従って、第1の条件は、新しいデータ書き込みサイクルが始動された後、以下の手続きが開始され、後続のステップの動作が行われることであり得る。
データの量が第1の閾値よりも大きい複数のダイがあることが問い合わせにより分かった場合、コントローラ100は、複数のダイから、最も多い量のホットデータを現在記憶しているダイを第1のダイとして選択することができる。場合により、現在記憶されているホットデータの量が第1の閾値よりも大きい複数のダイがあることが問い合わせにより分かった場合、コントローラ100はまた、上述の基準1および2、または後述する基準4から6のいずれか1つ以上をさらに参照することによって、複数のダイから第1のダイを選択できる。場合により、複数の第1のダイも選択することができ、各第1のダイは、コールドデータである複数の16KBデータブロックの一部を記憶するために使用される。極端な場合は、Lの16KBデータブロックがコールドデータである場合、Lの第1のダイが選択され、各第1のダイは1つの16KBデータブロックを記憶することができる。場合により、コールドデータである16KBデータブロックでは、コントローラ100はまた、コールドおよびホットデータテーブルに問い合わせることによってダイを選択しないが、上述の基準1および2、または後述する基準4から6のいずれか1つ以上をさらに参照することによって、複数のダイから第1のダイを直接選択し得る。
場合、使用可能なオフセットが0から511でる場合、ソリッドステートディスクの物理ブロックアドレス1の列を照会しなければならず、使用可能なオフセットが512から1023である場合、ソリッドステートディスクの物理ブロックアドレス2の列を照会しなければならず、残りは類推によって推論することができる。多次元アレイのローカルマッピングテーブルに問い合わせるステップは、第1のセグメントの識別子に対応する行が、使用可能なオフセットに基づいて計算されるソリッドステートディスクの物理ブロックアドレスXの列と交差するセルに、ブロックの識別子が記録されているか否かを判定するステップである。記録されていれば、それは、ソリッドステートディスク200のプロセッサ2002が、使用可能なオフセットに対応するブロックを第1のセグメントに割り当てたことを示す。問い合わせ結果がnullである場合、これは、ソリッドステートディスク200のプロセッサ2002が、使用可能なオフセットに対応するブロックを第1のセグメントに割り当てなかったことを示す。
X=(使用可能なオフセット+1)/各ブロックに含まれるページの数。
ページ識別子=使用可能なオフセット%各ブロックに含まれるページの数、
ここで、「%」はモジュロ演算を示す。
ページ識別子=使用可能なオフセット%各ブロックに含まれるページの数、
ここで、「%」はモジュロ演算を示す。
200 ソリッドステートディスク
2001 通信インターフェース
2002 プロセッサ
2003 メモリ
7001 第1の通信インターフェース
7002 プロセッサ
7003 メモリ
7004 第2の通信インターフェース
8001 第1の通信モジュール
8002 記憶モジュール
8003 処理モジュール
8004 ダイ選択モジュール
8005 セグメント選択モジュール
8006 第2の通信モジュール
9001 通信モジュール
9002 キャッシュモジュール
9003 処理モジュール
9004 記憶モジュール
Claims (26)
- 記憶システムであって、前記記憶システムはコントローラとソリッドステートディスクとを備え、前記コントローラは前記ソリッドステートディスクと通信することができ、前記ソリッドステートディスクは複数のチャネルを含み、前記複数のチャネルのそれぞれは複数のダイに接続され、
前記コントローラは、複数のセグメントを作成し、前記複数のダイから第1のダイを選択し、前記複数のセグメントから第1のセグメントを選択し、前記第1のセグメントの使用可能なオフセットを判定し、書き込み要求を生成し、前記書き込み要求は、書き込みアドレス、目標データ、および前記目標データのデータ長を含み、前記書き込みアドレスは、前記第1のダイに接続されたチャネルの識別子、前記第1のダイの識別子、前記第1のセグメントの識別子、および前記使用可能なオフセットを含み、前記ソリッドステートディスクに前記書き込み要求を送信するように構成され、
前記ソリッドステートディスクは、前記書き込み要求を受信し、前記書き込みアドレスおよび前記目標データの前記データ長に従って、前記目標データを記憶するように構成され、
前記複数のセグメントの各々は、前記ソリッドステートディスクの所定の容量に応じた連続した論理ブロックアドレスを含む、
記憶システム。 - 前記ソリッドステートディスクは、
前記書き込みアドレスに含まれた前記第1のセグメントの前記識別子および前記使用可能なオフセットに従って、ローカルマッピングテーブルに問い合わせし、前記ローカルマッピングテーブルは、前記ソリッドステートディスクのセグメントと物理ブロックアドレスとの間のマッピング関係を記憶するように構成され、前記ローカルマッピングテーブルに前記第1のセグメントに対応するブロックが記録されている場合、前記書き込みアドレスに含まれた前記使用可能なオフセットに従って、ページ識別子を判定し、前記目標データの前記データ長に基づいて、かつ前記ページ識別子に対応するページから開始して、前記目標データを前記ブロックに書き込む
ように構成される、請求項1に記載の記憶システム。 - 前記コントローラは、前記目標データのホスト論理ブロックアドレスに基づいて前記目標データのアクセス頻度を判定するようにさらに構成され、
前記目標データの前記アクセス頻度がアクセス頻度閾値よりも大きい場合、前記コントローラは、前記アクセス頻度閾値よりもアクセス頻度が大きい、記憶されるデータ量が第1の閾値未満であるダイを前記第1のダイとして選択するように構成される、
請求項1に記載の記憶システム。 - 前記コントローラは、前記複数のダイのそれぞれに記憶された有効データ量を記録するようにさらに構成され、
前記コントローラは、有効データ量が第2の閾値未満であるダイを前記第1のダイとして選択するように構成される、
請求項1に記載の記憶システム。 - 前記コントローラは、前記複数のダイのそれぞれの疲弊度を記録するようにさらに構成され、
前記コントローラは、疲弊度が疲弊度閾値未満であるダイを前記第1のダイとして選択するように構成される、
請求項1に記載の記憶システム。 - 前記コントローラは、前記複数のダイのそれぞれで処理される読み出し要求の量を記録するようにさらに構成され、
前記コントローラは、処理される読み出し要求がないダイを前記第1のダイとして選択する、または処理される読み出し要求の量が第3の閾値未満であるダイを前記第1のダイとして選択するように構成される、
請求項1に記載の記憶システム。 - 前記コントローラは、前記複数のダイの状態を記録するようにさらに構成され、
前記コントローラは、前記複数のダイからステートレスダイを前記第1のダイとして選択するように構成される、
請求項1に記載の記憶システム。 - 前記コントローラは、特定のセグメントが前記第1のダイに既に割り当てられ、使用可能な記憶空間を有する場合、前記特定のセグメントを前記第1のセグメントとして選択する、または前記複数のセグメントからブランクセグメントを前記第1のセグメントとして選択するように構成される、請求項1から7のいずれか一項に記載の記憶システム。
- 前記コントローラは、マッピング関係を生成し、前記マッピング関係は、前記目標データの前記ホスト論理ブロックアドレスと、前記第1のダイに接続された前記チャネル、前記第1のダイ、前記第1のセグメント、および前記使用可能なオフセットと、の間のマッピングを記録するように構成され、前記マッピング関係をシステムマッピングテーブルに記憶するようにさらに構成される、請求項1から8のいずれか一項に記載の記憶システム。
- ソリッドステートディスクであって、前記ソリッドステートディスクは、プロセッサ、メモリ、通信インターフェース、および複数のチャネルを含み、前記プロセッサおよび前記メモリは、前記複数のチャネルのそれぞれを介して、複数のダイにそれぞれ接続され、前記複数のダイのそれぞれが複数のブロックを含み、前記プロセッサ、前記メモリ、および前記通信インターフェースが互いに通信することができ、
前記通信インターフェースは、書き込み要求を受信するように構成され、前記書き込み要求は、書き込みアドレス、目標データ、および前記目標データのデータ長を含み、前記書き込みアドレスは、第1のダイの識別子、前記第1のダイに接続されたチャネルの識別子、第1のセグメントの識別子、および使用可能なオフセットを含み、
前記メモリは、ローカルマッピングテーブルを記憶するように構成され、前記ローカルマッピングテーブルは、セグメントと前記ソリッドステートディスクの物理ブロックアドレスとの間のマッピング関係を記録するように構成され、
前記プロセッサは、前記書き込みアドレスに含まれた前記第1のセグメントの前記識別子および前記使用可能なオフセットに従って、前記ローカルマッピングテーブルに問い合わせし、前記ローカルマッピングテーブルに前記第1のセグメントに対応するブロックが記録されている場合、前記使用可能なオフセットに従って、ページ識別子を判定し、前記目標データの前記データ長に基づいて、かつ前記ページ識別子に対応するページから開始して、前記目標データを前記ブロックに書き込むように構成され、
前記セグメントは、前記ソリッドステートディスクの所定の容量に応じた連続する論理ブロックアドレスを含む、
ソリッドステートディスク。 - ソリッドステートディスクであって、前記ソリッドステートディスクは、プロセッサ、メモリ、通信インターフェース、および複数のチャネルを含み、前記プロセッサおよび前記メモリは、前記複数のチャネルのそれぞれを介して、複数のダイにそれぞれ接続され、前記複数のダイのそれぞれが複数のブロックを含み、前記プロセッサ、前記メモリ、および前記通信インターフェースが互いに通信することができ、
前記通信インターフェースは、書き込み要求を受信するように構成され、前記書き込み要求は、書き込みアドレス、目標データ、および前記目標データのデータ長を含み、前記書き込みアドレスは、第1のセグメントの識別子および使用可能なオフセットを含み、前記第1のセグメントの前記識別子は、第1のダイの識別子および前記第1のダイに接続されたチャネルの識別子を運び、
前記メモリは、ローカルマッピングテーブルを記憶するように構成され、前記ローカルマッピングテーブルは、セグメントと前記ソリッドステートディスクの物理ブロックアドレスとの間のマッピング関係を記録するように構成され、
前記プロセッサは、前記書き込みアドレスに含まれた前記第1のセグメントの前記識別子および前記使用可能なオフセットに従って、前記ローカルマッピングテーブルに問い合わせし、前記ローカルマッピングテーブルに前記第1のセグメントに対応するブロックが記録されている場合、前記使用可能なオフセットに従って、ページ識別子を判定し、前記目標データの前記データ長に基づいて、かつ前記ページ識別子に対応するページから開始して、前記目標データを前記ブロックに書き込むように構成され、
前記セグメントは、前記ソリッドステートディスクの所定の容量に応じた連続する論理ブロックアドレスを含む、
ソリッドステートディスク。 - ソリッドステートディスクにデータを書き込むための方法であって、前記方法は、記憶システムに適用可能であり、前記記憶システムはコントローラと前記ソリッドステートディスクとを備え、前記コントローラは前記ソリッドステートディスクと通信することができ、前記ソリッドステートディスクは複数のチャネルを含み、前記複数のチャネルのそれぞれは複数のダイに接続され、前記コントローラは、予め複数のセグメントを作成し、前記方法は、
前記コントローラによって、前記複数のダイから第1のダイを選択するステップと、
前記コントローラによって、前記複数のセグメントから第1のセグメントを選択し、前記第1のセグメントの使用可能なオフセットを判定するステップと、
前記コントローラによって、書き込み要求を生成するステップであって、前記書き込み要求は、書き込みアドレス、目標データ、および前記目標データのデータ長を含み、前記書き込みアドレスは、前記第1のダイに接続されたチャネルの識別子、前記第1のダイの識別子、前記第1のセグメントの識別子、および前記使用可能なオフセットを含む、ステップと、
前記コントローラによって、前記ソリッドステートディスクに前記書き込み要求を送信するステップと、
を含み、
前記複数のセグメントの各々は、前記ソリッドステートディスクの所定の容量に応じた連続する論理ブロックアドレスを含む、
方法。 - 前記第1のダイがステートレスダイである、請求項12に記載の方法。
- 前記コントローラは、前記目標データのホスト論理ブロックアドレスに基づいて前記目標データのアクセス頻度を判定し、
前記目標データの前記アクセス頻度がアクセス頻度閾値よりも大きい場合、前記第1のダイに記憶され、かつ前記アクセス頻度閾値よりもアクセス頻度が大きい、データ量が第1の閾値未満である、
請求項12に記載の方法。 - 前記第1のダイに記憶された有効データの量が第2の閾値未満である、請求項12に記載の方法。
- 前記第1のダイの疲弊度が疲弊度閾値未満である、請求項12に記載の方法。
- 前記第1のダイには処理される読み出し要求がない、または前記第1のダイにおける処理される読み出し要求の量が第3の閾値未満である、請求項12に記載の方法。
- 前記第1のセグメントがブランクセグメントである、請求項12に記載の方法。
- 前記第1のセグメントは既に前記第1のダイに割り当てられ、前記第1のセグメントには使用可能な空間がある、請求項12に記載の方法。
- 前記方法は、
前記コントローラによって、マッピング関係を生成するステップであって、前記マッピング関係は、前記目標データのホスト論理ブロックアドレスと、前記第1のダイに接続された前記チャネル、前記第1のダイ、前記第1のセグメント、および前記使用可能なオフセットと、の間のマッピングを記録するように構成される、ステップと、
前記マッピング関係をシステムマッピングテーブルに記憶するステップと、
をさらに含む、請求項12に記載の方法。 - 前記ソリッドステートディスクは、
前記第1のダイに接続された前記チャネルの前記識別子と前記第1のダイの前記識別子とに基づいて、前記第1のダイの複数のブロックからブランクブロックを選択し、前記書き込みアドレスに含まれる前記使用可能なオフセットに従って、ページ識別子を判定し、前記目標データの前記データ長に基づいて、かつ前記ページ識別子に対応するページから開始して、前記目標データを前記ブランクブロックに書き込む
ように構成される、請求項1に記載の記憶システム。 - 前記ソリッドステートディスクは、新しいマッピング関係を生成し、前記新しいマッピング関係は、前記第1のセグメントと前記ブランクブロックとの間のマッピングを記録するように構成され、前記新しいマッピング関係を前記ローカルマッピングテーブルに記憶するようにさらに構成される、請求項21に記載の記憶システム。
- ソリッドステートディスクであって、前記ソリッドステートディスクは、プロセッサ、メモリ、通信インターフェース、および複数のチャネルを含み、前記プロセッサおよび前記メモリは、前記複数のチャネルのそれぞれを介して、複数のダイにそれぞれ接続され、前記複数のダイのそれぞれが複数のブロックを含み、前記プロセッサ、前記メモリ、および前記通信インターフェースが互いに通信することができ、
前記通信インターフェースは、書き込み要求を受信するように構成され、前記書き込み要求は、書き込みアドレス、目標データ、および前記目標データのデータ長を含み、前記書き込みアドレスは、第1のダイの識別子、前記第1のダイに接続されたチャネルの識別子、第1のセグメントの識別子、および使用可能なオフセットを含み、
前記プロセッサは、前記第1のダイに接続された前記チャネルの前記識別子と前記第1のダイの前記識別子とに基づいて、前記第1のダイの複数のブロックからブランクブロックを選択し、前記書き込みアドレスに含まれる前記使用可能なオフセットに従って、ページ識別子を判定し、前記目標データの前記データ長に基づいて、かつ前記ページ識別子に対応するページから開始して、前記目標データを前記ブランクブロックに書き込むように構成され、
前記セグメントは、前記ソリッドステートディスクの所定の容量に応じた連続する論理ブロックアドレスを含む、
ソリッドステートディスク。 - 前記プロセッサは、新しいマッピング関係を生成し、前記新しいマッピング関係は、前記第1のセグメントと前記ブランクブロックとの間のマッピングを記録するように構成され、前記新しいマッピング関係を前記ローカルマッピングテーブルに記憶するようにさらに構成される、請求項23に記載のソリッドステートディスク。
- ソリッドステートディスクであって、前記ソリッドステートディスクは、プロセッサ、メモリ、通信インターフェース、および複数のチャネルを含み、前記プロセッサおよび前記メモリは、前記複数のチャネルのそれぞれを介して、複数のダイにそれぞれ接続され、前記複数のダイのそれぞれが複数のブロックを含み、前記プロセッサ、前記メモリ、および前記通信インターフェースが互いに通信することができ、
前記通信インターフェースは、書き込み要求を受信するように構成され、前記書き込み要求は、書き込みアドレス、目標データ、および前記目標データのデータ長を含み、前記書き込みアドレスは、第1のセグメントの識別子および使用可能なオフセットを含み、前記第1のセグメントの前記識別子は、第1のダイの識別子および前記第1のダイに接続されたチャネルの識別子を運び、
前記プロセッサは、前記第1のセグメントの前記識別子を解析して、前記第1のダイの前記識別子および前記第1のダイに接続された前記チャネルの前記識別子を取得し、前記第1のダイに接続された前記チャネルの前記識別子と前記第1のダイの前記識別子とに基づいて、前記第1のダイの複数のブロックからブランクブロックを選択し、前記書き込みアドレスに含まれる前記使用可能なオフセットに従って、ページ識別子を判定し、前記目標データの前記データ長に基づいて、かつ前記ページ識別子に対応するページから開始して、前記目標データを前記ブランクブロックに書き込むように構成され、
前記第1のセグメントは、前記ソリッドステートディスクの所定の容量に応じた連続する論理ブロックアドレスを含む、
ソリッドステートディスク。 - 前記プロセッサは、新しいマッピング関係を生成し、前記新しいマッピング関係は、前記第1のセグメントと前記ブランクブロックとの間のマッピングを記録するように構成され、前記新しいマッピング関係を前記ローカルマッピングテーブルに記憶するようにさらに構成される、請求項25に記載のソリッドステートディスク。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/113088 WO2018119901A1 (zh) | 2016-12-29 | 2016-12-29 | 存储系统和固态硬盘 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019508765A JP2019508765A (ja) | 2019-03-28 |
JP6667629B2 true JP6667629B2 (ja) | 2020-03-18 |
Family
ID=62710177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018522781A Active JP6667629B2 (ja) | 2016-12-29 | 2016-12-29 | 記憶システムおよびソリッドステートディスク |
Country Status (6)
Country | Link |
---|---|
US (1) | US10768857B2 (ja) |
EP (1) | EP3367251B1 (ja) |
JP (1) | JP6667629B2 (ja) |
CN (1) | CN109154917B (ja) |
SG (1) | SG11201802566PA (ja) |
WO (1) | WO2018119901A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11520704B1 (en) * | 2021-06-30 | 2022-12-06 | International Business Machines Corporation | Writing store data of multiple store operations into a cache line in a single cycle |
CN108255414B (zh) * | 2017-04-14 | 2020-04-03 | 新华三信息技术有限公司 | 固态硬盘访问方法及装置 |
US10664196B2 (en) * | 2017-07-14 | 2020-05-26 | Clipchamp Ip Pty Ltd | Random access file management |
EP3866016A4 (en) * | 2018-11-20 | 2021-11-10 | Huawei Technologies Co., Ltd. | METHOD AND APPARATUS FOR DELETING INDEX ENTRY IN MEMORY |
CN109634873A (zh) * | 2018-12-10 | 2019-04-16 | 浪潮(北京)电子信息产业有限公司 | 固态盘存储主机系统日志信息方法、装置、设备及介质 |
KR20200110863A (ko) * | 2019-03-18 | 2020-09-28 | 에스케이하이닉스 주식회사 | 메모리 시스템, 컴퓨팅 장치 및 동작 방법 |
CN111949560B (zh) * | 2019-05-16 | 2024-01-23 | 兆易创新科技集团股份有限公司 | 一种数据写入方法、装置及存储设备 |
CN110275800B (zh) * | 2019-06-20 | 2021-06-08 | 深圳忆联信息系统有限公司 | Ssd数据物理备份方法、装置、计算机设备及存储介质 |
CN110716699A (zh) * | 2019-10-17 | 2020-01-21 | 北京百度网讯科技有限公司 | 用于写入数据的方法和装置 |
US11249896B2 (en) | 2019-12-20 | 2022-02-15 | Micron Technology, Inc. | Logical-to-physical mapping of data groups with data locality |
CN111176582A (zh) * | 2019-12-31 | 2020-05-19 | 北京百度网讯科技有限公司 | 矩阵存储方法、矩阵访问方法、装置和电子设备 |
US11221802B2 (en) * | 2020-06-10 | 2022-01-11 | Western Digital Technologies, Inc. | Zone allocation for data storage device based on zone reset behavior |
CN112363833B (zh) * | 2020-11-10 | 2023-01-31 | 海光信息技术股份有限公司 | 一种网络数据包的内存分配方法、装置及相关设备 |
CN112433673B (zh) * | 2020-11-13 | 2022-08-09 | 苏州浪潮智能科技有限公司 | 一种固态硬盘存储数据的方法和设备 |
JP2022120544A (ja) * | 2021-02-05 | 2022-08-18 | 東芝テック株式会社 | メモリ制御装置およびプログラム |
US11803311B2 (en) * | 2021-03-31 | 2023-10-31 | Advanced Micro Devices, Inc. | System and method for coalesced multicast data transfers over memory interfaces |
US11907123B2 (en) * | 2021-04-20 | 2024-02-20 | International Business Machines Corporation | Flash memory garbage collection |
US12007998B2 (en) * | 2021-05-27 | 2024-06-11 | Sap Se | Caching for disk based hybrid transactional analytical processing system |
JP2023000085A (ja) * | 2021-06-17 | 2023-01-04 | キオクシア株式会社 | メモリシステム及び情報処理システム |
US20230088364A1 (en) * | 2021-09-17 | 2023-03-23 | Red Hat, Inc. | Dynamically Switching A Software Service Between Stateful Mode And Stateless Mode |
KR102688447B1 (ko) * | 2021-10-08 | 2024-07-24 | 중앙대학교 산학협력단 | Wan 환경에서의 데이터 사용률 기반의 데이터 관리 방법 및 장치 |
CN116107491A (zh) * | 2021-11-10 | 2023-05-12 | 三星电子株式会社 | 存储器控制器、存储装置和存储装置的操作方法 |
CN116244225A (zh) * | 2021-12-08 | 2023-06-09 | 华为技术有限公司 | 存储介质、存储元件、存储介质配置方法及数据传输方法 |
US11860811B2 (en) * | 2022-03-23 | 2024-01-02 | Arm Limited | Message protocol for a data processing system |
US20240354299A1 (en) * | 2023-04-24 | 2024-10-24 | Oracle International Corporation | Self-optimizing database objects using virtual segments |
CN116991759B (zh) * | 2023-09-25 | 2024-01-26 | 苏州元脑智能科技有限公司 | 片上存储空间的分配方法及装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3507132B2 (ja) * | 1994-06-29 | 2004-03-15 | 株式会社日立製作所 | フラッシュメモリを用いた記憶装置およびその記憶制御方法 |
US6938144B2 (en) | 2001-03-22 | 2005-08-30 | Matsushita Electric Industrial Co., Ltd. | Address conversion unit for memory device |
US6831865B2 (en) * | 2002-10-28 | 2004-12-14 | Sandisk Corporation | Maintaining erase counts in non-volatile storage systems |
KR20080017982A (ko) * | 2006-08-23 | 2008-02-27 | 삼성전자주식회사 | 플래시 메모리 시스템 및 그 프로그램 방법 |
KR101449524B1 (ko) * | 2008-03-12 | 2014-10-14 | 삼성전자주식회사 | 스토리지 장치 및 컴퓨팅 시스템 |
US8843691B2 (en) * | 2008-06-25 | 2014-09-23 | Stec, Inc. | Prioritized erasure of data blocks in a flash storage device |
US8135907B2 (en) * | 2008-06-30 | 2012-03-13 | Oracle America, Inc. | Method and system for managing wear-level aware file systems |
US8639871B2 (en) * | 2009-04-08 | 2014-01-28 | Google Inc. | Partitioning a flash memory data storage device |
US8321647B2 (en) * | 2009-05-06 | 2012-11-27 | Apple Inc. | Multipage preparation commands for non-volatile memory systems |
US8402243B2 (en) * | 2010-02-25 | 2013-03-19 | Apple Inc. | Dynamically allocating number of bits per cell for memory locations of a non-volatile memory |
US8593866B2 (en) * | 2011-11-11 | 2013-11-26 | Sandisk Technologies Inc. | Systems and methods for operating multi-bank nonvolatile memory |
CN102567257B (zh) * | 2011-12-26 | 2014-08-27 | 华中科技大学 | 一种控制多通道固态盘数据读写的方法 |
CN103218270B (zh) * | 2013-03-11 | 2016-08-17 | 北京忆恒创源科技有限公司 | 具有多个固态盘的计算机 |
US9170939B1 (en) * | 2013-09-26 | 2015-10-27 | Western Digital Technologies, Inc. | Early de-allocation of write buffer in an SSD |
US9336129B2 (en) * | 2013-10-02 | 2016-05-10 | Sandisk Technologies Inc. | System and method for bank logical data remapping |
WO2015162758A1 (ja) | 2014-04-24 | 2015-10-29 | 株式会社日立製作所 | ストレージシステム |
CN104090847B (zh) * | 2014-06-25 | 2017-01-11 | 华中科技大学 | 一种固态存储设备的地址分配方法 |
WO2015196470A1 (zh) * | 2014-06-27 | 2015-12-30 | 华为技术有限公司 | 一种将数据写入闪存装置的方法、闪存装置和存储系统 |
US9582201B2 (en) | 2014-09-26 | 2017-02-28 | Western Digital Technologies, Inc. | Multi-tier scheme for logical storage management |
CN104461393B (zh) * | 2014-12-09 | 2017-05-17 | 华中科技大学 | 一种闪存存储器的混合映射方法 |
US9870153B2 (en) * | 2014-12-29 | 2018-01-16 | Sandisk Technologies Llc | Non-volatile memory systems utilizing storage address tables |
US10296236B2 (en) | 2015-07-01 | 2019-05-21 | Pure Storage, Inc. | Offloading device management responsibilities from a storage device in an array of storage devices |
-
2016
- 2016-12-29 WO PCT/CN2016/113088 patent/WO2018119901A1/zh active Application Filing
- 2016-12-29 EP EP16915920.9A patent/EP3367251B1/en active Active
- 2016-12-29 CN CN201680003654.7A patent/CN109154917B/zh active Active
- 2016-12-29 SG SG11201802566PA patent/SG11201802566PA/en unknown
- 2016-12-29 JP JP2018522781A patent/JP6667629B2/ja active Active
-
2018
- 2018-04-16 US US15/954,029 patent/US10768857B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3367251A4 (en) | 2019-04-10 |
EP3367251B1 (en) | 2023-06-21 |
EP3367251A1 (en) | 2018-08-29 |
JP2019508765A (ja) | 2019-03-28 |
CN109154917B (zh) | 2020-09-29 |
WO2018119901A1 (zh) | 2018-07-05 |
SG11201802566PA (en) | 2018-08-30 |
US20180232181A1 (en) | 2018-08-16 |
US10768857B2 (en) | 2020-09-08 |
CN109154917A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6667629B2 (ja) | 記憶システムおよびソリッドステートディスク | |
US11029848B2 (en) | File management method, distributed storage system, and management node | |
US10528464B2 (en) | Memory system and control method | |
JP6725120B2 (ja) | データ処理方法、記憶装置、ソリッドステートディスク及び記憶システム | |
US10152501B2 (en) | Rollover strategies in a n-bit dictionary compressed column store | |
US10303374B2 (en) | Data check method and storage system | |
CN110209490B (zh) | 一种内存管理方法及相关设备 | |
JP2019057155A (ja) | メモリシステムおよび制御方法 | |
JP2019185596A (ja) | メモリシステムおよび制御方法 | |
US20140304452A1 (en) | Method for increasing storage media performance | |
US11899580B2 (en) | Cache space management method and apparatus | |
CN110235098B (zh) | 存储系统访问方法及装置 | |
JP2018502343A (ja) | データを書き込むようにソリッドステートディスクを制御するためのアレイコントローラ、ソリッドステートディスクおよび方法 | |
JP6455900B2 (ja) | ストレージシステムおよびシステムガベージコレクション方法 | |
JP2019168822A (ja) | ストレージデバイスおよびコンピュータシステム | |
US10089013B2 (en) | System and method for managing a non-volatile storage resource as a shared resource in a distributed system | |
CN112615917A (zh) | 存储系统中存储设备的管理方法及存储系统 | |
CN110199270B (zh) | 存储系统中存储设备的管理方法及装置 | |
CN107688435B (zh) | Io流调节方法与装置 | |
KR20160018471A (ko) | 스토리지 미디어 성능을 높이는 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6667629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |