KR20230058230A - 스토리지 장치 및 그 동작 방법 - Google Patents

스토리지 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20230058230A
KR20230058230A KR1020210141851A KR20210141851A KR20230058230A KR 20230058230 A KR20230058230 A KR 20230058230A KR 1020210141851 A KR1020210141851 A KR 1020210141851A KR 20210141851 A KR20210141851 A KR 20210141851A KR 20230058230 A KR20230058230 A KR 20230058230A
Authority
KR
South Korea
Prior art keywords
memory
data
memory area
storage device
area
Prior art date
Application number
KR1020210141851A
Other languages
English (en)
Inventor
남경민
김찬하
장승룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210141851A priority Critical patent/KR20230058230A/ko
Priority to US17/808,773 priority patent/US20230131466A1/en
Priority to CN202211301301.9A priority patent/CN116009766A/zh
Publication of KR20230058230A publication Critical patent/KR20230058230A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5628—Programming or writing circuits; Data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/349—Arrangements for evaluating degradation, retention or wearout, e.g. by counting erase cycles
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2211/00—Indexing scheme relating to digital stores characterized by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C2211/56—Indexing scheme relating to G11C11/56 and sub-groups for features not covered by these groups
    • G11C2211/564—Miscellaneous aspects
    • G11C2211/5641—Multilevel memory having cells with different number of storage levels
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2211/00—Indexing scheme relating to digital stores characterized by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C2211/56—Indexing scheme relating to G11C11/56 and sub-groups for features not covered by these groups
    • G11C2211/564—Miscellaneous aspects
    • G11C2211/5644—Multilevel memory comprising counting devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

스토리지 장치는, 가장 낮은 비트 밀도를 갖는 제1 메모리 영역, 중간 비트 밀도를 갖는 제2 메모리 영역, 및 가장 높은 비트 밀도를 갖는 제3 메모리 영역을 포함하는 메모리 장치; 및 상기 메모리 장치를 제어하는 컨트롤러를 포함하고, 상기 컨트롤러는 호스트로부터 수신되는 데이터를 상기 데이터의 속성에 따라 제1 내지 제3 메모리 영역으로 분배하고, 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 현재 상태(state)를 결정하고, 제3 메모리 영역의 수명이 적게 감소되도록 학습된 강화학습 결과에 기반하여 상기 현재 상태하에서 상기 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 행동(action)을 수행할 수 있다.

Description

스토리지 장치 및 그 동작 방법{STORAGE DEVICE AND OPERATION METHOD THEREOF}
본 발명은 스토리지 장치 및 그의 동작 방법에 관한 것이다.
컴퓨터 시스템은 다양한 형태의 메모리 시스템을 포함할 수 있고, 메모리 시 스템은 메모리와 컨트롤러를 포함한다. 메모리 장치는 데이터를 저장하는데 사용되며, 휘발성 메모리 장치와 비휘발성 메모리 장치로 구분된다. 메모리 장치는 상이한 성능을 가진 제1 및 제2 메모리 영역들을 포함할 수 있는데, 이때, 제1 메모리 영역에 대한 기입 속도와 제2 메모리 영역에 대한 기입 속도는 서로 다를 수 있다.
본 발명은 서로 다른 비트 밀도를 갖는 메모리 영역들을 포함하는 메모리 장치의 수명을 개선할 수 있는 스토리지 장치 및 그의 동작 방법을 제공하고자 한다.
본 발명의 실시 예에 따른 스토리지 장치는, 가장 낮은 비트 밀도를 갖는 제1 메모리 영역, 중간 비트 밀도를 갖는 제2 메모리 영역, 및 가장 높은 비트 밀도를 갖는 제3 메모리 영역을 포함하는 메모리 장치; 및 상기 메모리 장치를 제어하는 컨트롤러를 포함하고, 상기 컨트롤러는 호스트로부터 수신되는 데이터를 상기 데이터의 속성에 따라 제1 내지 제3 메모리 영역으로 분배하고, 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 현재 상태(state)를 결정하고, 제3 메모리 영역의 수명이 적게 감소되도록 학습된 강화학습 결과에 기반하여 상기 현재 상태하에서 상기 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 행동(action)을 수행할 수 있다.
본 발명의 실시 예에 따른 스토리지 장치는, 가장 낮은 비트 밀도를 갖는 제1 메모리 영역, 중간 비트 밀도를 갖는 제2 메모리 영역 및 가장 높은 비트 밀도를 갖는 제3 메모리 영역을 포함하는 메모리 장치; 및 상기 메모리 장치를 제어하는 컨트롤러를 포함하고, 상기 컨트롤러는 호스트로부터 수신되는 데이터를 상기 데이터의 속성에 따라 제1 내지 제3 메모리 영역으로 분배하고, 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 생성된 현재 상태(state) 하에서 상기 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 행동(action)을 수행하고, 상기 행동이 수행된 이후의 상기 메모리 장치의 마모도 정보를 수집하고, 상기 마모도 정보에 기초하여 보상(reward)을 결정하며, 상기 현재 상태 하에서 수행된 행동에 따른 보상을 결정하는 동작을 복수의 주기에 걸쳐 반복 수행함으로써 강화학습 결과를 생성할 수 있다.
본 발명의 실시 예에 따르면, 서로 다른 비트 밀도를 갖는 메모리 영역들을 포함하는 스토리지 장치의 동작 방법에 있어서, 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈 정보에 기초하여 현재 상태를 결정하는 단계; 상기 현재 상태에 기초하여 상기 메모리 영역들 중 적어도 일부의 사이즈를 증가 또는 감소시키는 행동을 수행하는 단계; 상기 행동에 따라 결정되는 상기 스토리지 장치의 마모도에 기초하여 보상을 결정하는 단계; 상기 현재 상태, 행동 및 보상을 이용하여 강화학습 결과를 생성하는 단계; 및 상기 강화학습 결과를 이용하여 상기 스토리지 장치의 수명 감소가 완화되도록 상기 메모리 영역들 중 적어도 일부의 사이즈를 조정하는 단계를 포함할 수 있다.
본 발명은 서로 다른 비트 밀도를 갖는 메모리 영역들을 포함하는 메모리 장치의 수명을 개선할 수 있는 스토리지 장치 및 그의 동작 방법을 제공할 수 있다.
구체적으로, 본 발명은 강화학습 결과에 기초하여 서로 다른 비트 밀도를 갖는 메모리 영역들이 고르게 마모될 수 있도록 메모리 영역들의 사이즈를 증감시킴으로써 메모리 장치의 수명을 개선할 수 있다.
도 1은 본 발명의 예시적인 실시 예에 따른 호스트-스토리지 시스템을 나타 내는 블록도이다.
도 2 내지 도 4는 비휘발성 메모리에 포함된 메모리 블록들을 더욱 자세히 설명하기 위한 도면들이다
도 5는 도 1을 참조하여 설명된 스토리지 장치의 일부 구성들을 도시하는 도면이다.
도 6a 및 도 6b는 스토리지 장치의 현재 상태에 따른 메모리 영역들의 수명 감소를 설명하기 위한 도면이다.
도 7은 스토리지 장치가 메모리 영역의 사이즈를 변경하는 동작을 설명하기 위한 도면이다.
도 8은 스토리지 장치가 강화학습을 수행하는 방법을 설명하기 위한 도면이다.
도 9는 스토리지 장치가 상태를 결정하는 방법을 자세히 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 큐테이블을 나타낸다.
도 11 내지 도 13은 본 발명의 실시 예에 따른 스토리지 장치의 동작 방법을 나타내는 플로우차트이다.
도 14는 본 발명의 실시 예에 따른 큐테이블을 나타낸다.
도 15는 본 발명의 일 실시 예에 따른 메모리 장치를 나타내는 단면도이다.
도 16은 본 발명의 실시 예에 따른 스토리지(storage) 장치가 적용된 시스템을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명하기로 한다.
도 1은 본 발명의 예시적인 실시 예에 따른 호스트-스토리지 시스템을 나타내는 블록도이다.
호스트-스토리지 시스템(10)은 호스트(100) 및 스토리지 장치(200)를 포함할 수 있다. 또한, 스토리지 장치(200)는 스토리지 컨트롤러(210) 및 비휘발성 메모리(NVM)(220)를 포함할 수 있다.
호스트(100)는 전자 장치, 예를 들어 휴대폰, MP3 플레이어, 랩탑 컴퓨터 등과 같은 휴대용 전자 장치들, 또는 데스크탑 컴퓨터, 게임기, TV, 프로젝터 등과 같은 전자 장치들을 포함할 수 있다. 호스트(100)는 적어도 하나의 운영 체제(OS: operating system)를 포함할 수 있다. 운영 체제는 호스트(100)의 기능 및 동작을 전반적으로 관리 및 제어할 수 있다.
스토리지 장치(200)는 호스트(100)로부터의 요청에 따라 데이터를 저장하기 위한 저장 매체들을 포함할 수 있다. 일 예로서, 스토리지 장치(200)는 SSD(Solid State Drive), 임베디드(embedded) 메모리 및 착탈 가능한 외장(external) 메모리 중 적어도 하나를 포함할 수 있다. 스토리지 장치(200)가 SSD인 경우, 스토리지 장치(200)는 NVMe(non-volatile memory express) 표준을 따르는 장치일 수 있다. 스토리지 장치(200)가 임베디드 메모리 혹은 외장(external) 메모리인 경우, 스토리지 장치(200)는 UFS(universal flash storage) 혹은 eMMC(embedded multi-media card) 표준을 따르는 장치일 수 있다. 호스트(100)와 스토리지 장치(200)는 각각 채용된 표준 프로토콜에 따른 패킷을 생성하고 이를 전송할 수 있다.
비휘발성 메모리(220)는 전원이 공급되지 않아도 저장된 데이터를 유지할 수 있다. 비휘발성 메모리(220)는 프로그램 동작을 통해 호스트(100)로부터 제공된 데이터를 저장할 수 있고, 리드 동작을 통해 비휘발성 메모리(220)에 저장된 데이터를 출력할 수 있다. 비휘발성 메모리(220)는 복수의 메모리 블록들을 포함하며, 메모리 블록들 각각은 복수의 페이지들을 포함하며, 상기 페이지들 각각은 워드라인에 연결된 복수의 메모리 셀들을 포함할 수 있다. 일 실시 예에서, 비휘발성 메모리(220)는 플래시 메모리가 될 수 있다.
스토리지 장치(200)의 비휘발성 메모리(220)가 플래시 메모리를 포함할 때, 상기 플래시 메모리는 2D NAND 메모리 어레이나 3D(또는 수직형, Vertical) NAND(VNAND) 메모리 어레이를 포함할 수 있다. 다른 예로서, 스토리지 장치(200)는 다른 다양한 종류의 비휘발성 메모리들을 포함할 수도 있다. 예를 들어, 스토리지 장치(200)는 MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torgue MRAM), Conductive bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase RAM), 저항 메모리(Resistive RAM) 및 다른 다양한 종류의 메모리가 적용될 수 있다.
비휘발성 메모리(220)는 비트 밀도가 상이한 제1 내지 제3 메모리 블록들을 포함할 수 있다. 메모리 블록의 비트 밀도는, 해당 메모리 블록에 포함된 메모리 셀이 저장할 수 있는 데이터 비트 수를 지칭할 수 있다. 도 1의 예에서, 제1 메모리 블록들의 비트 밀도가 가장 낮고, 제3 메모리 블록의 비트 밀도가 가장 높고, 제2 메모리 블록의 비트 밀도는 중간 정도일 수 있다. 즉, 하나의 메모리 셀에 저장할 수 있는 비트 수는 제1 메모리 블록, 제2 메모리 블록, 제3 메모리 블록 순으로 많아질 수 있다.
비트 밀도가 상이한 메모리 블록들은 상이한 속성을 가질 수 있다. 예를 들어, 제3 메모리 블록들은 나머지 메모리 블록들에 비해 동일한 면적에서 큰 저장용량을 제공할 수 있다. 반면에, 제1 메모리 블록들은 나머지 메모리 블록들에 비해 액세스 속도가 빠르고, 수명이 더 길 수 있다. 제2 메모리 블록들은 중간 정도의 저장용량, 액세스 속도 및 수명을 제공할 수 있다.
속성이 다른 메모리 블록들에 서로 다른 속성을 갖는 데이터가 구분하여 저장될 수 있다면, 비휘발성 메모리(220)가 효율적으로 사용될 수 있다. 예를 들어, 상대적으로 자주 액세스되는 데이터인 핫 데이터가 제1 메모리 블록들에 저장된다면, 핫 데이터의 액세스 속도가 향상될 수 있으며, 스토리지 장치(200)의 평균적인 성능이 향상될 수 있다. 상대적으로 드물게 액세스되는 데이터인 콜드 데이터가 제3 메모리 블록들에 저장된다면, 제3 메모리 블록들에 저장된 데이터가 드물게 업데이트될 수 있으며, 제3 메모리 블록들의 수명 저하가 완화될 수 있다.
스토리지 컨트롤러(210)는 호스트(100)로부터의 요청에 응하여 비휘발성 메모리(220)를 제어할 수 있다. 예를 들어, 스토리지 컨트롤러(210)는 비휘발성 메모리(220)로부터 리드된 데이터를 호스트(100)로 제공하고, 호스트(100)로부터 제공된 데이터를 비휘발성 메모리(220)에 저장할 수 있다.
스토리지 컨트롤러(210)는 호스트(100)로부터 제공된 데이터를 속성에 따라 구분하고, 제1 내지 제3 메모리 블록들에 구분하여 저장할 수 있다. 예를 들어, 스토리지 컨트롤러(210)는 핫 데이터를 제1 메모리 블록들을 포함하는 제1 메모리 영역에 저장하고, 웜 데이터를 제2 메모리 블록들을 포함하는 제2 메모리 영역에 저장하고, 콜드 데이터를 제3 메모리 블록들을 포함하는 제3 메모리 영역에 저장할 수 있다.
한편, 호스트(100)의 워크로드 패턴에 따라서 제1 내지 제3 메모리 블록들 각각으로 분배되는 데이터의 양이 달라질 수 있으며, 제1 내지 제3 메모리 영역이 불균등하게 마모될 수 있다. 예를 들어, 호스트(100)로부터 대용량의 미디어 데이터가 수신되는 경우 해당 데이터는 콜드 데이터로 판단될 수 있으며, 주로 제3 메모리 영역에 저장될 수 있다. 데이터가 제3 메모리 영역에 집중적으로 저장되는 경우, 제3 메모리 영역의 메모리 블록들은 제1 또는 제2 메모리 영역의 메모리 블록들에 비해 빠르게 마모될 수 있다. 만약 메모리 영역들이 불균등하게 마모된다면 어떤 메모리 블록들은 먼저 수명을 다할 수 있으며, 다른 메모리 블록들의 수명이 남아있더라도 스토리지 장치(200)를 정상적으로 사용하기 어려워질 수 있다.
본 발명의 실시 예에 따르면, 스토리지 장치(200)는 현재의 워크로드 패턴에 기초하여 메모리 영역들의 사이즈를 조정함으로써 메모리 영역들이 고르게 마모되도록 할 수 있다. 예를 들어, 데이터가 제3 메모리 영역에 집중적으로 저장되는 경우, 제2 메모리 블록들을 제3 메모리 블록들로 전환함으로써 제3 메모리 영역의 사이즈를 늘일 수 있다. 제3 메모리 영역의 사이즈가 커지면, 제3 메모리 블록들 각각의 마모도는 낮아질 수 있고, 메모리 영역들이 고르게 마모될 수 있다. 스토리지 컨트롤러(210)는 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈를 현재 상태로 하여 학습된 강화학습 모델을 이용하여 제2 메모리 영역과 제3 메모리 영역의 사이즈를 조정함으로써 메모리 영역들이 고르게 마모되도록 할 수 있다.
스토리지 컨트롤러(210)는 호스트 인터페이스(211), 메모리 인터페이스(212) 및 CPU(central processing unit)(213)를 포함할 수 있다. 또한, 스토리지 컨트롤러(210)는 플래시 변환 레이어(Flash Translation Layer; FTL)(214), 패킷 매니저(215), 버퍼 메모리(216), ECC(error correction code)(217) 엔진 및 AES(advanced encryption standard) 엔진(218)을 더 포함할 수 있다. 스토리지 컨트롤러(210)는 플래시 변환 레이어(FTL)(214)가 로딩되는 워킹 메모리(미도시)를 더 포함할 수 있으며, CPU(213)가 플래시 변환 레이어(214)를 실행하는 것에 의해 비휘발성 메모리(220)에 대한 데이터 기록 및 독출 동작이 제어될 수 있다.
호스트 인터페이스(211)는 호스트(100)와 패킷(packet)을 송수신할 수 있다. 호스트(100)로부터 호스트 인터페이스(211)로 전송되는 패킷은 커맨드(command) 혹은 비휘발성 메모리(220)에 기록될 데이터 등을 포함할 수 있으며, 호스트 인터페이스(211)로부터 호스트(100)로 전송되는 패킷은 커맨드에 대한 응답(response) 혹은 비휘발성 메모리(220)로부터 독출된 데이터 등을 포함할 수 있다.
메모리 인터페이스(212)는 비휘발성 메모리(220)에 기록될 데이터를 비휘발성 메모리(220)로 송신하거나, 비휘발성 메모리(220)로부터 독출된 데이터를 수신할 수 있다. 이러한 메모리 인터페이스(212)는 토글(Toggle) 혹은 온파이(Open NAND Flash Interface; ONFI)와 같은 표준 규약을 준수하도록 구현될 수 있다.
CPU(213)는 플래시 변환 레이어(214)를 실행할 수 있다. 그리고, CPU(213)는 비휘발성 메모리(220)를 제어하기 위한 강화학습을 수행하고, 강화학습 결과에 기초하여 비휘발성 메모리(220)를 제어할 수 있다. 예를 들어, CPU(213)는 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 현재 상태(state)를 결정하고, 메모리 영역의 사이즈를 증감시키는 행동(action)을 수행하고, 메모리 영역의 마모도 정보에 기초하여 보상(reward)을 결정함으로써 강화학습 모델을 업데이트할 수 있다. CPU(213)는 학습된 강화학습 모델을 이용하여 현재 상태에서 메모리 영역들이 고르게 마모될 수 있도록, 메모리 영역의 사이즈를 증가 또는 감소시키는 행동을 수행할 수 있다.
플래시 변환 레이어(214)는 어드레스 매핑(address mapping), 웨어-레벨링(wear-leveling), 가비지 콜렉션(garbage collection)과 같은 여러 기능을 수행할 수 있다. 어드레스 매핑 동작은 호스트(100)로부터 수신한 논리 어드레스(logical address)를, 비휘발성 메모리(220) 내에 데이터를 실제로 저장하는 데 사용되는 물리 어드레스(physical address)로 바꾸는 동작이다. 웨어-레벨링은 비휘발성 메모리(220) 내의 블록(block)들이 균일하게 사용되도록 하여 특정 블록의 과도한 열화를 방지하기 위한 기술로, 예시적으로 물리 블록(physical block)들의 소거 카운트들을 밸런싱하는 펌웨어 기술을 통해 구현될 수 있다. 가비지 콜렉션은, 블록의 유효 데이터를 새 블록에 복사한 후 기존 블록을 이레이즈(erase)하는 방식을 통해 비휘발성 메모리(220) 내에서 사용 가능한 용량을 확보하기 위한 기술이다.
패킷 매니저(215)는 호스트(100)와 협의된 인터페이스의 프로토콜에 따른 패킷(Packet)을 생성하거나, 호스트(100)로부터 수신된 패킷(Packet)으로부터 각종 정보를 파싱할 수 있다. 또한, 버퍼 메모리(216)는 비휘발성 메모리(220)에 기록될 데이터 혹은 비휘발성 메모리(220)로부터 독출될 데이터를 임시로 저장할 수 있다. 버퍼 메모리(216)는 스토리지 컨트롤러(210) 내에 구비되는 구성일 수 있으나, 스토리지 컨트롤러(210)의 외부에 배치되어도 무방하다.
그리고, 버퍼 메모리(216)는 강화학습과 관련된 다양한 정보를 저장할 수 있다. 예를 들어, 버퍼 메모리(216)는 강화학습을 위한 환경정보로서 메모리 장치의 마모도 정보를 저장할 수 있으며, 강화학습 결과로서 큐테이블(Q-table)을 저장할 수 있다.
ECC 엔진(217)은 비휘발성 메모리(220)로부터 독출되는 독출 데이터에 대한 오류 검출 및 정정 기능을 수행할 수 있다. 보다 구체적으로, ECC 엔진(217)은 비휘발성 메모리(220)에 기입될 기입 데이터에 대하여 패리티 비트(parity bit)들을 생성할 수 있으며, 이와 같이 생성된 패리티 비트들은 기입 데이터와 함께 비휘발성 메모리(220) 내에 저장될 수 있다. 비휘발성 메모리(220)로부터의 데이터 독출 시, ECC 엔진(217)은 독출 데이터와 함께 비휘발성 메모리(220)로부터 독출되는 패리티 비트들을 이용하여 독출 데이터의 에러를 정정하고, 에러가 정정된 독출 데이터를 출력할 수 있다.
AES 엔진(218)은, 스토리지 컨트롤러(210)로 입력되는 데이터에 대한 암호화(encryption) 동작과 복호화(decryption) 동작 중 적어도 하나를, 대칭 키 알고리즘(symmetric-key algorithm)를 이용하여 수행할 수 있다.
이하에서, 본 발명의 실시 예에 따른 스토리지 장치(200)의 동작을 설명하기에 앞서, 비휘발성 메모리(220)에 포함된 서로 다른 속성을 갖는 메모리 블록들이 더욱 자세히 설명된다.
도 2는 메모리 장치를 나타내는 예시적인 블록도이다. 도 2를 참조하면, 메모리 장치(300)는 제어 로직 회로(320), 메모리 셀 어레이(330), 페이지 버퍼(340), 전압 생성기(350), 및 로우 디코더(360)를 포함할 수 있다. 도 2에는 도시되지 않았으나, 메모리 장치(300)는 외부로부터 커맨드(CMD) 및 어드레스(ADDR)를 수신하고, 외부와 데이터(DATA)를 주고받기 위한 메모리 인터페이스 회로를 더 포함할 수 있고, 또한 컬럼 로직, 프리-디코더, 온도 센서, 커맨드 디코더, 어드레스 디코더 등을 더 포함할 수 있다.
제어 로직 회로(320)는 메모리 장치(300) 내의 각종 동작을 전반적으로 제어할 수 있다. 제어 로직 회로(320)는 메모리 인터페이스 회로(310)로부터의 커맨드(CMD) 및/또는 어드레스(ADDR)에 응답하여 각종 제어 신호들을 출력할 수 있다. 예를 들어, 제어 로직 회로(320)는 전압 제어 신호(CTRL_vol), 로우 어드레스(X-ADDR), 및 컬럼 어드레스(Y-ADDR)를 출력할 수 있다.
메모리 셀 어레이(330)는 복수의 메모리 블록들(BLK1 내지 BLKz)을 포함할 수 있고(z는 양의 정수), 복수의 메모리 블록들(BLK1 내지 BLKz) 각각은 복수의 메모리 셀들을 포함할 수 있다. 메모리 셀 어레이(330)는 비트 라인들(BL)을 통해 페이지 버퍼부(340)에 연결될 수 있고, 워드 라인들(WL), 스트링 선택 라인들(SSL), 및 그라운드 선택 라인들(GSL)을 통해 로우 디코더(360)에 연결될 수 있다.
예시적인 실시 예에서, 메모리 셀 어레이(330)는 3차원 메모리 셀 어레이를 포함할 수 있고, 3차원 메모리 셀 어레이는 복수의 낸드 스트링들을 포함할 수 있다. 각 낸드 스트링은 기판 위에 수직으로 적층된 워드 라인들에 각각 연결된 메모리 셀들을 포함할 수 있다. 미국 특허공개공보 제7,679,133호, 미국 특허공개공보 제8,553,466호, 미국 특허공개공보 제8,654,587호, 미국 특허공개공보 제8,559,235호, 및 미국 특허출원공개공보 제2011/0233648호는 본 명세서에 인용 형식으로 결합된다. 예시적인 실시 예에서, 메모리 셀 어레이(330)는 2차원 메모리 셀 어레이를 포함할 수 있고, 2차원 메모리 셀 어레이는 행 및 열 방향을 따라 배치된 복수의 낸드 스트링들을 포함할 수 있다.
페이지 버퍼(340)는 복수의 페이지 버퍼들(PB1 내지 PBn)을 포함할 수 있고(n은 3 이상의 정수), 복수의 페이지 버퍼들(PB1 내지 PBn)은 복수의 비트 라인들(BL)을 통해 메모리 셀들과 각각 연결될 수 있다. 페이지 버퍼(340)는 컬럼 어드레스(Y-ADDR)에 응답하여 비트 라인들(BL) 중 적어도 하나의 비트 라인을 선택할 수 있다. 페이지 버퍼(340)는 동작 모드에 따라 기입 드라이버 또는 감지 증폭기로서 동작할 수 있다. 예를 들어, 프로그램 동작 시, 페이지 버퍼(340)는 선택된 비트 라인으로 프로그램될 데이터에 대응하는 비트 라인 전압을 인가할 수 있다. 독출 동작 시, 페이지 버퍼(340)는 선택된 비트 라인의 전류 또는 전압을 감지하여 메모리 셀에 저장된 데이터를 감지할 수 있다.
전압 생성기(350)는 전압 제어 신호(CTRL_vol)를 기반으로 프로그램, 독출, 및 소거 동작들을 수행하기 위한 다양한 종류의 전압들을 생성할 수 있다. 예를 들어, 전압 생성기(350)는 워드 라인 전압(VWL)으로서 프로그램 전압, 독출 전압, 프로그램 검증 전압, 소거 전압 등을 생성할 수 있다.
로우 디코더(360)는 로우 어드레스(X-ADDR)에 응답하여 복수의 워드 라인들(WL) 중 하나를 선택할 수 있고, 복수의 스트링 선택 라인들(SSL) 중 하나를 선택할 수 있다. 예를 들어, 프로그램 동작 시, 로우 디코더(360)는 선택된 워드 라인으로 프로그램 전압 및 프로그램 검증 전압을 인가하고, 독출 동작 시, 선택된 워드 라인으로 독출 전압을 인가할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 스토리지 장치에 적용될 수 있는 3D V-NAND 구조에 대해 설명하기 위한 도면이다. 스토리지 장치의 비휘발성 메모리가 3D V-NAND 타입의 플래시 메모리로 구현될 경우, 비휘발성 메모리를 구성하는 복수의 메모리 블록 각각은 도 3에 도시된 바와 같은 등가 회로로 표현될 수 있다.
도 3에 도시된 메모리 블록(BLKi)은 기판 상에 삼차원 구조로 형성되는 삼차원 메모리 블록을 나타낸다. 예를 들어, 메모리 블록(BLKi)에 포함되는 복수의 메모리 낸드 스트링들은 상기 기판과 수직한 방향으로 형성될 수 있다.
도 3을 참조하면, 메모리 블록(BLKi)은 비트 라인들(BL1, BL2, BL3)과 공통 소스 라인(CSL) 사이에 연결되는 복수의 메모리 낸드 스트링들(NS11~NS33)을 포함할 수 있다. 복수의 메모리 낸드 스트링들(NS11~NS33) 각각은 스트링 선택 트랜지스터(SST), 복수의 메모리 셀들(MC1, MC2, ..., MC8) 및 접지 선택 트랜지스터(GST)를 포함할 수 있다. 도 3에는 복수의 메모리 낸드 스트링들(NS11~NS33) 각각이 8개의 메모리 셀들(MC1, MC2, ..., MC8)을 포함하는 것으로 도시되어 있으나, 반드시 이에 한정되는 것은 아니다.
스트링 선택 트랜지스터(SST)는 상응하는 스트링 선택 라인(SSL1, SSL2, SSL3)에 연결될 수 있다. 복수의 메모리 셀들(MC1, MC2, ..., MC8)은 각각 상응하는 게이트 라인(GTL1, GTL2, ..., GTL8)에 연결될 수 있다. 게이트 라인(GTL1, GTL2, ..., GTL8)은 워드 라인들에 해당할 수 있으며, 게이트 라인(GTL1, GTL2, ..., GTL8)의 일부는 더미 워드 라인에 해당할 수 있다. 접지 선택 트랜지스터(GST)는 상응하는 접지 선택 라인(GSL1, GSL2, GSL3)에 연결될 수 있다. 스트링 선택 트랜지스터(SST)는 상응하는 비트 라인들(BL1, BL2, BL3)에 연결되고, 접지 선택 트랜지스터(GST)는 공통 소스 라인(CSL)에 연결될 수 있다.
동일 높이의 워드 라인(예를 들면, WL1)은 공통으로 연결되고, 접지 선택 라인(GSL1, GSL2, GSL3) 및 스트링 선택 라인(SSL1, SSL2, SSL3)은 각각 분리될 수 있다. 도 3에는 메모리 블록(BLK)이 여덟 개의 게이트 라인(GTL1, GTL2, ..., GTL8) 및 세 개의 비트 라인들(BL1, BL2, BL3)에 연결되는 것으로 도시되어 있으나, 반드시 이에 한정되는 것은 아니다.
메모리 블록(BLK)에 포함되는 메모리 셀들이 저장하는 비트 수에 따라 메모리 블록(BLK)은 서로 다른 비트 밀도를 가질 수 있다.
도 4는 메모리 셀이 저장하는 비트 수에 따른 문턱전압 분포들을 설명하기 위한 도면이다.
도 4를 참조하면, 각 그래프의 가로 축은 문턱전압의 크기, 세로 축은 메모리 셀들의 개수를 나타낸다.
메모리 셀이 1 비트의 데이터를 저장하는 SLC(Single Level Cell)인 경우, 메모리 셀은 제1 프로그램 상태(P1) 또는 제2 프로그램 상태(P2) 중 어느 하나의 상태에 해당하는 문턱전압을 가질 수 있다. 리드 전압(Va1)은 제1 프로그램 상태(P1) 및 제2 프로그램 상태(P2)를 구분하기 위한 전압일 수 있다. 제1 프로그램 상태(P1)를 갖는 메모리 셀은 리드 전압(Va1) 보다 낮은 문턱전압을 가지므로 온셀(On Cell)로 리드될 수 있다. 제2 프로그램 상태(P2)를 갖는 메모리 셀은 리드 전압(Va1) 보다 높은 문턱전압을 가지므로 오프셀(Off Cell)로 리드될 수 있다.
메모리 셀이 2비트의 데이터를 저장하는 MLC(Multiple Level Cell)인 경우, 메모리 셀은 제1 프로그램 상태 내지 제4 프로그램 상태들(P1~P4) 중 어느 하나의 상태에 해당하는 문턱전압을 가질 수 있다. 제1 내지 제3 리드 전압들(Vb1~Vb3)은 제1 프로그램 상태 내지 제4 프로그램 상태들(P1~P4) 각각을 구분하기 위한 리드 전압들일 수 있다. 제1 리드 전압(Vb1)은 제1 프로그램 상태(P1) 및 제2 프로그램 상태(P2)를 구분하기 위한 리드 전압일 수 있다. 제2 리드 전압(Vb2)은 제2 프로그램 상태(P2) 및 제3 프로그램 상태(P3)를 구분하기 위한 리드 전압일 수 있다. 제3 리드 전압(Vb3)은 제3 프로그램 상태(P3) 및 제4 프로그램 상태(P4)를 구분하기 위한 리드 전압일 수 있다.
메모리 셀이 3비트의 데이터를 저장하는 TLC(Triple Level Cell)인 경우, 메모리 셀은 제1 내지 제8 프로그램 상태들(P1~P8) 중 어느 하나의 상태에 해당하는 문턱전압을 가질 수 있다. 제1 내지 제7 리드 전압들(Vc1~Vc7)은 제1 내지 제8 프로그램 상태들(P1~P8) 각각을 구분하기 위한 리드 전압들일 수 있다. 제1 리드 전압(Vc1)은 제1 프로그램 상태(P1) 및 제2 프로그램 상태(P2)를 구분하기 위한 리드 전압일 수 있다. 제2 리드 전압(Vc2)은 제2 프로그램 상태(P2) 및 제3 프로그램 상태(P3)를 구분하기 위한 리드 전압일 수 있다. 마찬가지 방식으로 제7 리드 전압(Vc7)은 제7 프로그램 상태(P7) 및 제8 프로그램 상태(P8)를 구분하기 위한 리드 전압일 수 있다.
메모리 셀이 4비트의 데이터를 저장하는 QLC(Quadruple Level Cell)인 경우, 메모리 셀은 제1 내지 제16 프로그램 상태들(P1~P16) 중 어느 하나의 상태를 가질 수 있다. 제1 내지 제15 리드 전압들(Vd1~Vd15)은 제1 내지 제16 프로그램 상태들(P1~P16)각각을 구분하기 위한 리드 전압들일 수 있다. 제1 리드 전압(Vd1)은 제1 프로그램 상태(P1) 및 제2 프로그램 상태(P2)를 구분하기 위한 리드 전압일 수 있다. 제2 리드 전압(Vd2)은 제2 프로그램 상태(P2) 및 제3 프로그램 상태(P3)를 구분하기 위한 리드 전압일 수 있다. 마찬가지 방식으로 제15 리드 전압(Vd15)은 제15 프로그램 상태(P15) 및 제16 프로그램 상태(P16)를 구분하기 위한 리드 전압일 수 있다.
비트 밀도가 높은 메모리 블록일수록, 해당 메모리 블록의 메모리 셀들에 형성되는 프로그램 상태들의 개수 및 각 프로그램 상태를 구분하기 위한 리드 전압의 개수가 증가할 수 있다. 따라서, 비트 밀도가 높은 메모리 블록일수록, 각 프로그램 상태를 형성하기 위해 프로그램 동작 시간이 길어지고, 각 프로그램 상태를 구분하기 위해 리드 동작 시간이 길어지므로 액세스 속도가 낮아질 수 있다.
메모리 블록에 프로그램 및 이레이즈가 반복되면 메모리 셀이 열화될 수 있다. 메모리 셀이 열화되면 메모리 셀들의 각 프로그램 상태를 정교하게 프로그램하기 어려워질 수 있다. 비트 밀도가 높은 메모리 블록일수록 각 프로그램 상태가 정교하게 프로그램되어야 할 수 있다. 따라서, 비트 밀도가 높은 메모리 블록일수록 더 적은 이레이즈 카운트에서 수명이 다할 수 있다.
스토리지 장치가 데이터의 속성에 기초하여 데이터를 서로 다른 비트 밀도를 갖는 메모리 영역들에 구분하여 저장할 수 있다면, 스토리지 장치의 액세스 성능 및 수명이 향상될 수 있다. 호스트 워크로드 패턴에 따라 각 메모리 영역으로 분배되는 데이터의 양은 달라질 수 있다. 메모리 영역별 데이터 분배량이 달라지면 각 메모리 영역이 불균등하게 마모될 수 있다. 호스트 워크로드 패턴의 변동에도 불구하고 메모리 영역들이 고르게 마모될 수 있다면, 스토리지 장치의 수명이 개선될 수 있다.
본 발명의 실시 예에 따르면, 스토리지 장치는 메모리 영역들의 사이즈를 증감시키기 위한 강화학습을 수행함으로써 메모리 영역들이 고르게 마모되도록 할 수 있다. 구체적으로, 스토리지 장치는 호스트로부터 수신되는 데이터를 서로 다른 비트 밀도를 갖는 메모리 영역들로 분배하고, 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 현재 상태(state)를 생성하고, 적어도 일부의 메모리 영역의 사이즈를 증가 또는 감소시키는 행동(action)을 수행하고, 상기 행동을 수행한 이후의 비휘발성 메모리 마모도 정보를 수집하고, 메모리 영역들이 고르게 마모되는 경우에 높은 보상(reward) 값을 부여함으로써 강화학습 결과를 생성할 수 있다. 그리고, 스토리지 장치는 상기 강화학습 결과에 기반하여 메모리 영역들의 사이즈를 동적으로 증감시킬 수 있다.
이하에서, 도 5 내지 도 14를 참조하여 본 발명의 실시 예에 따른 스토리지 장치 및 그의 동작 방법이 상세히 설명된다.
도 5는 도 1을 참조하여 설명된 스토리지 장치(200)의 일부 구성들을 도시한다. 예를 들어, 도 5의 CPU(213) 및 버퍼 메모리(216)는 도 1을 참조하여 설명된 것과 대응할 수 있다. 그리고, 도 5의 제1 메모리 영역은 도 1의 제1 메모리 블록들을 포함할 수 있고, 제2 메모리 영역은 제2 메모리 블록들을 포함할 수 있으며, 제3 메모리 영역은 제3 메모리 블록들을 포함할 수 있다.
제1 메모리 영역은 비트 밀도가 가장 낮은 메모리 영역이고, 제2 메모리 영역은 비트 밀도가 중간 정도인 메모리 영역이고, 제3 메모리 영역은 비트 밀도가 가장 높은 메모리 영역일 수 있다. 예를 들어, 제1 메모리 영역은 SLC 메모리 블록들을 포함하고, 제2 메모리 영역은 TLC 메모리 블록들을 포함하며, 제3 메모리 영역은 QLC 메모리 블록들을 포함할 수 있으나, 이에 제한되지 않는다.
CPU(213)는 분류기(231), 어드레스 할당부(232), 강화학습부(233) 및 블록 관리자(234)를 구동할 수 있다. 분류기(231), 어드레스 할당부(232), 강화학습부(233) 및 블록 관리자(234)는 워킹 메모리(미도시)에 로드되어 CPU(213)에서 구동될 수 있다. 예를 들어, 분류기(231), 어드레스 할당부(232), 강화학습부(233) 및 블록 관리자(234)는 도 1을 참조하여 설명된 플래시 변환 레이어(214)에 포함될 수 있다.
분류기(231)는 호스트(100)로부터 수신된 데이터의 속성을 판단하고, 데이터가 제1 내지 제3 메모리 영역 중 어느 메모리 영역에 저장될 것인지를 결정할 수 있다. 예를 들어, 분류기(231)는 호스트(100)로부터 수신된 데이터의 핫니스(hotness)를 결정하고, 상기 핫니스에 기초하여 상기 데이터가 핫 데이터인지, 웜 데이터인지, 혹은 콜드 데이터인지 판단할 수 있다. 예를 들어, 분류기(231)는 핫니스가 제1 임계값보다 큰 데이터를 핫 데이터로 판단하고, 핫니스가 제1 임계값과 제2 임계값 사이의 값을 갖는 데이터를 웜 데이터로 판단하고, 핫니스가 제2 임계값보다 작은 데이터를 콜드 데이터로 판단할 수 있다.
어드레스 할당부(232)는 호스트(100)로부터 수신된 논리 주소를 비휘발성 메모리(220)의 물리 주소에 매핑할 수 있다. 예를 들어, 상기 논리 주소는 호스트(100)의 파일 시스템에서 사용되는 논리 블록 주소(LBA: Logical Block Address)일 수 있다. 어드레스 할당부(232)는 분류기(231)에서 핫 데이터로 분류된 데이터가 제1 메모리 블록에 저장되고, 웜 데이터로 분류된 데이터가 제2 메모리 블록에 저장되고, 콜드 데이터로 분류된 데이터가 제3 메모리 블록에 저장될 수 있도록 주소 매핑을 수행할 수 있다.
강화학습부(233)는 스토리지 장치(200)의 환경 정보를 기초로 강화학습을 수행하여 강화학습 결과를 생성할 수 있다.
강화학습은 에이전트(agent), 행동(action), 환경정보(environment), 상태(state) 및 보상(reward)의 개념으로 설명될 수 있다. 강화학습은 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하여 선택가능한 행동들 중 보상을 최대화하는 행동을 선택하는 학습방법이다.
본 발명의 실시 예에 따르면, 강화학습부(233)는 현재 상태 하에서, 제2 메모리 영역의 사이즈라는 에이전트를 증가 또는 감소시키는 행동을 수행할 수 있다. 그리고, 강화학습부(233)는 행동에 따른 환경정보, 예를 들어 메모리 블록들의 마모도 정보를 수집할 수 있다. 강화학습부(233)는 환경정보의 변동에 기초하여 현재 상태에서 수행된 행동에 대한 보상을 결정할 수 있다. 강화학습부(233)는 현재 상태 하에서 행동을 수행하고, 행동에 대한 보상을 결정하는 동작을 반복 수행함으로써 강화학습 결과를 생성할 수 있다.
블록 관리자(234)는 비휘발성 메모리(220)에 포함된 메모리 블록들을 관리할 수 있다. 구체적으로, 블록 관리자(234)는 강화학습부(233)에서 학습된 강화학습 결과에 기초하여, 메모리 블록들의 비트 밀도를 변경함으로써 메모리 영역들의 사이즈를 변경할 수 있다. 예를 들어, 블록 관리자(234)는 제2 메모리 블록을 제3 메모리 블록으로 전환함으로써 메모리 블록의 비트 밀도를 변경하고, 비트 밀도가 변경된 메모리 블록을 제3 메모리 영역으로 제공함으로써 제2 메모리 영역의 사이즈를 줄이고, 제3 메모리 영역의 사이즈를 늘일 수 있다.
그리고, 블록 관리자(234)는 메모리 블록들의 이레이즈 카운트를 수행함으로써 메모리 블록들의 수명을 관리할 수 있다. 또한, 블록 관리자(234)는 정상적으로 액세스될 수 없는 메모리 블록이 검출되면 해당 메모리 블록을 배드 블록(bad block)으로 결정하고, 배드 블록에 더이상 데이터가 프로그램되지 않도록 할 수 있다.
버퍼 메모리(216)는 생성된 강화학습 결과를 저장할 수 있다. 예를 들어, 버퍼 메모리(216)는 스토리지 장치의 가능한 모든 상태들에 대해서, 선택가능한 행동들에 따른 보상의 정도를 나타내는 큐테이블(Q-table)을 강화학습 결과로서 저장할 수 있다.
CPU(213)는 버퍼 메모리(216)에 저장된 큐테이블을 참조하여 강화학습 기반의 동작을 수행할 수 있다. 예를 들어, 블록 관리자(234)는 큐테이블을 참조하여, 현재 상태 하에서 메모리 영역들의 수명이 고르게 감소할 수 있도록 각 메모리 영역의 사이즈를 결정할 수 있다. 그리고, 블록 관리자(234)는 메모리 영역의 사이즈를 변경하기 위해 메모리 블록들의 비트 밀도를 변경할 수 있다.
도 6a 및 도 6b는 스토리지 장치의 현재 상태에 따른 메모리 영역들의 수명 감소를 설명하기 위한 도면이다.
도 6a 및 도 6b는 도 5를 참조하여 설명된 제1 내지 제3 메모리 영역을 도시한다. 도 5를 참조하여 설명된 것과 같이, 제1 내지 제3 메모리 영역에 서로 다른 속성을 갖는 데이터가 구분하여 저장될 수 있다. 호스트로부터 수신된 데이터는 스토리지 컨트롤러의 제어 하에 제1 내지 제3 메모리 영역으로 분배될 수 있다. 제1 내지 제3 메모리 영역으로 분배되는 데이터는 각각 제1 영역 데이터, 제2 영역 데이터 및 제3 영역 데이터로 지칭될 수 있다. 예를 들어, 제1 영역 데이터는 핫 데이터, 제2 영역 데이터는 웜 데이터, 제3 영역 데이터는 콜드 데이터일 수 있다.
제1 내지 제3 메모리 영역은 서로 다른 사이즈를 가질 수 있다. 예를 들어, 비트 밀도가 가장 높은 제3 메모리 영역은 큰 저장용량을 호스트로 제공하기 위해 가장 큰 사이즈를 가질 수 있다. 그리고, 제3 메모리 영역보다는 작은 사이즈를 갖는 제1 및 제2 메모리 영역이 제3 메모리 영역의 액세스 속도를 보완할 수 있다. 제1 및 제2 메모리 영역의 여유 공간이 부족해지면, 여유 공간을 확보하기 위해 제1 및 제2 영역 데이터가 제3 메모리 영역으로 이동(migration)할 수 있다.
메모리 영역별로 분배되는 데이터의 양과 메모리 영역별 사이즈에 따라서 메모리 영역별 마모도가 달라질 수 있다. 본 발명의 실시 예에 따르면, 스토리지 장치는 현재 상태에서 메모리 영역의 사이즈를 증가 또는 감소시키는 행동을 수행한 결과 제3 메모리 영역이 적게 마모될수록 높은 보상을 제공하도록 강화학습을 수행할 수 있다.
도 6a 및 도 6b는 호스트로부터의 워크로드 패턴에 따라 호스트로부터 수신되는 데이터의 대부분이 제3 메모리 영역으로 제공되는 경우를 예로 들어 메모리 영역별 마모도를 설명한다. 도 6a 내지 도 6b에서 서로 다른 굵기를 갖는 화살표는 제1 내지 제3 영역 데이터의 상대적인 양을 나타낸다.
도 6a는 제2 메모리 영역과 제3 메모리 영역의 사이즈가 비슷한 경우를 예시한다. 제3 메모리 영역은 제2 메모리 영역에 비해 다량의 데이터를 프로그램할 수 있다. 제3 메모리 영역에서는 제한된 메모리 영역 내에 다량의 데이터를 프로그램하기 위해서, 여유 공간을 확보하기 위한 다회의 이레이즈 동작이 수행될 수 있으며, 제2 메모리 영역에 비해 크게 마모될 수 있다.
도 6b는 제2 메모리 영역의 사이즈가 소량의 제2 영역 데이터를 프로그램하기에도 과도하게 작은 경우를 예시한다. 제2 메모리 영역의 여유 공간이 부족한 경우 제2 메모리 영역의 여유 공간을 확보하기 위해 제2 영역 데이터가 제3 메모리 영역으로 이동되고, 제2 메모리 영역에 이레이즈 동작이 수행될 수 있다. 따라서, 제2 메모리 영역의 사이즈가 과도하게 작은 경우에는, 제2 메모리 영역의 마모도가 증가할 수 있으며, 제2 메모리 영역으로부터 이동된 데이터로 인해 제3 메모리 영역의 마모도 또한 증가할 수 있다.
요컨대, 스토리지 장치가 제3 메모리 영역이 적게 마모될 수 있도록 강화학습을 수행하고, 강화학습 결과에 기반하여 메모리 영역의 사이즈를 증감하면 메모리 영역들이 고르게 마모될 수 있으며, 메모리 영역들의 전체 마모도는 적게 증가할 수 있다. 따라서, 스토리지 장치의 수명이 향상될 수 있다.
도 7 내지 도 10은 본 발명의 실시 예에 따른 스토리지 장치의 동작 방법을 설명하기 위한 도면이다.
도 7은 스토리지 장치가 메모리 영역의 사이즈를 변경하는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 스토리지 장치는 제2 메모리 영역 사이즈를 증가 또는 감소시킬 수 있다. 예를 들어, 스토리지 장치는 제2 메모리 블록을 제3 메모리 블록으로 전환함으로써 제2 메모리 영역의 사이즈를 감소시키고, 제3 메모리 영역의 사이즈를 증가시킬 수 있다. 구체적으로, 스토리지 컨트롤러는 제2 메모리 블록 중 데이터가 저장되어 있지 않은 메모리 블록을 선택하고, 해당 메모리 블록의 주소 매핑 규칙을 변경할 수 있다. 그리고, 스토리지 컨트롤러는 메모리 장치가 해당 메모리 블록에 인가하는 프로그램 전압의 개수를 변경하도록 제어할 수 있다. 마찬가지로, 스토리지 장치는 제3 메모리 블록을 제2 메모리 블록으로 전환함으로써 제2 메모리 영역의 사이즈를 증가시키고, 제3 메모리 영역의 사이즈를 감소시킬 수 있다.
본 발명의 실시 예에 따르면, 스토리지 장치는 제3 메모리 영역이 적게 마모되는 방향으로 수행된 강화학습 결과에 기반하여 제2 메모리 영역의 사이즈를 증감함으로써 스토리지 장치의 수명을 향상시킬 수 있다.
한편, 도 7의 예에서 제2 메모리 블록 및 제3 메모리 블록 간에 전환을 수행함으로써 제2 영역 사이즈 및 제3 메모리 영역의 사이즈가 조정되는 경우를 예로 들어 설명하였으나, 본 발명은 이에 제한되지 않는다. 예를 들어, 스토리지 장치는 하나의 메모리 블록을 제1 내지 제3 메모리 블록 중 어느 하나로 사용할 수 있으며, 제1 내지 제3 메모리 영역의 사이즈를 모두 조정할 수도 있다.
도 8은 스토리지 장치가 강화학습을 수행하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 단계 S1 및 단계 S2에서, 스토리지 장치는 현재 상태 하에서 제2 영역 사이즈라는 에이전트에 대한 행동을 수행할 수 있다.
현재 상태는 메모리 영역별로 분배되는 데이터의 양 및 메모리 영역별 사이즈에 따라 결정될 수 있다. 그리고, 행동은 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 동작일 수 있다. 구체적으로, 행동은 제2 메모리 블록을 제3 메모리 블록으로 전환하거나, 제3 메모리 블록을 제2 메모리 블록으로 전환하는 동작을 포함할 수 있다.
단계 S3에서, 스토리지 장치는 행동이 수행된 이후, 스토리지 장치에 대한 환경 정보를 수집할 수 있다. 환경 정보는 메모리 영역별 데이터 분배량, 메모리 영역별 사이즈 및 메모리 블록들의 이레이즈 카운트 등을 포함할 수 있다.
스토리지 장치는 단계 S4에서 환경 정보에 기초하여 현재 주기의 보상을 결정하고, 다음 주기의 상태를 결정할 수 있다.
강화학습은 복수의 주기에 걸쳐 수행될 수 있으며, 환경 정보는 단위 주기마다 수집될 수 있다. 예를 들어, 환경 정보는 호스트로부터 정해진 양의 데이터가 수신될 때마다 수집될 수도 있으며, 정해진 시간이 경과할 때마다 수집될 수도 있다.
스토리지 장치는 메모리 블록의 이레이즈 카운트에 기초하여 메모리 장치의 현재 주기에서의 마모도 정보를 생성하고, 마모도 정보에 기초하여 보상을 결정할 수 있다. 본 발명의 실시 예에 따르면, 스토리지 장치는 제3 메모리 영역에 포함된 메모리 블록들의 단위 주기에서의 이레이즈 카운트 증가분에 기초하여 마모도 정보를 결정할 수 있다. 구현에 따라, 제3 메모리 블록들의 수명이 다하기까지의 한계 이레이즈 카운트가 서로 다를 수 있으므로, 제3 메모리 블록의 이레이즈 카운트 증가분을 한계 이레이즈 카운트로 나눈 값이 표준화된 마모도 정보로서 사용될 수 있다. 스토리지 장치는 마모도 정보의 값이 낮을수록, 즉 단위 주기에서 제3 메모리 영역이 적게 마모될수록 보상이 높은 값을 갖도록 보상을 결정할 수 있다.
스토리지 장치는 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 다음 주기의 상태를 결정할 수 있다.
강화학습은 복수의 주기에 걸쳐 수행될 수 있으며, 단계 S1 내지 단계 S4의 동작은 단위 주기마다 수행될 수 있다. 예를 들어, 단계 S1 내지 단계 S4의 동작은 호스트로부터 정해진 양의 데이터가 수신될 때마다 수행될 수도 있으며, 정해진 시간이 경과할 때마다 수행될 수도 있다.
도 9는 스토리지 장치가 상태를 결정하는 방법을 자세히 설명하기 위한 도면이다.
스토리지 장치가 가질 수 있는 상태의 개수는, 환경정보로 수집되는 팩터들 및 각 팩터에서 규정되는 상태의 개수에 따라 정해질 수 있다. 도 9의 예에서, 스토리지 장치는 환경 정보에 기초하여 5개의 팩터를 결정할 수 있다. 구체적으로, 스토리지 장치는 제1 영역 데이터 비율, 제2 영역 데이터 비율, 이전 제2 영역 사이즈 비율, 현재 제1 영역 사이즈 비율 및 현재 제2 영역 사이즈 비율을 결정할 수 있다.
제1 영역 데이터 비율은 단위 주기에서 호스트로부터 수신된 전체 데이터 양에서 제1 메모리 영역으로 분배된 데이터 양의 비율을 나타낼 수 있으며, 제2 영역 데이터 비율은 호스트로부터 수신된 전체 데이터 양에서 제2 메모리 영역으로 분배된 데이터 양의 비율을 나타낼 수 있다. 제1 영역 데이터 비율 및 제2 영역 데이터 비율은 호스트 워크로드 패턴에 따라 달라질 수 있다.
현재 제1 영역 사이즈 비율은 현재 주기에서 비휘발성 메모리의 전체 저장용량 대비 제1 메모리 영역의 사이즈의 비율을 나타낼 수 있으며, 현재 제2 영역 사이즈 비율은 현재 주기에서 비휘발성 메모리의 전체 저장용량 대비 제2 메모리 영역의 사이즈의 비율을 나타낼 수 있다. 이전 제2 영역 사이즈 비율은 이전 주기에서의 비휘발성 메모리의 전체 저장용량 대비 제2 메모리 영역의 사이즈의 비율을 나타낼 수 있다.
한편, 스토리지 장치가 강화학습에 기반하여 제2 영역 사이즈 및 제3 영역 사이즈만을 변경하더라도, 제1 영역 사이즈 비율이 변동할 수 있다. 예를 들어, 제2 메모리 블록을 제3 메모리 블록으로 전환하거나, 제3 메모리 블록을 제2 메모리 블록으로 전환할 때 메모리 블록의 저장용량이 달라지므로 메모리 영역들의 총 용량이 달라질 수 있다. 따라서, 제1 영역 사이즈가 고정되더라도 제1 영역 사이즈 비율은 변동할 수 있다. 다른 예로, 제1 메모리 블록들 중 배드 블록이 발생하는 경우, 제1 영역 사이즈가 감소할 수 있으며, 결과적으로 제1 영역 사이즈 비율이 변동할 수 있다.
스토리지 장치는 팩터별로 복수 개의 상태를 구분할 수 있다. 도 9의 예에서, 제1 영역 데이터 비율, 제2 영역 데이터 비율, 이전 제2 영역 사이즈 비율, 현재 제1 영역 사이즈 비율 및 현재 제2 영역 사이즈 비율은 각각 3개, 3개, 6개, 3개, 6개의 상태로 구분될 수 있다.
구체적인 예로, 현재 주기에서 호스트로부터 제공된 데이터 중 제1 영역으로 분배된 데이터의 비율, 즉 제1 영역 데이터 비율이 0% 내지 33%의 범위에 속하는 경우, 제1 영역 데이터 비율(First region data rate)은 'State1'의 상태를 가질 수 있다. 그리고, 제1 영역 데이터 비율이 33% 내지 66%인 경우 제1 영역 데이터 비율은 'State2'의 상태를 가질 수 있으며, 제1 영역 데이터 비율이 66% 내지 100%인 경우 제1 영역 데이터 비율은 'State3'의 상태를 가질 수 있다.
다른 예로, 현재 주기에서 스토리지 장치에 제2 메모리 영역이 전혀 할당되지 않은 경우, 즉 전체 메모리 영역 사이즈 대비 제2 메모리 영역의 사이즈 비율이 0%인 경우 현재 제2 메모리 영역 사이즈 비율(Curr. Second region size rate)은 'State1'의 상태를 가질 수 있다. 제2 메모리 영역의 사이즈 비율이 0%보다 크고 2%보다 작은 경우 현재 제2 메모리 영역 사이즈 비율은 'State2'의 상태를 가질 수 있다. 만약 제2 메모리 영역의 사이즈 비율이 8% 내지 10%의 범위에 속하는 경우 현재 제2 메모리 영역 사이즈 비율은 'State6'의 상태를 가질 수 있다. 한편, 도 9의 예에서, 스토리지 장치는 제2 메모리 영역이 전체 메모리 영역의 10% 이내의 사이즈를 갖도록 제2 메모리 영역의 사이즈를 설정할 수 있으며, 제2 메모리 영역의 사이즈 비율이 10%보다 큰 경우에 대해서는 상태값을 부여하지 않을 수 있다. 그러나, 본 발명은 이에 제한되지 않는다.
큐테이블은 도 10에서 도시된 바와 같이, 강화학습에서 규정하는 상태를 복수 개 포함할 수 있다.
도 9의 예에 따라 도 10의 큐테이블(400)을 설명하면, 큐테이블에 저장되는 상태의 개수는 972(=3*3*6*3*6)개일 수 있다. 즉, 스토리지 장치가 속할 수 있는 상태의 경우의 수는 총 972개가 될 수 있다.
큐테이블은 복수의 상태들에 대해서, 행동에 따른 보상의 크기를 저장할 수 있다. 큐테이블은 Q-러닝 함수(Q-learning equation)에 의해 정해질 수 있다. Q-러닝 함수란 모델 없이 학습하는 강화학습 기법 중의 하나로서, 주어진 상태에서 주어진 행동을 수행하는 것이 가져다 줄 효용의 기댓값을 예측하는 함수이다. 본 발명의 실시 예에 따르면, 현재 상태에서 수행된, 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 행동에 의해 제3 메모리 영역의 마모도가 적게 증가할수록 Q-러닝 함수에 의해 높은 보상값이 부여될 수 있다. 예를 들어, 상태[1]에서 제2 메모리 영역의 사이즈를 감소시키는 행동[1]의 보상값은 0.36으로 결정되고, 제2 메모리 영역의 사이즈를 증가시키는 행동[2]의 보상값은 1.04로 결정될 수 있다. 현재 상태가 상태[1]인 경우, 스토리지 장치는 큐테이블을 참조하여 보상값이 더 큰 행동인 행동[2]를 수행함으로써 제3 메모리 영역의 마모도가 적게 증가하고, 메모리 영역들이 고르게 마모될 가능성이 높아지도록 할 수 있다.
도 11 내지 도 13은 본 발명의 실시 예에 따른 스토리지 장치의 동작 방법을 나타내는 플로우차트이다.
도 11을 참조하면, 단계 S10에서 스토리지 장치는 현재 상태 하에서 행동을 수행하고, 행동 수행 결과에 따른 보상을 결정하는 동작을 반복 수행함으로써 강화학습 결과를 생성할 수 있다. 단계 S10의 동작은 스토리지 장치의 수집기간에 수행될 수 있다. 수집기간은 스토리지 장치의 사용 초기에, 사용자의 실제 사용에 따라 결정되는 환경 정보를 수집하여 스토리지 장치를 최적화하는 기간을 지칭할 수 있다.
단계 S20에서, 스토리지 장치는 생성된 강화학습 결과를 이용하여, 스토리지 장치의 수명 감소가 완화되도록 메모리 영역의 사이즈를 조정할 수 있다.
도 12는 단계 S10에 포함되는 세부 동작들을 나타낸다.
단계 S11에서, 스토리지 장치는 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈 정보에 기초하여 현재 상태를 결정할 수 있다. 스토리지 장치가 현재 상태를 결정하는 방법의 예는 도 9를 참조하여 자세히 설명되었다.
단계 S12에서, 스토리지 장치는 상기 현재 상태에 기초하여 제2 메모리 영역 사이즈를 증가 또는 감소시키는 행동을 수행할 수 있다. 스토리지 장치가 제2 메모리 영역 사이즈를 증가 또는 감소시키는 방법의 예는 도 7을 참조하여 자세히 설명되었다.
단계 S13에서, 스토리지 장치는 상기 수행된 행동에 따른 비휘발성 메모리의 마모도 정보에 기초하여 보상을 결정할 수 있다. 본 발명의 실시 예에 따르면, 스토리지 장치는 단위 주기에 제3 메모리 영역이 적게 마모될수록 현재 상태에서 수행된 행동에 대해 보상 값을 큰 값으로 결정할 수 있다.
단계 S14에서, 스토리지 장치는 현재 상태, 행동 및 보상을 이용하여 강화학습 결과를 생성할 수 있다. 예를 들어, 스토리지 장치는 복수의 주기에 걸쳐 강화학습을 수행하고, 복수의 상태, 행동 및 보상 정보를 수집하여 도 10을 참조하여 설명된 것과 같은 큐테이블을 생성할 수 있다. 구현에 따라, 큐테이블은 비휘발성 메모리에 저장될 수 있으며, 스토리지 장치의 동작 시에 참조를 위해 버퍼 메모리로 로드될 수 있다.
도 13은 단계 S20에 포함되는 세부 동작들을 나타낸다.
단계 S21에서, 스토리지 장치는 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈 정보에 기초하여 현재 상태를 결정할 수 있다.
단계 S22에서, 스토리지 장치는 상기 현재 상태 및 강화학습 결과에 기초하여, 메모리 장치의 수명 감소가 완화되도록 제2 메모리 영역 사이즈를 증가 또는 감소시킬 수 있다. 예를 들어, 스토리지 장치는 버퍼 메모리에 로드된 큐테이블을 참조하여, 현재 상태에서 가장 높은 보상 값을 갖는 액션을 선택할 수 있다.
본 발명의 실시 예에 따르면, 단계 S21 및 단계 S22의 동작은 주기적으로 수행될 수 있다. 스토리지 장치는 강화학습을 이용하여 메모리 영역들의 사이즈를 동적으로 조정함으로써, 호스트 워크로드 패턴의 변동에도 불구하고 메모리 영역들이 고르게 마모되도록 할 수 있다. 따라서, 스토리지 장치의 수명이 개선될 수 있다.
한편, 도 9 내지 도 13을 참조하여 설명된 바에 따르면, 스토리지 장치는 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 2개의 행동 중에 어느 하나의 행동을 수행할 수 있으나, 본 발명은 이에 제한되지 않는다. 예를 들어, 스토리지 장치는 제2 메모리 영역의 사이즈를 조정하기 위한 3개 이상의 행동 중에 어느 하나의 행동을 수행할 수 있다.
도 14는 본 발명의 실시 예에 따른 큐테이블을 나타낸다.
도 14의 큐테이블(500)은 972개의 상태들 각각에 대해, 3개의 행동에 따른 보상값을 포함할 수 있다. 도 14의 예에서, 행동[1]은 제2 메모리 영역의 사이즈를 감소시키는 행동, 행동[2]는 제2 메모리 영역의 사이즈를 유지하는 행동, 그리고 행동[3]은 제2 메모리 영역의 사이즈를 증가시키는 행동일 수 있다. 스토리지 장치는 큐테이블을 참조하여 현재 상태에서, 3개의 행동 중 보상값이 가장 큰 행동을 선택하고, 선택된 행동에 따라 제2 메모리 영역의 사이즈를 증가시키거나, 유지하거나, 감소시킬 수 있다.
이하에서, 도 15 내지 도 16을 참조하여 본 발명이 적용될 수 있는 메모리 장치의 구조 및 본 발명이 적용될 수 있는 시스템의 예가 설명된다.
도 15는 본 발명의 일 실시 예에 따른 메모리 장치를 나타내는 단면도이다.
도 15를 참조하면, 메모리 장치(600)는 C2C(chip to chip) 구조일 수 있다. C2C 구조는 제1 웨이퍼 상에 셀 영역(CELL)을 포함하는 상부 칩을 제작하고, 제1 웨이퍼와 다른 제2 웨이퍼 상에 주변 회로 영역(PERI)을 포함하는 하부 칩을 제작한 후, 상기 상부 칩과 상기 하부 칩을 본딩(bonding) 방식에 의해 서로 연결하는 것을 의미할 수 있다. 일례로, 상기 본딩 방식은 상부 칩의 최상부 메탈층에 형성된 본딩 메탈과 하부 칩의 최상부 메탈층에 형성된 본딩 메탈을 서로 전기적으로 연결하는 방식을 의미할 수 있다. 예컨대, 상기 본딩 메탈이 구리(Cu)로 형성된 경우, 상기 본딩 방식은 Cu-Cu 본딩 방식일 수 있으며, 상기 본딩 메탈은 알루미늄 혹은 텅스텐으로도 형성될 수 있다.
메모리 장치(600)의 주변 회로 영역(PERI)과 셀 영역(CELL) 각각은 외부 패드 본딩 영역(PA), 워드라인 본딩 영역(WLBA), 및 비트라인 본딩 영역(BLBA)을 포함할 수 있다. 주변 회로 영역(PERI)은 제1 기판(710), 층간 절연층(715), 제1 기판(710)에 형성되는 복수의 회로 소자들(720a, 720b, 720c), 복수의 회로 소자들(720a, 720b, 720c) 각각과 연결되는 제1 메탈층(730a, 730b, 730c), 제1 메탈층(730a, 730b, 730c) 상에 형성되는 제2 메탈층(740a, 740b, 740c)을 포함할 수 있다. 일 실시 예에서, 제1 메탈층(730a, 730b, 730c)은 상대적으로 저항이 높은 텅스텐으로 형성될 수 있고, 제2 메탈층(740a, 740b, 740c)은 상대적으로 저항이 낮은 구리로 형성될 수 있다.
본 명세서에서는 제1 메탈층(730a, 730b, 730c)과 제2 메탈층(740a, 740b, 740c)만 도시되고 설명되나, 이에 한정되는 것은 아니고, 제2 메탈층(740a, 740b, 740c) 상에 적어도 하나 이상의 메탈층이 더 형성될 수도 있다. 제2 메탈층(740a, 740b, 740c)의 상부에 형성되는 하나 이상의 메탈층 중 적어도 일부는, 제2 메탈층(740a, 740b, 740c)을 형성하는 구리보다 더 낮은 저항을 갖는 알루미늄 등으로 형성될 수 있다.
층간 절연층(715)은 복수의 회로 소자들(720a, 720b, 720c), 제1 메탈층(730a, 730b, 730c), 및 제2 메탈층(740a, 740b, 740c)을 커버하도록 제1 기판(710) 상에 배치되며, 실리콘 산화물, 실리콘 질화물 등과 같은 절연 물질을 포함할 수 있다.
워드라인 본딩 영역(WLBA)의 제2 메탈층(740b) 상에 하부 본딩 메탈(771b, 772b)이 형성될 수 있다. 워드라인 본딩 영역(WLBA)에서, 주변 회로 영역(PERI)의 하부 본딩 메탈(771b, 772b)은 셀 영역(CELL)의 상부 본딩 메탈(871b, 872b)과 본딩 방식에 의해 서로 전기적으로 연결될 수 있으며, 하부 본딩 메탈(771b, 772b)과 상부 본딩 메탈(871b, 872b)은 알루미늄, 구리, 혹은 텅스텐 등으로 형성될 수 있다. 셀 영역(CELL)의 상부 본딩 메탈(871b, 872b)은 제1 메탈 패드들이라고 지칭될 수 있고, 주변 회로 영역(PERI)의 하부 본딩 메탈(771b, 772b)은 제2 메탈 패드들이라고 지칭할 수 있다.
셀 영역(CELL)은 적어도 하나의 메모리 블록을 제공할 수 있다. 셀 영역(CELL)은 제2 기판(810)과 공통 소스 라인(820)을 포함할 수 있다. 제2 기판(810) 상에는, 제2 기판(810)의 상면에 수직하는 방향(Z축 방향)을 따라 복수의 워드라인들(831-838; 830)이 적층될 수 있다. 워드라인들(830)의 상부 및 하부 각각에는 스트링 선택 라인들과 접지 선택 라인이 배치될 수 있으며, 스트링 선택 라인들과 접지 선택 라인 사이에 복수의 워드라인들(830)이 배치될 수 있다.
비트라인 본딩 영역(BLBA)에서, 채널 구조체(CH)는 제2 기판(810)의 상면에 수직하는 방향으로 연장되어 워드라인들(830), 스트링 선택 라인들, 및 접지 선택 라인을 관통할 수 있다. 채널 구조체(CH)는 데이터 저장층, 채널층, 및 매립 절연층 등을 포함할 수 있으며, 채널층은 제1 메탈층(850c) 및 제2 메탈층(860c)과 전기적으로 연결될 수 있다. 예컨대, 제1 메탈층(850c)은 비트라인 컨택일 수 있고, 제2 메탈층(860c)은 비트라인일 수 있다. 일 실시 예에서, 비트라인은 제2 기판(810)의 상면에 평행한 제1 방향(Y축 방향)을 따라 연장될 수 있다.
도 15에 도시한 일 실시 예에서, 채널 구조체(CH)와 비트라인 등이 배치되는 영역이 비트라인 본딩 영역(BLBA)으로 정의될 수 있다. 비트라인은 비트라인 본딩 영역(BLBA)에서 주변 회로 영역(PERI)에서 페이지 버퍼(893)를 제공하는 회로 소자들(720c)과 전기적으로 연결될 수 있다. 일 예로서, 비트라인은 주변 회로 영역(PERI)에서 상부 본딩 메탈(871c, 872c)과 연결되며, 상부 본딩 메탈(871c, 872c)은 페이지 버퍼(893)의 회로 소자들(720c)에 연결되는 하부 본딩 메탈(771c, 772c)과 연결될 수 있다.
워드라인 본딩 영역(WLBA)에서, 워드라인들(830)은 제2 기판(810)의 상면에 평행한 제2 방향(X축 방향)을 따라 연장될 수 있으며, 복수의 셀 컨택 플러그들(841-847; 840)와 연결될 수 있다. 워드라인들(830)과 셀 컨택 플러그들(840)은, 제2 방향(X축 방향)을 따라 워드라인들(830) 중 적어도 일부가 서로 다른 길이로 연장되어 제공하는 패드들에서 서로 연결될 수 있다. 워드라인들(830)에 연결되는 셀 컨택 플러그들(840)의 상부에는 제1 메탈층(850b)과 제2 메탈층(860b)이 차례로 연결될 수 있다. 셀 컨택 플러그들(840)은 워드라인 본딩 영역(WLBA)에서 셀 영역(CELL)의 상부 본딩 메탈(871b, 872b)과 주변 회로 영역(PERI)의 하부 본딩 메탈(771b, 772b)을 통해 주변 회로 영역(PERI)과 연결될 수 있다.
셀 컨택 플러그들(840)은 주변 회로 영역(PERI)에서 로우 디코더(894)를 제공하는 회로 소자들(720b)과 전기적으로 연결될 수 있다. 일 실시 예에서, 로우 디코더(894)를 제공하는 회로 소자들(720b)의 동작 전압은, 페이지 버퍼(893)를 제공하는 회로 소자들(720c)의 동작 전압과 다를 수 있다. 일례로, 페이지 버퍼(893)를 제공하는 회로 소자들(720c)의 동작 전압이 로우 디코더(894)를 제공하는 회로 소자들(720b)의 동작 전압보다 클 수 있다.
외부 패드 본딩 영역(PA)에는 공통 소스 라인 컨택 플러그(880)가 배치될 수 있다. 공통 소스 라인 컨택 플러그(880)는 금속, 금속 화합물, 또는 폴리실리콘 등의 도전성 물질로 형성되며, 공통 소스 라인(820)과 전기적으로 연결될 수 있다. 공통 소스 라인 컨택 플러그(880) 상부에는 제1 메탈층(850a)과 제2 메탈층(860a)이 차례로 적층될 수 있다. 일례로, 공통 소스 라인 컨택 플러그(880), 제1 메탈층(850a), 및 제2 메탈층(860a)이 배치되는 영역은 외부 패드 본딩 영역(PA)으로 정의될 수 있다.
한편 외부 패드 본딩 영역(PA)에는 입출력 패드들(705, 805)이 배치될 수 있다. 도 13을 참조하면, 제1 기판(710)의 하부에는 제1 기판(710)의 하면을 덮는 하부 절연막(701) 이 형성될 수 있으며, 하부 절연막(701) 상에 제1 입출력 패드(705)가 형성될 수 있다. 제1 입출력 패드(705)는 제1 입출력 컨택 플러그(703)를 통해 주변 회로 영역(PERI)에 배치되는 복수의 회로 소자들(720a, 720b, 720c) 중 적어도 하나와 연결되며, 하부 절연막(701)에 의해 제1 기판(710)과 분리될 수 있다. 또한, 제1 입출력 컨택 플러그(703)와 제1 기판(710) 사이에는 측면 절연막이 배치되어 제1 입출력 컨택 플러그(703)와 제1 기판(710)을 전기적으로 분리할 수 있다.
도 15를 참조하면, 제2 기판(810)의 상부에는 제2 기판(810)의 상면을 덮는 상부 절연막(801)이 형성될 수 있으며, 상부 절연막(801) 상에 제2 입출력 패드(805)가 배치될 수 있다. 제2 입출력 패드(805)는 제2 입출력 컨택 플러그(803)를 통해 주변 회로 영역(PERI)에 배치되는 복수의 회로 소자들(720a, 720b, 720c) 중 적어도 하나와 연결될 수 있다.
실시 예들에 따라, 제2 입출력 컨택 플러그(803)가 배치되는 영역에는 제2 기판(810) 및 공통 소스 라인(820) 등이 배치되지 않을 수 있다. 또한, 제2 입출력 패드(805)는 제3 방향(Z축 방향)에서 워드라인들(830)과 오버랩되지 않을 수 있다. 도 13을 참조하면, 제2 입출력 컨택 플러그(803)는 제2 기판(810)의 상면에 평행한 방향에서 제2 기판(810)과 분리되며, 셀 영역(CELL)의 층간 절연층(815)을 관통하여 제2 입출력 패드(805)에 연결될 수 있다.
실시 예들에 따라, 제1 입출력 패드(705)와 제2 입출력 패드(805)는 선택적으로 형성될 수 있다. 일례로, 메모리 장치(600)는 제1 기판(710)의 상부에 배치되는 제1 입출력 패드(705)만을 포함하거나, 또는 제2 기판(810)의 상부에 배치되는 제2 입출력 패드(805)만을 포함할 수 있다. 또는, 메모리 장치(600)가 제1 입출력 패드(705)와 제2 입출력 패드(805)를 모두 포함할 수도 있다.
셀 영역(CELL)과 주변 회로 영역(PERI) 각각에 포함되는 외부 패드 본딩 영역(PA)과 비트라인 본딩 영역(BLBA) 각각에는 최상부 메탈층의 메탈 패턴이 더미 패턴(dummy pattern)으로 존재하거나, 최상부 메탈층이 비어있을 수 있다.
메모리 장치(600)는 외부 패드 본딩 영역(PA)에서, 셀 영역(CELL)의 최상부 메탈층에 형성된 상부 메탈 패턴(872a)에 대응하여 주변 회로 영역(PERI)의 최상부 메탈층에 셀 영역(CELL)의 상부 메탈 패턴(872a)과 동일한 형태의 하부 메탈 패턴(773a)을 형성할 수 있다. 주변 회로 영역(PERI)의 최상부 메탈층에 형성된 하부 메탈 패턴(773a)은 주변 회로 영역(PERI)에서 별도의 콘택과 연결되지 않을 수 있다. 이와 유사하게, 외부 패드 본딩 영역(PA)에서 주변 회로 영역(PERI)의 최상부 메탈층에 형성된 하부 메탈 패턴에 대응하여 셀 영역(CELL)의 상부 메탈층에 주변 회로 영역(PERI)의 하부 메탈 패턴과 동일한 형태의 상부 메탈 패턴을 형성할 수도 있다.
워드라인 본딩 영역(WLBA)의 제2 메탈층(740b) 상에는 하부 본딩 메탈(771b, 772b)이 형성될 수 있다. 워드라인 본딩 영역(WLBA)에서, 주변 회로 영역(PERI)의 하부 본딩 메탈(771b, 772b)은 셀 영역(CELL)의 상부 본딩 메탈(871b, 872b)과 본딩 방식에 의해 서로 전기적으로 연결될 수 있다.
또한, 비트라인 본딩 영역(BLBA)에서, 주변 회로 영역(PERI)의 최상부 메탈층에 형성된 하부 메탈 패턴(752)에 대응하여 셀 영역(CELL)의 최상부 메탈층에 주변 회로 영역(PERI)의 하부 메탈 패턴(752)과 동일한 형태의 상부 메탈 패턴(892)을 형성할 수 있다. 예시적인 실시 예에서, 셀 영역(CELL)의 최상부 메탈층에 형성된 상부 메탈 패턴(892) 상에는 콘택을 형성하지 않을 수 있다.
예시적 실시 예에서, 셀 영역(CELL) 및 주변 회로 영역(PERI) 중 하나의 최상부 금속층에 형성된 금속 패턴에 대응하여, 셀 영역(CELL) 및 주변 회로 영역(PERI) 중 다른 하나의 최상층 금속층에 상기 형성된 금속 패턴과 동일한 단면 형상을 갖는 강화 금속 패턴이 형성될 수 있다. 강화 금속 패턴에는 콘택이 형성되지 않을 수 있다.
메모리 장치(600)는 메모리 셀들이 저장하는 비트 수에 따라 다른 비트 밀도를 갖는 메모리 영역들을 포함할 수 있다. 호스트로부터 수신된 데이터는 속성에 따라 서로 다른 비트 밀도를 갖는 메모리 영역들에 구분하여 저장될 수 있다. 본 발명의 실시 예에 따르면, 단위 주기에 메모리 영역별 데이터 분배량과 메모리 영역별 사이즈에 기초하여 생성된 현재 상태 하에서 메모리 영역들이 고르게 마모될 수 있도록 메모리 영역들의 사이즈를 조정하기 위한 강화학습이 수행될 수 있다. 그리고, 현재 상태 하에서 메모리 영역들의 사이즈가 강화학습에 기반하여 동적으로 조정될 수 있다. 본 발명의 실시 예에 따르면, 호스트의 워크로드 패턴의 변동에도 불구하고, 복수의 메모리 영역들이 고르게 마모되고, 메모리 장치(600)의 수명이 개선될 수 있다.
도 16은 본 발명의 실시 예에 따른 스토리지(storage) 장치가 적용된 시스템(1000)을 도시한 도면이다.
도 16의 시스템(1000)은 기본적으로 휴대용 통신 단말기(mobile phone), 스마트폰(smart phone), 태블릿 PC(tablet personal computer), 웨어러블 기기, 헬스케어 기기 또는 IOT(internet of things) 기기와 같은 모바일(mobile) 시스템일 수 있다. 하지만 도 16의 시스템(1000)은 반드시 모바일 시스템에 한정되는 것은 아니고, 개인용 컴퓨터(personal computer), 랩탑(laptop) 컴퓨터, 서버(server), 미디어 재생기(media player) 또는 내비게이션(navigation)과 같은 차량용 장비(automotive device) 등이 될 수도 있다.
도 16을 참조하면, 시스템(1000)은 메인 프로세서(main processor)(1100), 메모리(1200a, 1200b) 및 스토리지 장치(1300a, 1300b)를 포함할 수 있으며, 추가로 촬영 장치(image capturing device)(1410), 사용자 입력 장치(user input device)(1420), 센서(1430), 통신 장치(1440), 디스플레이(1450), 스피커(1460), 전력 공급 장치(power supplying device)(1470) 및 연결 인터페이스(connecting interface)(1480) 중 하나 이상을 포함할 수 있다.
메인 프로세서(1100)는 시스템(1000)의 전반적인 동작, 보다 구체적으로는 시스템(1000)을 이루는 다른 구성 요소들의 동작을 제어할 수 있다. 이와 같은 메인 프로세서(1100)는 범용 프로세서, 전용 프로세서 또는 애플리케이션 프로세서(application processor) 등으로 구현될 수 있다.
메인 프로세서(1100)는 하나 이상의 CPU 코어(1110)를 포함할 수 있으며, 메모리(1200a, 1200b) 및/또는 스토리지 장치(1300a, 1300b)를 제어하기 위한 컨트롤러(1120)를 더 포함할 수 있다. 실시 예에 따라서는, 메인 프로세서(1100)는 AI(artificial intelligence) 데이터 연산 등 고속 데이터 연산을 위한 전용 회로인 가속기(accelerator)(1130)를 더 포함할 수 있다. 이와 같은 가속기(1130)는 GPU(Graphics Processing Unit), NPU(Neural Processing Unit) 및/또는 DPU(Data Processing Unit) 등을 포함할 수 있으며, 메인 프로세서(1100)의 다른 구성 요소와는 물리적으로 독립된 별개의 칩(chip)으로 구현될 수도 있다.
메모리(1200a, 1200b)는 시스템(1000)의 주기억 장치로 사용될 수 있으며, SRAM 및/또는 DRAM 등의 휘발성 메모리를 포함할 수 있으나, 플래시 메모리, PRAM 및/또는 RRAM 등의 비휘발성 메모리를 포함할 수도 있다. 메모리(1200a, 1200b)는 메인 프로세서(1100)와 동일한 패키지 내에 구현되는 것도 가능하다.
스토리지 장치(1300a, 1300b)는 전원 공급 여부와 관계 없이 데이터를 저장하는 비휘발성 저장 장치로서 기능할 수 있으며, 메모리(1200a, 1200b)에 비해 상대적으로 큰 저장 용량을 가질 수 있다. 스토리지 장치(1300a, 1300b)는 스토리지 컨트롤러(1310a, 1310b)와, 스토리지 컨트롤러(1310a, 1310b)의 제어 하에 데이터를 저장하는 비휘발성 메모리(non-volatile memory, NVM)(1320a, 1320b)를 포함할 수 있다. 비휘발성 메모리(1320a, 1320b)는 2D(2-dimensional) 구조 혹은 3D(3-dimensional) V-NAND(Vertical NAND) 구조의 플래시 메모리를 포함할 수 있으나, PRAM 및/또는 RRAM 등의 다른 종류의 비휘발성 메모리를 포함할 수도 있다.
스토리지 장치(1300a, 1300b)는 메인 프로세서(1100)와는 물리적으로 분리된 상태로 시스템(1000)에 포함될 수도 있고, 메인 프로세서(1100)와 동일한 패키지 내에 구현될 수도 있다. 또한, 스토리지 장치(1300a, 1300b)는 SSD(solid state device) 혹은 메모리 카드(memory card)와 같은 형태를 가짐으로써, 후술할 연결 인터페이스(1480)와 같은 인터페이스를 통해 시스템(1000)의 다른 구성 요소들과 탈부착 가능하도록 결합될 수도 있다. 이와 같은 스토리지 장치(1300a, 1300b)는 UFS(Universal Flash Storage), eMMC(embedded multi-media card) 혹은 NVMe(non-volatile memory express)와 같은 표준 규약이 적용되는 장치일 수 있으나, 반드시 이에 한정되는 건 아니다.
본 발명의 실시 예에 따른 스토리지 장치(1300a, 1300b)는 서로 다른 비트 밀도를 갖는 메모리 영역들을 포함할 수 있다. 스토리지 장치(1300a, 1300b)는 강화학습을 이용하여 메모리 영역들의 사이즈를 동적으로 조정함으로써 개선된 수명을 제공할 수 있다.
촬영 장치(1410)는 정지 영상 또는 동영상을 촬영할 수 있으며, 카메라(camera), 캠코더(camcorder) 및/또는 웹캠(webcam) 등일 수 있다.
사용자 입력 장치(1420)는 시스템(1000)의 사용자로부터 입력된 다양한 유형의 데이터를 수신할 수 있으며, 터치 패드(touch pad), 키패드(keyboard), 키보드(keyboard), 마우스(mouse) 및/또는 마이크(microphone) 등일 수 있다.
센서(1430)는 시스템(1000)의 외부로부터 획득될 수 있는 다양한 유형의 물리량을 감지하고, 감지된 물리량을 전기 신호로 변환할 수 있다. 이와 같은 센서(1430)는 온도 센서, 압력 센서, 조도 센서, 위치 센서, 가속도 센서, 바이오 센서(biosensor) 및/또는 자이로스코프(gyroscope) 센서 등일 수 있다.
통신 장치(1440)는 다양한 통신 규약에 따라 시스템(1000) 외부의 다른 장치들과의 사이에서 신호의 송신 및 수신을 수행할 수 있다. 이와 같은 통신 장치(1440)는 안테나, 트랜시버(transceiver) 및/또는 모뎀(MODEM) 등을 포함하여 구현될 수 있다.
디스플레이(1450) 및 스피커(1460)는 시스템(1000)의 사용자에게 각각 시각적 정보와 청각적 정보를 출력하는 출력 장치로 기능할 수 있다.
전력 공급 장치(1470)는 시스템(1000)에 내장된 배터리(도시 안함) 및/또는외부 전원으로부터 공급되는 전력을 적절히 변환하여 시스템(1000)의 각 구성 요소들에게 공급할 수 있다.
연결 인터페이스(1480)는 시스템(1000)과, 시스템(1000)에 연결되어 시스템(1000)과 데이터를 주고받을 수 있는 외부 장치 사이의 연결을 제공할 수 있다. 연결 인터페이스(1480)는 ATA(Advanced Technology Attachment), SATA(Serial ATA), e-SATA(external SATA), SCSI(Small Computer Small Interface), SAS(Serial Attached SCSI), PCI(Peripheral Component Interconnection), PCIe(PCI express), NVMe, IEEE 1394, USB(universal serial bus), SD(secure digital) 카드, MMC(multi-media card), eMMC, UFS, eUFS(embedded Universal Flash Storage), CF(compact flash) 카드 인터페이스 등과 같은 다양한 인터페이스 방식으로 구현될 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
10 : 호스트-스토리지 시스템
100 : 호스트
200 : 스토리지 장치
210 : 스토리지 컨트롤러
213 : CPU
216 : 버퍼 메모리
220 : 비휘발성 메모리
231 : 분류기
232 : 어드레스 할당부
233 : 블록 관리자
234 : 강화학습부

Claims (10)

  1. 가장 낮은 비트 밀도를 갖는 제1 메모리 영역, 중간 비트 밀도를 갖는 제2 메모리 영역, 및 가장 높은 비트 밀도를 갖는 제3 메모리 영역을 포함하는 메모리 장치; 및
    상기 메모리 장치를 제어하는 컨트롤러를 포함하고,
    상기 컨트롤러는
    호스트로부터 수신되는 데이터를 상기 데이터의 속성에 따라 제1 내지 제3 메모리 영역으로 분배하고, 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 현재 상태(state)를 결정하고, 상기 제3 메모리 영역의 수명이 적게 감소되도록 학습된 강화학습 결과에 기반하여 상기 현재 상태하에서 상기 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 행동(action)을 수행하는
    스토리지 장치.
  2. 제1항에 있어서,
    상기 현재 상태는 복수의 팩터들에 기초하여 결정되고, 상기 복수의 팩터들은
    단위 주기에서 상기 호스트로부터 수신된 데이터 양 대비 상기 제1 메모리 영역으로 분배된 데이터 양의 비율,
    상기 호스트로부터 수신된 데이터 양 대비 상기 제2 메모리 영역으로 분배된 데이터 양의 비율,
    현재 주기에서 상기 메모리 장치의 전체 저장용량 대비 상기 제1 메모리 영역의 사이즈 비율, 및
    현재 주기에서 상기 메모리 장치의 전체 저장용량 대비 상기 제2 메모리 영역의 사이즈 비율을 포함하는
    스토리지 장치.
  3. 제2항에 있어서,
    상기 복수의 팩터들은
    이전 주기에서 상기 메모리 장치의 전체 저장용량 대비 상기 제2 메모리 영역의 사이즈 비율을 더 포함하는
    스토리지 장치.
  4. 제1항에 있어서,
    상기 컨트롤러는
    상기 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 결정된 현재 상태 하에서 상기 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 행동을 수행하고, 상기 행동이 수행된 이후의 상기 메모리 장치의 마모도 정보를 수집하고, 상기 마모도 정보에 기초하여 보상(reward)을 결정하며, 상기 현재 상태 하에서 수행된 행동에 따른 보상을 결정하는 동작을 복수의 주기에 걸쳐 반복 수행함으로써 강화학습 결과를 생성하는
    스토리지 장치.
  5. 제4항에 있어서,
    상기 마모도 정보는 상기 제3 메모리 영역에 포함된 메모리 블록들의 한계 이레이즈 카운트 대비 단위 주기에서의 이레이즈 카운트 증가분을 포함하는
    스토리지 장치.
  6. 제5항에 있어서,
    상기 컨트롤러는
    상기 마모도 정보가 낮은 값을 가질수록 상기 보상이 높은 값을 갖도록 상기 보상을 결정하는
    스토리지 장치.
  7. 제1항에 있어서,
    상기 컨트롤러는
    상기 호스트로부터의 데이터의 핫니스(hotness)에 기초하여 상기 데이터를 제1 내지 제3 메모리 영역 중 어느 하나로 제공하고, 제1 및 제2 메모리 영역의 여유 공간의 크기에 따라 상기 제1 또는 제2 메모리 영역에 저장된 데이터를 상기 제3 메모리 영역으로 이동(migration)시키는
    스토리지 장치.
  8. 가장 낮은 비트 밀도를 갖는 제1 메모리 영역, 중간 비트 밀도를 갖는 제2 메모리 영역 및 가장 높은 비트 밀도를 갖는 제3 메모리 영역을 포함하는 메모리 장치; 및
    상기 메모리 장치를 제어하는 컨트롤러를 포함하고,
    상기 컨트롤러는
    호스트로부터 수신되는 데이터를 상기 데이터의 속성에 따라 제1 내지 제3 메모리 영역으로 분배하고, 메모리 영역별 데이터 분배량 및 메모리 영역별 사이즈에 기초하여 결정된 현재 상태(state) 하에서 상기 제2 메모리 영역의 사이즈를 증가 또는 감소시키는 행동(action)을 수행하고, 상기 행동이 수행된 이후의 상기 메모리 장치의 마모도 정보를 수집하고, 상기 마모도 정보에 기초하여 보상(reward)을 결정하며, 상기 현재 상태 하에서 수행된 행동에 따른 보상을 결정하는 동작을 복수의 주기에 걸쳐 반복 수행함으로써 강화학습 결과를 생성하는
    스토리지 장치.
  9. 제8항에 있어서,
    상기 강화학습 결과는
    상기 스토리지 장치가 가질 수 있는 복수의 상태에 대해, 행동에 따른 보상의 크기를 나타내는 큐테이블(Q-table)을 포함하는
    스토리지 장치.
  10. 제8항에 있어서,
    상기 마모도 정보는 상기 제3 메모리 영역에 포함된 메모리 블록들의 한계 이레이즈 카운트 대비 단위 주기에서의 이레이즈 카운트 증가분을 포함하는
    스토리지 장치.

KR1020210141851A 2021-10-22 2021-10-22 스토리지 장치 및 그 동작 방법 KR20230058230A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210141851A KR20230058230A (ko) 2021-10-22 2021-10-22 스토리지 장치 및 그 동작 방법
US17/808,773 US20230131466A1 (en) 2021-10-22 2022-06-24 Storage device and operation method thereof
CN202211301301.9A CN116009766A (zh) 2021-10-22 2022-10-24 存储装置及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210141851A KR20230058230A (ko) 2021-10-22 2021-10-22 스토리지 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20230058230A true KR20230058230A (ko) 2023-05-03

Family

ID=86027282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210141851A KR20230058230A (ko) 2021-10-22 2021-10-22 스토리지 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20230131466A1 (ko)
KR (1) KR20230058230A (ko)
CN (1) CN116009766A (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989018B1 (ko) * 2012-06-25 2019-06-13 에스케이하이닉스 주식회사 데이터 저장 장치의 동작 방법
JP7030463B2 (ja) * 2017-09-22 2022-03-07 キオクシア株式会社 メモリシステム
US11209998B2 (en) * 2018-06-11 2021-12-28 Western Digital Technologies, Inc. Adjustment of storage device parameters based on workload characteristics
TWI730454B (zh) * 2019-07-10 2021-06-11 慧榮科技股份有限公司 主機輸出入命令的執行裝置及方法及電腦程式產品
JP2021043678A (ja) * 2019-09-10 2021-03-18 キオクシア株式会社 メモリシステム及び方法

Also Published As

Publication number Publication date
CN116009766A (zh) 2023-04-25
US20230131466A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
CN111684527B (zh) Nand装置及相关方法和机器可读介质
US10902924B2 (en) Memory system varying pass voltage based on erase count of target memory block and operating method thereof
US20230130233A1 (en) Controller, storage device, and method of operating storage device
JP7080975B2 (ja) 可変幅スーパーブロックのアドレス指定のためのｎａｎｄデバイス、方法、及び機械可読媒体
KR20230051335A (ko) 스토리지 장치 및 전자 시스템
EP4174861A1 (en) Storage device and operation method of storage device
US20230195324A1 (en) Storage device
US12001709B2 (en) Storage devices and operating methods of storage controllers
KR20230094110A (ko) 스토리지 장치
US20230131466A1 (en) Storage device and operation method thereof
EP4174663A1 (en) Storage device and operation method thereof
US12013778B2 (en) Storage device configured to update hotnesses of received logical addresses and a method of operating the storage device
US11886747B2 (en) Controller, storage device and operation method of the storage device
EP4332778A1 (en) Storage device and operating method of storage controller
US20230393741A1 (en) Storage device and electronic system
US20240184458A1 (en) Non-volatile memory device and storage device
US20240069790A1 (en) Memory controller, a storage device, and an operating method of the storage device
US20240168669A1 (en) Non-volatile memory device and storage device
US20230195333A1 (en) Storage device and operation method of electronic system