KR20220082563A - 스토리지 장치 및 이의 동작 방법 - Google Patents
스토리지 장치 및 이의 동작 방법 Download PDFInfo
- Publication number
- KR20220082563A KR20220082563A KR1020200172573A KR20200172573A KR20220082563A KR 20220082563 A KR20220082563 A KR 20220082563A KR 1020200172573 A KR1020200172573 A KR 1020200172573A KR 20200172573 A KR20200172573 A KR 20200172573A KR 20220082563 A KR20220082563 A KR 20220082563A
- Authority
- KR
- South Korea
- Prior art keywords
- command
- commands
- memory
- emergency
- memory die
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title description 5
- 230000015654 memory Effects 0.000 claims abstract description 380
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 51
- 101100072644 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) INO2 gene Proteins 0.000 description 39
- 238000010586 diagram Methods 0.000 description 27
- 230000001427 coherent effect Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 239000000872 buffer Substances 0.000 description 11
- RPNUMPOLZDHAAY-UHFFFAOYSA-N Diethylenetriamine Chemical compound NCCNCCN RPNUMPOLZDHAAY-UHFFFAOYSA-N 0.000 description 10
- 102100040381 Dol-P-Glc:Glc(2)Man(9)GlcNAc(2)-PP-Dol alpha-1,2-glucosyltransferase Human genes 0.000 description 10
- 101000890957 Homo sapiens Dol-P-Glc:Glc(2)Man(9)GlcNAc(2)-PP-Dol alpha-1,2-glucosyltransferase Proteins 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000005971 DNA damage repair Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 102000002706 Discoidin Domain Receptors Human genes 0.000 description 1
- 108010043648 Discoidin Domain Receptors Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- CXOXHMZGEKVPMT-UHFFFAOYSA-N clobazam Chemical compound O=C1CC(=O)N(C)C2=CC=C(Cl)C=C2N1C1=CC=CC=C1 CXOXHMZGEKVPMT-UHFFFAOYSA-N 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229940044442 onfi Drugs 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1605—Handling requests for interconnection or transfer for access to memory bus based on arbitration
- G06F13/161—Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement
- G06F13/1626—Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement by reordering requests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1605—Handling requests for interconnection or transfer for access to memory bus based on arbitration
- G06F13/1642—Handling requests for interconnection or transfer for access to memory bus based on arbitration with request queuing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/18—Handling requests for interconnection or transfer for access to memory bus based on priority control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0658—Controller construction arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System (AREA)
Abstract
스토리지 장치 및 이의 동작 방법이 개시된다. 스토리지 장치는, 메모리 다이 및 메모리 다이로 제공되는 복수의 커맨드들을 스케쥴링하여 메모리 다이의 동작을 제어하는 스토리지 컨트롤러를 포함하고, 스토리지 컨트롤러는 메모리 다이에 대응하는 커맨드 큐를 포함하고, 스토리지 컨트롤러는 제1 터넌트 및 제2 터넌트로부터 복수의 커맨드들을 수신하고, 복수의 커맨드들을 제공한 터넌트에 따라 복수의 커맨드들을 커맨드 큐에 스케쥴링하고, 메모리 다이에서 수행 중인 동작 및 복수의 커맨드들 각각의 긴급도에 따라 복수의 커맨드들을 리스케쥴링하여, 복수의 커맨드들이 스토리지 컨트롤러로 수신된 순서와 상이한 순서로 메모리 다이가 처리하도록 제어한다.
Description
본 개시의 기술적 사상은 스토리지 장치 및 이의 동작 방법에 관한 것으로, 더욱 상세하게는, 호스트로부터 수신된 커맨드들을 스케쥴링하는 스토리지 장치 및 이의 동작 방법에 관한 것이다.
스토리지 시스템은 호스트와 스토리지 장치로 구성된다. 호스트와 스토리지 장치는 UFS(universal flash storage), SATA(serial ATA), SCSI(small computer small interface), SAS(serial attached SCSI), eMMC(embedded MMC) 등과 같은 다양한 표준 인터페이스를 통해 연결된다. 스토리지 시스템이 모바일 장치에 사용되는 경우 호스트와 스토리지 장치 사이의 고속 동작이 매우 중요하며, 스토리지 장치는 호스트로부터 제공된 커맨드를 효율적으로 처리할 것이 요구될 수 있다.
본 개시의 기술적 사상이 해결하려는 과제는, 호스트로부터 제공되는 커맨드를 효율적으로 처리하는 스토리지 장치 및 이의 동작 방법을 제공하는 데에 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상에 따른 스토리지 장치는, 메모리 다이 및 메모리 다이로 제공되는 복수의 커맨드들을 스케쥴링하여 메모리 다이의 동작을 제어하는 스토리지 컨트롤러를 포함하고, 스토리지 컨트롤러는 메모리 다이에 대응하는 커맨드 큐를 포함하고, 스토리지 컨트롤러는 제1 터넌트 및 제2 터넌트로부터 복수의 커맨드들을 수신하고, 복수의 커맨드들을 제공한 터넌트에 따라 복수의 커맨드들을 커맨드 큐에 스케쥴링하고, 메모리 다이에서 수행 중인 동작 및 복수의 커맨드들 각각의 긴급도에 따라 복수의 커맨드들을 리스케쥴링하여, 복수의 커맨드들이 스토리지 컨트롤러로 수신된 순서와 상이한 순서로 메모리 다이가 처리하도록 제어할 수 있다.
본 개시의 기술적 사상에 따른 스토리지 장치는, 복수의 메모리 다이들 및 복수의 메모리 다이들로 제공되는 복수의 커맨드들을 스케쥴링하여 복수의 메모리 다이들의 동작을 제어하는 스토리지 컨트롤러를 포함하고, 스토리지 컨트롤러는 복수의 메모리 다이들 각각에 대응하는 복수의 커맨드 큐들을 포함하고, 스토리지 컨트롤러는 복수의 커맨드들 각각이 제공된 터넌트, 및 복수의 커맨드들 각각의 긴급도에 따라 복수의 커맨드들을 복수의 커맨드 큐에 스케쥴링하고, 복수의 커맨드들 중 적어도 일부가 제공될 메모리 다이에서 수행 중인 동작에 따라 복수의 커맨드들을 리스케쥴링할 수 있다.
본 개시의 기술적 사상에 따른 스토리지 컨트롤러 및 복수의 메모리 다이를 포함하는 스토리지 장치의 동작 방법은, 복수의 터넌트들로부터 복수의 커맨드들을 수신하는 단계, 복수의 터넌트들에 따라 라운드-로빈 방식으로 복수의 커맨드들을 스케쥴링하는 단계, 복수의 커맨드들 각각의 긴급도에 따라 복수의 커맨드들을 스케쥴링하는 단계, 및 복수의 커맨드들 중 적어도 일부가 제공될 메모리 다이에서 수행 중인 동작에 따라 복수의 커맨드들을 리스케쥴링하는 단계를 포함할 수 있다.
본 개시의 기술적 사상에 따른 스토리지 장치는, 커맨드의 긴급도에 따라 커맨드를 스케쥴링함으로써, 긴급 커맨드를 우선적으로 처리할 수 있다. 스토리지 장치는, 커맨드 큐에 선행하여 인큐된 일반 커맨드로 인해 긴급 커맨드가 처리되지 못하는 HOL(Head-of-Line) 블로킹 문제를 방지할 수 있다.
또한, 본 개시에 따른 스토리지 장치는 서로 다른 터넌트로부터 제공된 커맨드들을 라운드-로빈(Round-Robin) 방식으로 스케쥴링함으로써, 서로 다른 터넌트들이 균등하게 스토리지 장치의 메모리 다이들로 접근할 수 있도록 한다.
또한, 본 개시에 따른 스토리지 장치는 긴급 리드 커맨드의 처리 순서를 변경하는 리스케쥴링 동작을 수행할 수 있고, 긴급 리드 커맨드에 선행하는 프로그램 커맨드로 인하여 긴급 리드 커맨드가 처리되지 못하는 문제를 해소함으로써, 리드 동작의 QoS(Quality of Service)를 향상시킬 수 있다.
도 1은 본 개시의 예시적인 실시 예에 따른 호스트-스토리지 시스템을 나타내는 블록도이다.
도 2는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도이다
도 3a 내지 도 3c는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스케쥴링 동작을 설명하기 위한 도면이다.
도 4은 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스케쥴링 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도이다.
도 6는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도이다.
도 7a는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스토리지 컨트롤러에 저장되는 메모리 다이에 대한 커맨드 정보를 설명하기 위한 도면이다.
도 7b는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스토리지 컨트롤러에 저장되는 터넌트에 대한 커맨드 정보를 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 개시의 예시적 실시 예에 따른 스토리리 장치의 스토리지 컨트롤러에서 입력된 커맨드를 검색하기 위해 커맨드를 관리하는 동작을 설명하기 위한 도면들이다.
도 9는 본 개시의 예시적 실시 예에 따른 스토리지 장치가 적용된 시스템을 도시한 도면이다.
도 10은 본 발명의 하나의 실시 예에 따른 메모리 시스템을 나타내는 블록도이다.
도 11은 본 개시의 예시적 실시 예에 따른 시스템을 나타내는 블록도이다.
도 12는 본 개시의 예시적인 실시 예에 따른 시스템을 나타내는 블록도이다.
도 13a 및 도 13b는 본 개시의 예시적인 실시 예에 따른 시스템의 예시들을 나타내는 블록도이다.
도 14는 본 개시의 예시적 실시 예에 따른 시스템을 포함하는 데이터 센터를 나타내는 블록도이다.
도 2는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도이다
도 3a 내지 도 3c는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스케쥴링 동작을 설명하기 위한 도면이다.
도 4은 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스케쥴링 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도이다.
도 6는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도이다.
도 7a는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스토리지 컨트롤러에 저장되는 메모리 다이에 대한 커맨드 정보를 설명하기 위한 도면이다.
도 7b는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스토리지 컨트롤러에 저장되는 터넌트에 대한 커맨드 정보를 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 개시의 예시적 실시 예에 따른 스토리리 장치의 스토리지 컨트롤러에서 입력된 커맨드를 검색하기 위해 커맨드를 관리하는 동작을 설명하기 위한 도면들이다.
도 9는 본 개시의 예시적 실시 예에 따른 스토리지 장치가 적용된 시스템을 도시한 도면이다.
도 10은 본 발명의 하나의 실시 예에 따른 메모리 시스템을 나타내는 블록도이다.
도 11은 본 개시의 예시적 실시 예에 따른 시스템을 나타내는 블록도이다.
도 12는 본 개시의 예시적인 실시 예에 따른 시스템을 나타내는 블록도이다.
도 13a 및 도 13b는 본 개시의 예시적인 실시 예에 따른 시스템의 예시들을 나타내는 블록도이다.
도 14는 본 개시의 예시적 실시 예에 따른 시스템을 포함하는 데이터 센터를 나타내는 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 개시의 예시적인 실시 예에 따른 호스트-스토리지 시스템을 나타내는 블록도이다.
호스트-스토리지 시스템(10)은 호스트(100) 및 스토리지 장치(200)를 포함할 수 있다. 또한, 스토리지 장치(200)는 스토리지 컨트롤러(210) 및 비휘발성 메모리(220)를 포함할 수 있다. 또한, 본 개시의 예시적인 실시 예에 따라, 호스트(100)는 호스트 컨트롤러(110) 및 호스트 메모리(120)를 포함할 수 있다. 호스트 메모리(120)는 스토리지 장치(200)로 전송될 데이터, 혹은 스토리지 장치(200)로부터 전송된 데이터를 임시로 저장하기 위한 버퍼 메모리로서 기능할 수 있다.
스토리지 장치(200)는 호스트(100)로부터의 요청에 따라 데이터를 저장하기 위한 저장 매체들을 포함할 수 있다. 일 예로서, 스토리지 장치(200)는 SSD(Solid State Drive), 임베디드(embedded) 메모리 및 착탈 가능한 외장(external) 메모리 중 적어도 하나를 포함할 수 있다. 스토리지 장치(200)가 SSD인 경우, 스토리지 장치(200)는 NVMe(non-volatile memory express), CXL(compute express link) 표준을 따르는 장치일 수 있다. 스토리지 장치(200)가 임베디드 메모리 혹은 외장(external) 메모리인 경우, 스토리지 장치(200)는 UFS(universal flash storage) 혹은 eMMC(embedded multi-media card) 표준을 따르는 장치일 수 있다. 호스트(100)와 스토리지 장치(200)는 각각 채용된 표준 프로토콜에 따른 패킷을 생성하고 이를 전송할 수 있다.
스토리지 장치(200)의 비휘발성 메모리(220)는 복수의 메모리 다이들(221, 또는 메모리 칩들)을 포함할 수 있다. 예를 들어, 복수의 메모리 다이들(221)은 제1 내지 제n 메모리 다이(DIE1~DIEn)를 포함할 수 있다. n은 자연수일 수 있고, 다양한 수로 구현될 수 있다.
스토리지 장치(200)의 비휘발성 메모리(220)가 플래시 메모리를 포함할 때, 상기 플래시 메모리는 2D NAND 메모리 어레이나 3D(또는 수직형, Vertical) NAND(VNAND) 메모리 어레이를 포함할 수 있다. 다른 예로서, 스토리지 장치(200)는 다른 다양한 종류의 비휘발성 메모리들을 포함할 수도 있다. 예를 들어, 스토리지 장치(200)는 MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torgue MRAM), Conductive bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase RAM), 저항 메모리(Resistive RAM) 및 다른 다양한 종류의 메모리가 적용될 수 있다.
예시적인 실시 예에서, 호스트 컨트롤러(110)와 호스트 메모리(120)는 별도의 반도체 칩으로 구현될 수 있다. 또는, 예시적인 실시 예에서, 호스트 컨트롤러(110)와 호스트 메모리(120)는 동일한 반도체 칩에 집적될 수 있다.
예를 들어, 호스트 컨트롤러(110)는 어플리케이션 프로세서(Application Processor)에 구비되는 다수의 모듈들 중 어느 하나일 수 있으며, 상기 어플리케이션 프로세서는 시스템 온 칩(System on Chip, SoC)으로 구현될 수 있다. 또한, 호스트 메모리(120)는 상기 어플리케이션 프로세서 내에 구비되는 임베디드 메모리이거나, 또는 상기 어플리케이션 프로세서의 외부에 배치되는 비휘발성 메모리 또는 메모리 모듈일 수 있다.
호스트 컨트롤러(110)는 버퍼 영역(121)의 데이터(예를 들어, 기록 데이터)를 비휘발성 메모리(220)에 저장하거나, 비휘발성 메모리(220)의 데이터(예를 들어, 리드 데이터)를 버퍼 영역(121)에 저장하는 동작을 관리할 수 있다.
예를 들어, 호스트 컨트롤러(110)에 의해 서로 다른 터넌트들(Tenants), 예를 들어, 제1 터넌트(T1) 및 제2 터넌트(T2)가 실행될 수 있다. 서로 다른 제1 터넌트(T1) 및 제2 터넌트(T2) 각각은 스토리지 장치(200)에 접근하여 데이터를 저장하거나 데이터를 리드할 수 있다. 예를 들어, 스토리지 장치(200)는 인터페이스(예를 들어, PCIe)의 물리적(physical)/가상적(virtual) 기능(function), 제1 서브미션 큐(SQ1)/제2 서브미션 큐(SQ2), 네임스페이스(namespace), NVMe set, 및 스트림(stream) 등에 기초하여 제1 터넌트(T1) 및 제2 터넌트(T2)를 구별할 수 있다. 또는 예를 들어, 호스트(100)는 제1 터넌트(T1) 및 제2 터넌트(T2) 각각을 지시하는 ID(identification)를 달리하거나, 제1 터넌트(T1) 및 제2 터넌트(T2) 각각에 대한 QoS(quality of service) 설정을 달리할 수 있고, 스토리지 장치(200)는 이를 통해 제1 터넌트(T1) 및 제2 터넌트(T2)를 구별할 수 있다.
도 1에서는 호스트 컨트롤러(110)에 의해 서로 다른 2개의 터넌트들이 실행되는 예에 대해 도시하였으나, 본 개시에 따른 호스트-스토리지 시스템(10)은 이에 한정되지 않으며, 3개 이상의 터넌트들이 호스트 컨트롤러(110)에 의해 실행될 수도 있다. 또한, 도 1에서 도시된 바와 달리, 제1 터넌트(T1) 및 제2 터넌트(T2) 각각은 서로 다른 호스트들에서 실행되는 터넌트들일 수도 있다. 예를 들어, 각각의 호스트들은 QoS 설정 값이 다를 수 있고, 스토리지 장치(200)는 QoS 설정 값을 이용하여 제1 터넌트(T1) 및 제2 터넌트(T2)를 구별할 수 있다.
예시적인 실시 예에서, 스토리지 장치(200)는 호스트(100)로부터 복수의 터넌트들마다 각각 할당된 ID(identification), 및 복수의 터넌트들 각각의 우선순위(priority)에 대한 정보를 수신할 수도 있다. 스토리지 컨트롤러(210)는 터넌트들 각각의 우선순위에 기반하여 사용자가 요청한 태스크를 위한 리소스를 할당할 수 있다. 또는 예시적인 실시 예에서, 스토리지 장치(200)는 터넌트들 각각에 의해 요구되는 대역폭, 터넌트들 각각에 의해 용인될 수 있는 레이턴시, 및 터넌트들 각각을 지원하도록 할당되어야 하는 메모리 영역의 크기 등을 고려하여 사용자가 요청한 태스크를 위한 리소스를 할당할 수도 있다.
스토리지 컨트롤러(210)는 호스트 인터페이스(211), 메모리 인터페이스(212) 및 프로세서(213)를 포함할 수 있다. 프로세서(213)는, 예를 들어, CPU(central processing unit, 213)를 포함할 수 있다. 또한, 스토리지 컨트롤러(210)는 플래시 변환 레이어(Flash Translation Layer(FTL), 214), 패킷 매니저(215), 버퍼 메모리(216), 스케쥴러(217), 및 커맨드 큐(218)를 더 포함할 수 있다.
스토리지 컨트롤러(210)는 메모리를 더 포함할 수 있다. 플래시 변환 레이어(214), 패킷 매니저(215), 및 스케쥴러(217) 중 적어도 하나는 소프트웨어 또는 펌웨어로 구현될 수 있고, 상기 스토리지 컨트롤러(210)의 메모리에 로딩됨으로써 프로세서(213)의 제어에 따라 동작할 수 있다. 이 때, 상기 메모리는 동작 메모리, 버퍼 메모리, 캐시 메모리 등으로 사용될 수 있고, 예를 들어, 상기 메모리는 DRAM, SRAM, PRAM 또는 플래시 메모리로 구현될 수 있다. 예를 들어, 스토리지 컨트롤러(210)는 플래시 변환 레이어(FTL, 214)가 로딩되는 워킹 메모리를 더 포함할 수 있으며, 프로세서(213)가 플래시 변환 레이어를 실행하는 것에 의해 비휘발성 메모리에 대한 데이터 기록 및 리드 동작이 제어될 수 있다. 다만, 본 개시에 따른 스토리지 장치(200)의 스토리지 컨트롤러(210)는 이에 한정되지 않고, 스토리지 컨트롤러(210)의 각 구성 요소들은 하드웨어, 소프트웨어, 또는 펌웨어로 구현될 수 있다.
호스트 인터페이스(211)는 호스트(100)와 패킷(packet)을 송수신할 수 있다. 호스트(100)로부터 호스트 인터페이스(211)로 전송되는 패킷은 커맨드(command), 어드레스(address) 혹은 비휘발성 메모리(220)에 기록될 데이터 등을 포함할 수 있으며, 호스트 인터페이스(211)로부터 호스트(100)로 전송되는 패킷은 커맨드에 대한 응답(response) 혹은 비휘발성 메모리(220)로부터 리드된 데이터 등을 포함할 수 있다. 메모리 인터페이스(212)는 비휘발성 메모리(220)에 기록될 데이터를 비휘발성 메모리(220)로 송신하거나, 비휘발성 메모리(220)로부터 리드된 데이터를 수신할 수 있다. 이러한 메모리 인터페이스(212)는 토글(Toggle) 혹은 온파이(ONFI)와 같은 표준 규약을 준수하도록 구현될 수 있다.
플래시 변환 계층(214)은 어드레스 매핑(address mapping), 웨어-레벨링(wear-leveling), 가비지 콜렉션(garbage collection)과 같은 여러 기능을 수행할 수 있다. 어드레스 매핑 동작은 호스트로부터 수신한 논리적 어드레스(logical address)를, 비휘발성 메모리(220) 내에 데이터를 실제로 저장하는 데 사용되는 물리적 어드레스(physical address)로 바꾸는 동작이다. 웨어-레벨링은 비휘발성 메모리(220) 내의 블록(block)들이 균일하게 사용되도록 하여 특정 블록의 과도한 열화를 방지하기 위한 기술로, 예시적으로 물리 블록(physical block)들의 소거 카운트들을 밸런싱하는 펌웨어 기술을 통해 구현될 수 있다. 가비지 콜렉션은, 블록의 유효 데이터를 새 블록에 복사한 후 기존 블록을 소거(erase)하는 방식을 통해 비휘발성 메모리(220) 내에서 사용 가능한 용량을 확보하기 위한 기술이다.
패킷 매니저(215)는 호스트(100)와 협의된 인터페이스의 프로토콜에 따른 패킷(Packet)을 생성하거나, 호스트(100)로부터 수신된 패킷(Packet)으로부터 각종 정보를 파싱할 수 있다. 예를 들어, 패킷 매니저(215)는 호스트(100)로부터 수신된 패킷으로부터 커맨드들을 획득할 수 있다.
버퍼 메모리(216)는 비휘발성 메모리(220)에 기록될 데이터 혹은 비휘발성 메모리(220)로부터 리드될 데이터를 임시로 저장할 수 있다. 버퍼 메모리(216)는 스토리지 컨트롤러(210) 내에 구비되는 구성일 수 있으나, 스토리지 컨트롤러(210)의 외부에 배치될 수도 있다.
스케쥴러(217)는 호스트(100)로부터 수신된 커맨드들의 처리 순서를 스케쥴링할 수 있다. 스케쥴러(217)는 커맨드들 각각에 대응하는 메모리 다이 및 커맨드들 각각의 타입(예를 들어, 일반 또는 긴급)에 따라, 커맨드들을 스케쥴링하고 커맨드 큐(218)에 커맨드들을 저장할 수 있다. 커맨드 큐(218)에는 호스트(100)로부터 수신된 복수의 커맨드들이 일시적으로 버퍼링될 수 있다.
예시적인 실시 예에서, 커맨드 큐(218)는 제1 내지 제n 커맨드 큐(CQ1~CQn)를 포함할 수 있다. 제1 내지 제n 커맨드 큐(CQ1~CQn) 각각은 비휘발성 메모리(220)에 포함된 복수의 메모리 다이들(221) 중 특정 메모리 다이에 전용된 커맨드 큐일 수 있다. 예를 들어, 제1 커맨드 큐(CQ1)는 제1 메모리 다이(DIE1)에 전용된 큐일 수 있고, 제2 커맨드 큐(CQ2)는 제2 메모리 다이(DIE2)에 전용된 큐일 수 있고, 제n 커맨드 큐(CQn)는 제n 메모리 다이(DIEn)에 전용된 큐일 수 있다. 커맨드 큐(218)는 레지스터로 구현될 수 있으나, 이에 한정되는 것은 아니다.
도 1에서는 제1 내지 제n 커맨드 큐(CQ1~CQn)의 수인 n과 제1 내지 제n 메모리 다이(DIE1~DIEn)의 수인 n이 동일하도록 도시되었으나, 본 개시에 따른 스토리지 장치(200)는 제1 내지 제n 커맨드 큐(CQ1~CQn)의 수와 제1 내지 제n 메모리 다이(DIE1~DIEn)의 수는 서로 상이하도록 구현될 수도 있고, 제1 내지 제n 커맨드 큐(CQ1~CQn)의 수 및 제1 내지 제n 메모리 다이(DIE1~DIEn)의 수는 다양하게 구현될 수 있다. 또한, 예시적인 실시 예에서, 하나의 커맨드 큐가 복수의 메모리 다이들에 의해 전용될 수도 있고, 복수의 커맨드 큐들이 하나의 메모리 다이에 의해 전용될 수도 있다. 예를 들어, 제1 커맨드 큐(CQ1) 및 제2 커맨드 큐(CQ2)가 모두 제1 메모리 다이(DIE1)에 전용될 수 있고, 또는 예시적인 실시 예에서, 제1 커맨드 큐(CQ1)가 제1 메모리 다이(DIE1) 및 제2 메모리 다이(DI2)에 의해 전용될 수도 있다.
스토리지 컨트롤러(210)는 ECC(error correction code) 엔진을 더 포함할 수도 있다. ECC 엔진은 비휘발성 메모리(220)로부터 리드되는 리드 데이터에 대한 오류 검출 및 정정 기능을 수행할 수 있다. 보다 구체적으로, ECC 엔진은 비휘발성 메모리(220)에 기입될 기입 데이터에 대하여 패리티 비트(parity bit)들을 생성할 수 있으며, 이와 같이 생성된 패리티 비트들은 기입 데이터와 함께 비휘발성 메모리(220) 내에 저장될 수 있다. 비휘발성 메모리(220)로부터의 데이터 리드 시, ECC 엔진은 리드 데이터와 함께 비휘발성 메모리(220)로부터 리드되는 패리티 비트들을 이용하여 리드 데이터의 에러를 정정하고, 에러가 정정된 리드 데이터를 출력할 수 있다.
본 개시에 따른 스토리지 장치(200)는 서로 다른 터넌트들인 제1 터넌트(T1) 및 제2 터넌트(T2) 각각으로부터 전송된 커맨드들을 커맨드의 긴급도(즉, 커맨드 처리의 우선 순위) 및 커맨드를 처리할 메모리 다이에 따라 각각 관리하고 스케쥴링할 수 있다. 따라서, 제1 터넌트(T1) 및 제2 터넌트(T2)로부터 수신된 커맨드들을 균등하게 처리할 수 있고, 긴급 커맨드를 우선적으로 처리할 수 있으므로 비휘발성 메모리(220)에 포함된 복수의 메모리 다이들(221) 중 일부가 동작 중이지 않음에도 커맨드가 정체된 상태가 유지되는 HOL(Head-of-Line) 블로킹 문제가 방지될 수 있다. 도 2는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도이다.
도 1 및 도 2를 참조하면, 스토리지 장치(200)의 스토리지 컨트롤러(210)는 S100 단계에서, 복수의 터넌트들로부터 복수의 커맨드를 수신할 수 있다. 예를 들어, 스토리지 컨트롤러(210)는 제1 터넌트(T1) 및 제2 터넌트(T2) 각각으로부터 커맨드들을 수신할 수 있다.
스토리지 컨트롤러(210)는 복수의 커맨드들이 수신되면, 각각의 커맨드들과 함께 논리적 어드레스들이 수신될 수 있다. 스토리지 장치(200)는 각각의 커맨드들에 대응하는 논리적 어드레스들을 물리적 어드레스들로 변환할 수 있다. 변환된 물리적 어드레스들에 따라, 복수의 메모리 다이들(221) 중 복수의 커맨드들 각각이 처리될 메모리 다이가 결정될 수 있다.
또한, 스토리지 컨트롤러(210)는 복수의 커맨드들이 수신되면, 긴급도(즉, 커맨드 처리의 우선 순위)에 따라 복수의 커맨드들이 분류될 수 있다. 예를 들어, 복수의 커맨드들 각각은 긴급 커맨드 및 일반 커맨드로 분류될 수 있다. 다만, 본 개시에 따른 스토리지 장치(200)는 이에 한정되지 않으며, 복수의 커맨드들은 긴급도에 따라 3개 이상의 그룹으로 분류될 수 있다.
스토리지 컨트롤러(210)는 S200 단계에서, 복수의 커맨드들을 터넌트에 따라 라운드-로빈(Round-Robin) 방식으로 스케쥴링할 수 있다. 예를 들어, 스토리지 컨트롤러(210)는 제1 터넌트(T1) 및 제2 터넌트(T2) 각각이 균등하게 메모리 다이들(221)에 접근할 수 있도록 제1 터넌트(T1) 및 제2 터넌트(T2) 각각에 의해 전송된 커맨드들을 라운드 로빈 방식으로 스케쥴링할 수 있다. 스토리지 컨트롤러(210)는 제1 터넌트(T1)에서 수신된 제1 커맨드를 스케쥴링할 수 있고, 이후에 제2 터넌트(T2)에서 수신된 제2 커맨드를 스케쥴링할 수 있다. 스토리지 컨트롤러(210)는 제2 터넌트(T2)에서 수신된 제2 커맨드를 스케쥴링한 이후에 제2 터넌트(T2)가 아닌 다른 터넌트에서 수신된 커맨드를 스케쥴링할 수 있다.
스토리지 컨트롤러(210)는 S300 단계에서, 복수의 커맨드들 각각의 긴급도에 따라 복수의 커맨드들을 스케쥴링할 수 있다. 스토리지 컨트롤러(210)는 긴급 커맨드는 일반 커맨드보다 우선하여 스토리지 장치(200)에서 처리되도록 스케쥴링할 수 있다. 커맨드의 긴급도에 대한 정보는 커맨드가 스토리지 장치(200)로 수신될 때, 커맨드에 대한 정보로서 함께 수신될 수 있다.
본 개시에 따른 스토리지 장치(200)는 커맨드의 긴급도에 따라 커맨드를 스케쥴링함으로써, 긴급 커맨드를 우선적으로 처리할 수 있고, 커맨드 큐에 선행하여 인큐된 일반 커맨드로 인해 후행하는 긴급 커맨드가 처리되지 못하는 상태를 방지할 수 있다. 즉, HOL(Head-of-Line) 블로킹 문제가 방지될 수 있다.
스토리지 컨트롤러(210)는 S400 단계에서, 메모리 다이에서 수행 중인 동작에 따라 복수의 커맨드들을 리스케쥴링할 수 있다. 예시적인 실시 예에서, 스토리지 컨트롤러(210)는 특정 메모리 다이, 예를 들어, 제1 메모리 다이(DIE1)에서 일반 프로그램 커맨드에 따른 일반 프로그램 동작을 수행 중인 때에, 제1 메모리 다이(DIE1)에 대응하는 제1 커맨드 큐(CQ1)에 긴급 리드 커맨드가 스케쥴링되어 인큐된 경우에는, 긴급 리드 커맨드의 처리 순서가 우선하도록 리스케쥴링할 수 있다. 스토리지 컨트롤러(210)는 긴급 리드 커맨드를 제1 메모리 다이(DIE1)로 전송함으로써, 제1 메모리 다이(DIE1)는 수행 중이던 일반 프로그램 동작을 중단(suspend)할 수 있고, 긴급 리드 커맨드에 따른 긴급 리드 동작을 우선적으로 수행할 수 있다. 제1 메모리 다이(DIE1)는 상기 긴급 리드 동작이 완료되면, 수행이 중단된 일반 프로그램 동작을 다시 수행할 수 있다.
예시적인 실시 예에서, 스토리지 컨트롤러(210)는 S400 단계를 수행하기 전에, 특정 메모리 다이에서 처리 중인 일반 프로그램 커맨드의 어드레스와 상기 긴급 리드 커맨드가 일치하는지 판단하는 동작을 수행할 수 있고, 판단 결과에 따라 S400 단계를 수행할 수 있다. 예를 들어, 스토리지 컨트롤러(210)는 특정 메모리 다이에서 일반 프로그램 커맨드에 따른 일반 프로그램 동작을 수행 중이고, 인큐된 상기 긴급 리드 커맨드의 어드레스가 상기 일반 프로그램 커맨드의 어드레스와 상이할 때 상기 긴급 리드 커맨드의 처리 순서가 우선하도록 리스케쥴링할 수 있고, 인큐된 상기 긴급 리드 커맨드의 어드레스가 상기 일반 프로그램 커맨드의 어드레스와 동일하면 상기 긴급 리드 커맨드의 처리 순서가 우선하도록 리스케쥴링하지 않을 수 있다. 다만, 본 개시에 따른 스토리지 컨트롤러(210)는 이에 한정되지 않고, 인큐된 상기 긴급 리드 커맨드의 어드레스가 상기 일반 프로그램 커맨드의 어드레스와 동일 여부와 무관하게 상기 긴급 리드 커맨드의 처리 순서가 우선하도록 리스케쥴링할 수도 있다.
본 개시에 따른 스토리지 장치(200)는 긴급 커맨드가 스케쥴링된 메모리 다이가 우선적으로 긴급 커맨드를 처리할 수 있도록, 긴급 커맨드의 처리 순서를 변경하는 리스케쥴링 동작을 수행할 수 있다. 따라서, 선행하는 프로그램 커맨드로 인하여 긴급 리드 커맨드가 처리되지 못하는 문제를 해소할 수 있고, 리드 동작의 QoS(Quality of Service)를 향상시킬 수 있다.
S200 단계 내지 S400 단계는, 스토리지 컨트롤러(210)의 스케쥴러(217)에 의해 수행될 수 있다. 도 2에서는 S200 단계 이후에, S300 단계가 수행되는 것으로 도시되었으나, 본 개시에 따른 스토리지 장치(200)의 동작 방법은 이에 한정되지 않으며, S300 단계 이후에 S200 단계가 수행되거나, S200 단계 및 S300 단계가 병렬적으로 수행될 수 있다.
도 3a 내지 도 3c는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스케쥴링 동작을 설명하기 위한 도면으로서, 도 2의 S200 단계 및 S300 단계를 설명하기 위한 도면이다. 도 4은 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스케쥴링 동작을 설명하기 위한 도면으로서 도 2의 S400 단계를 설명하기 위한 도면이다. 도 3a 내지 도 3c는 시계열적으로 수행되는 스케쥴링 동작을 각각 도시한 것이다.
도 3a를 참조하면, 제1 터넌트(T1)는 제1 서브미션 큐(Submission Queue1, SQ1)를 관리할 수 있고, 제2 터넌트(T2)는 제2 서브미션 큐(SQ2)를 관리할 수 있다. 제1 서브미션 큐(SQ1) 및 제2 서브미션 큐(SQ2) 각각은 호스트(100)의 커맨드를 포함하는 여러 유형의 이벤트가 처리되기 위해 대기 중인 열을 지칭할 수 있다. 제1 서브미션 큐(SQ1) 및 제2 서브미션 큐(SQ2)에 저장된 커맨드들은 호스트 컨트롤러(예를 들어, 도 1의 110)에 의해 펫칭 됨으로써, 스토리지 장치(200)에 전송될 수 있다. 예를 들어, 제1 서브미션 큐(SQ1) 및 제2 서브미션 큐(SQ2)는 각각 호스트(100)의 호스트 메모리(예를 들어, 도 1의 120)의 공간에 생성될 수 있다. 또한, 예를 들어, 제1 서브미션 큐(SQ1) 및 제2 서브미션 큐(SQ2)는 원형(Circular) 큐로서 구현될 수도 있으나, 이에 한정되지는 않는다.
제1 서브미션 큐(SQ1) 및 제2 서브미션 큐(SQ2)에 저장된 커맨드들은 커맨드가 처리될 어드레스, 커맨드의 긴급도, 및 커맨드의 타입에 대한 정보를 포함할 수 있다. 예를 들어, 제1 서브미션 큐(SQ1)에는 제1 메모리 다이(DIE1)에서 처리될 긴급(URGENT) 프로그램(PROGRAM) 커맨드인 제1 커맨드가 저장될 수 있고, 이어서 제1 메모리 다이(DIE1)에서 처리될 긴급 프로그램 커맨드인 제3 커맨드가 저장될 수 있다. 또한, 예를 들어, 제2 서브 미션 큐(SQ2)에는 제1 메모리 다이(DIE1)에서 처리될 긴급 리드(READ) 커맨드인 제2 커맨드, 제1 메모리 다이(DIE1)에서 처리될 일반(NORMAL) 프로그램 커맨드인 제4 커맨드, 및 제2 메모리 다이(DIE2)에서 처리될 일반 리드 커맨드인 제5 커맨드가 저장될 수 있다. 예를 들어, 긴급 커맨드는 일반 커맨드보다 우선하여 스토리지 장치(200)에서 처리되도록 설정될 수 있다. 다만, 도 3a에 도시된 제1 서브미션 큐(SQ1) 및 제2 서브미션 큐(SQ2)에 저장된 커맨드들은 본 개시의 설명을 위한 예시일 뿐 이에 한정되지는 않으며, 다양한 특성을 갖는 커맨드들이 제1 서브미션 큐(SQ1) 및 제2 서브미션 큐(SQ2)에 저장될 수 있고, 커맨드들은 긴급도에 따라 3이상의 타입으로 분류될 수도 있다.
스토리지 장치(200)는 호스트(100)로부터 커맨드들을 수신할 수 있고, 대응하는 터넌트에 따라 커맨드들을 관리할 수 있고, 대응하는 메모리 다이에 따라 커맨드들을 관리할 수 있고, 커맨드의 긴급도에 따라 커맨드들을 관리할 수 있다.
스토리지 장치(200)는 메모리 다이들 각각에 대응하는 커맨드 큐들을 포함할 수 있다. 비휘발성 메모리(220)에 포함된 복수의 메모리 다이들(221)은 제1 메모리 다이(DIE1) 및 제2 메모리 다이(DIE2)를 포함할 수 있고, 커맨드 큐(218)는 제1 커맨드 큐(CQ1) 및 제2 커맨드 큐(CQ2)를 포함할 수 있다. 이 때, 제1 커맨드 큐(CQ1)는 제1 메모리 다이(DIE1)의 전용 커맨드 큐일 수 있고, 제2 커맨드 큐(CQ2)는 제2 메모리 다이(DIE2)의 전용 커맨드 큐일 수 있다.
제1 커맨드 큐(CQ1)에는 긴급도에 따라 커맨드를 분류하여 저장될 수 있다. 예를 들어, 제1 커맨드 큐(CQ1)는 긴급 커맨드가 저장되는 제1 긴급 커맨드 큐(UCQ1)를 포함할 수 있고, 일반 커맨드가 저장되는 제1 일반 커맨드 큐(NCQ1)를 포함할 수 있다. 예시적인 실시 예에서, 제1 긴급 커맨드 큐(UCQ1)에 저장된 커맨드들이, 제1 일반 커맨드 큐(NCQ1)에 저장된 커맨드들보다 우선하여 제1 메모리 다이(DIE1)에서 처리될 수 있다.
예시적인 실시 예에서, 스토리지 장치(200)의 메모리 컨트롤러는 제1 긴급 커맨드 큐(UCQ1)에 인큐된 긴급 커맨드들을 제1 문턱 값에 따른 수만큼 제1 메모리 다이(DIE1)로 제공한 후 제1 일반 커맨드 큐(NCQ1)에 인큐된 일반 커맨드를 제1 메모리 다이(DIE1)로 제공할 수 있다. 이 때, 상기 제1 문턱 값은 일반 커맨드가 긴급 커맨드에 의해 지속적으로 처리 순서가 지연되는 것을 방지하기 위해 설정된 것으로, 미리 설정된 값일 수 있고, 또는, 제1 메모리 다이(DIE1)의 상태에 따라 가변하는 값일 수도 있다.
제2 커맨드 큐(CQ2)에는 긴급도에 따라 커맨드가 분류되어 저장될 수 있다. 예를 들어, 제2 커맨드 큐(CQ2)는 긴급 커맨드가 저장되는 제2 긴급 커맨드 큐(UCQ2)를 포함할 수 있고, 일반 커맨드가 저장되는 제2 일반 커맨드 큐(NCQ2)를 포함할 수 있다. 제2 긴급 커맨드 큐(UCQ2)에 저장된 커맨드들이, 제2 일반 커맨드 큐(NCQ2)에 저장된 커맨드들보다 우선하여 제2 메모리 다이(DIE2)에서 처리될 수 있다.
예시적인 실시 예에서, 스토리지 장치(200)의 메모리 컨트롤러는 제2 긴급 커맨드 큐(UCQ2)에 인큐된 긴급 커맨드들을 제2 문턱 값에 따른 수만큼 제2 메모리 다이(DIE2)로 제공한 후 제2 일반 커맨드 큐(NCQ2)에 인큐된 일반 커맨드를 제2 메모리 다이(DIE2)로 제공할 수 있다. 이 때, 상기 제2 문턱 값은 일반 커맨드가 긴급 커맨드에 의해 지속적으로 처리 순서가 지연되는 것을 방지하기 위해 설정된 것으로, 미리 설정된 값일 수 있고, 또는, 제2 메모리 다이(DIE2)의 상태에 따라 가변하는 값일 수도 있다. 제1 문턱 값 및 제2 문턱 값은 서로 동일할 수도 있고, 또는 상이할 수도 있다.
본 개시에 따른 스토리지 장치(200)는 커맨드의 긴급도에 따라 커맨드를 스케쥴링함으로써, 긴급 커맨드를 우선적으로 처리할 수 있다. 따라서, 커맨드 큐에 선행하여 인큐된 일반 커맨드로 인해 후행하는 긴급 커맨드가 처리되지 못하는 상태를 방지할 수 있고, 즉, HOL(Head-of-Line) 블로킹 문제가 방지될 수 있다.
스토리지 장치(200)의 스토리지 컨트롤러는 제1 터넌트(T1) 및 제2 터넌트(T2) 각각이 균등하게 메모리 다이들(221)에 접근할 수 있도록 제1 터넌트(T1) 및 제2 터넌트(T2) 각각에 의해 전송된 커맨드들을 라운드 로빈 방식으로 스케쥴링할 수 있다.
스토리지 장치(200)는 제1 터넌트(T1)에서 수신된 제1 커맨드를 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에 저장할 수 있고, 이후에, 제2 터넌트(T2)에 의해 수신된 제2 커맨드를 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에 저장할 수 있다. 도 3a에서는 제1 터넌트(T1) 및 제2 터넌트(T2)에 따른 커맨드 스케쥴링 동작에 대해 설명하고 있으나, 본 개시는 이에 한정되지 않고, 제3 터넌트가 스토리지 장치(200)에 접근하는 경우에는, 제1 커맨드 큐(CQ1)에 제1 터넌트(T1)에서 수신된 제1 커맨드 및 제2 터넌트(T2)에 의해 수신된 제2 커맨드를 저장한 후, 제3 터넌트에서 전송된 커맨드가 저장될 수도 있다.
도 3b를 참조하면, 스토리지 장치(200)는 제1 터넌트(T1)에 의해 수신된 제3 커맨드를 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에 저장할 수 있다. 즉, 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에는 제1 커맨드, 제2 커맨드, 및 제3 커맨드가 순차적으로 저장되어 스케쥴링될 수 있다. 이후에, 스토리지 장치(200)는 제2 터넌트(T2)로부터 수신된 제4 커맨드를 제1 커맨드 큐(CQ1)의 제1 일반 커맨드 큐(NCQ1)에 저장할 수 있다.
즉, 스토리지 장치(200)의 스토리지 컨트롤러는 제1 터넌트(T1)에 의해 제1 커맨드 및 제3 커맨드를 순차적으로 수신한 후 제2 터넌트(T2)에 의해 제2 커맨드를 수신하더라도, 스토리지 장치(200)는 제1 터넌트(T1)에 의해 수신된 제1 커맨드를 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에 저장하고, 제2 터넌트(T2)에서 수신된 제2 커맨드를 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에 저장한 이후에, 제1 터넌트(T1)에 의해 수신된 제3 커맨드를 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에 저장할 수 있다. 이에 따라 스토리지 장치(200)의 스토리지 컨트롤러는 제1 터넌트(T1) 및 제2 터넌트(T2) 각각이 균등하게 메모리 다이들(221)에 접근할 수 있도록 커맨드들을 스케쥴링할 수 있다.
도 3c를 참조하면, 스토리지 장치(200)는 제2 터넌트(T2)로부터 수신된 제5 커맨드를 제2 커맨드 큐(CQ2)의 일반 커맨드 큐에 저장할 수 있다.
상대적으로 긴급도가 높은 커맨드에 대해 우선적으로 처리되도록 하기 위해 스토리지 장치(200)는, 특정 메모리 다이에서 일반 프로그램 커맨드에 따른 일반 프로그램 동작을 수행 중일 때 상기 메모리 다이에 대응하는 커맨드 큐에 긴급 리드 커맨드가 인큐된 경우에는, 상기 메모리 다이로 긴급 리드 커맨드를 전송할 수 있다. 이에 따라, 해당 메모리 다이에서 수행 중이던 동작은 중단(Suspend)될 수 있고, 긴급 리드 커맨드에 따라 긴급 리드 동작이 수행될 수 있다. 다만, 도 3c에 도시된 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에서와 같이 제2 커맨드에 선행하여 제1 커맨드가 스케쥴링된 경우에는, 긴급 리드 커맨드인 제2 커맨드에 선행하여 긴급 프로그램 커맨드인 제1 커맨드를 우선적으로 제1 메모리 다이(DIE1)로 전송해야 하므로, 제1 메모리 다이(DIE1)에 수행 중인 일반 프로그램 동작이 중단되지 않는다.
도 3c 및 도 4를 참조하면, 본 개시에 따른 스토리지 장치(200)의 스토리지 컨트롤러는 커맨드 큐(218)에 포함된 긴급 커맨드 큐(예를 들어, 제1 긴급 커맨드 큐(UCQ1))에서 긴급 리드 커맨드가 긴급 프로그램 커맨드보다 후순위로 스케쥴링된 경우에, 긴급 커맨드 큐에서 긴급 리드 커맨드가 첫번째로 처리되도록 처리 순서를 바꿀(Re-order) 수 있다. 스토리지 컨트롤러는 긴급 커맨드 큐에 긴급 리드 커맨드가 첫번째로 처리되도록 설정되고 메모리 다이가 현재 일반 프로그램 커맨드에 따른 동작을 수행 중인 경우에는, 메모리 다이가 일반 프로그램 커맨드에 따른 동작을 완료하지 않더라도 긴급 리드 커맨드를 전송할 수 있다. 메모리 다이는 현재 일반 프로그램 커맨드에 따른 동작을 수행 중일 때 긴급 리드 커맨드가 수신되면 메모리 다이에서 수행 중인 동작을 중단하도록 설정될 수 있다.
예를 들어, 도 3c에서와 같이 현재 제1 메모리 다이(DIE1)는 일반 프로그램 동작 중이고, 라운드 로빈 방식으로 스케쥴링됨에 따라, 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에는 제1 커맨드에 이어 리드 커맨드인 제2 커맨드가 인큐될 수 있다. 따라서, 도 4에서와 같이 스토리지 장치(200)는 제1 커맨드와 제2 커맨드의 순서를 변경함으로써, 제1 커맨드보다 제2 커맨드가 우선하여 처리될 수 있도록 리스케쥴링할 수 있다. 제1 메모리 다이(DIE1)에서 처리될 다음 커맨드는 긴급 리드 커맨드인 제2 커맨드이므로, 제2 커맨드는 제1 메모리 다이(DIE1)로 전송될 수 있고, 제1 메모리 다이(DIE1)의 일반 프로그램 동작은 중단될 수 있다. 제1 메모리 다이(DIE1)는 제2 커맨드에 따라 데이터를 리드할 수 있다. 제1 메모리 다이(DIE1)는 긴급 리드 동작을 처리한 이후에 중단되었던 일반 프로그램 동작을 다시 수행할 수 있다.
본 개시에 따른 스토리지 장치(200)는 긴급 리드 커맨드가 스케쥴링된 제1 메모리 다이(DIE1)가 우선적으로 긴급 리드 커맨드를 처리할 수 있도록, 긴급 리드 커맨드의 처리 순서를 변경하는 리스케쥴링 동작을 수행할 수 있다. 따라서, 선행하는 프로그램 커맨드로 인하여 긴급 리드 커맨드가 처리되지 못하는 문제를 해소함으로써, 리드 동작의 QoS(Quality of Service)를 향상시킬 수 있다.
도 5는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도로서, 도 1의 S400 단계의 일 예시이다. S400 단계는 S10 단계 내지 S50 단계를 포함할 수 있다.
도 5에 도시된 각 단계들은, 제1 내지 제n 메모리 다이(예를 들어, 도 1의 DIE1~DIEn)에 각각 대응하는 제1 내지 제n 커맨드 큐(예를 들어, 도 1의 CQ1~CQn)에 대해 각각 수행될 수 있다. 예를 들어, 스토리지 장치는 제1 커맨드 큐(CQ1) 및 제1 메모리 다이(DIE1)에 대해 이하에서 설명되는 동작을 수행할 수 있고, 병렬적으로 제2 커맨드 큐(CQ2) 및 제2 메모리 다이(DIE2)에 대해 이하에서 설명되는 동작을 수행할 수 있고, 또한, 병렬적으로 제n 커맨드 큐(CQn) 및 제n 메모리 다이(DIEn)에 대해 이하에서 설명되는 동작을 수행할 수 있다.
도 5를 참조하면, 스토리지 장치의 스토리지 컨트롤러는 S10 단계에서, 특정 메모리 다이에 마지막으로 전송된 커맨드가 일반 프로그램 커맨드인지 판단할 수 있다. 예를 들어, 스토리지 컨트롤러에는 비휘발성 메모리 장치로 전송한 커맨드에 대한 정보가 저장될 수 있다. 스토리지 컨트롤러는 상기 정보를 기초로 마지막으로 전송된 커맨드가 어떤 커맨드인지 판단할 수 있다.
스토리지 컨트롤러는 S20 단계에서, 상기 특정 메모리 다이에 대응하는 커맨드 큐에 인큐된 첫번째 커맨드가 긴급 리드 커맨드인지 판단할 수 있다. 스토리지 컨트롤러는 S30 단계에서, 상기 특정 메모리 다이에 대응하는 커맨드 큐에 긴급 리드 커맨드가 인큐된 상태인지 판단할 수 있다. 즉, 스토리지 컨트롤러는 상기 특정 메모리 다이에서 처리되기 위해 스케쥴링된 커맨드들 중 첫번째로 스케쥴링된 커맨드가 긴급 리드 커맨드인지 판단(S20)할 수 있고, 상기 특정 메모리 다이에서 처리되기 위해 스케쥴링된 커맨드들 중 긴급 리드 커맨드가 포함되는지 판단(S30)할 수 있다.
스토리지 컨트롤러는, S10 단계에서 특정 메모리 다이로 마지막으로 전송된 커맨드가 일반 프로그램 커맨드가 아닌 것으로 판단되거나, S20 단계에서 상기 특정 메모리 다이에 대응하는 커맨드 큐의 첫번째 커맨드가 긴급 리드 커맨드로 판단되거나, S30 단계에서 상기 특정 메모리 다이에 대응하는 커맨드 큐에 긴급 리드 커맨드가 인큐되지 않은 것으로 판단되면, S50 단계를 수행할 수 있다. 스토리지 컨트롤러는 S50 단계에서, 커맨드 큐에 인큐된 커맨드들 중 첫번째 커맨드를 상기 커맨드 큐에 대응하는 메모리 다이에 전송할 수 있다. 이 때, 스토리지 컨트롤러는 상기 메모리 다이에서 수행 중이던 동작이 완료된 것으로 판단되면 해당 메모리 다이에 첫번째 커맨드를 전송할 수 있고 또는, 스토리지 컨트롤러는 상기 메모리 다이에서 수행 중이던 동작이 완료되지 않더라도 해당 메모리 다이에 첫번째 커맨드를 전송할 수도 있다. 메모리 다이는 수행 중이던 동작을 완료한 후에 상기 첫번째 커맨드를 처리하는 동작을 수행할 수도 있다.
반면, 스토리지 컨트롤러는 S10 단계에서 특정 메모리 다이에 마지막으로 전송된 커맨드가 일반 프로그램 커맨드인 것으로 판단되고, S20 단계에서 상기 특정 메모리 다이에 대응하는 커맨드 큐의 첫번째 커맨드가 긴급 리드 커맨드가 아닌 것으로 판단되고, S30 단계에서 상기 특정 메모리 다이에 대응하는 커맨드 큐에 긴급 리드 커맨드가 인큐된 것으로 판단되면, S40 단계를 수행할 수 있다. 스토리지 컨트롤러는 S40 단계에서, 커맨드 큐에 인큐된 긴급 리드 커맨드를 첫번째로 처리 순서를 변경할 수 있고, 변경된 처리 순서에 따라 긴급 리드 커맨드를 상기 특정 메모리 다이로 전송할 수 있다. 커맨드의 처리 순서가 변경됨에 따라 다른 커맨드들은 순서가 하나씩 뒤로 밀릴 수 있다. 상기 특정 메모리 다이는 수행 중이던 일반 프로그램 동작을 중단하고, 수신된 긴급 리드 커맨드에 따른 긴급 리드 동작을 수행할 수 있다.
예시적인 실시 예에서, 본 개시에 따른 스토리지 컨트롤러는 S40 단계를 수행하기 전, 상기 긴급 리드 커맨드의 어드레스와 동일한 어드레스의 프로그램 커맨드가 상기 긴급 리드 커맨드보다 선행하여 인큐되었는지 판단할 수도 있고, 판단 결과에 따라 S40 단계를 수행할 수도 있다. 예를 들어, 스토리지 컨트롤러는, 상기 긴급 리드 커맨드의 어드레스와 동일한 어드레스의 프로그램 커맨드가 상기 긴급 리드 커맨드보다 선행하여 인큐된 경우에 상기 긴급 리드 커맨드의 처리 순서를 변경하지 않고 그대로 유지하고, 상기 긴급 리드 커맨드의 어드레스와 동일한 어드레스의 프로그램 커맨드가 상기 긴급 리드 커맨드보다 선행하여 인큐되지 않은 경우에 상기 긴급 리드 커맨드의 처리 순서를 변경할 수도 있다. 다만, 본 개시에 따른 스토리지 컨트롤러는 이에 한정되지 않고, 상기 긴급 리드 커맨드의 어드레스와 동일한 어드레스의 프로그램 커맨드가 상기 긴급 리드 커맨드보다 선행하여 인큐되었는지를 판단하지 않고, S40 단계를 수행할 수도 있다.
도 6는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 동작을 설명하기 위한 순서도로서, 도 5의 S40 단계의 일 예시이다. S40 단계는 S41 단계 및 S43 단계를 포함할 수 있다.
도 6에 도시된 각 단계들은, 제1 내지 제n 메모리 다이(예를 들어, 도 1의 DIE1~DIEn)에 각각 대응하는 제1 내지 제n 커맨드 큐(예를 들어, 도 1의 CQ1~CQn)에 대해 각각 수행될 수 있다. 예를 들어, 스토리지 장치는 제1 커맨드 큐(CQ1) 및 제1 메모리 다이(DIE1)에 대해 이하에서 설명되는 동작을 수행할 수 있고, 병렬적으로 제2 커맨드 큐(CQ2) 및 제2 메모리 다이(DIE2)에 대해 이하에서 설명되는 동작을 수행할 수 있고, 또한, 병렬적으로 제n 커맨드 큐(CQn) 및 제n 메모리 다이(DIEn)에 대해 이하에서 설명되는 동작을 수행할 수 있다.
도 6를 참조하면, 스토리지 장치의 스토리지 컨트롤러는 S41 단계에서, 특정 긴급 커맨드 큐에서 커맨드의 처리 순서를 변경한 횟수가 기준 값에 도달하였는지 판단할 수 있다. 예를 들어, 도 4에서 설명된 바와 같이, 제1 커맨드 큐(CQ1)의 제1 긴급 커맨드 큐(UCQ1)에서 제1 커맨드와 제2 커맨드의 순서가 변경되면, 변경 횟수를 카운트하여 카운트 값이 스토리지 장치(200)의 스토리지 컨트롤러에 저장될 수 있다. 스토리지 컨트롤러는 상기 카운트 값을 기준 값과 비교하여 카운트 값이 기준 값에 도달하였는지를 판단할 수 있다. 이 때, 상기 기준 값은 스토리지 컨트롤러에 미리 설정된 값일 수 있고, 또는, 제1 메모리 다이(DIE1)의 상태에 따라 가변하는 값일 수도 있다. 또한, 상기 기준 값은 제1 내지 제n 커맨드 큐(CQ1~CQn) 마다 동일하게 설정될 수도 있고, 또는, 서로 달라질 수도 있다.
처리 순서를 변경한 횟수가 기준 값에 도달하지 않은 경우에, 즉, 처리 순서를 변경하는 횟수가 기준 값 미만인 경우, 스토리지 컨트롤러는 S43 단계에서, 커맨드 큐에 인큐된 긴급 리드 커맨드를 첫번째로 처리 순서를 변경할 수 있고, 처리 순서 변경 횟수를 업데이트할 수 있다. 처리 순서 변경 횟수를 카운트한 값이 업데이트 될 수 있다.
반면, 스토리지 컨트롤러는 처리 순서를 변경한 횟수가 기준 값에 도달한 것으로 판단되면 더 이상 커맨드 큐에 인큐된 커맨드들 간의 처리 순서를 변경하지 않고, S50 단계를 수행할 수 있다.
커맨드 큐에서 후행하는 긴급 리드 커맨드를 첫번째 순서로 처리 순서를 지속적으로 변경할 경우, 원래 첫번째로 처리될 예정이었던 다른 커맨드(예를 들어, 도 3의 긴급 프로그램 커맨드인 제1 커맨드)가 후순위로 계속 밀려 처리되지 못하는 문제가 발생할 수 있다. 따라서, 처리 순서를 변경하는 횟수를 기준 값으로 제한함으로써, 긴급 프로그램 커맨드의 처리 동작이 과도하게 지연되는 것을 방지할 수 있다.
도 7a는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스토리지 컨트롤러에 저장되는 메모리 다이에 대한 커맨드 정보를 설명하기 위한 도면이다. 도 7b는 본 개시의 예시적인 실시 예에 따른 스토리지 장치의 스토리지 컨트롤러에 저장되는 터넌트에 대한 커맨드 정보를 설명하기 위한 도면이다.
도 7a를 참조하면, 스토리지 컨트롤러에는 메모리 다이들 각각에 대한 커맨드 정보를 포함하는 제1 테이블(TA1)이 저장될 수 있다. 예시적인 실시 예에서, 제1 테이블(TA1)은 메모리 다이들의 수만큼의 엔트리를 포함할 수 있다.
본 개시에 따른 스토리지 장치의 스토리지 컨트롤러는 메모리 다이 별로 처리할 수 있는 커맨드의 수를 제한할 수 있다. 스토리지 컨트롤러는 테넌트들에게 균등하게 특정 메모리 다이에 접근하는 기회를 주기 위해 제1 테이블(TA1)을 관리할 수 있고, 메모리 다이별로 커맨드의 긴급도에 따라 커맨드를 스케쥴링하기 위해 제1 테이블(TA1)을 관리할 수 있다. 스토리지 컨트롤러는 제1 테이블(TA1)을 이용하여, 복수의 메모리 다이들 중 호스트로부터 수신되는 커맨드를 우선적으로 처리할 메모리 다이를 선택할 수 있다.
제1 테이블(TA1)은 메모리 다이들 각각을 표시하는 다이 인덱스에 대한 정보, 및 대응하는 메모리 다이에서 다음 처리될 커맨드의 차례를 의미하는 턴에 대한 정보를 포함할 수 있다. 예를 들어, 현재 일반 커맨드를 처리하기 위한 동작을 상기 메모리 다이에서 수행 중인 경우에는, 긴급 커맨드를 처리하도록 턴에 대한 정보가 설정될 수 있다. 또는, 예를 들어, 문턱 값 이상의 수의 긴급 커맨드들이 상기 메모리 다이에서 연속적으로 처리되는 중인 경우에는, 일반 커맨드를 처리하도록 턴에 대한 정보가 설정될 수 있다.
제1 테이블(TA1)은 상기 메모리 다이에서 처리해야할 긴급 커맨드의 유무를 표시하는 긴급 이용가능 비트, 상기 메모리 다이에서 처리해야할 일반 커맨드의 유무를 표시하는 일반 이용가능 비트, 상기 메모리 다이에 대응하는 수신된 긴급 커맨드의 수를 표시하는 인커밍 긴급 커맨드 카운트에 대한 정보, 상기 메모리 다이에 대응하는 커맨드 큐로부터 디큐된(dequeued) 긴급 커맨드의 수를 표시하는 아웃고잉 긴급 커맨드 카운트에 대한 정보, 상기 메모리 다이에 대응하는 수신된 일반 커맨드의 수를 표시하는 인커밍 일반 커맨드 카운트에 대한 정보, 및 상기 메모리 다이에 대응하는 커맨드 큐로부터 디큐된(dequeued) 일반 커맨드의 수를 표시하는 아웃고잉 일반 커맨드 카운트에 대한 정보를 더 포함할 수 있다. 예를 들어, 상기 메모리 다이에 대응하는 긴급 커맨드가 수신되면 긴급 이용가능 비트 및 인커밍 긴급 커맨드 카운트에 대한 정보가 업데이트될 수 있고, 스케쥴링되었던 긴급 커맨드가 상기 메모리 다이로 제공되면 긴급 이용가능 비트 및 아웃고잉 긴급 커맨드 카운트에 대한 정보가 업데이트될 수 있다. 또한 예를 들어, 상기 메모리 다이에 대응하는 일반 커맨드가 수신되면 일반 이용가능 비트 및 인커밍 일반 커맨드 카운트에 대한 정보가 업데이트될 수 있고, 스케쥴링되었던 일반 커맨드가 상기 메모리 다이로 제공되면 일반 이용가능 비트 및 아웃고잉 일반 커맨드 카운트에 대한 정보가 업데이트될 수 있다. 스토리지 컨트롤러는 아웃고잉 일반 커맨드 카운트 및 아웃고잉 긴급 커맨드 카운트가 미리 정해진 특정 값(예를 들어, 메모리 다이에서 한번에 처리할 수 있는 커맨드의 수)을 초과할 경우에는, 긴급 이용가능 비트 및 일반 이용가능 비트를 리셋시킴으로써, 해당 메모리 다이에 대응하는 커맨드를 스케쥴링하지 않을 수 있다.
또한, 제1 테이블(TA1)은 복수의 메모리 다이들 중 메모리 컨트롤러로부터 마지막으로 커맨드가 디스패치(dispatch)된, 즉 스케쥴링된 메모리 다이를 표시하는 마지막 디스패치 커맨드 인덱스에 대한 정보, 및 상기 마지막으로 디스패치된 커맨드의 타입을 표시하는 마지막 디스패치 커맨드 타입에 대한 정보를 포함할 수 있다. 이 때, 커맨드의 타입은 리드 커맨드인지, 프로그램 커맨드인지, 긴급 커맨드인지, 일반 커맨드 인지에 따라 달라질 수 있다. 스토리지 컨트롤러는, 마지막 디스패치 커맨드 인덱스에 대한 정보 및 마지막 디스패치 커맨드 타입에 대한 정보에 기초하여, 마지막으로 커맨드가 디스패치된 메모리 다이가 아닌 다른 메모리 다이에 수신된 커맨드를 스케쥴링할 수 있다.
도 7b를 참조하면, 스토리지 컨트롤러에는 터넌트들 각각에 대한 커맨드 정보를 포함하는 제2 테이블(TA2)이 저장될 수 있다. 예시적인 실시 예에서, 제2 테이블(TA2)은 터넌트들의 수와 메모리 다이들을 곱한 수만큼의 엔트리를 포함할 수 있다.
본 개시에 따른 스토리지 장치의 스토리지 컨트롤러는 복수의 터넌트들로부터 수신된 커맨드들을 수신된 순서가 아닌 라운드 로빈 방식으로 터넌트 별로 균등하게 분배하기 위해 제2 테이블(TA2)을 관리할 수 있다. 스토리지 컨트롤러는 제2 테이블(TA2)을 이용하여, 메모리 다이에서 어떤 터넌트의 커맨드를 스케쥴링할 지를 결정할 수 있다.
제2 테이블(TA2)은 터넌트들 각각을 표시하는 터넌트 인덱스에 대한 정보, 메모리 다이들 각각을 표시하는 다이 인덱스에 대한 정보, 및 대응하는 메모리 다이에서 마지막으로 디스패치된 커맨드에 대응하는 터넌트를 표시하는 마지막 디스패치 터넌트에 대한 정보를 포함할 수 있다. 스토리지 컨트롤러는, 마지막 디스패치 터넌트에 대한 정보에 기초하여, 마지막으로 디스패치된 커맨드를 전송한 터넌트가 아닌 다른 터넌트로부터 수신된 커맨드를 스케쥴링할 수 있고, 새로운 커맨드가 스케쥴링됨에 따라 마지막 디스패치 터넌트에 대한 정보가 업데이트될 수 있다.
제2 테이블(TA2)은 상기 메모리 다이에 대응하는 커맨드 큐에 상기 터넌트로부터 수신된 긴급 커맨드가 인큐되었는지 및 상기 메모리 다이에 대응하는 커맨드 큐에 상기 터넌트로부터 수신된 일반 커맨드가 인큐되었는지를 표시하는 터넌트 이용가능 긴급/일반 커맨드 비트맵에 대한 정보를 더 포함할 수 있다. 터넌트 이용가능 긴급/일반 커맨드 비트맵은, 상기 터넌트 및 상기 메모리 다이에 대응하는 긴급 커맨드 및 일반 커맨드가 스케쥴링되었는지를 표시할 수 있다.
또한, 제2 테이블(TA2)은 상기 터넌트 및 상기 메모리 다이에 대응하는 긴급 커맨드가 수신됨을 표시하는 삽입(insert) 터넌트 긴급 커맨드에 대한 정보, 상기 터넌트 및 상기 메모리 다이에 대응하는 긴급 커맨드가 마지막으로 디스패치됨을 표시하는 디스패치 터넌트 긴급 커맨드에 대한 정보, 상기 터넌트 및 상기 메모리 다이에 대응하는 일반 커맨드가 수신됨을 표시하는 삽입된 터넌 일반 커맨드에 대한 정보, 및 상기 터넌트 및 상기 메모리 다이에 대응하는 일반 커맨드가 마지막으로 디스패치됨을 표시하는 터넌트 일반 커맨드에 대한 정보를 포함할 수 있다. 따라서, 메모리 컨트롤러는 제2 테이블(TA2)을 이용하여, 특정 터넌트에서 동일한 메모리 다이에 요청한 커맨드들에 대해서는 스토리지 장치로 수신된 순서가 빠르더라도 다른 터넌트들로부터 수신된 커맨드를 우선적으로 스케쥴링할 수 있다.
도 8a 및 도 8b는 본 개시의 예시적 실시 예에 따른 스토리리 장치의 스토리지 컨트롤러에서 입력된 커맨드를 검색하기 위해 커맨드를 관리하는 동작을 설명하기 위한 도면들이다.
도 8a 및 도 8b를 참조하면, 스토리지 장치로 수신된 커맨드들을 관리하기 위해 커맨드들 각각에 대한 정보를 포함하는 제3 테이블(T3)이 저장될 수 있다. 예시적인 실시 예에서, 제3 테이블(T3)은 스토리지 장치에서 처리할 수 있는 총 커맨드의 수만큼의 엔트리를 포함할 수 있다. 예를 들어, 스토리지 장치 내에서 전체 커맨드 큐들(예를 들어, 도 1의 커맨드 큐(218))의 전체 큐 뎁스(queue depth)가 1024인 경우, 제3 테이블(T3)의 엔트리는 1024개일 수 있다. 스토리지 컨트롤러는 제3 테이블(T3)을 이용하여 스토리지 장치로 수신된 커맨드들을 검색할 수 있으므로, 검색 속도가 빨라질 수 있다.
제3 테이블(T3)은 수신된 커맨드의 인덱스에 대한 정보, 해당 커맨드가 유효한 지를 표시하는 유효 비트, 해당 커맨드의 타입에 대한 정보, 해당 커맨드의 순서 변동 횟수에 대한 문턱 값에 대한 정보, 해당 커맨드에 대응하는 터넌트 인덱스에 대한 정보, 해당 커맨드에 대응하는 메모리 다이 인덱스에 대한 정보, 해당 커맨드에 대응하는 터넌트의 인덱스 값의 다음 인덱스 값을 갖는 터넌트에 따른 커맨드를 표시하는 다음 터넌트 커맨드에 대한 정보, 해당 커맨드에 대응하는 터넌트의 인덱스 값의 이전 인덱스 값을 갖는 터넌트에 따른 커맨드를 의미하는 이전 터넌트 커맨드에 대한 정보, 및 해당 커맨드에 대응하는 터넌트로부터 해당 커맨드 이 후에 수신된 커맨드를 의미하는 업 터넌트 커맨드에 대한 정보 중 적어도 하나를 포함할 수 있다. 스토리지 컨트롤러는 제3 테이블(TA3)을 이용하여, 스토리지 장치로 수신된 커맨드들은 링크드 리스트(linked list) 방식으로 관리될 수 있다.
이 때, 해당 커맨드의 순서 변동 횟수에 대한 문턱 값에 대한 정보는 해당 커맨드보다 다른 커맨드를 우선적으로 스케쥴링하기 위해 해당 커맨드의 기존의 처리 순서가 후순위로 변경되는 횟수를 제한하기 위해 설정될 수 있다. 따라서, 스토리지 장치로 수신된 복수의 커맨드들 중 특정 커맨드의 처리 순서가 계속해서 후순위로 밀리면서 상기 특정 커맨드의 처리 시간이 딜레이되는 것이 방지될 수 있다.
도 3c 및 도 8b를 참조하면, 스토리지 장치로 수신된 커맨드들은 링크드 리스트 방식으로 관리될 수 있다. 복수의 커맨드들은, 메모리 다이 들에 따라, 또한, 커맨드의 타입(예를 들어, 긴급 커맨드 또는 일반 커맨드)에 따라 서로 다른 링크드 리스트를 구성할 수 있다.
예를 들어, 제1 메모리 다이에서 처리되도록 스케쥴링된 제1 내지 제4 커맨드는 각각 긴급 커맨드 링크드 리스트 및 일반 커맨드 링크드 리스트를 구성할 수 있다. 제1 내지 제3 커맨드는 긴급 커맨드 링크드 리스트를 구성할 수 있고, 제4 커맨드는 일반 커맨드를 구성할 수 있다. 이 때, 긴급 커맨드 링크드 리스트에서 동일한 터넌트인 제1 터넌트로부터 수신된 제1 커맨드 및 제3 커맨드는 서로 위-아래 방향으로 연결될 수 있고, 즉, 업 포인터로 연결될 수 있다. 긴급 커맨드 링크드 리스트에서, 제1 터넌트로부터 수신된 제1 커맨드 및 제2 터넌트로부터 수신된 제2 커맨드는 서로 전-후 방향으로 연결될 수 있고, 즉, 전(previous)/후(next) 포인터로 서로 연결될 수 있다.
도 9은 본 개시의 예시적 실시 예에 따른 스토리지 장치가 적용된 시스템을 도시한 도면이다.
도 9를 참조하면, 도 9의 시스템(1000)은 기본적으로 휴대용 통신 단말기(mobile phone), 스마트폰(smart phone), 태블릿 PC(tablet personal computer), 웨어러블 기기, 헬스케어 기기 또는 IOT(internet of things) 기기와 같은 모바일(mobile) 시스템일 수 있다. 하지만 도 9의 시스템(1000)은 반드시 모바일 시스템에 한정되는 것은 아니고, 개인용 컴퓨터(personal computer), 랩탑(laptop) 컴퓨터, 서버(server), 미디어 재생기(media player) 또는 내비게이션(navigation)과 같은 차량용(automotive) 장비 등이 될 수도 있다.
도 9을 참조하면, 시스템(1000)은 메인 프로세서(main processor)(1100), 메모리(1200a, 1200b) 및 스토리지 장치(1300a, 1300b)를 포함할 수 있으며, 추가로 촬영 장치(image capturing device)(1410), 사용자 입력 장치(user input device)(1420), 센서(1430), 통신 장치(1440), 디스플레이(1450), 스피커(1460), 전력 공급 장치(power supplying device)(1470) 및 연결 인터페이스(connecting interface)(1480) 중 하나 이상을 포함할 수 있다.
메인 프로세서(1100)는 시스템(1000)의 전반적인 동작, 보다 구체적으로는 시스템(1000)을 이루는 다른 구성 요소들의 동작을 제어할 수 있다. 이와 같은 메인 프로세서(1100)는 범용 프로세서, 전용 프로세서 또는 애플리케이션 프로세서(application processor) 등으로 구현될 수 있다.
메인 프로세서(1100)는 하나 이상의 CPU 코어(1110)를 포함할 수 있으며, 메모리(1200a, 1200b) 및/또는 스토리지 장치(1300a, 1300b)를 제어하기 위한 컨트롤러(1120)를 더 포함할 수 있다. 실시 예에 따라서는, 메인 프로세서(1100)는 AI(artificial intelligence) 데이터 연산 등 고속 데이터 연산을 위한 전용 회로인 가속기(accelerator) 블록(1130)을 더 포함할 수 있다. 이와 같은 가속기 블록(1130)은 GPU(Graphics Processing Unit), NPU(Neural Processing Unit) 및/또는 DPU(Data Processing Unit) 등을 포함할 수 있으며, 메인 프로세서(1100)의 다른 구성 요소와는 물리적으로 독립된 별개의 칩(chip)으로 구현될 수도 있다.
메모리(1200a, 1200b)는 시스템(1000)의 주기억 장치로 사용될 수 있으며, SRAM 및/또는 DRAM 등의 휘발성 메모리를 포함할 수 있으나, 플래시 메모리, PRAM 및/또는 RRAM 등의 비휘발성 메모리를 포함할 수도 있다. 메모리(1200a, 1200b)는 메인 프로세서(1100)와 동일한 패키지 내에 구현되는 것도 가능하다.
스토리지 장치(1300a, 1300b)는 전원 공급 여부와 관계 없이 데이터를 저장하는 비휘발성 저장 장치로서 기능할 수 있으며, 메모리(1200a, 1200b)에 비해 상대적으로 큰 저장 용량을 가질 수 있다. 스토리지 장치(1300a, 1300b)는 스토리지 컨트롤러(1310a, 1310b)와, 스토리지 컨트롤러(1310a, 1310b)의 제어 하에 데이터를 저장하는 비휘발성 메모리(non-volatile memory, NVM)(1320a, 1320b)를 포함할 수 있다. 비휘발성 메모리(1320a, 1320b)는 NAND 플래시 메모리를 포함할 수 있으나, PRAM 및/또는 RRAM 등의 다른 종류의 비휘발성 메모리를 포함할 수도 있다.
스토리지 장치(1300a, 1300b)는 메인 프로세서(1100)와는 물리적으로 분리된 상태로 시스템(1000)에 포함될 수도 있고, 메인 프로세서(1100)와 동일한 패키지 내에 구현될 수도 있다. 또한, 스토리지 장치(1300a, 1300b)는 SSD(solid state device) 혹은 메모리 카드(memory card)와 같은 형태를 가짐으로써, 후술할 연결 인터페이스(1480)와 같은 인터페이스를 통해 시스템(1000)의 다른 구성 요소들과 탈부착 가능하도록 결합될 수도 있다. 이와 같은 스토리지 장치(1300a, 1300b)는 UFS(universal flash storage)와 같은 표준 규약이 적용되는 장치일 수 있다. 스토리지 장치(1300a, 1300b)는 도 1 내지 도 8에서 설명된 스토리지 장치(200)로 구현될 수 있다.
촬영 장치(1410)는 정지 영상 또는 동영상을 촬영할 수 있으며, 카메라(camera), 캠코더(camcorder) 및/또는 웹캠(webcam) 등일 수 있다.
사용자 입력 장치(1420)는 시스템(1000)의 사용자로부터 입력된 다양한 유형의 데이터를 수신할 수 있으며, 터치 패드(touch pad), 키패드(keyboard), 키보드(keyboard), 마우스(mouse) 및/또는 마이크(microphone) 등일 수 있다.
센서(1430)는 시스템(1000)의 외부로부터 획득될 수 있는 다양한 유형의 물리량을 감지하고, 감지된 물리량을 전기 신호로 변환할 수 있다. 이와 같은 센서(1430)는 온도 센서, 압력 센서, 조도 센서, 위치 센서, 가속도 센서, 바이오 센서(biosensor) 및/또는 자이로스코프(gyroscope) 등일 수 있다.
통신 장치(1440)는 다양한 통신 규약에 따라 시스템(1000) 외부의 다른 장치들과의 사이에서 신호의 송신 및 수신을 수행할 수 있다. 이와 같은 통신 장치(1440)는 안테나, 트랜시버(transceiver) 및/또는 모뎀(MODEM) 등을 포함하여 구현될 수 있다.
디스플레이(1450) 및 스피커(1460)는 시스템(1000)의 사용자에게 각각 시각적 정보와 청각적 정보를 출력하는 출력 장치로 기능할 수 있다.
전력 공급 장치(1470)는 시스템(1000)에 내장된 배터리 및/또는 외부 전원으로부터 공급되는 전력을 적절히 변환하여 시스템(1000)의 각 구성 요소들에게 공급할 수 있다.
연결 인터페이스(1480)는 시스템(1000)과, 시스템(1000)에 연결되어 시스템(1000과 데이터를 주고받을 수 있는 외부 장치 사이의 연결을 제공할 수 있다. 연결 인터페이스(1480)는 ATA(Advanced Technology Attachment), SATA(Serial ATA), e-SATA(external SATA), SCSI(Small Computer Small Interface), SAS(Serial Attached SCSI), PCI(Peripheral Component Interconnection), PCIe(PCI express), NVMe(NVM express), IEEE 1394, USB(universal serial bus), SD(secure digital) 카드, MMC(multi-media card), eMMC(embedded multi-media card), UFS(Universal Flash Storage), eUFS(embedded Universal Flash Storage), CF(compact flash) 카드 인터페이스 등과 같은 다양한 인터페이스 방식으로 구현될 수 있다.
도 10은 본 발명의 하나의 실시 예에 따른 메모리 시스템을 나타내는 블록도이다. 도 10을 참조하면, 메모리 시스템(2000)은 메모리 장치(2100) 및 메모리 컨트롤러(2200)를 포함할 수 있다. 메모리 시스템(2000)은 복수의 채널들(CH1~CHm)을 지원할 수 있고, 메모리 장치(2100)와 메모리 컨트롤러(2200)는 복수의 채널들(CH1~CHm)을 통해 연결될 수 있다. 예를 들어, 메모리 시스템(2000)은 SSD와 같은 스토리지 장치로 구현될 수 있고, 메모리 컨트롤러(2200)는 도 1의 스토리지 컨트롤러(210)에 대응될 수 있고, 메모리 장치(2100)는 도 1의 비휘발성 메모리(220)에 대응될 수 있다.
메모리 장치(2100)는 복수의 비휘발성 메모리 장치들(NVM11~NVMmn)을 포함할 수 있다. 비휘발성 메모리 장치들(NVM11~NVMmn) 각각은 대응하는 웨이(way)를 통해 복수의 채널들(CH1~CHm) 중 하나에 연결될 수 있다. 예를 들어, 비휘발성 메모리 장치들(NVM11~NVM1n)은 웨이들(W11~W1n)을 통해 제1 채널(CH1)에 연결되고, 비휘발성 메모리 장치들(NVM21~NVM2n)은 웨이들(W21~W2n)을 통해 제2 채널(CH2)에 연결될 수 있다. 예시적인 실시 예에서, 비휘발성 메모리 장치들(NVM11~NVMmn) 각각은 메모리 컨트롤러(2200)로부터의 개별적인 명령에 따라 동작할 수 있는 임의의 메모리 단위로 구현될 수 있다. 예를 들어, 비휘발성 메모리 장치들(NVM11~NVMmn) 각각은 메모리 칩(memory chip) 또는 다이(memory die)로 구현될 수 있으나, 본 개시는 이에 한정되는 것은 아니다. 예를 들어, 비휘발성 메모리 장치들(NVM11~NVMmn)은 도 1의 제1 내지 제n 메모리 다이(DIE1~DIEn)에 대응될 수 있다.
메모리 컨트롤러(2200)는 복수의 채널들(CH1~CHm)을 통해 메모리 장치(2100)와 신호들을 송수신할 수 있다. 예를 들어, 메모리 컨트롤러(2200)는 채널들(CH1~CHm)을 통해 메모리 장치(2100)로 커맨드들(ICMD1~ICMDm), 어드레스들(ADDR1~ADDRm), 및 데이터(DATA1~DATAm)를 메모리 장치(2100)로 전송하거나, 메모리 장치(2100)로부터 데이터(DATA1~DATAm)를 수신할 수 있다.
메모리 컨트롤러(2200)는 각각의 채널을 통해 해당 채널에 연결된 비휘발성 메모리 장치들 중 하나를 선택하고, 선택된 비휘발성 메모리 장치와 신호들을 송수신할 수 있다. 예를 들어, 메모리 컨트롤러(2200)는 제1 채널(CH1)에 연결된 비휘발성 메모리 장치들(NVM11~NVM1n) 중 비휘발성 메모리 장치(NVM11)를 선택할 수 있다. 메모리 컨트롤러(2200)는 선택된 비휘발성 메모리 장치(NVM11)로 제1 채널(CH1)을 통해 커맨드(ICMD1), 어드레스(ADDR1), 및 데이터(DATA1)를 전송하거나, 선택된 비휘발성 메모리 장치(NVM11)로부터 데이터(DATA1)를 수신할 수 있다.
메모리 컨트롤러(2200)는 서로 다른 채널들을 통해 메모리 장치(2100)와 신호들을 병렬적으로 송수신할 수 있다. 예를 들어, 메모리 컨트롤러(2200)는 제1 채널(CH1)을 통해 메모리 장치(2100)로 커맨드(ICMD1)를 전송하는 동안 제2 채널(CH2)을 통해 메모리 장치(2100)로 커맨드(ICMD2)를 전송할 수 있다. 예를 들어, 메모리 컨트롤러(2200)는 제1 채널(CH1)을 통해 메모리 장치(2100)로부터 데이터(DATA1)를 수신하는 동안 제2 채널(CH2)을 통해 메모리 장치(2100)로부터 데이터(DATA2)를 수신할 수 있다.
메모리 컨트롤러(2200)는 메모리 장치(2100)의 전반적인 동작을 제어할 수 있다. 메모리 컨트롤러(2200)는 채널들(CH1~CHm)로 신호를 전송하여 채널들(CH1~CHm)에 연결된 비휘발성 메모리 장치들(NVM11~NVMmn) 각각을 제어할 수 있다. 예를 들어, 메모리 컨트롤러(2200)는 제1 채널(CH1)로 커맨드(ICMD1) 및 어드레스(ADDR1)를 전송하여 비휘발성 메모리 장치들(NVM11~NVM1n) 중 선택된 하나를 제어할 수 있다.
비휘발성 메모리 장치들(NVM11~NVMmn) 각각은 메모리 컨트롤러(2200)의 제어에 따라 동작할 수 있다. 예를 들어, 비휘발성 메모리 장치(NVM11)는 제1 채널(CH1)로 제공되는 커맨드(ICMD1), 어드레스(ADDR1), 및 데이터(DATA1)에 따라 데이터(DATA1)를 프로그램할 수 있다. 예를 들어, 비휘발성 메모리 장치(NVM21)는 제2 채널(CH2)로 제공되는 커맨드(ICMD2) 및 어드레스(ADDR2)에 따라 데이터(DATA2)를 독출하고, 독출된 데이터(DATA2)를 메모리 컨트롤러(2200)로 전송할 수 있다.
도 10에는 메모리 장치(2100)가 m개의 채널을 통해 메모리 컨트롤러(2200)와 통신하고, 메모리 장치(2100)가 각각의 채널에 대응하여 n개의 비휘발성 메모리 장치를 포함하는 것으로 도시되나, 채널들의 개수와 하나의 채널에 연결된 비휘발성 메모리 장치의 개수는 다양하게 변경될 수 있다.
도 11은 본 개시의 예시적 실시 예에 따른 시스템(3000)을 나타내는 블록도이다.
시스템(3000)은 상호 통신하는 장치(3100) 및 호스트 프로세서(3200)를 포함하는 임의의 컴퓨팅 시스템(또는 컴퓨팅 시스템에 포함된 구성요소)일 수 있다. 예를 들면, 시스템(3000)은, 데스크탑 컴퓨터, 서버, 키오스크(kiosk) 등과 같은 고정형(stationary) 컴퓨팅 시스템에 포함될 수도 있고, 랩탑 컴퓨터, 모바일 폰, 웨어러블 장치 등과 같은 휴대형(portable) 컴퓨팅 시스템에 포함될 수도 있다. 또한, 일부 실시 예들에서, 시스템(3000)은, 장치(3100) 및 호스트 프로세서(3200)가 하나의 칩 또는 패키지에 구현된, 시스템-온-칩(system-on-chip; SoC) 또는 시스템-인-패키지(system-in-package; SiP)에 포함될 수도 있다. 도 1에 도시된 바와 같이, 시스템(3000)은, 장치(3100), 호스트 프로세서(3200), 장치-부착 메모리(3300) 및 호스트 메모리(3400)를 포함할 수 있다. 일부 실시 예들에서, 장치-부착 메모리(3300)는 시스템(3000)에서 생략될 수도 있다.
도 11을 참조하면, 장치(3100) 및 호스트 프로세서(3200)는 링크(3500)를 통해서 상호 통신할 수 있고, 링크(3500) 상으로 메시지 및/또는 데이터를 상호 송신하거나 수신할 수 있다. 본 개시의 예시적 실시 예들은, CXL(compute express link) 프로토콜들을 지원하는 CXL 사양에 기초한 링크(3500)를 참조하여 설명될 것이나, 장치(3100) 및 호스트 프로세서(3200)는, 비제한적인 예시로서 XBus 프로토콜, NVLink 프로토콜, Infinity Fabric 프로토콜, CCIX(cache coherent interconnect for accelerators) 프로토콜, CAPI(coherent accelerator processor interface) 등과 같은 일관적 상호연결(coherent interconnect) 기술들에 기초하여 상호 통신할 수도 있다.
일부 실시 예들에서, 링크(3500)는 다수의(multiple) 프로토콜들을 지원할 수 있고, 다수의 프로토콜들을 통해서 메시지 및/또는 데이터가 전달될 수 있다. 예를 들면, 링크(3500)는, 비일관적(non-coherent) 프로토콜(예를 들어, CXL.io), 일관적 프로토콜(예를 들어, CXL.cache) 및 메모리 액세스 프로토콜(또는 메모리 프로토콜)(예를 들어, CXL.mem)을 포함하는 CXL 프로토콜들을 지원할 수 있다. 일부 실시 예들에서, 링크(3500)는, 비제한적인 예시로서 PCI(peripheral component interconnect), PCIe(PCI express), USB(universal serial bus), SATA(serial advanced technology attachment) 등과 같은 프로토콜을 지원할 수도 있다. 본 명세서에서, 링크(3500)에 의해서 지원되는 프로토콜은 상호연결 프로토콜로서 지칭될 수도 있다.
장치(3100)는 호스트 프로세서(3200)에 유용한 기능을 제공하는 임의의 장치를 지칭할 수 있고, 일부 실시 예들에서 CXL 사양의 가속기(accelerator)에 대응할 수 있다. 예를 들면, 호스트 프로세서(3200) 상에서 실행되는 소프트웨어는, 연산(computing) 및/또는 입출력(I/O) 작업의 적어도 일부를 장치(3100)에 일임(offload)할 수 있다. 일부 실시 예들에서, 장치(3100)는, GPU(graphic processing unit), NPU(neural processing unit) 등과 같은 프로그램가능한(programmable) 구성요소(component), IP(intellectual property) 코어 등과 같은 고정된 기능을 제공하는 구성요소 및 FPGA(field programmable gate array) 등과 같은 재구성가능한(reconfigurable) 구성요소 중 적어도 하나를 포함할 수 있다. 도 11에 도시된 바와 같이, 장치(3100)는 물리 계층(3110), 다중-프로토콜 멀티플렉서(3120), 인터페이스 회로(3130) 및 가속기 회로(3140)를 포함할 수 있고, 장치-부착 메모리(3300)와 통신할 수 있다.
가속기 회로(3140)는, 장치(3100)가 호스트 프로세서(3200)에 제공하는 유용한 기능을 수행할 수 있고, 가속기 로직으로 지칭될 수도 있다. 도 11에 도시된 바와 같이 장치-부착 메모리(3300)가 시스템(3000)에 포함되는 경우, 가속기 회로(3140)는 장치-부착 메모리(3300)와 통신할 수 있고, 링크(3500)에 독립적인 프로토콜, 즉 장치-고유의(device-specific) 프로토콜에 기초하여 장치-부착 메모리(3300)와 통신할 수 있다. 또한, 도 11에 도시된 바와 같이, 가속기 회로(3140)는 다수의 프로토콜들을 사용하여 인터페이스 회로(3130)를 통해서 호스트 프로세서(3200)와 통신할 수 있다.
인터페이스 회로(3130)는, 가속기 회로(3140) 및 호스트 프로세서(3200) 사이 통신을 위한 메시지 및/또는 데이터에 기초하여 다수의 프로토콜들 중 하나의 프로토콜을 판정할 수 있다. 인터페이스 회로(3130)는, 다중-프로토콜 멀티플렉서(3120)에 포함된 적어도 하나의 프로토콜 큐(queue)에 연결될 수 있고, 적어도 하나의 프로토콜 큐를 통해서 호스트 프로세서(3200)와 메시지 및/또는 데이터를 주고 받을 수 있다. 일부 실시 예들에서, 인터페이스 회로(3130) 및 다중-프로토콜 멀티플렉서(3120)는 하나의 구성요소로 통합될 수도 있다. 일부 실시 예들에서, 다중-프로토콜 멀티플렉서(3120)는 링크(3500)에 의해서 지원되는 다수의 프로토콜들 각각에 대응하는 다수의 프로토콜 큐들을 포함할 수 있다. 또한, 일부 실시 예들에서, 다중-프로토콜 멀티플렉서(3120)는 상이한 프로토콜들에 의한 통신들 사이를 중재(arbitration)할 수 있고, 선택된 통신들을 물리 계층(3110)에 제공할 수 있다. 일부 실시 예들에서, 물리 계층(3110)은, 호스트 프로세서(3200)의 물리 계층(3210)과 단일 상호연결, 버스, 트레이스(trace) 등을 통해서 연결될 수 있다.
호스트 프로세서(3200)는 시스템(3000)의 메인 프로세서, 예를 들어 CPU(central processing unit)일 수 있고, 일부 실시 예들에서 CXL 사양의 호스트 프로세서(또는 호스트)에 대응할 수 있다. 도 11에 도시된 바와 같이, 호스트 프로세서(3200)는 호스트 메모리(3400)에 연결될 수 있고, 물리 계층(3210), 다중-프로토콜 멀티플렉서(3220), 인터페이스 회로(3230), 일관성/캐시 회로(3240), 버스 회로(3250), 적어도 하나의 코어(3260) 및 입출력 장치(3270)를 포함할 수 있다.
적어도 하나의 코어(3260)는 명령어(instruction)를 실행할 수 있고, 일관성/캐시 회로(3240)와 연결될 수 있다. 일관성/캐시 회로(3240)는 캐시 계층(cache hierarchy)을 포함할 수 있고, 일관성/캐시 로직으로 지칭될 수도 있다. 도 11에 도시된 바와 같이, 일관성/캐시 회로(3240)는 적어도 하나의 코어(3260) 및 인터페이스 회로(3230)와 통신할 수 있다. 예를 들면, 일관성/캐시 회로(3240)는 일관적 프로토콜 및 메모리 액세스 프로토콜을 포함하는 2이상의 프로토콜들을 통한 통신을 가능하게 할 수 있다. 일부 실시 예들에서, 일관성/캐시 회로(3240)는 DMA(direct memory access) 회로를 포함할 수도 있다. 입출력 장치(3270)는 버스 회로(3250)와 통신하기 위하여 사용될 수 있다. 예를 들면, 버스 회로(3250)는 PCIe 로직일 수 있고, 입출력 장치(3270)는 PCIe 입출력 장치일 수 있다.
인터페이스 회로(3230)는, 호스트 프로세서(3200)의 구성요소들, 예를 들어 일관성/캐시 회로(3240) 및 버스 회로(3250)와 장치(3100) 사이 통신을 가능하게 할 수 있다. 일부 실시 예들에서, 인터페이스 회로(3230)는 다수의 프로토콜들, 예를 들어 비일관적 프로토콜, 일관적 프로토콜 및 메모리 프로토콜에 따라 호스트 프로세서(3200)의 구성요소들 및 장치(3100) 사이 메시지 및/또는 데이터의 통신을 가능하게 할 수 있다. 예를 들면, 인터페이스 회로(3230)는, 호스트 프로세서(3200)의 구성요소들 및 장치(3100) 사이 통신을 위한 메시지 및/또는 데이터에 기초하여 다수의 프로토콜들 중 하나의 프로토콜을 판정할 수 있다.
다중-프로토콜 멀티플렉서(3220)는 적어도 하나의 프로토콜 큐를 포함할 수 있다. 인터페이스 회로(3230)는 적어도 하나의 프로토콜 큐에 연결될 수 있고, 적어도 하나의 프로토콜 큐를 통해서 장치(3100)와 메시지 및/데이터를 주고 받을 수 있다. 일부 실시 예들에서, 인터페이스 회로(3230) 및 다중-프로토콜 멀티플렉서(3220)는 하나의 구성요소로 통합될 수도 있다. 일부 실시 예들에서, 다중-프로토콜 멀티플렉서(3220)는 링크(3500)에 의해서 지원되는 다수의 프로토콜들 각각에 대응하는 다수의 프로토콜 큐들을 포함할 수 있다. 또한, 일부 실시 예들에서, 다중-프로토콜 멀티플렉서(3220)는 상이한 프로토콜들에 의한 통신들 사이를 중재할 수 있고, 선택된 통신들을 물리 계층(3210)에 제공할 수 있다.
도 1 내지 도 8b에서 설명된 스토리지 장치는 장치(3100) 및 호스트 프로세서(3200)에 의해, 또는 도 11에 도시되지 않은 각종 주변 장치들에 의해 액세스될 수 있다.
도 12는 본 개시의 예시적인 실시 예에 따른 시스템(4000)을 나타내는 블록도이다.
도 12를 참조하면, 시스템(4000)은 장치(4100), 호스트 프로세서(4200), 장치 메모리(4300) 및 호스트 메모리(4400)를 포함할 수 있다. 일부 실시 예들에서, 장치 메모리(4300)는 도 11의 장치-부착 메모리(3300)에 대응할 수 있다.
도 11을 참조하여 전술된 바와 같이, 장치(4100) 및 호스트 프로세서(4200)는 다수의 프로토콜들에 기초하여 상호 통신할 수 있다. 다수의 프로토콜들은 메모리 프로토콜(MEM), 일관적 프로토콜(COH) 및 비일관적 프로토콜(IO)을 포함할 수 있다. 일부 실시 예들에서, CXL 사양 2.0을 참조하면, 메모리 프로토콜(MEM), 일관적 프로토콜(COH) 및 비일관적 프로토콜(IO) 각각은 CXL.mem, CXL.cache 및 CXL.io에 대응할 수 있다. 비일관적 프로토콜(IO)은 PCIe 트랜잭션 계층에 상응하고, 시스템(4000)의 장치 검색, 인터럽트 관리, 레지스터에 대한 액세스 제공, 신호 오류에 대한 처리에 사용될 수 있다.
메모리 프로토콜(MEM)은 호스트 프로세서(4200)가 가속기(예를 들어, 도 11의 가속기 회로(3140))의 메모리(예를 들어, 도 11의 장치-부착 메모리(3300))에 액세스할 때 사용되는 프로토콜일 수 있다. 메모리 프로토콜(MEM)은, 지배자(Master)와 종속자(Subordinate) 사이 트랜잭션들(Transactions)을 정의할 수 있다.
상기 지배자는 CXL.mem 프로토콜에서 리퀘스트(request)를 트리거(trigger)하는 에이전트를 지칭할 수 있다. 예를 들어, MemRd 커맨드를 위한 트랜잭션의 경우, 상기 지배자는 상기 MemRd 커맨드를 트리거하는 호스트 프로세서(4200)에 상응할 수 있다.
상기 종속자는, CXL.mem 프로토콜에서 상기 지배자에 의해 트리거된 리퀘스트에 응답할 의무가 있는(responsible for respond) 에이전트를 지칭할 수 있다. 예를 들어, MemRd 커맨드를 위한 트랜잭션의 경우, 종속자는 메모리 장치에 상응할 수 있다. 메모리 장치는 도 11에서 도시된 호스트 메모리(3400)일 수도 있고, 장치-부착 메모리(3300)일 수도 있다.
메모리 프로토콜(MEM)은 지배자로부터 종속자에게 향하는 트랜잭션 및 종속자로부터 지배자를 향하는 트랜잭션을 정의할 수 있다. 예를 들어, CXL 사양 2.0을 참조하면, 지배자로부터 종속자를 향하는 트랜잭션은, M2S(Master to Subordinate) 트랜잭션으로 지칭될 수 있고, 종속자로부터 지배자에게 향하는 트랜잭션은 S2M(Subordinate to Master) 트랜잭션으로 지칭될 수 있다.
다양한 실시 예들에 따라, 장치(4100)는 적어도 3개의 유형 중 어느 하나에 상응할 수 있다. 시스템(4000)이 호스트 메모리(4400)를 포함하지 않는 경우, 장치(4100)는 CXL 사양에서 정의된 제1 유형(Type 1)에 상응할 수 있다. 제1 유형의 장치(4100)를 포함하는 시스템(4000)에서 다수의 프로토콜들은, 일관적 프로토콜(COH) 및 비일관적 프로토콜(IO)만을 포함할 수 있다. 장치(4100)가 상기 제1 유형에 상응하는 경우, 호스트 프로세서(4200)는 장치(4100)를 이용하여 호스트 프로세서(4200)의 데이터를 장치 메모리(4300)에 캐시할 수 있다. 장치(4100)가 상기 제1 유형에 상응하는 경우, 시스템(4000)은 D2H(Device to Host) 캐시 일관성과 H2D(Host to Device) 스누프(snoop) 트랜잭션을 지원할 수 있다.
장치(4100)가 가속기로서 동작하는 경우(장치(4100)가 도 11의 가속기 회로(3140)를 포함하는 경우), 장치(4100)는 CXL 사양에서 정의된 제2 유형(Type 2)에 상응할 수 있다. 제2 유형의 장치(4100)를 포함하는 시스템(4000)에서 다수의 프로토콜들은, 일관적 프로토콜(COH), 비일관적 프로토콜(IO), 및 메모리 프로토콜(MEM)을 모두 포함할 수 있다. 예를 들어, 호스트 프로세서(4200)는 비일관적 프로토콜(IO)을 이용하여 장치(4100)를 검색하고, 메모리 프로토콜(MEM)을 이용하여 검색된 장치(4100)에 상응하는 장치 메모리(4300)에 액세스할 수 있으며, 일관적 프로토콜(COH)을 통해 장치(4100)가 호스트 프로세서(4200)의 메모리를 사용하도록 할 수 있다.
장치(4100)가 메모리 확장(memory expander)을 위한 장치로 동작하는 경우, 장치(4100)는 CXL 사양에서 정의된 제3 유형(Type 3)에 상응할 수 있다. 제3 유형의 장치(4100)를 포함하는 시스템(4000)에서 다수의 프로토콜들은, 메모리 프로토콜(MEM) 및 비일관적 프로토콜(IO)을 포함할 수 있다. 예를 들어, 호스트 프로세서(4200)는 비일관적 프로토콜(IO)을 통해 장치(4100)를 식별하고 연결할 수 있으며, 메모리 프로토콜(MEM)을 통해 장치(4100)의 메모리 풀(memory pool)에 액세스할 수 있다. 장치(4100)는 장치 메모리(4300)와 통신할 수 있고, 장치 메모리(4300)에 액세스하기 위한 메모리 컨트롤러(4110)를 포함할 수 있다. 일부 실시 예들에서, 도 12에 도시된 바와 상이하게, 메모리 컨트롤러(4110)는 장치(4100)의 외부에 있을 수 있고, 장치 메모리(4300)와 통합될 수도 있다. 또한, 호스트 프로세서(4200)는 호스트 메모리(4400)와 통신할 수 있고, 호스트 메모리(4400)에 액세스하기 위한 메모리 컨트롤러(4210)를 포함할 수 있다. 일부 실시 예들에서, 도 12에 도시된 바와 상이하게, 메모리 컨트롤러(4210)는 호스트 프로세서(4200)의 외부에 있을 수 있고, 호스트 메모리(4400)와 통합될 수 있다.
다양한 실시 예들에 따르면, 장치 메모리(4300)는 다양한 타입의 메모리로 구현될 수 있으며, 한 예로서 스토리지 클래스 메모리(Storage Class Memory, SCM)로 구현될 수 있다.
스토리지 클래스 메모리는 비휘발성 특징과 휘발성 메모리의 특징을 동시에 갖고, 바이트 단위의 접근할 수 있다. 예를 들어 스토리지 클래스 메모리는 PCM(phase-change RAM), FeRAM(ferroelectric RAM), MRAM(magnetic RAM), RRAM(resistive RAM), STT-MRAM 등을 포함할 수 있다. 예시적인 실시 예에서, 도 1 내지 도 8b에서 설명된 스토리지 장치는 도 12의 장치 메모리(4300)로서 구현될 수 있다.
도 13a 및 도 13b는 본 개시의 예시적인 실시 예에 따른 시스템의 예시들을 나타내는 블록도이다.
구체적으로, 도 13a 및 도 13b의 블록도들은 다수의 CPU들을 포함하는 시스템들(900a, 900b)을 나타낸다. 이하에서, 도 13a 및 도 13b에 대한 설명 중 상호 중복되는 내용은 생략될 수 있다.
도 13a를 참조하면, 시스템(900a)은, 제1 및 제2 CPU(11a, 21a)를 포함할 수 있고, 제1 및 제2 CPU(11a, 21a)에 각각 연결된 제1 및 제2 DDR(Double Data Rate) 메모리(12a, 22a)를 포함할 수 있다. 제1 및 제2 CPU(11a, 21a)는 프로세서 상호 연결 기술에 기초한 상호연결 시스템(30a)을 통해서 연결될 수 있다. 도 13a에 도시된 바와 같이, 상호연결 시스템(30a)은, 적어도 하나의 CPU간(CPU-to-CPU) 일관적 링크를 제공할 수 있다.
시스템(900a)은, 제1 CPU(11a)와 통신하는 제1 입출력 장치(13a) 및 제1 가속기(14a)를 포함할 수 있고, 제1 가속기(14a)에 연결된 제1 장치 메모리(15a)를 포함할 수 있다. 제1 CPU(11a) 및 제1 입출력 장치(13a)는 버스(16a)를 통해서 통신할 수 있고, 제1 CPU(11a) 및 제1 가속기(14a)는 버스(17a)를 통해서 통신할 수 있다. 또한, 시스템(900a)은, 제2 CPU(21a)와 통신하는 제2 입출력 장치(23a) 및 제2 가속기(24a)를 포함할 수 있고, 제2 가속기(24a)에 연결된 제2 장치 메모리(25a)를 포함할 수 있다. 제2 CPU(21a) 및 제2 입출력 장치(23a)는 버스(26a)를 통해서 통신할 수 있고, 제2 CPU(21a) 및 제2 가속기(24a)는 버스(27a)를 통해서 통신할 수 있다.
버스들(16a, 17a, 26a, 27a)을 통해서 프로토콜에 기초한 통신이 수행될 수 있고, 프로토콜은 도면들을 참조하여 전술된 선택적 및 병렬적 액세스 동작을 지원할 수 있다. 이에 따라, 메모리, 예컨대 제1 장치 메모리(15a), 제2 장치 메모리(25a), 제1 DDR 메모리(12a) 및/또는 제2 DDR 메모리(22a)에 대해 액세스 레이턴시가 감소할 수 있고, 시스템(900a)의 성능이 향상될 수 있다.
도 13b를 참조하면, 시스템(900b)은, 도 13a의 시스템(900a)과 유사하게, 제1 및 제2 CPU(11b, 21b), 제1 및 제2 DDR 메모리(12b, 22b), 제1 및 제2 입출력 장치(13b, 23b) 및 제1 및 제2 가속기(14b, 24b)를 포함할 수 있는 한편, 원격 원거리 메모리(40)를 더 포함할 수 있다. 제1 및 제2 CPU(11b, 21b)는, 상호연결 시스템(30b)을 통해서 상호 통신할 수 있다. 제1 CPU(11b)는 버스들(16b, 17b)을 통해서 제1 및 제2 입출력 장치(13b, 23b)에 연결될 수 있고, 제2 CPU(21b)는 버스들(26b, 27b)을 통해서 제1 및 제2 가속기(14b, 24b)에 연결될 수 있다.
제1 및 제2 CPU(11b, 21b)는 제1 및 제2 버스(18, 28)를 통해서 원격 원거리 메모리(40)에 연결될 수 있다. 원격 원거리 메모리(40)는, 시스템(900b)에서 메모리의 확장을 위하여 사용될 수 있고, 제1 및 제2 버스(18, 28)는 메모리 확장 포트로서 사용될 수 있다. 버스들(16b, 17b, 26b, 27b)뿐만 아니라, 제1 및 제2 버스(18, 28)에 대응하는 프로토콜 또한 도면들을 참조하여 전술된 메모리에 대한 액세스 동작을 지원할 수 있다. 이에 따라, 원격 원거리 메모리(40)에 대한 액세스 레이턴시가 감소할 수 있고, 시스템(900b)의 성능이 향상될 수 있다.
도 14는 본 개시의 예시적 실시 예에 따른 시스템을 포함하는 데이터 센터를 나타내는 블록도이다.
도 14를 참조하면, 일부 실시 예들에서 전술된 시스템은 어플리케이션 서버 및/또는 스토리지 서버로서 데이터 센터(1)에 포함될 수 있다. 또한, 본 개시의 실시 예들에 적용된 메모리 컨트롤러의 선택적 및 병렬적 에러 정정 동작과 관련된 실시 예는 어플리케이션 서버 및/또는 스토리지 서버 각각에 적용될 수 있다.
도 14를 참조하면, 데이터 센터(1)는 다양한 데이터를 수집하고 서비스를 제공할 수 있고, 데이터 스토리지 센터로 지칭될 수도 있다. 예를 들면, 데이터 센터(1)는 검색 엔진 및 데이터 베이스 운용을 위한 시스템일 수 있고, 은행 등의 기업 또는 정부기관에서 사용되는 컴퓨팅 시스템일 수도 있다. 도 14에 도시된 바와 같이, 데이터 센터(1)는 어플리케이션 서버들(50_1~50_n) 및 스토리지 서버들(60_1~60_m)을 포함할 수 있다(m 및 n은 1보다 큰 정수). 어플리케이션 서버들(50_1~50_n)의 개수 n 및 스토리지 서버들(60_1~60_m)의 개수 m은 실시 예에 따라 다양하게 선택될 수 있고, 어플리케이션 서버들(50_1~50_n)의 개수 n 및 스토리지 서버들(60_1~60_m)의 개수 m은 상이할 수 있다.
어플리케이션 서버(50_1~50_n)는 프로세서(51_1~51_n), 메모리(52_1~52_n), 스위치(53_1~53_n), NIC(network interface controller)(54_1~54_n) 및 스토리지 장치(55_1~55_n) 중 적어도 하나를 포함할 수 있다. 프로세서(52_1~51_n)는 어플리케이션 서버(50_1~50_n)의 전반적인 동작을 제어할 수 있고, 메모리(52_1~52_n)에 액세스하여 메모리(52_1~52_n)에 로딩된 명령어들(instructions) 및/또는 데이터를 실행할 수 있다. 메모리(52_1~52_n)는 비제한적인 예시로서, DDR SDRAM(Double Data Rate Synchronous DRAM), HBM(High Bandwidth Memory), HMC(Hybrid Memory Cube), DIMM(Dual In-line Memory Module), Optane DIMM 또는 NVMDIMM(Non-Volatile DIMM)를 포함할 수 있다.
실시 예에 따라, 어플리케이션 서버(50_1~50_n)에 포함되는 프로세서들의 개수 및 메모리들의 개수는 다양하게 선택될 수 있다. 일부 실시 예들에서, 프로세서(51_1~51_n)와 메모리(52_1~52_n)는 프로세서-메모리 페어를 제공할 수 있다. 일부 실시 예들에서, 프로세서(51_1~51_n)와 메모리(52_1~52_n)의 개수는 상이할 수 있다. 프로세서(51_1~51_n)는 단일 코어 프로세서 또는 다중 코어 프로세서를 포함할 수 있다. 일부 실시 예들에서, 도 13에서 점선으로 도시된 바와 같이, 어플리케이션 서버(50_1~50_n)에서 스토리지 장치(55_1~55_n)는 생략될 수도 있다. 스토리지 서버(50_1~50_n)에 포함되는 스토리지 장치(55_1~55_n)의 개수는 실시 예에 따라 다양하게 선택될 수 있다. 프로세서(51_1~51_n), 메모리(52_1~52_n), 스위치(53_1~53_n), NIC(54_1~54_n) 및/또는 스토리지 장치(55_1~55_n)는, 도면들을 참조하여 전술된 링크를 통해서 상호 통신할 수 있다.
스토리지 서버(60_1~60_m)는 프로세서(61_1~61_m), 메모리(62_1~62_m), 스위치(63_1~63_m), NIC(64_1~64_n) 및 스토리지 장치(65_1~65_m) 중 적어도 하나를 포함할 수 있다. 프로세서(61_1~61_m) 및 메모리(62_1~62_m)는, 전술된 어플리케이션 서버(50_1~50_n)의 프로세서(51_1~51_n) 및 메모리(52_1~52_n)와 유사하게 동작할 수 있다. 스토리지 장치(65_1~65_m)는 도 1 내지 도 8b에서 설명된 스토리지 장치일 수 있다.
어플리케이션 서버들(50_1~50_n) 및 스토리지 서버들(60_1~60_m)은 네트워크(70)를 통해 상호 통신할 수 있다. 일부 실시 예들에서, 네트워크(70)는 FC(Fiber Channel) 또는 이더넷(Ethernet) 등을 이용하여 구현될 수 있다. FC는 상대적으로 고속의 데이터 전송에 사용되는 매체일 수 있고, 고성능/고가용성을 제공하는 광 스위치가 사용될 수 있다. 네트워크(70)의 액세스 방식에 따라 스토리지 서버들(60_1~60_m)은 파일 스토리지, 블록 스토리지, 또는 오브젝트 스토리지로서 제공될 수 있다.
일부 실시 예들에서, 네트워크(70)는 SAN(Storage Area Network)와 같은 스토리지 전용 네트워크일 수 있다. 예를 들어, SAN은 FC 네트워크를 이용할 수 있고 FCP(FC Protocol)에 따라 구현된 FC-SAN일 수 있다. 다르게는, SAN은 TCP/IP 네트워크를 이용하고 iSCSI(SCSI over TCP/IP 또는 Internet SCSI) 프로토콜에 따라 구현된 IP-SAN일 수 있다. 일부 실시 예들에서, 네트워크(70)는 TCP/IP 네트워크와 같은 일반 네트워크일 수 있다. 예를 들면, 네트워크(70)는 FCoE(FC over Ethernet), NAS(Network Attached Storage), NVMe-oF(NVMe over Fabrics) 등의 프로토콜에 따라 구현될 수 있다.
이하에서, 어플리케이션 서버(50_1) 및 스토리지 서버(60_1)가 주로 설명되나, 어플리케이션 서버(50_1)에 대한 설명은 다른 어플리케이션 서버(예컨대, 50_n)에도 적용될 수 있고, 스토리지 서버(60_1)에 대한 설명은 다른 스토리지 서버(예컨대, 60_m)에도 적용될 수 있는 점이 유의된다.
어플리케이션 서버(50_1)는 사용자 또는 클라이언트가 저장을 요청한 데이터를 네트워크(70)를 통해 스토리지 서버들(60_1~60_m) 중 하나에 저장할 수 있다. 또한, 어플리케이션 서버(50_1)는 사용자 또는 클라이언트가 독출을 요청한 데이터를 스토리지 서버들(60_1~60_m) 중 하나로부터 네트워크(70)를 통해 획득할 수 있다. 예를 들어, 어플리케이션 서버(50_1)는 웹 서버 또는 DBMS(Database Management System) 등으로 구현될 수 있다.
어플리케이션 서버(50_1)는 네트워크(70)를 통해 다른 어플리케이션 서버(50_n)에 포함된 메모리(52_n) 및/또는 스토리지 장치(55_n)에 액세스할 수 있고, 그리고/또는 네트워크(70)를 통해 스토리지 서버들(60_1~60_m)에 포함된 메모리들(62_1~62_m) 및/또는 스토리지 장치들(65_1~65_m)에 액세스할 수 있다. 이에 따라, 어플리케이션 서버(50_1)는 어플리케이션 서버들(50_1~50_n) 및/또는 스토리지 서버들(60_1~60_m)에 저장된 데이터에 대해 다양한 동작들을 수행할 수 있다. 예를 들어, 어플리케이션 서버(50_1)는 어플리케이션 서버들(50_1~50_n) 및/또는 스토리지 서버들(60_1~60_m) 사이에서 데이터를 이동시키거나 복사(copy)하기 위한 명령어를 실행할 수 있다. 이 때 데이터는 스토리지 서버들(60_1~60_m)의 스토리지 장치로(65_1~65_m)부터 스토리지 서버들(60_1~60_m)의 메모리들(62_1~62_m)을 통해서 또는 직접적으로 어플리케이션 서버들(50_1~50_n)의 메모리(52_1~52_n)로 이동될 수 있다. 일부 실시 예들에서, 네트워크(70)를 통해 이동하는 데이터는 보안 또는 프라이버시를 위해 암호화된 데이터일 수 있다.
스토리지 서버(60_1)에서, 인터페이스(IF)는 프로세서(61_1)와 컨트롤러(CTRL)의 물리적 연결 및 NIC(64_1)와 컨트롤러(CTRL)의 물리적 연결을 제공할 수 있다. 예를 들어, 인터페이스(IF)는 스토리지 장치(65_1)를 전용 케이블로 직접 접속하는 DAS(Direct Attached Storage) 방식으로 구현될 수 있다. 또한, 예를 들어, 인터페이스(IF)는 ATA(Advanced Technology Attachment), SATA(Serial ATA), e-SATA(external SATA), SCSI(Small Computer Small Interface), SAS(Serial Attached SCSI), PCI(Peripheral Component Interconnection), PCIe(PCI express), NVMe(NVM express), IEEE 1394, USB(universal serial bus), SD(secure digital) 카드, MMC(multi-media card), eMMC(embedded multi-media card), UFS(Universal Flash Storage), eUFS(embedded Universal Flash Storage), CF(compact flash) 카드 인터페이스 등과 같은 다양한 인터페이스 방식으로 구현될 수 있다.
스토리지 서버(60_1)에서, 스위치(63_1)는 프로세서(61_1)의 제어에 따라 프로세서(61_1)와 스토리지 장치(65_1)를 선택적으로 접속시키거나, NIC(64_1)과 스토리지 장치(65_1)를 선택적으로 접속시킬 수 있다.
일부 실시 예들에서, NIC(64_1)는 네트워크 인터페이스 카드, 네트워크 어댑터 등을 포함할 수 있다. NIC(54_1)는 유선 인터페이스, 무선 인터페이스, 블루투스 인터페이스, 광학 인터페이스 등에 의해 네트워크(70)에 연결될 수 있다. NIC(54_1)는 내부 메모리, DSP, 호스트 버스 인터페이스 등을 포함할 수 있으며, 호스트 버스 인터페이스를 통해 프로세서(61_1) 및/또는 스위치(63_1) 등과 연결될 수 있다. 일부 실시 예들에서, NIC(64_1)는 프로세서(61_1), 스위치(63_1), 스토리지 장치(65_1) 중 적어도 하나와 통합될 수도 있다.
어플리케이션 서버(50_1~50_n) 또는 스토리지 서버(60_1~60_m)에서 프로세서(51_1~51_m, 61_1~61_n)는 스토리지 장치들(55_1~55_n, 65_1~65_m) 또는 메모리(52_1~52_n, 62_1~62_m)로 커맨드를 전송하여 데이터를 프로그램하거나 리드할 수 있다. 이 때 데이터는 ECC(Error Correction Code) 엔진을 통해 에러 정정된 데이터일 수 있다. 데이터는 데이터 버스 변환(Data Bus Inversion: DBI) 또는 데이터 마스킹(Data Masking: DM) 처리된 데이터로서, CRC(Cyclic Redundancy Code) 정보를 포함할 수 있다. 데이터는 보안 또는 프라이버시를 위해 암호화된 데이터일 수 있다.
스토리지 장치(55_1~55_n, 65_1~65_m)는 프로세서(51_1~51_m, 61_1~61_n)로부터 수신된 독출 커맨드에 응답하여, 제어 신호 및 커맨드/어드레스 신호를 비휘발성 메모리 장치(예컨대 NAND 플래시 메모리 장치)(NVM)로 전송할 수 있다. 이에 따라 비휘발성 메모리 장치(NVM)로부터 데이터를 독출하는 경우, 독출 인에이블 신호는 데이터 출력 제어 신호로 입력되어, 데이터를 DQ 버스로 출력하는 역할을 할 수 있다. 독출 인에이블 신호를 이용하여 데이터 스트로브 신호를 생성할 수 있다. 커맨드와 어드레스 신호는 기입 인에이블 신호의 상승 엣지 또는 하강 엣지에 따라 래치될 수 있다.
컨트롤러(CTRL)는 스토리지 장치(65_1)의 동작을 전반적으로 제어할 수 있다. 일 실시 예에서, 컨트롤러(CTRL)는 SRAM(Static Random Access Memory)을 포함할 수 있다. 컨트롤러(CTRL)는 기입 커맨드에 응답하여 비휘발성 메모리 장치(NVM)에 데이터를 기입할 수 있고, 또는 독출 커맨드에 응답하여 비휘발성 메모리 장치(NVM)로부터 데이터를 독출할 수 있다. 예를 들어, 기입 커맨드 및/또는 독출 커맨드는 호스트, 예컨대 스토리지 서버(60_1) 내의 프로세서(61_1), 다른 스토리지 서버(60_m) 내의 프로세서(61_m) 또는 어플리케이션 서버(50_1~50_n) 내의 프로세서(51_1~51_n)로부터 제공된 요청에 기초하여 생성될 수 있다. 버퍼(BUF)는 비휘발성 메모리 장치(NVM)에 기입될 데이터 또는 비휘발성 메모리 장치(NVM)로부터 독출된 데이터를 임시 저장(버퍼링)할 수 있다. 일부 실시 예들에서 버퍼(BUF)는 DRAM을 포함할 수 있다. 또한, 버퍼(BUF)는 메타 데이터를 저장할 수 있고, 메타 데이터는 사용자 데이터 또는 비휘발성 메모리 장치(NVM)를 관리하기 위해 컨트롤러(CTRL)에서 생성된 데이터를 지칭할 수 있다. 스토리지 장치(65_1)는 보안 또는 프라이버시를 위해 SE(Secure Element)를 포함할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시 예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시 예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (10)
- 메모리 다이; 및
상기 메모리 다이로 제공되는 복수의 커맨드들을 스케쥴링하여 상기 메모리 다이의 동작을 제어하는 스토리지 컨트롤러를 포함하고,
상기 스토리지 컨트롤러는, 상기 메모리 다이에 대응하는 커맨드 큐를 포함하고,
상기 스토리지 컨트롤러는,
제1 터넌트 및 제2 터넌트로부터 상기 복수의 커맨드들을 수신하고,
상기 복수의 커맨드들을 제공한 터넌트에 따라 상기 복수의 커맨드들을 상기 커맨드 큐에 스케쥴링하고,
상기 메모리 다이에서 수행 중인 동작 및 상기 복수의 커맨드들 각각의 긴급도에 따라 상기 복수의 커맨드들을 리스케쥴링하여, 상기 복수의 커맨드들이 상기 스토리지 컨트롤러로 수신된 순서와 상이한 순서로 상기 메모리 다이가 처리하도록 제어하는 것을 특징으로 하는 스토리지 장치. - 제1 항에 있어서,
상기 스토리지 컨트롤러는, 상기 복수의 커맨드들은 긴급도에 따라 일반 커맨드 및 상기 일반 커맨드보다 우선적으로 처리되는 긴급 커맨드로 분류하고,
상기 복수의 커맨드 큐들 각각은 상기 긴급 커맨드가 인큐되는 긴급 커맨드 큐 및 상기 일반 커맨드가 인큐되는 일반 커맨드 큐를 포함하는 것을 특징으로 하는 스토리지 장치. - 제2 항에 있어서,
상기 스토리지 컨트롤러는,
상기 메모리 다이가 일반 리드 커맨드에 따른 일반 리드 동작을 수행 중일 경우에, 상기 복수의 커맨드들을 리스케쥴링하는 것을 특징으로 하는 스토리지 장치. - 제2 항에 있어서,
상기 스토리지 컨트롤러는,
상기 복수의 커맨드들에 포함된 긴급 리드 커맨드의 처리 순서를 첫번째로 변경함으로써 상기 복수의 커맨드들을 리스케쥴링하고,
처리 순서가 변경된 상기 긴급 리드 커맨드를 상기 메모리 다이로 전송하는 것을 특징으로 하는 스토리지 장치. - 제1 항에 있어서,
상기 스토리지 컨트롤러는,
상기 제1 터넌트로부터 제1 커맨드 및 제2 커맨드를 순차적으로 수신한 후, 상기 제2 터넌트로부터 제3 커맨드를 수신하고,
상기 제1 커맨드, 상기 제3 커맨드, 및 상기 제2 커맨드의 순서로 상기 메모리 다이에서 처리되도록 스케쥴링하는 것을 특징으로 하는 스토리지 장치. - 복수의 메모리 다이들; 및
상기 복수의 메모리 다이들로 제공되는 복수의 커맨드들을 스케쥴링하여 상기 복수의 메모리 다이들의 동작을 제어하는 스토리지 컨트롤러를 포함하고,
상기 스토리지 컨트롤러는, 상기 복수의 메모리 다이들 각각에 대응하는 복수의 커맨드 큐들을 포함하고,
상기 스토리지 컨트롤러는,
상기 복수의 커맨드들 각각이 제공된 터넌트, 및 상기 복수의 커맨드들 각각의 긴급도에 따라 상기 복수의 커맨드들을 상기 복수의 커맨드 큐에 스케쥴링하고,
상기 복수의 커맨드들 중 적어도 일부가 제공될 메모리 다이에서 수행 중인 동작에 따라 상기 복수의 커맨드들을 리스케쥴링하는 것을 특징으로 하는 스토리지 장치. - 스토리지 컨트롤러 및 복수의 메모리 다이를 포함하는 스토리지 장치의 동작 방법으로서,
복수의 터넌트들로부터 복수의 커맨드들을 수신하는 단계;
상기 복수의 터넌트들에 따라 라운드-로빈 방식으로 상기 복수의 커맨드들을 스케쥴링하는 단계;
상기 복수의 커맨드들 각각의 긴급도에 따라 상기 복수의 커맨드들을 스케쥴링하는 단계; 및
상기 복수의 커맨드들 중 적어도 일부가 제공될 메모리 다이에서 수행 중인 동작에 따라 상기 복수의 커맨드들을 리스케쥴링하는 단계를 포함하는 스토리지 장치의 동작 방법. - 제7 항에 있어서,
상기 복수의 커맨드들을 수신하는 단계는, 상기 복수의 커맨드들 각각을 긴급도에 따라 일반 커맨드 및 상기 일반 커맨드보다 우선적으로 처리되는 긴급 커맨드로 분류하는 단계를 포함하고,
상기 복수의 커맨드들을 리스케쥴링하는 단계는, 상기 복수의 커맨드들 각각이 제공될 메모리 다이가 일반 프로그램 커맨드에 따른 일반 프로그램 동작을 수행 중일 때, 상기 복수의 커맨드들에 포함된 긴급 리드 커맨드의 처리 순서를 변경하는 단계를 포함하고,
상기 긴급 리드 커맨드의 처리 순서를 변경하는 단계는,
상기 긴급 리드 커맨드의 처리 순서를 첫번째로 변경하고, 상기 긴급 리드 커맨드를 대응하는 메모리 다이로 전송하는 단계를 포함하는 것을 특징으로 하는 스토리지 장치의 동작 방법. - 제8 항에 있어서,
상기 긴급 리드 커맨드를 대응하는 메모리 다이로 전송하는 단계 이후에, 상기 대응하는 메모리 다이가 수행 중이던 동작을 중단하고 상기 긴급 리드 커맨드에 따른 동작을 수행하는 단계를 더 포함하는 것을 특징으로 하는 스토리지 장치의 동작 방법. - 제7 항에 있어서,
상기 복수의 커맨드들을 수신하는 단계는, 상기 복수의 커맨드들 각각을 긴급도에 따라 일반 커맨드 및 상기 일반 커맨드보다 우선적으로 처리되는 긴급 커맨드로 분류하는 단계를 포함하고,
상기 복수의 커맨드들을 리스케쥴링하는 단계는, 상기 복수의 커맨드들 각각이 제공될 메모리 다이가 일반 프로그램 커맨드에 따른 일반 프로그램 동작을 수행 중일 때, 상기 복수의 커맨드들에 포함된 긴급 리드 커맨드의 처리 순서를 변경하는 단계를 포함하고,
상기 긴급 리드 커맨드의 처리 순서를 변경하는 단계는,
상기 긴급 리드 커맨드의 처리 순서를 변경한 횟수가 기준 값 미만인 경우, 상기 긴급 리드 커맨드의 처리 순서를 첫번째로 변경하고 상기 변경한 횟수를 업데이트하는 단계를 포함하는 것을 특징으로 하는 스토리지 장치의 동작 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200172573A KR20220082563A (ko) | 2020-12-10 | 2020-12-10 | 스토리지 장치 및 이의 동작 방법 |
| US17/516,955 US11829641B2 (en) | 2020-12-10 | 2021-11-02 | Storage device and operating method for managing a command queue |
| CN202111485860.5A CN114625313A (zh) | 2020-12-10 | 2021-12-07 | 存储设备及其操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200172573A KR20220082563A (ko) | 2020-12-10 | 2020-12-10 | 스토리지 장치 및 이의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220082563A true KR20220082563A (ko) | 2022-06-17 |
Family
ID=81898226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200172573A KR20220082563A (ko) | 2020-12-10 | 2020-12-10 | 스토리지 장치 및 이의 동작 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11829641B2 (ko) |
| KR (1) | KR20220082563A (ko) |
| CN (1) | CN114625313A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11892955B2 (en) * | 2021-06-01 | 2024-02-06 | Microchip Technology Inc. | System and method for bypass memory read request detection |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200144B2 (en) | 2001-10-18 | 2007-04-03 | Qlogic, Corp. | Router and methods using network addresses for virtualization |
| US9270532B2 (en) * | 2005-10-06 | 2016-02-23 | Rateze Remote Mgmt. L.L.C. | Resource command messages and methods |
| JP4801725B2 (ja) * | 2006-02-28 | 2011-10-26 | 富士通株式会社 | 演算処理装置及び演算処理装置の制御方法 |
| US9262357B2 (en) * | 2008-09-29 | 2016-02-16 | International Business Machines Corporation | Associating process priority with I/O queuing |
| US8825927B2 (en) | 2012-09-04 | 2014-09-02 | Advanced Micro Devices, Inc. | Systems and methods for managing queues |
| KR102291803B1 (ko) * | 2015-04-07 | 2021-08-24 | 삼성전자주식회사 | 불휘발성 메모리 시스템의 동작 방법, 및 그것을 포함하는 사용자 시스템의 동작 방법 |
| US20160337257A1 (en) | 2015-05-15 | 2016-11-17 | Qualcomm Incorporated | Head-of-line blocking (holb) mitigation in communication devices |
| US9838321B2 (en) | 2016-03-10 | 2017-12-05 | Google Llc | Systems and method for single queue multi-stream traffic shaping with delayed completions to avoid head of line blocking |
| US10387355B2 (en) | 2016-04-12 | 2019-08-20 | Futurewei Technologies, Inc. | NoC interconnect with linearly-tunable QoS guarantees for real-time isolation |
| US10515038B2 (en) * | 2016-09-26 | 2019-12-24 | Red Hat, Inc. | Input/output command rebalancing in a virtualized computer system |
| KR20180069960A (ko) * | 2016-12-15 | 2018-06-26 | 에스케이하이닉스 주식회사 | 메모리 시스템 및 그의 동작 방법 |
| US10620996B2 (en) | 2017-04-26 | 2020-04-14 | Servicenow, Inc. | Batching asynchronous web requests |
| US10732897B2 (en) * | 2018-07-03 | 2020-08-04 | Western Digital Technologies, Inc. | Quality of service based arbitrations optimized for enterprise solid state drives |
| TWI684860B (zh) * | 2018-10-15 | 2020-02-11 | 慧榮科技股份有限公司 | 用來進行讀取加速之方法以及資料儲存裝置及其控制器 |
| US20200089537A1 (en) * | 2019-11-20 | 2020-03-19 | Intel Corporation | Apparatus and method for bandwidth allocation and quality of service management in a storage device shared by multiple tenants |
| EP4100825A4 (en) * | 2020-03-10 | 2023-04-12 | Micron Technology, Inc. | QUEUE MANAGEMENT FOR MEMORY SUBSYSTEMS |
| US20220004337A1 (en) * | 2020-07-06 | 2022-01-06 | Micron Technology, Inc. | Command prioritization in a command queue |
-
2020
- 2020-12-10 KR KR1020200172573A patent/KR20220082563A/ko active Search and Examination
-
2021
- 2021-11-02 US US17/516,955 patent/US11829641B2/en active Active
- 2021-12-07 CN CN202111485860.5A patent/CN114625313A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220188033A1 (en) | 2022-06-16 |
| US11829641B2 (en) | 2023-11-28 |
| CN114625313A (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10042563B2 (en) | Segmenting read requests and interleaving segmented read and write requests to reduce latency and maximize throughput in a flash storage device | |
| US11645011B2 (en) | Storage controller, computational storage device, and operational method of computational storage device | |
| US11755241B2 (en) | Storage system and method for operating storage system based on buffer utilization | |
| US11741034B2 (en) | Memory device including direct memory access engine, system including the memory device, and method of operating the memory device | |
| KR20190130831A (ko) | 컨트롤러 및 이를 포함하는 메모리 시스템 | |
| US11829641B2 (en) | Storage device and operating method for managing a command queue | |
| US20230325277A1 (en) | Memory controller performing selective and parallel error correction, system including the same and operating method of memory device | |
| US20230229357A1 (en) | Storage controller, computational storage device, and operational method of computational storage device | |
| KR20230016110A (ko) | 메모리 모듈, 이를 포함하는 시스템, 및 메모리 모듈의 동작 방법 | |
| US20230214258A1 (en) | Storage controller and storage device | |
| US20240086110A1 (en) | Data storage method, storage apparatus and host | |
| EP4148572B1 (en) | Computational storage device and storage system including the computational storage device | |
| US20230222062A1 (en) | Apparatus and method for cache-coherence | |
| US20230359578A1 (en) | Computing system including cxl switch, memory device and storage device and operating method thereof | |
| US20230393749A1 (en) | Method and device of storage data | |
| KR20220070951A (ko) | 메모리 장치, 이를 포함하는 시스템 및 메모리 장치의 동작 방법 | |
| KR20220094726A (ko) | 메모리 컨트롤러, 비휘발성 메모리 장치 및 그 스토리지 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |