KR20220073840A - 메모리 디바이스에서의 다수의 기능을 위한 서비스 품질 - Google Patents

메모리 디바이스에서의 다수의 기능을 위한 서비스 품질 Download PDF

Info

Publication number
KR20220073840A
KR20220073840A KR1020227015478A KR20227015478A KR20220073840A KR 20220073840 A KR20220073840 A KR 20220073840A KR 1020227015478 A KR1020227015478 A KR 1020227015478A KR 20227015478 A KR20227015478 A KR 20227015478A KR 20220073840 A KR20220073840 A KR 20220073840A
Authority
KR
South Korea
Prior art keywords
function
operations
functions
weight
memory
Prior art date
Application number
KR1020227015478A
Other languages
English (en)
Inventor
루카 버트
Original Assignee
마이크론 테크놀로지, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크론 테크놀로지, 인크. filed Critical 마이크론 테크놀로지, 인크.
Publication of KR20220073840A publication Critical patent/KR20220073840A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Memory System (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

메모리 디바이스와 동작 가능하게 결합된 프로세싱 디바이스는 메모리 디바이스에 액세스하기 위한 복수의 기능을 제공하도록 구성되고, 복수의 기능 중 하나의 기능은 호스트 컴퓨팅 시스템으로부터 입력/출력(I/O) 동작을 수신한다. 프로세싱 디바이스는 또한 복수의 기능 중 각각의 기능의 서비스 품질 레벨을 결정하고, 대응하는 서비스 품질 레벨에 기초하여 대응하는 기능 가중치를 복수의 기능의 각 기능에 할당한다. 프로세싱 디바이스는 또한 실행을 위해 I/O 동작의 서브 세트를 선택하고, 서브 세트는 복수의 기능 중 각각의 기능에서 수신된 I/O 동작의 수를 포함하고, I/O 동작의 수는 각각의 기능의 대응하는 기능 가중치에 따라 결정된다. 그런 다음 프로세싱 로직은 메모리 디바이스에서 I/O 동작의 서브 세트를 실행한다.

Description

메모리 디바이스에서의 다수의 기능을 위한 서비스 품질
본 개시는 전반적으로 메모리 시스템에 관한 것으로, 보다 상세하게는 메모리 디바이스들에서 다수의 기능들에 대한 서비스 품질 레벨들의 할당에 관한 것이다.
메모리 서브 시스템은 데이터를 저장하는 하나 이상의 메모리 컴포넌트들을 포함할 수 있다. 메모리 컴포넌트들은 예를 들어, 비휘발성 메모리 컴포넌트들 및 휘발성 메모리 컴포넌트들일 수 있다. 일반적으로, 호스트 시스템은 메모리 컴포넌트들에 데이터를 저장하고 메모리 컴포넌트들로부터 데이터를 검색하기 위해 메모리 서브 시스템을 이용할 수 있다.
본 개시는 이하에 주어진 상세한 설명 및 본 개시의 다양한 실시예에 대한 첨부 도면을 통하여 보다 상세하게 이해될 것이다.
도 1은 본 개시의 일부 실시예들에 따른 메모리 디바이스들 내의 다수의 기능들에 서비스 품질들의 할당을 위한 예시적인 컴퓨팅 환경을 예시한다.
도 2는 본 개시의 일부 실시예들에 따른 서비스 품질(QoS) 레벨 관리를 위한 메모리 서브 시스템(110)에서의 기능 가중치 및 동작 가중치 할당을 예시한다.
도 3은 본 개시의 일부 실시예들에 따른 QoS 레벨 관리를 지원하는 프로그램/소거(P/E) 일시 중단(suspend)/재개 정책 타임라인의 예를 예시한다.
도 4는 본 개시의 일부 실시예들에 따른 메모리 서브 시스템에서 QoS 레벨 관리를 지원하는 기능 가중치들 및 동작 가중치들을 할당하는 예시적인 방법의 흐름도이다.
도 5는 본 개시의 일부 실시예들에 따른 메모리 서브 시스템에서 QoS 레벨 관리를 지원하는 I/O 동작들의 실행 사이클의 예시적인 방법의 흐름도이다.
도 6은 본 개시의 일부 실시예들에 따른 메모리 서브 시스템에서 QoS 레벨 관리를 지원하는 일시 중단 및 재개 정책의 예시적인 방법의 흐름도이다.
도 7은 본 개시의 일부 실시예들에 따른 메모리 서브 시스템에서 QoS 레벨 관리를 지원하는 기능 가중치들을 할당하는 예시적인 방법의 흐름도이다.
도 8은 본 개시의 실시예들이 동작할 수 있는 예시적인 컴퓨터 시스템의 블록도이다.
본 개시의 양태들은 메모리 서브 시스템의 메모리 디바이스들에서의 다수의 기능들에 대한 서비스 품질 레벨들의 할당에 관한 것이다. 메모리 서브 시스템은 저장 디바이스, 메모리 모듈, 또는 저장 디바이스 및 메모리 모듈의 하이브리드일 수 있다. 저장 디바이스들 및 메모리 모듈들의 예들이 도 1과 관련하여 이하에서 설명된다. 일반적으로, 호스트 시스템은 데이터를 저장하는 메모리 디바이스들과 같은 하나 이상의 메모리 컴포넌트들을 포함하는 메모리 서브 시스템을 이용할 수 있다. 호스트 시스템은 메모리 서브 시스템에 저장될 데이터를 제공할 수 있고, 메모리 서브 시스템으로부터 검색될 데이터를 요청할 수 있다.
서버 아키텍처의 발전과 멀티 코어 프로세서의 가용성은 서버 디자인에 상당한 변화를 가져왔다. 특히 단일 운영 체제(OS)를 실행하는 서버는 다중 테넌트 서버로 대체되었으며, 다수의 "소유자(owner)" (예를 들어, 가상 기계(VM), 컨테이너 또는 마이크로 서비스에서 실행되는 게스트 운영 체제)가 서로 존재를 인지하지 않고서 동일한 물리적 서버 플랫폼을 공유한다.
각 VM에 입력/출력(I/O) 디바이스를 연결하는 것은 문제가 될 수 있고 자원을 많이 소모하므로 연결 프로세스를 단순화하고 성능을 최대화하기 위해 특수 아키텍처가 개발되었다. 특정 기존 메모리 서브시스템은 단일 루트 입력/출력 가상화(SR-IOV : single root input/output virtualization) 사양을 사용한다. SR-IOV는 관리와 성능을 이유로 PCIe(PCI(Peripheral Component Interconnect) Express) 자원을 다양한 하드웨어 기능 간에 격리하고 동시에 가상 환경에서 단일 물리적 PCIe 디바이스가 공유될 수 있도록 하는 사양이다. SR-IOV는 물리적 서버 기계 상의 서로 다른 가상 컴포넌트(예를 들어, 네트워크 어댑터)에 서로 다른 가상 기능(VF : virtual function)을 제공한다. SR-IOV를 사용하면 가상 환경의 상이한 가상 기계가 단일 PCIe 하드웨어 인터페이스를 공유할 수도 있다. 또는 "멀티(Multi)-PF"라고 불리는 다수의 병렬 물리적 기능에 의해 동등한 수용력(capability)이 제공될 수 있다. 멀티-PF 아키텍처는 각 물리적 기능(PF)을 VM에 매핑한다. 물리적 기능은 다수의 물리적 기능을 열거할 수 있으며 하이퍼바이저는 이러한 물리적 기능을 하나 이상의 가상 기계에 할당할 수 있다. 이러한 솔루션에는 열거(enumeration) 및 자원 할당을 담당하는 호스트 OS와 통상의 데이터 흐름을 담당하는 가상 기계에서 실행되는 게스트 OS 세트 둘 모두가 필요하다. 호스트 OS는 이러한 수용력을 인식하고 호스트 OS에 추가할 특수 기능을 식별할 수 있다. 또한 대부분의 하이퍼바이저 환경에서는 이 솔루션을 여러 상황에 적용할 수 있게 하는 SR-IOV를 지원하지 않는다. 또한, 많은 상황에서 각 VM은 제공될 품질, 가용성, 책임 등을 포함하여 특정 레벨의 서비스를 정의하는 SLA(Service Level Agreement)를 가질 수 있다. 특정 상황들에서, 메모리 서브 시스템의 SLA를 충족시키는 것은 각각의 VF 및/또는 PF가 동일한 레벨의 서비스 품질을 제공할 것으로 예상될 때 어려울 수 있다.
본 개시의 양태들은 각 기능 (VF 및/또는 PF)이 시스템 SLA 의 조건들을 충족시키기 위해 상이한 QoS (Quality of Service) 레벨에서 서비스될 수 있도록 메커니즘을 제공하는 메모리 서브 시스템을 구비함으로써 상기의 결함 및 다른 결함을 해결한다. NAND-기반 메모리 및 유사한 디바이스들을 이용하는 메모리 서브 시스템에서 이러한 QoS 레벨들을 제공할 때, 어드레싱하기 위한 특정 고려사항들이 존재한다. 예를 들어, NAND 기록(프로그램)은 느리고 비동기적이며, 유입 시스템 IO과 간섭할 수 있고, 잠재적으로 QoS에 영향을 미칠 수 있다. 게다가, NAND 디바이스들에서, 데이터는 종종 웨어 레벨링 동작들의 일부로서 이동되고, 유입 데이터와의 충돌은 일반적으로 예측할 수 없다. 또한, 메모리 서브 시스템은 예측할 수 없는 레벨들에 대한 I/O에 영향을 미칠 수 있는 특정 백그라운드 동작들(예를 들어, 가비지 컬렉션, 매체 스캔들, 웨어 레벨링)을 수행할 수 있다. NAND 소거 및 프로그램 동작들 둘 모두 고 영향 동작들인데, 이는 활성일 때 전체 다이를 락킹하기 때문이며, 또한 매우 느려서(예를 들어, 판독들보다 10x-30x 느리게), 그러한 다이에 영향을 미치는 IO들이 상당히 지연될 수 있다. 또한, NAND 소거 및 프로그램 동작은 일시 중단/재개 능력을 갖지만, 그것은 모든 다른 IO들에 영향을 미칠 것이다. 따라서, 메모리 서브 시스템의 예측가능한 QoS를 지원하기 위해 다양한 기능들 뿐만 아니라 상이한 유형들의 I/O 및 각각의 기능의 백그라운드 동작들을 우선 순위화하기 위한 기법이 이용될 수 있다.
일 구현예에서, 메모리 서브 시스템은 메모리 서브 시스템 내의 각각의 기능에 할당된 서비스 품질 레벨을 나타내는 기능 가중치(function weight)를 정의한다. 메모리 서브 시스템은 판독 유형 동작들에 대한 특정 동작 가중치 및 기능에서 수신된 기록 유형 동작들에 대한 상이한 동작 가중치를 추가로 정의할 수 있어서, 상이한 QoS 수용력들이 판독 대 기록 동작들에 할당될 수 있다. 메모리 서브 시스템은 또한, 아래에 더 상세히 설명되는 바와 같이, P/E(program/erase) 동작의 동작 가중치 뿐만 아니라 대기 동작(즉, 수행될 후속 동작)의 동작 가중치를 통합하는 P/E 일시 중단 및 재개 동작에 대한 정책을 정의할 수 있다.
본 명세서에서 설명된 다수의 기능 기술들에 대한 서비스 품질 레벨들의 할당은 메모리 서브 시스템이 기능 기록, 동작 가중치, 및 일시 중단/재개 정책 피처(feature)들을 제공함으로써 메모리 서브 시스템의 각각의 기능(VF 또는 PF)에 상이한 레벨의 서비스 품질(QoS)을 제공할 수 있게 한다. 각 기능에 할당된 기능 가중치의 사용은 각 기능이 그 기능 가중치에 기초한 예측 가능한 프로세싱 시간을 가질 수 있기 때문에 각 기능으로부터의 보다 예측 가능한 QoS 레벨을 허용한다. 각각의 기능의 기능 가중치는 또한, 메모리 서브 시스템이 각각의 기능의 레이턴시(latency)를 그의 기능 가중치에 대해 상대적으로 조정할 수 있기 때문에(예를 들어, 기능 가중치가 높을수록 그의 평균 레이턴시가 낮음), 기능의 보다 결정론적 레이턴시를 제공할 수 있다. 또한, 동작 가중치들을 각각의 I/O 동작 유형에 할당함으로써, 메모리 서브 시스템은 빠른 I/O 동작들(예를 들어, 판독 동작들)을 느린 I/O 동작들(예를 들어, 기록 동작들)보다 우선 순위화하여, 빠른 동작들이 다수의 긴 동작들의 실행으로 인해 과도하게 지연되지 않도록 할 수 있다. 또한, 계산된 시간 지연 후에 빠른 I/O 동작들을 실행하기 위해 긴 동작들을 일시 중단할 수 있는 능력은 I/O 동작들의 실행 시간에 대한 백그라운드 동작들(소거, 가비지 컬렉션, 웨어 레벨링 등)의 보다 예측 가능한 영향을 제공할 수 있다. 이러한 방식으로, 백그라운드 동작들의 실행으로 인한 I/O 동작들에 영향을 미칠 수 있는 상당한 지연은 백그라운드 동작이 실행되는 동안 메모리 디바이스에 도달하는 I/O 동작들을 처리하는 방법을 정의할 수 있는 메모리 서브 시스템의 일시 중단/소거 정책에 기초하여 감소되고 추가로 예측될 수 있다. 이들 기술들의 추가적인 세부사항들이 도면들 1 내지 7과 관련하여 아래에 제공된다.
도 1은 본 개시의 일부 실시예들에 따른 메모리 서브 시스템(110)을 포함하는 예시적인 컴퓨팅 환경(100)을 예시한다. 메모리 서브 시스템(110)은 하나 이상의 휘발성 메모리 디바이스들(예를 들어, 메모리 디바이스(140)), 하나 이상의 비휘발성 메모리 디바이스들(예를 들어, 메모리 디바이스(130)), 또는 이들의 조합과 같은 매체를 포함할 수 있다.
메모리 서브 시스템(110)은 저장 디바이스, 메모리 모듈, 또는 저장 디바이스와 메모리 모듈의 하이브리드일 수 있다. 저장 디바이스의 예는 SSD(Solid State Drive), 플래시 드라이브, USB(Universal Serial Bus) 플래시 드라이브, eMMC(embedded Multi-Media Controller) 드라이브, UFS(Universal Flash Storage) 드라이브, HDD(Hard Disk Drive) 등을 포함한다. 메모리 모듈의 예는 DIMM(dual in-line memory module), SO-DIMM(small outline DIMM) 및 NVDIMM(non-volatile dual in-line memory module)을 포함한다.
컴퓨팅 환경(100)은 하나 이상의 메모리 서브 시스템들(110)에 결합되는 호스트 시스템(120)을 포함할 수 있다. 일부 실시예들에서, 호스트 시스템(120)은 상이한 유형들의 메모리 서브 시스템(110)에 결합된다. 도 1은 하나의 메모리 서브 시스템(110)에 결합되는 호스트 시스템(120)의 일 예를 예시한다. 호스트 시스템(120)은 메모리 서브 시스템(110)에 데이터를 기록하고 메모리 서브 시스템(110)으로부터 데이터를 판독하기 위해 메모리 서브 시스템(110)을 사용한다. 본 명세서에서 사용되는, "결합된(coupled to)"은 일반적으로, 전기, 광학, 자기 등과 같은 연결을 포함하여 유선이든 무선이든 간에 간접 통신 연결 또는 (예를 들어, 개재 컴포넌트들 없이) 직접 통신 연결일 수 있는 컴포넌트들 사이의 연결을 지칭한다.
호스트 시스템(120)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 네트워크 서버, 모바일 디바이스, 임베디드 컴퓨터(예를 들어, 차량, 산업 장비, 또는 네트워크화된 상업 디바이스에 포함된 것)와 같은 컴퓨팅 디바이스, 또는 메모리 및 프로세싱 디바이스를 포함하는 그러한 컴퓨팅 디바이스일 수 있다. 호스트 시스템(120)은 물리적 호스트 인터페이스를 통해 메모리 서브 시스템(110)에 결합될 수 있다. 물리적 호스트 인터페이스의 예는 SATA(Serial Advanced Technology Attachment) 인터페이스, PCIe(Peripheral Component Interconnect Express) 인터페이스, USB(Universal Serial Bus) 인터페이스, 파이버 채널(Fibre Channel), SAS(Serial Attached SCSI) 인터페이스 등을 포함하지만, 이에 한정되지는 않는다. 물리적 호스트 인터페이스는 호스트 시스템(120)과 메모리 서브 시스템(110) 사이에서 데이터를 송신하는 데 사용될 수 있다. 호스트 시스템(120)은 메모리 서브 시스템(110)이 PCIe 인터페이스에 의해 호스트 시스템(120)과 결합될 때 메모리 컴포넌트들(예를 들어, 메모리 디바이스들(130))에 액세스하기 위해 NVMe(NVM express) 인터페이스를 추가로 이용할 수 있다. 물리적 호스트 인터페이스는 메모리 서브 시스템(110)과 호스트 시스템(120) 사이에 제어, 어드레스, 데이터, 및 다른 신호들을 전달하기 위한 인터페이스를 제공할 수 있다.
메모리 디바이스들은 상이한 유형들의 비휘발성 메모리 디바이스들 및/또는 휘발성 메모리 디바이스들의 임의 조합을 포함할 수 있다. 휘발성 메모리 디바이스들(예를 들어, 메모리 디바이스(140))은 동적 랜덤 액세스 메모리(DRAM) 및 동기식 동적 랜덤 액세스 메모리(SDRAM)와 같은 랜덤 액세스 메모리(RAM)일 수 있지만, 이에 한정되지 않는다.
비휘발성 메모리 디바이스들(예를 들어, 메모리 디바이스(130))의 일부 예들은 NAND(negative-and) 유형 플래시 메모리 및 3차원 교차점(cross-point)(3D 교차점) 메모리와 같은 기록-인-플레이스(write-in-place) 메모리를 포함한다. 3D 교차점 메모리 디바이스는 스태커블 크로스-그리드 데이터 액세스 어레이와 함께, 벌크 저항의 변화에 기초하여 비트 저장을 수행할 수 있는 비휘발성 메모리 셀들의 교차점 어레이이다. 또한, 많은 플래시-기반 메모리들과는 대조적으로, 교차점 비휘발성 메모리는 기록-인-플레이스 동작을 수행할 수 있고, 여기서 비휘발성 메모리 셀은 이전에 소거된 비휘발성 메모리 셀 없이 프로그래밍될 수 있다.
메모리 디바이스들(130) 각각은 SLC(single level cells), MLC(multi level cells), TLC(triple level cells) 또는 QLC(quad level cells)와 같은 메모리 셀들의 하나 이상의 어레이를 포함할 수 있다. 일부 실시예들에서, 특정 메모리 컴포넌트는 메모리 셀들의 SLC 부분, 및 MLC 부분, TLC 부분, 또는 QLC 부분을 포함할 수 있다. 메모리 셀들 각각은 호스트 시스템(120)에 의해 사용되는 하나 이상의 데이터 비트들을 저장할 수 있다. 또한 메모리 디바이스들(130)의 메모리 셀들은 데이터를 저장하는 데 사용되는 메모리 컴포넌트의 단위를 지칭할 수 있는 페이지들을 형성하도록 그룹화될 수 있다. 일부 유형의 메모리(예를 들어, NAND)를 이용하여, 페이지들은 블록들을 형성하기 위해 그룹화될 수 있다. 3D 교차점과 같은 일부 유형의 메모리는 관리 유닛(MU)을 형성하기 위해 다이 및 채널에 걸쳐 페이지를 그룹화할 수 있다.
NAND 유형 플래시 메모리 및 3D 교차점과 같은 비휘발성 메모리 컴포넌트들이 설명되지만, 메모리 디바이스(130)는 ROM(read-only memory), PCM(phase change memory), MRAM(magneto random access memory), NOR(negative-or) 플래시 메모리, EEPROM(electrically erasable programmable read-only memory)과 같은 임의 다른 유형의 비휘발성 메모리에 기반될 수 있다.
메모리 서브 시스템 제어기(115)는 메모리 디바이스들(130)과 통신하여 메모리 디바이스들(130)에서 데이터를 판독하거나, 데이터를 기록하거나, 또는 데이터를 소거하는 것과 같은 동작들 및 다른 그러한 동작들을 수행할 수 있다. 메모리 서브 시스템 제어기(115)는 하나 이상의 집적 회로들 및/또는 이산 컴포넌트들, 버퍼 메모리, 또는 이들의 조합과 같은 하드웨어를 포함할 수 있다. 하드웨어는 본 명세서에 설명된 동작들을 수행하기 위한 전용(즉, 하드-코딩된) 로직을 갖는 디지털 회로부를 포함할 수 있다. 메모리 서브 시스템 제어기(115)는 마이크로제어기, 특수 목적 로직 회로부(예를 들어, 필드 프로그래밍가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC) 등), 또는 다른 적절한 프로세서일 수 있다.
메모리 서브 시스템 제어기(115)는 로컬 메모리(119)에 저장된 명령어들을 실행하도록 구성된 프로세서(프로세싱 디바이스)(117)를 포함할 수 있다. 예시된 예에서, 메모리 서브 시스템 제어기(115)의 로컬 메모리(119)는 메모리 서브 시스템(110)과 호스트 시스템(120) 사이의 통신들을 처리하는 것을 포함하여, 메모리 서브 시스템(110)의 동작을 제어하는 다양한 프로세스들, 동작들, 로직 흐름들, 및 루틴들을 수행하기 위한 명령어들을 저장하도록 구성된 임베디드 메모리를 포함한다.
일부 실시예들에서, 로컬 메모리(119)는 메모리 포인터들, 페치(fetch)된 데이터 등을 저장하는 메모리 레지스터들을 포함할 수 있다. 로컬 메모리(119)는 또한 마이크로-코드를 저장하기 위한 판독 전용 메모리(ROM)를 포함할 수 있다. 도 1의 예시적인 메모리 서브 시스템(110)이 메모리 서브 시스템 제어기(115)를 포함하는 것으로 예시되었지만, 본 개시의 다른 실시예에서, 메모리 서브 시스템(110)은 메모리 서브 시스템 제어기(115)를 포함하지 않을 수 있고, 대신에 외부 제어(예를 들어, 외부 호스트에 의해, 또는 메모리 서브 시스템으로부터 분리된 프로세서 또는 제어기에 의해 제공됨)에 의존할 수 있다.
일반적으로, 메모리 서브 시스템 제어기(115)는 호스트 시스템(120)으로부터 명령들 또는 동작들을 수신할 수 있고, 명령들 또는 동작들을 명령어들 또는 적절한 명령들로 변환하여 메모리 디바이스들(130)에 대한 원하는 액세스를 달성할 수 있다. 메모리 서브 시스템 제어기(115)는 메모리 디바이스들(130)과 연관된 웨어 레벨링 동작들, 가비지 컬렉션 동작들, 오류 검출 및 오류-정정 코드(ECC) 동작들, 암호화 동작들, 캐싱 동작들, 및 로직 블록 어드레스와 물리적 블록 어드레스 사이의 어드레스 변환들과 같은 다른 동작들을 담당할 수 있다. 메모리 서브 시스템 제어기(115)는 물리적 호스트 인터페이스를 통해 호스트 시스템(120)과 통신하기 위한 호스트 인터페이스 회로부를 더 포함할 수 있다. 호스트 인터페이스 회로부는 호스트 시스템으로부터 수신된 명령들을 메모리 디바이스들(130)에 액세스하기 위한 명령 명령어들로 변환할 수 있을 뿐만 아니라 메모리 디바이스들(130)과 연관된 응답들을 호스트 시스템(120)에 대한 정보로 변환할 수 있다.
메모리 서브 시스템(110)은 또한 도시되지 않은 추가적인 회로부 또는 컴포넌트들을 포함할 수 있다. 일부 실시예들에서, 메모리 서브 시스템(110)은 메모리 서브 시스템 제어기(115)로부터 어드레스를 수신하고 메모리 디바이스들(130)에 액세스하기 위해 어드레스를 디코딩할 수 있는 캐시 또는 버퍼(예를 들어, DRAM) 및 어드레스 회로부(예를 들어, 행 디코더 및 열 디코더)를 포함할 수 있다.
일부 실시예들에서, 메모리 디바이스들(130)은 메모리 디바이스들(130)의 하나 이상의 메모리 셀들에 대한 동작들을 실행하기 위해 메모리 서브 시스템 제어기(115)와 함께 동작하는 로컬 매체 제어기들(135)을 포함한다. 일부 실시예들에서, 메모리 디바이스들(130)은 동일한 메모리 디바이스 패키지 내의 메모리 관리를 위해 로컬 제어기(예를 들어, 로컬 제어기(135))와 결합된 미처리(raw) 메모리 디바이스인 관리형 메모리 디바이스들이다. 관리되는 메모리 디바이스의 예는 관리되는 NAND(MNAND) 디바이스이다.
메모리 서브 시스템(110)은 메모리 서브 시스템의 각각의 기능에 QoS 레벨을 할당하는데 사용될 수 있는 QoS 레벨 관리 모듈(113)을 포함한다. 특정 구현예에서, QoS 레벨 관리 모듈(113)은 기능과 연관된 QoS의 레벨을 나타내는 대응하는 기능 가중치를 메모리 서브 시스템에 의해 제공되는 다수의 기능들 중 각각의 기능에 할당할 수 있다. 일 구현예에서, 기능 가중치는 메모리 디바이스의 평균 레이턴시에 대한 값일 수 있어서, 예를 들어, 주어진 기능은 메모리 디바이스의 평균 레이턴시보다 더 낮은 레이턴시에서 서비스될 수 있다(따라서, 높은 레벨의 QoS를 제공함). 다른 예에서, 다른 기능의 기능 가중치는 다른 기능이 메모리 디바이스의 평균 레이턴시보다 더 높은 레이턴시 레이트에서 서비스될 수 있음을 나타낼 수 있다(따라서 낮은 레벨의 QoS 제공). 특정 구현예들에서, 기능과 연관된 서비스 품질의 레벨은, 기능에서 수신된 초당 입력/출력 동작들(IOPS) 및 기능에 전용된 스루풋을 포함하는 파라미터들을 통해 구성 및 조정될 수 있다. 메모리 서브 시스템은 이러한 파라미터들을 구성할 수 있고, 따라서 QoS의 레벨을 각 파라미터에 최소(즉, "리저브(Reserve)") 및 최대(즉, "리미트(Limit)")를 설정함으로써 수정할 수 있다.
QoS 레벨 관리 모듈(113)은 그런 다음 기능에 할당된 대응하는 기능 가중치 뿐만 아니라 기능에서 수신된 동작의 각각의 I/O 동작 유형에 할당된 동작 가중치들에 기초하여 각각의 기능을 서비스할 수 있다. 구현예에서, QoS 레벨 관리 모듈(113)은 기능의 판독 유형 동작에 제1 동작 가중치를 할당하고, 기능의 기록 유형 동작에 제2 동작 가중치를 할당할 수 있다. 기능 가중치 및 동작 가중치는 그런 다음 하나의 시간 단위당 실행될 수 있는 각각의 유형의 동작의 수를 결정하기 위해 함께 사용될 수 있다. 예를 들어, 주어진 기능에 할당된 기능 가중치는 하나의 시간 단위당 실행될 수 있는 다수의 I/O 동작으로 변환될 수 있다. 동작들의 수는 기능에서 수신된 I/O 동작들의 서브 세트일 수 있다. 또한, 제1 동작 가중치는 얼마나 많은 수의 동작들이 판독 유형 동작들에 할당될 수 있는 지를 나타낼 수 있고, 제2 동작 가중치는 얼마나 많은 수의 동작들이 기록 유형 동작들에 할당될 수 있는 지를 나타낼 수 있다.
실행을 위해 동작이 선택될 때, QoS 레벨 관리 모듈(113)은 동작의 동작 가중치에 따라 일시 중단/재개 정책을 실행함으로써 동작에 할당된 QoS의 레벨(예를 들어, 동작 가중치의 형태)을 추가로 지원한다. 일부 구현예들에서, 판독 동작이 실행을 위해 메모리 디바이스에서 수신될 때, QoS 레벨 관리 모듈(113)은 기록 동작이 메모리 디바이스에 의해 현재 실행되고 있는지 여부를 체크할 수 있다. 그렇다면, QoS 레벨 관리 모듈(113)은 판독 동작의 동작 가중치 및 기록 동작의 동작 가중치에 비례하는 계산된 지연 시간 기간 후에 기록 동작을 중단할 수 있다. 판독 동작의 동작 가중치와 기록 동작의 동작 가중치의 비율이 높을수록 지연 시간 기간이 길어질 수 있다. 지연 시간 기간이 경과한 후, QoS 레벨 관리 모듈(113)은 판독 동작을 실행할 수 있고, 그런 다음 판독 동작이 완료되면, 기록 동작을 재개할 수 있다. QoS 레벨 관리 모듈(113)의 동작들에 관한 추가 상세사항들이 후술된다.
도 2는 본 개시의 일부 실시예들에 따른 서비스 레벨 관리의 품질을 위한 메모리 서브 시스템(110)에서의 기능 가중치 및 동작 가중치 할당을 예시한다. 메모리 서브 시스템(110)은 메모리 디바이스(130)에 액세스하기 위한 다수의 가상 및 물리적 기능들 F(210-230)를 제공할 수 있다. 특정 구현예들에서, 메모리 서브 시스템(110)은 가상화된 환경에서 다수의 가상 기계들(VMs)을 서비스하기 위해 다수의 기능들을 제공하고, 각각의 VM은 메모리 디바이스(130)에 액세스하기 위해 하나 이상의 기능을 이용한다. 기능들 F(210-230)는 메모리 디바이스(130)에 액세스하기 위해 호스트 컴퓨팅 시스템으로부터 I/O 동작들(예를 들어, 판독 동작들, 기록 동작들)을 수신할 수 있다. 다양한 기능들로부터의 이들 I/O 동작들 모두가 메모리 디바이스(130)에 액세스할 필요가 있고, 기능들이 메모리 서브 시스템(110)에 의해 그것에 할당된 QoS의 레벨에서 변할 수 있기 때문에, 각각의 기능은 QoS 레벨과 일치하는 메모리 디바이스(130)에 액세스하기 위한 상이한 우선 순위를 가질 수 있다. 각각의 기능의 우선 순위는 기능 가중치들(211-231)에 의해 표현될 수 있다. 또한, 주어진 기능에 대해, 각각의 동작 유형(예를 들어, 판독 동작 유형, 기록 동작 유형)은 메모리 디바이스(130)를 액세스하기 위한 상이한 우선 순위를 가질 수 있으며, 이는 판독 가중치들(216-236) 및 기록 가중치들(218-238)로서 표현될 수 있다.
메모리 서브 시스템(110)은 기능과 연관된 서비스 품질의 레벨을 나타내는 대응하는 기능 가중치를 각각의 기능(210-230)에 할당할 수 있다. 예를 들어, F(210)에는 기능 가중치(211)가 할당될 수 있고, F(220)에는 기능 가중치(221)가 할당될 수 있고, F(230)에는 기능 가중치(231)가 할당될 수 있다. 일 구현예에서, 기능 가중치는 메모리 디바이스(130)의 평균 레이턴시에 대한 값일 수 있다. 메모리 디바이스(130)의 평균 레이턴시는 I/O 동작이 수신된 시간 내지 I/O 동작의 실행이 완료된 시간 사이의 평균 지속 시간을 지칭할 수 있다. 구현예들에서, 평균 레이턴시는 하나의 시간 단위(예를 들어, 1초)에서 서비스되었던 판독 동작들의 타이밍 및 동일한 시간 단위에서 서비스되었던 기록 동작들의 타이밍을 측정하기 위한 타이머들을 사용하여 계산될 수 있다. 메모리 디바이스(130)의 평균 판독 레이턴시는 그런 다음 판독 동작들의 측정된 시간들의 평균으로서 계산될 수 있다. 메모리 디바이스(130)의 평균 기록 레이턴시는 측정된 기록 동작의 시간들의 평균으로서 계산될 수 있다. 메모리 디바이스(130)의 총 평균 레이턴시는 평균 판독 레이턴시 및 평균 기록 레이턴시의 측면에서 결정될 수도 있다.
메모리 디바이스(130)의 평균 레이턴시가 주어지면, 기능 가중치들(211-231)이 메모리 디바이스(130)의 평균 레이턴시에 대비해 결정될 수 있다. 일 구현예에서, 기능 가중치는 0과 1000 사이의 값일 수 있다. 0은 가장 낮은 가능한 레이턴시를 나타낼 수 있고, 1000은 메모리 디바이스(130)의 평균 레이턴시보다 10배 더 긴 것을 나타낼 수 있다. 0과 1000 사이의 중간 값들은 메모리 디바이스(130)의 평균 레이턴시의 대응하는 백분율을 나타낼 수 있다. 예를 들어, 기능 가중치(211)가 50과 같으면, F(210)는 메모리 디바이스(130)의 평균 레이턴시보다 2배 빠른 레이턴시(즉, 0.5 x 평균 레이턴시)로 서비스되어야 함을 나타내고, 따라서, 따라서 QoS 평균 레벨보다 더 높게 제공할 수 있다. 한편, 기능 가중치(221)가 500과 동일하면, 이는 F(220)가 메모리 디바이스(130)의 평균 레이턴시보다 5배 느린 레이턴시(즉, 5 x 평균 레이턴시)로 서비스되어야 하고, 따라서 평균 레벨보다 낮은 QoS 레벨을 제공한다는 것을 나타낸다. 특정 구현예들에서, 기능 가중치는 주어진 실행 사이클에서 실행될 수 있는 기능에서 수신된 다수의 I/O 동작들로 변환될 수 있다. 예시적인 예에서, 메모리 디바이스(130)가 실행 사이클 동안 12 동작들을 처리할 수 있는 경우, 12 동작들은 다른 기능들의 가중치들에 대한 각각의 기능의 가중치에 따라 기능들 간에 분할될 수 있다. 따라서, 기능 가중치(211)가 50이고, 기능 가중치(221)가 500이고, 기능 가중치(231)가 150이면, 사이클 당 12개의 동작은 각각의 실행 사이클 동안 기능 F(210)에 8개의 동작, 기능 F(220)에 3개의 동작, 및 기능 F(230)에 1개의 동작으로 할당될 수 있다. 메모리 서브 시스템(110)은 그런 다음, 각각의 유형의 동작 가중치에 기초하여, 각각의 기능에 할당된 얼마나 많은 동작들이 판독 유형 동작 대 기록 유형 동작일 수 있는 지를 결정할 수 있다.
판독 가중치들(216-236)은 동일한 기능에서 수신된 대응하는 기록 동작들의 우선 순위와 관련하여, 각각의 기능에서 수신된 판독 동작들의 우선 순위를 결정할 수 있다. 동작 유형들의 우선 순위는, 예를 들어, 상이한 유형들의 동작들의 프로세싱의 랜덤 순서를 추가로 제거할 수 있는, 빠른 동작들이 시간 소모적인 동작들보다 우선 순위화될 수 있게 할 수 있기 때문에, 기능의 보다 예측가능한 QoS를 가능하게 할 수 있다. 예시적인 예에서, 판독 가중치(216)가 3이고 기록 가중치가 1이면, 상기 예에 이어서, F(210)가 실행 사이클당 8개의 동작들이 할당되면, 8개의 동작들은 판독 동작들과 기록 동작들 사이에 각각 3:1로 할당될 수 있다. 따라서, 8개의 동작은 판독 유형 동작의 6개의 동작과 기록 유형 동작의 2개의 동작으로 할당될 수 있다. 구현예에서, 6개의 판독 동작은 판독 큐(212)로부터 검색될 수 있고, 2개의 기록 동작은 기록 큐(214)로부터 검색될 수 있다.
판독 큐들(212-232)은 기능들(210-230)에서 수신된 판독 동작들을 저장하기 위한 동작 큐들이다. 기록 큐들(214-234)은 기능(210-230)에서 수신된 기록 동작들을 저장하기 위한 동작 큐들이다. 판독 큐들(212-232) 및 기록 큐들(214-234)이 기능당 하나의 판독 큐 및 하나의 기록 큐로서 도시되지만, 각각의 기능은 기능에서 수신된 I/O 동작들을 저장하기 위한 하나 이상의 기록 큐들 및 그 자신의 하나 이상의 판독 큐들을 가질 수 있다. I/O 동작은 동작 유형(예를 들어, 판독 대 기록)에 따라 주어진 큐에 저장된다. I/O 동작은 하나 이상의 실행 주기 동안 실행을 위해 검색될 때까지 큐에 저장될 수 있다. 실행 사이클 동안, 판독 동작들은 기능 판독 가중치(216-236) 및 기능 가중치(211-231)에 따라 기능(210-230)의 판독 큐(212-232)로부터 검색될 수 있다. 유사하게, 기록 동작들은 기능 기록 가중치(218-238) 및 기능 가중치(211-231)에 따라 기능(210-230)의 기록 큐(214-234)로부터 검색될 수 있다. 예를 들어, F(220)가 3의 기능 가중치(221), 2의 판독 가중치(226) 및 1의 기록 가중치(228)를 갖는 경우, 메모리 서브 시스템(110) 기능(230)으로부터의 I/O 동작들을 처리할 때 판독 큐(226)로부터 2개의 판독 동작들 및 기록 큐(228)로부터 1개의 기록 동작을 검색할 수 있다. 구현예들에서, 기록 큐(228)가 I/O 동작들을 포함하지 않으면, 메모리 서브 시스템(110)은 이용가능한 경우 판독 큐(226)로부터 3개의 동작들 모두를 검색할 수 있다. 유사하게, 판독 큐(226)가 I/O 동작들을 포함하지 않으면, 메모리 서브 시스템(110)은 이용가능한 경우 프로세싱을 위해 기록 큐(228)로부터 모든 3개의 동작들을 검색할 수 있다.
도 3은 본 개시의 일부 실시예들에 따른 QoS 레벨 관리를 지원하는 프로그램/소거(P/E) 일시 중단/재개 정책 타임라인의 예를 예시한다. P/E 일시 중단/재개 정책은 아래에 설명된 바와 같이 특정 유형의 I/O 동작을 다른 동작 유형의 현재 실행 중인 동작보다 우선 순위화할 수 있다. 실행을 위해 동작이 선택될 때, 메모리 서브 시스템(110)은 동작의 동작 가중치에 따라 일시 중단 및 재개라는 정책을 실행함으로써 동작에 할당된 QoS의 레벨(예를 들어, 동작 가중치의 형태)을 추가로 지원할 수 있다.
블록(310)에서, 기록 동작은 시간 T0에서 메모리 디바이스(130)에서 실행될 수 있다. 기록 동작은 기록 동작의 우선 순위를 나타내는 할당된 기록 가중치를 가질 수 있다. 구현예들에서, 기록 가중치는 기록 동작의 동작 가중치 및 기록 동작이 수신된 기능의 기능 가중치의 함수일 수 있다. 다른 구현예들에서, 기록 가중치는 기록 유형 동작들에 할당된 서비스 품질의 레벨(예를 들어, 기록 유형 동작들에 할당된 특정 대역폭 값)의 함수일 수 있다. 블록(312)에서, 판독 동작은 시간 T1에서 메모리 디바이스(130)에 도달할 수 있다. 판독 동작은 판독 동작의 우선 순위를 나타내는 할당된 판독 가중치를 가질 수 있다. 구현예들에서, 판독 가중치는 판독 동작의 동작 가중치 및 판독 동작이 수신된 기능의 기능 가중치의 함수일 수 있다. 다른 구현예들에서, 판독 가중치는 판독 유형 동작들에 할당된 서비스(예를 들어, 판독 유형 동작들에 할당된 특정 대역폭 값)인 경우 품질 레벨의 함수일 수 있다.
일부 구현예들에서, 기록 동작이 실행되는 동안 판독 동작이 메모리 디바이스(130)에서 수신될 때, 메모리 서브 시스템(110)은 판독 동작을 실행하기 위해, 계산된 지연 시간(320) 후에 기록 동작을 일시 중단할 수 있다. 이렇게 하면 위에서 설명한 대로 기록 동작이 완전히 완료될 때까지 기다릴 필요 없이 빠른 판독 동작이 실행될 수 있다.
지연 시간(320)은 유입 판독 동작의 동작 가중치 및 진행 중인 기록 동작의 동작 가중치에 대응하므로, 기록 동작의 동작 가중치에 대한 판독 동작의 동작 가중치의 비율이 높을수록 지연 시간 기간이 길어질 수 있다. 지연 시간(320)은 더 많은 판독 동작들이 실행을 위해 도달함에 따라 기록 동작이 최소 수의 일시 중단/재개 방해들로 완료되도록 허용함과 동시에 높은 우선 순위 판독 동작들을 실행하는 방법을 제공할 수 있다. 또한, 지연 시간(320)은 미리 결정된 기간(Tr)의 증분들로서 정의될 수 있다. Tr은 메모리 디바이스(130)의 평균 판독 시간(예를 들어, 100 밀리초)으로서 정의될 수 있다. 예를 들어, 기록 동작의 동작 가중치가 200으로 정의되고 판독 동작의 동작 가중치가 50이면, 판독 가중치 대 기록 가중치의 비율은 1:4이고, 이는 지연 시간(320)이 ¼(사분의 일) x Tr일 수 있음을 의미한다. 반면에, 기록 동작의 동작 가중치가 200 대신에 300이면, 비율이 1/6이고, 이는 기록 동작이 판독 동작에 비해 훨씬 더 낮은 우선 순위임을 의미하고, 판독 동작은 실행되기 전에 단지 1/6(육분의 일) x Tr만을 대기할 수 있다.
지연 시간 기간이 경과한 후, 블록(314)에서, 메모리 서브 시스템(110)은 T2에서 기록 동작을 일시 중단한다. 일시 중단 동작이 완료될 때, 메모리 서브 시스템(110)은 T3에서 메모리 디바이스(130)에 액세스하도록 동작하게 함으로써 블록(316)에서 판독 동작을 실행할 수 있다. 후속하여, 판독 동작이 완료될 때, 메모리 서브 시스템은 블록(318)에서 일시 중단된 기록 동작을 재개할 수 있다. 구현예들에서, 본 명세서에서 설명된 일시 중단/재개 정책은 또한 백그라운드 동작(예를 들어, 소거)이 메모리 디바이스(130)에서 실행되고 있고 판독 동작이 실행을 위해 메모리 디바이스(130)에 도달할 때 적용될 수 있다.
도 4는 본 개시의 일부 실시예들에 따른 메모리 서브 시스템에서 QoS 레벨 관리를 지원하기 위해 기능 가중치들 및 동작 가중치들을 할당하는 예시적인 방법의 흐름도이다. 방법(400)은 하드웨어(예를 들어, 프로세싱 디바이스, 회로부, 전용 로직, 프로그래밍가능 로직, 마이크로코드, 디바이스의 하드웨어, 집적 회로 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 실행되거나 실행되는 명령어들), 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 일부 실시예들에서, 방법(400)은 도 1의 QoS 레벨 관리 모듈(113)에 의해 수행된다. 특정한 시퀀스 또는 순서로 도시되었으나, 특별한 사정이 없는 한 프로세스의 순서는 변경될 수 있다. 따라서, 본 발명의 실시예들은 예들로만 이해되어야 하며, 도시된 프로세스들은 다른 순서로 수행될 수 있고, 일부 프로세스들은 병렬적으로 수행될 수 있다. 추가적으로, 다양한 실시예들에서 하나 이상의 프로세스들은 생략될 수 있다. 따라서, 모든 프로세스가 모든 실시예에서 요구되는 것은 아니다. 다른 프로세스 흐름도 가능하다.
동작(410)에서, 프로세싱 로직은 메모리 디바이스(130)를 액세스하기 위한 복수의 기능들을 제공한다. 복수의 기능은 본 명세서에서 더 상세히 상술된 바와 같이, 프로세싱을 위해 호스트 컴퓨팅 시스템으로부터 I/O 동작들을 수신한다. 복수의 기능은 메모리 디바이스(130)의 판독 동작들 및 기록 동작들을 수신할 수 있는 가상 기능들 및/또는 물리적 기능들일 수 있다. 동작(420)에서, 프로세싱 로직은 복수의 기능들 중 각각의 기능에 대응하는 기능 가중치를 할당할 수 있다. 상술된 바와 같이, 기능 가중치는 기능과 연관된 서비스 품질의 레벨을 나타낼 수 있고, 메모리 디바이스(130)의 평균 레이턴시에 대한 값일 수 있다.
동작(430)에서, 프로세싱 로직은 기능에 할당된 대응하는 기능 가중치에 기초하여 서비스할 복수의 기능들 중 기능을 선택할 수 있다. 특정 구현예들에서, 기능 가중치는 위에서 설명된 바와 같이, 실행 사이클 동안 각각의 기능로부터 서비스될 수 있는 다수의 I/O 동작들로 변환될 수 있다. 동작(440)에서, 프로세싱 로직은 기능의 제1 I/O 동작 유형에 제1 동작 가중치를 할당하고, 제1 기능의 제2 I/O 동작 유형에 제2 동작 가중치를 할당할 수 있다. 예를 들어, 제1 I/O 동작 유형은 판독 유형 동작일 수 있고, 제1 동작 가중치는 판독 가중치일 수 있다. 유사하게, 제2 I/O 동작 유형은 기록 유형 동작일 수 있고, 제2 동작 가중치는 기록 가중치일 수 있다.
동작(450)에서, 프로세싱 로직은 제1 동작 가중치에 따라 기능의 제1 I/O 동작 유형의 제1 수의 동작, 및 제2 동작 가중치에 따라 제1 기능의 제2 I/O 동작 유형의 제2 수의 동작들을 실행하기 위해 선택한다. 구현예들에서, 제1 수의 동작은 기능과 연관된 제1 큐로부터 선택될 수 있고, 제2 수의 동작들은 본 명세서에서 위에서 더 상세히 설명된 바와 같이, 기능과 연관된 제2 큐로부터 선택될 수 있다.
도 5는 본 개시의 일부 실시예들에 따른 메모리 서브 시스템에서 QoS 레벨 관리를 지원하는 I/O 동작들의 실행 사이클의 예시적인 방법의 흐름도이다. 방법(500)은 하드웨어(예를 들어, 프로세싱 디바이스, 회로부, 전용 로직, 프로그래밍가능 로직, 마이크로코드, 디바이스의 하드웨어, 집적 회로 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 실행되거나 실행되는 명령어들), 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 일부 실시예들에서, 방법(500)은 도 1의 QoS 레벨 관리 모듈(113)에 의해 수행된다. 특정한 시퀀스 또는 순서로 도시되었으나, 특별한 사정이 없는 한 프로세스의 순서는 변경될 수 있다. 따라서, 본 발명의 실시예들은 예들로만 이해되어야 하며, 도시된 프로세스들은 다른 순서로 수행될 수 있고, 일부 프로세스들은 병렬적으로 수행될 수 있다. 추가적으로, 다양한 실시예들에서 하나 이상의 프로세스들은 생략될 수 있다. 따라서, 모든 프로세스가 모든 실시예에서 요구되는 것은 아니다. 다른 프로세스 흐름도 가능하다.
동작(510)에서, 프로세싱 로직은 실행을 위한 I/O 동작들을 선택하기 위해 가중된 라운드 로빈(round robin) 선택 기법을 시작한다. 인기 있는 선택 기법은 라운드 로빈 및 가중된 라운드 로빈을 포함한다. 라운드 로빈 선택에서, 메모리 서브 시스템은 순서대로 각각의 큐를 방문하고, 각각의 방문 시에 해당 큐로부터 단일 명령를 실행한다(빈 큐들은 생략될 수 있지만). 예를 들어, 큐가 2개인 경우, 메모리 시스템은 제1 큐로부터 하나의 명령, 제2 큐로부터 하나의 명령, 제1 큐로부터 다시 하나의 명령 등을 실행할 수 있다. 가중된 라운드 로빈 선택으로, 하나의 명령 큐는 다른 명령 큐보다 약간 더 큰 양의 대역폭이 할당될 수 있고, 따라서, 가중치가 높은 명령 큐가 방문될 때마다 둘 이상의 명령들의 그룹이 실행될 수 있다. 예를 들어, 메모리 시스템은 제2 큐로 스위칭하기 전에 제1 큐로부터 5개의 명령들을 실행하고, 제1 큐로 스위칭하기 전에 제2 큐로부터 2개의 명령들을 실행할 수 있다.
단계(520)에서, 프로세싱 디바이스는 기능 가중치에 따라 기능에서 수신된 I/O 동작들을 실행함으로써 서비스할 멀티 기능으로 메모리 디바이스의 기능을 선택한다. 구현예들에서, 기능 가중치는, 위에서 더 상세히 설명된 바와 같이, 메모리 디바이스(130)의 평균 레이턴시에 대한 값일 수 있다. 특정 구현예들에서, 기능 가중치는 주어진 실행 사이클에서 실행될 수 있는 기능의 다수의 I/O 동작들로 변환될 수 있다. 따라서, 동작(530)에서, 프로세싱 로직은 기능 가중치에 기초하여 기능에 할당된 동작들의 수를 결정한다.
동작(540)에서, 프로세싱 로직은 판독 동작 가중치 및 기능에 할당된 동작들의 수에 기초하여 판독 동작들의 수를 기능과 연관된 판독 큐로부터 검색할 수 있다. 동작(550)에서, 프로세싱 로직은 기록 동작 가중치 및 기능에 할당된 동작들의 수에 기초하여 기록 동작들의 수를 기능과 연관된 기록 큐로부터 검색할 수 있다. 특정 구현예들에서, 기록 동작 가중치는 (예를 들어, 기록 유형 동작들에 할당된 서비스 품질의 레벨에 의해 결정되는) 메모리 디바이스의 평균 레이턴시에 대한 값일 수 있다. 유사하게, 판독 동작 가중치는 (예를 들어, 판독 유형 동작들에 할당된 서비스 품질의 레벨에 의해 결정되는) 메모리 디바이스의 평균 레이턴시에 대한 값일 수 있다.
특정 구현예들에서, 판독 큐가 I/O 동작들을 포함하지 않으면, 프로세싱 디바이스는 이용가능한 경우 프로세싱을 위해 기록 큐로부터 기능에 할당된 모든 I/O 동작들을 검색할 수 있다. 유사하게, 기록 큐가 I/O 동작들을 포함하지 않으면, 프로세싱 디바이스는 이용가능한 경우 프로세싱을 위해 판독 큐로부터 기능에 할당된 모든 I/O 동작들을 검색할 수 있다.
프로세싱 로직은 각각의 기능 가중치에 따라 각각의 기능로부터 I/O 동작들을 실행하기 위해 메모리 서브 시스템의 다수의 기능들 중 각각의 기능을 통해 계속 루프한다. 따라서, 동작(555)에서, 모든 기능들이 서비스되었는지 여부에 대한 결정이 이루어진다. 동작(560)에서, 모든 기능들이 서비스되었다면, 프로세싱 로직은 현재 실행 사이클에 대한 모든 I/O 동작들이 선택됨에 따라 가중된 라운드 로빈 알고리즘을 종료할 수 있다. 반면에, 프로세싱 로직이 일부 기능들이 아직 서비스되지 않았다고 결정하는 경우, 프로세싱 로직은 실행을 위해 다음 기능에서 수신된 I/O 동작들을 선택하기 위해 동작(520)으로 다시 루프백할 수 있다.
도 6은 본 개시의 일부 실시예들에 따른 메모리 서브 시스템에서 QoS 레벨 관리를 지원하는 일시 중단 및 재개 정책의 예시적인 방법의 흐름도이다. 방법(600)은 하드웨어(예를 들어, 프로세싱 디바이스, 회로부, 전용 로직, 프로그래밍가능 로직, 마이크로코드, 디바이스의 하드웨어, 집적 회로 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 실행되거나 실행되는 명령어들), 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 일부 실시예들에서, 방법(600)은 도 1의 QoS 레벨 관리 모듈(113)에 의해 수행된다. 특정한 시퀀스 또는 순서로 도시되었으나, 특별한 사정이 없는 한 프로세스의 순서는 변경될 수 있다. 따라서, 본 발명의 실시예들은 예들로만 이해되어야 하며, 도시된 프로세스들은 다른 순서로 수행될 수 있고, 일부 프로세스들은 병렬적으로 수행될 수 있다. 추가적으로, 다양한 실시예들에서 하나 이상의 프로세스들은 생략될 수 있다. 따라서, 모든 프로세스가 모든 실시예에서 요구되는 것은 아니다. 다른 프로세스 흐름도 가능하다.
동작(610)에서, 프로세싱 로직은 메모리 디바이스(130)에서의 실행을 위해, 제1 I/O 동작 유형의 제1 동작을 수신한다. 구현예들에서, 제1 동작 유형은 판독 유형 동작일 수 있다. 상술한 바와 같이, 제1 유형 동작은 동작의 우선 순위를 나타내는 할당된 동작 가중치를 가질 수 있다. 동작(620)에서, 프로세싱 로직은 메모리 디바이스(130)에서 제2 I/O 유형의 제2 동작이 실행되고 있는지 여부를 결정한다. 제2 I/O 동작 유형은 기록 유형 동작일 수 있다. 제2 유형 동작은 동작의 우선 순위를 나타내는 할당된 동작 가중치를 가질 수 있다.
프로세스 로직이 현재 처리 중인 I/O 동작이 없다고 결정하면, 프로세스 로직은 동작 650에서 제1 I/O 동작을 실행할 수 있다. 반면에 프로세스 로직이 메모리 디바이스(130)에서 실행 중인 제2 I/O 동작 유형의 제2 동작이 있다고 결정하면, 프로세스 로직은 동작 625에서 임계 조건을 평가하여 제2 동작을 일시 중단할지 여부를 결정할 수 있다. 구현예들에서, 프로세싱 로직은 현재 실행되고 있는 제2 동작이 특정 임계치 미만(예를 들어, 완료까지의 90% 미만)의 실행 퍼센티지에 도달하였는 지를 결정할 수 있고, 프로세싱 로직은 제2 동작이 실행될 제1 동작에 대해 일시 중단되어야 한다고 결정할 수 있다. 다른 구현예들에서, 프로세싱 로직은 제2 동작의 나머지 실행 시간이 제1 동작의 실행 시간보다 더 길다고 결정할 수 있고, 프로세싱 로직은 제2 동작이 일시 중단되어야 한다고 결정할 수 있다.
동작(644)에서, 프로세싱 로직은 제2 동작이 일시 중단될 수 있다고 결정할 수 있고, 제1 동작이 실행되기 전에 지연 시간 기간 동안 대기하게 할 수 있다. 상술한 바와 같이, 지연 시간 기간은 유입하는 제1 동작의 동작 가중치 및 진행 중인 제2 동작의 동작 가중치에 대응하므로, 제1 동작의 동작 가중치에 대한 제2 동작의 동작 가중치의 비율이 클수록 지연 시간 기간이 길어질 수 있다. 지연 시간 기간은 미리 결정된 기간(Tr)의 증분들로서 정의될 수 있다(예를 들어, 메모리 디바이스(130)의 평균 판독 시간).
지연 시간 기간이 경과한 후, 동작(646)에서, 프로세싱 로직은 다른 동작을 실행하기 위해 메모리 디바이스(130)를 해제(free)하기 위해 제2 동작을 일시 중단할 수 있다. 일시 중단 동작이 완료될 때, 동작(648)에서, 프로세싱 로직은 동작이 메모리 디바이스(130)에 액세스하도록 허용함으로써 제1 동작을 실행할 수 있다. 이어서, 제1 동작이 완료될 때, 프로세싱 로직은 660에서 일시 중단된 제2 동작을 재개할 수 있다.
동작(632)에서, 프로세싱 로직이 임계 조건이 충족되지 않았다고 결정하면, 프로세싱 로직은 제2 동작이 그것의 실행을 완료하도록 허용되어야 한다고 결정할 수 있다. 일 구현예에서, 임계 기준은 제2 동작의 실행이 90% 미만으로 완료되었다는 것일 수 있다. 다른 구현예들에서, 임계 기준은 제2 동작의 나머지 실행 시간이 제1 동작의 실행 시간보다 긴 것일 수 있다. 프로세싱 로직은 그런 다음, 제1 동작은 제2 동작이 완전히 실행될 때까지 대기하게 할 수 있다. 동작(650)에서, 제2 동작이 그것의 실행을 완료할 때, 프로세싱 로직은 제1 동작을 실행할 수 있다. 이 경우, 제2 동작이 완료에 가까웠기 때문에, 일시 중단/재개 정책이 회피되어, 이를 방해하는 것은 전체 시스템 성능에 유익하지 않을 수 있다. 도 7 은 본 개시의 일부 실시예들에 따른 메모리 서브 시스템에서 기능 가중치들을 할당하고 QoS 레벨 관리를 지원하는 예시적인 방법의 흐름도이다. 방법(700)은 하드웨어(예를 들어, 프로세싱 디바이스, 회로부, 전용 로직, 프로그래밍가능 로직, 마이크로코드, 디바이스의 하드웨어, 집적 회로 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 실행되거나 실행되는 명령어들), 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 일부 실시예들에서, 방법(700)은 도 1의 QoS 레벨 관리 모듈(113)에 의해 수행된다. 특정한 시퀀스 또는 순서로 도시되었으나, 특별한 사정이 없는 한 프로세스의 순서는 변경될 수 있다. 따라서, 본 발명의 실시예들은 예들로만 이해되어야 하며, 도시된 프로세스들은 다른 순서로 수행될 수 있고, 일부 프로세스들은 병렬적으로 수행될 수 있다. 추가적으로, 다양한 실시예들에서 하나 이상의 프로세스들은 생략될 수 있다. 따라서, 모든 프로세스가 모든 실시예에서 요구되는 것은 아니다. 다른 프로세스 흐름도 가능하다.
동작(710)에서, 프로세싱 로직은 메모리 디바이스(130)에 액세스하기 위한 복수의 기능들을 제공한다. 복수의 기능은 본 명세서에서 더 상세히 상술된 바와 같이, 프로세싱을 위해 호스트 컴퓨팅 시스템으로부터 I/O 동작들을 수신한다. 복수의 기능들은 메모리 디바이스(130)의 판독 동작 및 기록 동작을 수신할 수 있는 가상 기능들 및/또는 물리적 기능들일 수 있다. 동작(720)에서, 프로세스 로직은 복수의 기능 중 각각의 기능에 대한 서비스 품질 레벨을 결정할 수 있다. 구현예들에서, 기능의 서비스 품질 레벨은 메모리 서브시스템의 서비스 레벨 합의(service level agreement)의 조건들(예를 들어, 메모리 서브시스템의 품질, 가용성, 책임들 등)을 충족시키기 위해 기능이 수신할 수 있는 서비스의 레벨을 결정할 수 있다.
동작(730)에서, 프로세싱 로직은 대응하는 기능 가중치를 복수의 기능들 중 각각의 기능에 할당할 수 있다. 상술된 바와 같이, 기능 가중치는 기능과 연관된 서비스 품질의 레벨을 나타낼 수 있고, 메모리 디바이스(130)의 평균 레이턴시에 대한 값일 수 있다.
동작(740)에서, 프로세싱 로직은 메모리 디바이스(130)에서 실행하기 위한 I/O 동작들의 세트를 선택할 수 있다. 구현예들에서, 프로세싱 로직은 각각의 기능의 기능 가중치에 따라, 메모리 디바이스(130)의 기능들에서 수신된 I/O 동작들의 서브 세트를 선택할 수 있다. 예를 들어, 프로세싱 로직은 메모리 디바이스(130)의 복수의 기능들 중 각각의 기능에서 수신된 I/O 동작들의 수를 선택할 수 있다. 각각의 기능에서 선택된 I/O 동작들의 수는 각각의 기능의 서비스 레벨의 품질을 충족시킬 수 있도록 각각의 기능의 대응하는 기능 가중치에 따라 결정된다.
동작(750)에서, 프로세싱 로직은 상기에서 보다 상세히 설명된 바와 같이, 메모리 디바이스(130)의 다음 실행 사이클에서 I/O 동작들의 선택된 서브 세트를 실행한다. 특정 구현예들에서, I/O 동작들의 서브 세트는 도 6의 방법 (600)에 따라 실행될 수 있다. 도 8 은 기계로 하여금 본 명세서에서 논의된 방법론들 중 임의 하나 이상을 수행하게 하기 위한 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템(800)의 예시적인 기계를 예시한다. 일부 실시예들에서, 컴퓨터 시스템(800)은 메모리 서브 시스템(예를 들어, 도 1의 메모리 서브 시스템(110))을 포함하거나, 이에 결합되거나 또는 이를 활용하는 호스트 시스템(예를 들어, 도 1의 호스트 시스템(120))에 대응할 수 있거나, 또는 제어기의 동작들을 수행하는데(예를 들어, 도 1의 QoS 레벨 관리 모듈(113)에 대응하는 동작들을 수행하기 위해 운영 체제를 실행하는데) 사용될 수 있다. 대안적인 실시예들에서, 기계는 LAN, 인트라넷, 엑스트라넷, 및/또는 인터넷 내의 다른 기계들에 연결(예를 들어, 네트워크화)될 수 있다. 기계는 클라이언트 서버 네트워크 환경에서 서버 또는 클라이언트 기계의 용량으로, 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 기계로서, 또는 클라우드 컴퓨팅 인프라스트럭처 또는 환경에서 서버 또는 클라이언트 기계로서 동작할 수 있다.
기계는 개인용 컴퓨터(PC), 태블릿 PC, 셋톱 박스(STB), 개인용 디지털 보조기(PDA), 셀룰러 전화, 웹 어플라이언스, 서버, 네트워크 라우터, 스위치 또는 브리지, 또는 그 기계에 의해 취해질 액션들을 특정하는 명령어들의 세트(순차적 또는 다른 방식으로)를 실행할 수 있는 임의 기계일 수 있다. 또한, 단일 기계가 예시되지만, 용어 "기계"은 또한 본 명세서에서 논의된 방법론들 중 임의 하나 이상을 수행하기 위해 명령어들의 세트(또는 다수의 세트들)를 개별적으로 또는 공동으로 실행하는 기계들의 임의 컬렉션을 포함하도록 취해질 것이다.
예시적인 컴퓨터 시스템(800)은 프로세싱 디바이스(802), 메인 메모리(804)(예를 들어, 판독 전용 메모리(ROM), 플래시 메모리, 동기식 DRAM(SDRAM) 또는 램버스 DRAM(RDRAM) 등과 같은 동적 랜덤 액세스 메모리(DRAM)), 정적 메모리(806)(예를 들어, 플래시 메모리, 정적 랜덤 액세스 메모리(SRAM) 등), 및 데이터 저장 시스템(818)을 포함하고, 이들은 버스(830)를 통해 서로 통신한다.
프로세싱 디바이스(802)는 마이크로프로세서, 중앙 프로세싱 디바이스 등과 같은 하나 이상의 범용 프로세싱 디바이스를 나타낸다. 보다 구체적으로, 프로세싱 디바이스는 CISC(Complex Instruction Set Computing) 마이크로프로세서, RISC(Reduced Instruction Set Computing) 마이크로프로세서, VLIW(Very Long Instruction Word) 마이크로프로세서, 또는 다른 명령어 세트를 구현하는 프로세서, 또는 명령어 세트의 조합을 구현하는 프로세서일 수 있다. 프로세싱 디바이스(802)는 또한 ASIC(application specific integrated circuit), FPGA(field programmable gate array), DSP(digital signal processor), 네트워크 프로세서 등과 같은 하나 이상의 특수 목적 프로세싱 디바이스일 수 있다. 프로세싱 디바이스(802)는 본 명세서에서 논의된 동작들 및 단계들을 수행하기 위한 명령어들(826)을 실행하도록 구성된다. 컴퓨터 시스템(800)은 네트워크(820)를 통해 통신하기 위한 네트워크 인터페이스 디바이스(808)를 더 포함할 수 있다.
데이터 저장 시스템(818)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의 하나 이상을 구현하는 명령어들(826) 또는 소프트웨어의 하나 이상의 세트들이 저장되는 기계 판독 가능 저장 매체(824)(또한 컴퓨터 판독 가능 매체로 알려짐)를 포함할 수 있다. 명령어들(826)은 또한 컴퓨터 시스템(800)에 의한 그 실행 동안 메인 메모리(804) 내에 및/또는 프로세싱 디바이스(802) 내에 완전히 또는 적어도 부분적으로 상주할 수 있고, 메인 메모리(804) 및 프로세싱 디바이스(802)는 또한 기계 판독 가능 저장 매체를 구성한다. 기계 판독 가능 저장 매체(824), 데이터 저장 시스템(818), 및/또는 메인 메모리(804)는 도 1의 메모리 서브 시스템(110)에 대응할 수 있다.
일 실시예에서, 명령어들(826)은 도 1의 QoS 레벨 관리 모듈(113)에 대응하는 기능을 구현하기 위한 명령어들을 포함한다. 기계 판독 가능 저장 매체(824)가 예시적인 실시예에서 단일 매체인 것으로 도시되지만, "기계 판독 가능 저장 매체"라는 용어는 하나 이상의 명령어들의 세트들을 저장하는 단일 매체 또는 다수의 매체들을 포함하도록 취해져야 한다. 용어 "기계 판독 가능 저장 매체"는 또한, 기계에 의한 실행을 위한 명령어들의 세트를 저장 또는 인코딩할 수 있고 기계로 하여금 본 개시의 방법들 중 임의 하나 이상을 수행하게 하는 임의 매체를 포함하는 것으로 취해질 것이다. "기계 판독 가능 저장매체"는 고체 메모리, 광학 매체 및 자기 매체를 포함하지만 이에 한정되지 않는 것으로 이해되어야 한다.
전술한 상세한 설명의 일부 부분은 알고리즘 및 컴퓨터 메모리 내의 데이터 비트에 대한 동작의 심볼 표현의 관점에서 제시되었다. 이러한 알고리즘 설명 및 표현은 데이터 처리 분야의 숙련자가 해당 분야의 숙련자에게 동작의 내용을 가장 효과적으로 전달하기 위해 사용하는 방법이다. 알고리즘은 여기에 있으며 일반적으로 원하는 결과를 도출하는 자가 일관성 있는 일련의 동작으로 간주된다. 그 동작들은 물리량의 물리적인 조작이 필요한 동작들이다. 보통, 반드시 그렇지는 않지만, 이러한 양들은 저장, 결합, 비교 및 다른 방식으로 조작 가능한 전기 또는 자기 신호의 형태를 취한다. 이러한 신호들을 비트, 값, 요소, 심볼, 문자, 용어, 숫자 등으로서 언급하는 것이 때때로, 주로 일반적인 사용의 이유로 편리한 것으로 증명되었다.
그러나 이러한 용어와 유사한 용어가 모두 적절한 물리적 수량과 연관되어 있으며 이러한 수량에 적용되는 편리한 레이블에 불과하다는 점을 염두에 두어야 하다. 본 개시는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적(전자) 양들로서 표현되는 데이터를 조작하고 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 이러한 정보 저장 시스템들 내의 물리적 양들로서 유사하게 표현되는 다른 데이터로 변환하는 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 동작 및 프로세스들을 지칭할 수 있다.
본 개시는 또한 본 명세서에서 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는 의도된 목적을 위해 특별히 구성될 수 있거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광학 디스크, CD-ROM, 및 자기-광학 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 또는 광학 카드, 또는 전자 명령어를 저장하기에 적합한 임의 유형의 매체를 포함하는 임의 유형의 디스크와 같은, 그러나 이에 제한되지 않는, 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 각각은 컴퓨터 시스템 버스에 결합된다.
본원에서 제시된 알고리즘들 및 디스플레이들은 본질적으로 임의 특정 컴퓨터 또는 다른 디바이스와 관련되지 않는다. 다양한 범용 시스템들은 본 명세서의 교시들에 따라 프로그램들과 함께 사용될 수 있거나, 또는 방법을 수행하기 위해 더 특수화된 장치를 구성하기에 편리함을 증명할 수 있다. 이러한 다양한 시스템에 대한 구조는 아래의 설명에 명시된 바와 같이 나타날 것이다. 또한, 본 발명은 임의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어가 본 명세서에 설명된 본 개시의 교시들을 구현하는 데 사용될 수 있다는 것이 인식될 것이다.
본 개시물은 컴퓨터 시스템(또는 다른 전자 디바이스들)을 프로그래밍하여 본 개시에 따른 프로세스를 수행하는 데 사용될 수 있는 명령어들을 저장하고 있는 기계 판독 가능 매체를 포함할 수 있는 컴퓨터 프로그램 제품, 또는 소프트웨어로서 제공될 수 있다. 기계 판독 가능 매체는 기계(예를 들어, 컴퓨터)에 의해 판독 가능 형태로 정보를 저장하기 위한 임의 메커니즘을 포함한다. 일부 실시예들에서, 기계 판독 가능(예를 들어, 컴퓨터 판독 가능) 매체는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 컴포넌트 등과 같은 기계(예를 들어, 컴퓨터) 판독 가능 저장 매체를 포함한다.
전술한 본 명세서에서는 본 발명의 구체적인 실시예를 참조하여 설명하였다. 이하의 청구항들에 기재된 본 개시의 실시예들의 더 넓은 사상 및 범위를 벗어나지 않으면서 그에 대해 다양한 수정들이 이루어질 수 있음이 명백할 것이다. 따라서 명세서 및 도면은 제한적인 의미보다는 예시적인 의미로 간주되어야 한다.

Claims (20)

  1. 시스템에 있어서,
    메모리 디바이스; 및
    상기 메모리 디바이스와 동작 가능하게 결합된 프로세싱 디바이스로서,
    상기 메모리 디바이스에 액세스하기 위한 복수의 기능을 제공하고, 상기 복수의 기능은 호스트 컴퓨팅 시스템으로부터 입력/출력(I/O) 동작을 수신하고;
    상기 복수의 기능 중 각각의 기능의 서비스 품질 레벨을 결정하고;
    대응하는 서비스 품질 레벨에 기초하여 대응하는 기능 가중치를 상기 복수의 기능 중 각각의 기능에 할당하고;
    실행을 위해 상기 I/O 동작의 서브 세트를 선택하고, 상기 서브 세트는 상기 복수의 기능 중 각각의 기능에서 수신된 I/O 동작의 수를 포함하고, 상기 I/O 동작의 수는 각각의 기능의 상기 대응하는 기능 가중치에 따라 결정되고; 및
    상기 메모리 디바이스에서 상기 I/O 동작의 서브 세트를 실행하는, 상기 프로세싱 디바이스를 포함하는, 시스템.
  2. 제1항에 있어서, 상기 복수의 기능의 각각의 기능에 대해, 상기 각각의 기능의 상기 대응하는 기능 가중치는 상기 메모리 디바이스의 평균 레이턴시(latency)에 대한 값인, 시스템.
  3. 제1항에 있어서, 상기 복수의 기능의 각각의 기능과 연관된 상기 서비스 품질 레벨은 상기 각각의 기능에 전용된 대역폭 또는 상기 각각의 기능에서 수신된 I/O 동작의 수 중 적어도 하나를 포함하는, 시스템.
  4. 제1항에 있어서, 상기 I/O 동작은 판독 동작 또는 기록 동작 중 적어도 하나를 포함하는, 시스템.
  5. 제1항에 있어서, 상기 복수의 기능 중 각각의 기능의 상기 대응하는 기능 가중치는 상기 각각의 기능에서 수신된 복수의 I/O 동작으로부터의 상기 I/O 동작의 수에 대응하는, 시스템.
  6. 제1항에 있어서, 상기 복수의 기능 중 각각의 기능은 상기 메모리 디바이스에 액세스하기 위한 가상 기능 또는 물리적 기능 중 적어도 하나인, 시스템.
  7. 제1항에 있어서, 상기 I/O 동작의 서브 세트를 선택하기 위해, 상기 프로세싱 디바이스는 상기 I/O 동작을 선택하기 위한 가중 라운드 로빈 선택 기법을 추가로 사용하는, 시스템.
  8. 명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 명령어가 프로세싱 디바이스에 의해 실행될 때, 상기 프로세싱 디바이스로 하여금,
    실행 사이클 동안 메모리 디바이스에 액세스하기 위한 복수의 기능으로부터 I/O 동작을 선택하기 위한 선택 기법을 실행하게 하고;
    상기 기능에 할당된 대응하는 기능 가중치에 기초하여 실행할 복수의 기능 중 하나의 기능을 선택하게 하고;
    상기 기능에 할당된 I/O 동작의 수를 결정하게 하고, 상기 I/O 동작의 수는 상기 기능의 기능 가중치에 대응하고; 및
    상기 기능과 관련된 하나 이상의 동작 큐로부터 상기 기능에 할당된 상기 I/O 동작의 수를 선택하게 하고; 및
    상기 실행 사이클 동안 상기 I/O 동작의 수를 실행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  9. 제8항에 있어서, 상기 복수의 기능의 각각의 기능에 대해, 상기 각각의 기능의 상기 대응하는 기능 가중치는 상기 메모리 디바이스의 평균 레이턴시에 대한 값인, 비일시적 컴퓨터 판독가능 저장 매체.
  10. 제8항에 있어서, 상기 I/O 동작은 판독 동작 또는 기록 동작 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  11. 제8항에 있어서, 상기 복수의 기능 중 각각의 기능의 상기 대응하는 기능 가중치는 상기 각각의 기능에서 수신된 상기 복수의 I/O 동작으로부터의 I/O 동작의 수에 대응하는, 비일시적 컴퓨터 판독가능 저장 매체.
  12. 제8항에 있어서, 상기 상기 복수의 기능 중 각각의 기능은 상기 메모리 디바이스에 액세스하기 위한 가상 기능 또는 물리적 기능 중 적어도 하나인, 비일시적 컴퓨터 판독 가능 저장 매체.
  13. 제8항에 있어서, 상기 선택 기법은 상기 I/O 동작을 선택하기 위한 가중 라운드 로빈 선택 기법인, 비일시적 컴퓨터 판독 가능 저장 매체.
  14. 방법에 있어서,
    메모리 디바이스에 액세스하기 위한 복수의 기능을 제공하는 단계로서, 상기 복수의 기능은 호스트 컴퓨팅 시스템으로부터 입력/출력(I/O) 동작을 수신하는, 상기 제공하는 단계;
    상기 복수의 기능 중 각각의 기능의 서비스 품질 레벨을 결정하는 단계;
    대응하는 서비스 품질 레벨에 기초하여 대응하는 기능 가중치를 상기 복수의 기능의 각각의 기능에 할당하는 단계;
    실행을 위해 I/O 동작의 서브 세트를 선택하는 단계로서, 상기 서브 세트는 상기 복수의 기능 중 각각의 기능에서 수신된 상기 I/O 동작의 수를 포함하고, 상기 I/O 동작의 수는 각각의 기능의 상기 대응하는 기능 가중치에 따라 결정되는, 상기 선택하는 단계; 및
    상기 메모리 디바이스에서 상기 I/O 동작의 서브 세트를 실행하는 단계를 포함하는, 방법.
  15. 제14항에 있어서, 상기 복수의 기능의 각각의 기능에 대해, 상기 각각의 기능의 상기 대응하는 기능 가중치는 상기 메모리 디바이스의 평균 레이턴시에 대한 값인, 방법.
  16. 제14항에 있어서, 상기 복수의 기능 중 각각의 기능과 연관된 서비스 품질 레벨은 상기 각각의 기능에 전용된 대역폭 또는 상기 각각의 기능에서 수신된 I/O 동작의 수 중 적어도 하나를 포함하는, 방법.
  17. 제14항에 있어서, 상기 I/O 동작은 판독 동작 또는 기록 동작 중 적어도 하나를 포함하는, 방법.
  18. 제14항에 있어서, 상기 복수의 기능 중 각각의 기능의 상기 대응하는 기능 가중치는 상기 각각의 기능에서 수신된 복수의 I/O 동작으로부터의 I/O 동작의 수에 대응하는, 방법.
  19. 제14항에 있어서, 상기 복수의 기능 중 각각의 기능은 상기 메모리 디바이스에 액세스하기 위한 가상 기능 또는 물리적 기능 중 적어도 하나인, 방법.
  20. 제14항에 있어서, 상기 I/O 동작의 서브 세트를 선택하는 단계는 상기 I/O 동작을 선택하기 위한 가중 라운드 로빈 선택 기법을 사용하는 단계를 더 포함하는, 방법.
KR1020227015478A 2019-10-24 2020-10-23 메모리 디바이스에서의 다수의 기능을 위한 서비스 품질 KR20220073840A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/663,025 2019-10-24
US16/663,025 US11620053B2 (en) 2019-10-24 2019-10-24 Quality of service for the multiple functions in memory devices
PCT/US2020/057183 WO2021081419A1 (en) 2019-10-24 2020-10-23 Quality of service for the multiple functions in memory devices

Publications (1)

Publication Number Publication Date
KR20220073840A true KR20220073840A (ko) 2022-06-03

Family

ID=75586751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227015478A KR20220073840A (ko) 2019-10-24 2020-10-23 메모리 디바이스에서의 다수의 기능을 위한 서비스 품질

Country Status (6)

Country Link
US (2) US11620053B2 (ko)
JP (1) JP2022554136A (ko)
KR (1) KR20220073840A (ko)
CN (1) CN114730299B (ko)
DE (1) DE112020005158T5 (ko)
WO (1) WO2021081419A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126369B1 (en) * 2020-02-28 2021-09-21 Western Digital Technologies, Inc. Data storage with improved suspend resume performance
US20220100428A1 (en) * 2020-09-25 2022-03-31 Micron Technology, Inc. Frequency monitoring for memory devices

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193327A1 (en) 2005-02-25 2006-08-31 International Business Machines Corporation System and method for providing quality of service in a virtual adapter
US7577820B1 (en) 2006-04-14 2009-08-18 Tilera Corporation Managing data in a parallel processing environment
JP5052278B2 (ja) 2007-09-28 2012-10-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 記憶装置を制御する装置及び方法
US9223514B2 (en) 2009-09-09 2015-12-29 SanDisk Technologies, Inc. Erase suspend/resume for memory
GB2473505B (en) * 2009-09-15 2016-09-14 Advanced Risc Mach Ltd A data processing apparatus and a method for setting priority levels for transactions
US8407403B2 (en) 2009-12-07 2013-03-26 Microsoft Corporation Extending SSD lifetime using hybrid storage
KR101658035B1 (ko) * 2010-03-12 2016-10-04 삼성전자주식회사 가상 머신 모니터 및 가상 머신 모니터의 스케줄링 방법
US9411599B2 (en) 2010-06-24 2016-08-09 International Business Machines Corporation Operand fetching control as a function of branch confidence
WO2013086689A1 (zh) 2011-12-13 2013-06-20 华为技术有限公司 替换缓存对象的方法和装置
JP5891900B2 (ja) * 2012-03-29 2016-03-23 富士通株式会社 アクセス制御方法、サーバ装置およびストレージ装置
US10169090B2 (en) * 2012-09-12 2019-01-01 Salesforce.Com, Inc. Facilitating tiered service model-based fair allocation of resources for application servers in multi-tenant environments
US9304828B2 (en) 2012-09-27 2016-04-05 Hitachi, Ltd. Hierarchy memory management
US9032165B1 (en) 2013-04-30 2015-05-12 Amazon Technologies, Inc. Systems and methods for scheduling write requests for a solid state storage device
US9887924B2 (en) 2013-08-26 2018-02-06 Vmware, Inc. Distributed policy-based provisioning and enforcement for quality of service
KR20150116352A (ko) 2014-04-07 2015-10-15 삼성전자주식회사 메모리 제어 방법 및 시스템
US9930133B2 (en) 2014-10-23 2018-03-27 Netapp, Inc. System and method for managing application performance
JP6428231B2 (ja) * 2014-12-15 2018-11-28 富士通株式会社 ストレージ管理装置、性能調整方法及び性能調整プログラム
JP6451308B2 (ja) * 2014-12-24 2019-01-16 富士通株式会社 ストレージ装置およびストレージ装置制御プログラム
US20160188529A1 (en) 2014-12-25 2016-06-30 Intel Corporation Guaranteed quality of service in system-on-a-chip uncore fabric
US10073714B2 (en) * 2015-03-11 2018-09-11 Western Digital Technologies, Inc. Task queues
US10296383B2 (en) * 2015-07-10 2019-05-21 Samsung Electronics Co., Ltd. Computing system with resource management mechanism and method of operation thereof
US10019174B2 (en) 2015-10-27 2018-07-10 Sandisk Technologies Llc Read operation delay
US10055137B2 (en) 2016-06-29 2018-08-21 Intel Corporation Method, system, and apparatus for nested suspend and resume in a solid state drive
US10055158B2 (en) * 2016-09-22 2018-08-21 Qualcomm Incorporated Providing flexible management of heterogeneous memory systems using spatial quality of service (QoS) tagging in processor-based systems
US10261935B1 (en) 2016-09-29 2019-04-16 Amazon Technologies, Inc. Monitoring excessive use of a peripheral device
CN109154883A (zh) 2017-03-22 2019-01-04 波利伍德有限责任公司 驱动级内部服务质量
US10564857B2 (en) * 2017-11-13 2020-02-18 Western Digital Technologies, Inc. System and method for QoS over NVMe virtualization platform using adaptive command fetching
US10620959B2 (en) * 2017-12-01 2020-04-14 International Business Machines Corporation Optimized multi-processor instruction scheduler
US10846253B2 (en) * 2017-12-21 2020-11-24 Advanced Micro Devices, Inc. Dynamic page state aware scheduling of read/write burst transactions
US10296230B1 (en) * 2017-12-22 2019-05-21 Advanced Micro Devices, Inc. Scheduling memory requests with non-uniform latencies
US10649813B2 (en) 2018-03-29 2020-05-12 Intel Corporation Arbitration across shared memory pools of disaggregated memory devices
US10453540B2 (en) * 2018-04-23 2019-10-22 Intel Corporation Method and apparatus to prioritize read response time in a power-limited storage device
US10866740B2 (en) * 2018-10-01 2020-12-15 Western Digital Technologies, Inc. System and method for performance-based multiple namespace resource allocation in a memory
KR20200057311A (ko) 2018-11-16 2020-05-26 삼성전자주식회사 통신되는 데이터의 양을 동작의 중단 빈도에 따라 스로틀링하는 스토리지 장치

Also Published As

Publication number Publication date
DE112020005158T5 (de) 2022-08-18
US20230236734A1 (en) 2023-07-27
US12073088B2 (en) 2024-08-27
CN114730299B (zh) 2024-07-16
CN114730299A (zh) 2022-07-08
US11620053B2 (en) 2023-04-04
US20210124499A1 (en) 2021-04-29
WO2021081419A1 (en) 2021-04-29
JP2022554136A (ja) 2022-12-28

Similar Documents

Publication Publication Date Title
US11698876B2 (en) Quality of service control of logical devices for a memory sub-system
CN113795828B (zh) 多功能装置的服务类别
US11126375B2 (en) Arbiter circuit for commands from multiple physical functions in a memory sub-system
US12073088B2 (en) Quality of service for the multiple functions in memory devices
US11461256B2 (en) Quality of service levels for a direct memory access engine in a memory sub-system
CN112585570B (zh) 存储器系统中用于提高命令总线利用率的控制器命令调度
US20220197563A1 (en) Qos traffic class latency model for just-in-time (jit) schedulers
KR20220073841A (ko) 가중된 메모리 액세스 동작 유형을 사용하는 메모리 디바이스에 대한 서비스 품질
US11237731B2 (en) Quality of service for memory devices using suspend and resume of program and erase operations
US11868287B2 (en) Just-in-time (JIT) scheduler for memory subsystems
US11829618B2 (en) Memory sub-system QOS pool management
CN118051181A (zh) 存储器子系统中的服务质量管理
CN115237834A (zh) 高速外围组件互连装置及其操作方法