KR102446733B1 - 스토리지 장치 및 스토리지 장치를 포함하는 전자 장치 - Google Patents

스토리지 장치 및 스토리지 장치를 포함하는 전자 장치 Download PDF

Info

Publication number
KR102446733B1
KR102446733B1 KR1020170163369A KR20170163369A KR102446733B1 KR 102446733 B1 KR102446733 B1 KR 102446733B1 KR 1020170163369 A KR1020170163369 A KR 1020170163369A KR 20170163369 A KR20170163369 A KR 20170163369A KR 102446733 B1 KR102446733 B1 KR 102446733B1
Authority
KR
South Korea
Prior art keywords
storage device
party
host
doorbell
queue
Prior art date
Application number
KR1020170163369A
Other languages
English (en)
Other versions
KR20190064083A (ko
Inventor
최영근
민재홍
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170163369A priority Critical patent/KR102446733B1/ko
Priority to US16/028,791 priority patent/US10742737B2/en
Priority to CN201811439438.4A priority patent/CN110032332B/zh
Publication of KR20190064083A publication Critical patent/KR20190064083A/ko
Application granted granted Critical
Publication of KR102446733B1 publication Critical patent/KR102446733B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3855—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3854—Instruction completion, e.g. retiring, committing or graduating
    • G06F9/3856—Reordering of instructions, e.g. using queues or age tags
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/53—Network services using third party service providers

Abstract

개시된 일 실시 예에 따른 전자 장치는 복수의 도어벨 레지스터들을 포함하는 스토리지 장치, 스토리지 장치와 제1인터페이스 동작을 수행하기 위한 호스트, 및 호스트의 개입 없이 스토리지 장치와 제2인터페이스 동작을 수행하기 위한 써드-파티 장치를 포함하고, 제1인터페이스 동작과 제2인터페이스 동작은 복수의 도어벨 레지스터들에 의해 관리되는 커맨드 큐에 기초하여 수행되고, 복수의 도어벨 레지스터들 중 적어도 하나는 제2인터페이스 동작을 위해 할당될 수 있다.

Description

스토리지 장치 및 스토리지 장치를 포함하는 전자 장치{STORAGE DEVICE AND ELECTRONIC DEVICE INCLUDING THE SAME}
전자 장치에 관한 것으로, 구체적으로는 스토리지 장치를 포함하는 전자 장치의 인터페이스 동작에 관한 것이다.
플래시 메모리 장치를 기반으로 하는 데이터 저장 장치의 대표적인 예로써, 솔리드 스테이트 드라이브(Solid State Drive, SSD)가 있다. SSD와 같은 데이터 저장 장치에 사용되는 인터페이스로 SATA(Serial ATA), PCIe(Peripheral Component Interconnect Express), SAS(Serial Attached SCSI) 등이 있다. SSD의 성능은 점차 개선되고 있고, 동시에 처리되는 데이터 양도 점차 증가하고 있다. 하지만, SATA와 같은 인터페이스는 SSD와 같은 데이터 저장 장치에 특화된 인터페이스가 아니므로, 근본적으로 한계점을 가지고 있다.
최근, SSD에 적용될 수 있는 표준화된 인터페이스를 만들고자 하는 노력의 일환으로써, NVMe(Non-Volatile Memory Express)가 탄생하게 되었다. NVMe는 PCIe 버스를 통해 연결되는 스토리지 장치들(또는 비휘발성 메모리들)에 대하여 직접 메모리 접근(Direct Memory Access)의 기능을 제공할 수 있다.
써드-파티 장치(Third-Party Device)와의 커맨드 큐 베이스 인터페이스 동작을 수행하기 위한 스토리지 장치가 제공될 수 있다.
본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
전자 장치는, 복수의 도어벨 레지스터들을 포함하는 스토리지 장치, 상기 스토리지 장치와 제1인터페이스 동작을 수행하기 위한 호스트, 및 상기 호스트의 개입 없이 상기 스토리지 장치와 제2인터페이스 동작을 수행하기 위한 써드-파티 장치를 포함하고, 상기 제1인터페이스 동작과 상기 제2인터페이스 동작은 상기 복수의 도어벨 레지스터들에 의해 관리되는 커맨드 큐에 기초하여 수행되고, 상기 복수의 도어벨 레지스터들 중 적어도 하나는 상기 제2인터페이스 동작을 위해 할당될 수 있다.
스토리지 장치는, 호스트 및 써드-파티 장치와 통신하는 스토리지 장치에 있어서, 데이터를 저장하기 위한 비-휘발성 메모리, 및 상기 비-휘발성 메모리에 데이터를 쓰거나 상기 비-휘발성 메모리로부터 데이터를 읽기 위한 동작을 관리하도록 구성되는 컨트롤러를 포함하고, 상기 컨트롤러는, 복수의 도어벨 레지스터들을 포함하고, 상기 복수의 도어벨 레지스터들 중 적어도 하나는 상기 써드-파티 장치와의 인터페이스 동작을 위해 할당되고, 상기 인터페이스 동작은 상기 복수의 도어벨 레지스터들에 의해 관리되는 커맨드 큐에 기초하여 상기 호스트의 개입 없이 수행될 수 있다.
호스트 및 써드-파티 장치와 통신하는 스토리지 장치에 있어서, 버퍼 메모리, 데이터를 저장하기 위한 비-휘발성 메모리, 및 상기 호스트의 개입 없이 상기 써드-파티 장치와 통신하기 위해 할당된 적어도 하나의 도어벨 레지스터를 포함하는 컨트롤러를 포함하고, 상기 컨트롤러는, 상기 써드-파티 장치와의 상기 통신을 위한 서브미션 큐와 컴플리션 큐를 관리하기 위한 적어도 하나의 도어벨 레지스터를 포함하고, 상기 써드-파티 장치로부터 수신된 커맨드에 응답하여, 상기 써드-파티 장치로부터 요청된 데이터를 상기 비-휘발성 메모리로부터 읽고 상기 읽힌 데이터를 상기 버퍼 메모리에 저장하도록 구성될 수 있다.
도1은 일 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도2는 일 실시 예에 따른 커맨드 큐 베이스 인터페이스의 동작을 설명하기 위한 도면이다.
도3은 일 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도4는 일 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도5는 일 실시 예에 따라 각 인터페이스 동작에 독립적으로 적용되는 관리 정책을 나타내는 개념도이다.
도6은 일 실시 예에 따른 전자 장치가 데이터를 로드하는 동작을 설명하기 위한 도면이다.
도7은 일 실시 예에 따른 전자 장치를 포함하는 전자 시스템의 예시적인 구성을 나타내는 블록도이다.
아래에서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자들(이하, 통상의 기술자들)이 본 발명을 용이하게 실시할 수 있도록, 첨부되는 도면들을 참조하여 몇몇 실시 예가 명확하고 상세하게 설명될 것이다.
도1은 일 실시 예에 따른 전자 장치의 블록도를 나타낸다.
전자 장치(1000)는 데이터를 저장하고 저장한 데이터를 관리하여 사용자에게 필요한 정보를 제공할 수 있다. 전자 장치(1000)는 퍼스널 컴퓨터(PC)이거나, 노트북 컴퓨터, 휴대폰, PDA(Personal Digital Assistant), 또는 카메라 등과 같은 모바일 전자 장치일 수 있으나 이에 제한되지 않는다.
전자 장치(1000)는 호스트(Host, 1200), 써드-파티 장치(Third-Party Device, 1400), 및 스토리지 장치(1600)를 포함할 수 있다. 호스트(1200), 써드-파티 장치(1400), 및 스토리지 장치(1600)는 서로 버스를 통해 연결될 수 있다. 버스는 PCIe 방식을 사용하는 PCIe 버스일 수 있다. PCIe 버스는 PCI, PCI-X 및 AGP(Accelerated Graphics Port) 버스 표준들을 대체하도록 설계된 고속 직렬 컴퓨터 확장 버스 표준이다.
호스트(1200), 써드-파티 장치(1400), 및 스토리지 장치(1600)는 커맨드 큐에 기초한 인터페이스(예를 들어, NVMe 프로토콜)를 사용하여 상호 간에 통신을 수행할 수 있다. 이에 대해서는 후술한다.
호스트(1200)는 하나 이상의 전자 회로, 칩, 장치의 동작들에 따라, 호스트(1200)의 사용자에게 다양한 서비스를 제공할 수 있다. 일 실시 예에 따른 호스트(1200)는, 호스트(1200)의 사용자로부터 수신된 명령을 처리하기 위해 다양한 연산을 수행할 수 있고, 호스트(1200)의 사용자에게 연산 결과를 제공할 수 있다. 일 실시 예에 따른 호스트(1200)는 운영 체제, 어플리케이션 등을 포함할 수 있다. 일 실시 예에 따른 호스트(1200)는 NVMe 프로토콜을 지원하기 위한 NVMe 드라이버를 포함할 수 있다. 일 실시 예에 따른 호스트(1200)는 전용 논리 회로(예컨대, FPGA(Field Programmable Gate Array), ASICs(Application Specific Integrated Circuits) 등)를 포함하는 연산 프로세서(예를 들어, CPU(Central Processing Unit), GPU(Graphic Processing Unit), AP(Application Processor) 등)를 포함할 수 있으나 이에 제한되지 않는다.
일 실시 예에 따른 호스트(1200)는 써드-파티 장치(1400) 및 스토리지 장치(1600)와 함께 단일의 전자 장치에 포함될 수 있다. 이러한 예에서, 호스트(1200)는 연산 프로세서 그 자체일 수 있다.
스토리지 장치(1600)는 데이터를 저장할 수 있다. 스토리지 장치(1600)는 컨트롤러(1640)와 메모리(1660)를 포함할 수 있다. 예를 들어, 스토리지 장치(1600)는 NVMe 프로토콜을 지원하는 솔리드 스테이트 드라이브(Solid State Drive, SSD)일 수 있다.
컨트롤러(1640)는 스토리지 장치(1600)의 전반적인 동작들을 제어할 수 있다. 예를 들어, 컨트롤러(1640)는 메모리(1660)의 동작들을 스케줄링하거나, 스토리지 장치(1600)에서 처리되는 신호들/데이터를 인코딩 및 디코딩할 수 있다. 예를 들어, 컨트롤러(1640)는 메모리(1660)가 데이터를 저장하거나 출력하도록 메모리(1660)를 제어할 수 있다.
컨트롤러(1640)는 호스트(1200) 또는 써드-파티 장치(1400)로부터 커맨드를 수신하고, 수신된 커맨드에 응답하여 다양한 동작들을 수행할 수 있다. 예를 들어, 커맨드는 NVMe 프로토콜에 기반하는 커맨드일 수 있다.
컨트롤러(1640)는 복수의 채널을 통해 메모리(1660)와 연결될 수 있다. 컨트롤러(1640)는 호스트(1200) 또는 써드-파티 장치(1400)로부터의 다양한 요청에 응답하여 동작을 수행하기 위한 하드웨어 또는 소프트웨어 장치(미도시)를 포함할 수 있다. 일 실시 예에 따른 컨트롤러(1640)는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), SDRAM(Synchronous DRAM)과 같은 휘발성 메모리를 포함할 수 있다.
컨트롤러(1640)는 위에서 설명된 및 아래에서 설명될 기능들을 수행하도록 구성되는 하나 이상의 하드웨어 구성 요소들(예컨대, 아날로그 회로, 논리 회로 등)을 포함할 수 있다. 추가로 또는 대안적으로, 컨트롤러(1640)는 하나 이상의 프로세서 코어들을 포함할 수 있다. 위에서 설명된 및 아래에서 설명될 컨트롤러(1640)의 기능들은 소프트웨어 및/또는 펌웨어의 프로그램 코드로 구현될 수 있고, 컨트롤러(1640)의 프로세서 코어(들)는 프로그램 코드의 명령어 집합을 실행할 수 있다. 컨트롤러(1640)의 프로세서 코어(들)는 명령어 집합을 실행하기 위해 다양한 종류의 산술 연산들 및/또는 논리 연산들을 처리할 수 있다.
메모리(1660)는 적어도 하나의 비-휘발성 메모리(non-volatile memory)를 포함할 수 있다. 예를 들어, 메모리(1660)는 복수의 플래시 메모리(Flash Memory)를 포함할 수 있다. 예를 들어, 메모리(1660)는 PRAM, FRAM, MRAM 과 같은 다른 종류의 비-휘발성 메모리를 포함할 수 있다. 메모리(1660)는 메모리 셀 당 하나의 비트 데이터 또는 2비트 이상의 데이터를 저장할 수 있다. 또한, 메모리(1660)는 구성하는 비-휘발성 메모리는 3차원 구조의 메모리 셀 어레이를 포함할 수도 있다.
써드-파티 장치(1400)는, 호스트(1200)의 개입(intervention) 없이 직접 메모리 액세스(Direct Memory Access) 방식으로 스토리지 장치(1600)에 데이터를 쓰거나 스토리지 장치(1600)로부터 데이터를 읽을 수 있는 모든 장치를 의미할 수 있다.
일 실시 예에 따라, 써드-파티 장치(1400)는 스토리지 장치(1600)와 피어-투-피어(peer-to-peer) 통신을 수행할 수 있다. 예를 들어, 써드-파티 장치(1400)와 스토리지 장치(1600) 사이의 피어-투-피어 통신은 직접 메모리 접근 방식을 사용하여 PCIe 버스를 통해 수행될 수 있다. 이러한 경우, 써드-파티 장치(1400)와 스토리지 장치(1600) 각각은 피어(peer)일 수 있다. 써드-파티 장치(1400)와 스토리지 장치(1600) 사이에 피어-투-피어 통신이 수행되는 경우, 써드-파티 장치(1400)와 스토리지 장치(1600)는 각각 클라이언트와 서버로서 동작할 수 있다.
일 실시 예에 따라, 써드-파티 장치(1400)는 직접 메모리 접근 방식을 사용하여 스토리지 장치(1600)로부터 입력 데이터를 획득하는 GPU일 수 있다. 또는, 써드-파티 장치(1400)는 CPU 오프로드(Offload)를 수행함으로써 연산을 가속화할 수 있는 하드웨어 가속기(accelerator)를 포함할 수 있다.
다시 스토리지 장치(1600)에 대해 설명하면, 스토리지 장치(1600)는 NVMe 프로토콜과 같은 커맨드 큐에 기초한 인터페이스(이하, 커맨드 큐 베이스 인터페이스)에 기초하여 호스트(1200) 또는 써드-파티 장치(1400)와 통신할 수 있다. 커맨드 큐 베이스 인터페이스 동작은, 요청된 커맨드(requested command)의 입력을 위한 서브미션 큐(submission queue, SQ)와 해당 커맨드의 처리 결과를 기록하기 위한 컴플리션 큐(completion queue, CQ)로 구성된 큐 페어(queue pair)에 기초하여 수행될 수 있다.
호스트(1200)에 복수의 코어들이 존재하는 경우, 복수의 코어들 각각은 하나의 서브미션 큐와 하나의 컴플리션 큐로 구성된 하나의 큐 페어에 기초하여 스토리지 장치(1600)와 인터페이스 동작을 수행할 수 있다. 또한, 써드-파티 장치(1400)가 복수 개인 경우, 복수의 써드-파티 장치(1400)들 각각은 하나의 서브미션 큐와 하나의 컴플리션 큐로 구성된 하나의 큐 페어에 기초하여 스토리지 장치(1600)와 인터페이스 동작을 수행할 수 있다.
스토리지 장치(1600)는 커맨드 큐 베이스 인터페이스 동작을 수행하기 위한 도어벨 레지스터들(doorbell registers, 1620)을 포함할 수 있다. 설명의 편의를 위해, 도어벨 레지스터들(1620)은 컨트롤러(1640)와 분리하여 도시되었으나, 일 실시 예에 따라 도어벨 레지스터들(1620)은 컨트롤러(1640) 내의 프로세서 코어에 포함될 수 있다.
도어벨 레지스터들(1620) 각각은 호스트(1200) 또는 써드-파티 장치(1400)에 의해 생성된 큐 페어를 관리하기(또는 제어하기) 위한 레지스터이다. 도어벨 레지스터들(1620) 각각은 하나의 큐 페어와 대응될 수 있다. 예를 들어, 도어벨 레지스터들(1620) 각각은 서브미션 큐의 테일을 가리키는 포인터와 컴플리션 큐의 헤드를 가리키는 포인터를 저장할 수 있다. 스토리지 장치(1600)는 도어벨 레지스터들(1620) 각각과 대응하는 큐 페어에 접근함으로써 호스트(1200) 또는 써드-파티 장치(1400)와의 인터페이스 동작을 수행할 수 있다.
도2를 참조하여 커맨드 큐 베이스 인터페이스 방식을 상세히 설명하면, 호스트(1200)는 서브미션 큐(2220)와 컴플리션 큐(2240)를 생성할 수 있다. 만약, 호스트(1200)에 복수의 코어들이 존재하는 경우, 서브미션 큐(2220)와 컴플리션 큐(2240)는 복수의 코어들 중 하나의 코어에 대응하여 생성된 큐 페어일 수 있다. 일 실시 예에 따라 큐 페어는 호스트(1200) 상의 메모리에 생성될 수 있다.
도어벨 레지스터(2622)는 도1에 도시된 도어벨 레지스터들(1620) 중 하나의 도어벨 레지스터를 나타낼 수 있다. 도어벨 레지스터(2622)는 서브미션 큐(2220)와 컴플리션 큐(2240)를 관리하도록 할당된 레지스터이다. 예를 들어, 스토리지 장치(1600)는 도어벨 레지스터(2622)를 통해 서브미션 큐(2220)와 컴플리션 큐(2240)에 접근함으로써, 호스트(1200)와의 커맨드 큐 베이스 인터페이스 동작을 수행할 수 있다.
일 실시 예에 따른 호스트(1200)는 스토리지 장치(1600)에 커맨드(예를 들어, 데이터에 대한 읽기 또는 쓰기)의 수행을 요청할 수 있다. 호스트(1200)는 서브미션 큐(2220)에 커맨드를 서브미션(또는, 입력)할 수 있다(S1). 서브미션 큐(2220)의 테일 포인터는 업데이트되고 호스트(1200)는 업데이트된 서브미션 큐 테일 포인터를 스토리지 장치(1600)에 전송할 수 있다(S2). 예를 들어, 업데이트된 서브미션 큐 테일 포인터는 스토리지 장치(1600)의 도어벨 레지스터(2622)에 기록될 수 있다.
스토리지 장치(1600)는 서브미션 큐(2220)로부터 커맨드를 페치할 수 있다(S3). 스토리지 장치(1600)는 페치된 커맨드를 처리(또는 실행)할 수 있다(S4). 스토리지 장치(1600)는 커맨드의 처리 후에 컴플리션 큐(2240)에 커맨드의 처리가 완료되었음을 기록할 수 있다(S5). 스토리지 장치(1600)는 컴플리션 큐(2240)에 컴플리션 큐 엔트리(Completion Queue Entry)를 기입할 수 있다. 이 때, 컴플리션 큐(2240)의 헤드 포인터가 증가할 수 있다. 스토리지 장치(1600)는 인터럽트 신호를 생성할 수 있다(S6). 인터럽트는 핀 기반의 신호이거나 메시지 신호 기반의 인터럽트 신호일 수 있다.
호스트(1200)는 커맨드 완료를 처리할 수 있다(S7). 호스트(1200)는 업데이트된 컴플리션 큐 헤드 포인터를 스토리지 장치(1600)에 전송할 수 있다(S8). 예를 들어, 업데이트된 컴플리션 큐 헤드 포인터는 스토리지 장치(1600)의 도어벨 레지스터(2622)에 기록될 수 있다.
도2를 참조하여 호스트(1200) 내의 하나의 코어와 스토리지 장치(1600) 사이의 커맨드 큐 인터페이스 동작을 설명하였으나, 써드-파티 장치(1400)와 스토리지 장치(1600) 사이의 인터페이스 동작도 이와 동일하게 수행될 수 있다.
다시 도1을 참조하면, 호스트(1200)에 복수의 코어들이 존재하는 경우, 호스트(1200)는 복수의 코어들에 각각 대응하는 큐 페어들을 생성하고, 생성된 큐 페어들을 관리하는 도어벨 레지스터들을 할당하여 줄 것을 스토리지 장치(1600)에게 요청할 수 있다. 예를 들어, 호스트(1200) 상의 운영 체제(예를 들어, 리눅스)에서 제공되는 NVMe 드라이버는, 운영 체제에서 모니터링되는 코어들의 개수와 동일한 개수의 도어벨 레지스터들을 할당하여 줄 것을 스토리지 장치(1600)에게 요청할 수 있다.
만약, 호스트(1200) 내의 코어들의 개수가 도어벨 레지스터들(1620)의 개수보다 많다면 모든 도어벨 레지스터들(1620)이 호스트(1200)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당될 수 있다. 이러한 경우, 써드-파티 장치(1400)와 스토리지 장치(1600) 사이의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되는 도어벨 레지스터들은 존재하지 않게 된다. 따라서, 써드-파티 장치(1400)와 스토리지 장치(1600) 사이에 직접 메모리 접근 방식의 커맨드 큐 베이스 인터페이스 동작이 수행되는 것이 어려울 수 있다. 써드-파티 장치(1400)와 스토리지 장치(1600) 사이의 커맨드 큐 베이스 인터페이스 동작을 위해 호스트(1200)의 개입이 요구될 수 있다.
도3은 일 실시 예에 따른 전자 장치의 블록도를 나타낸다.
도3의 전자 장치(3000)는 도1의 전자 장치(1000)의 일 실시 예를 나타낸다. 따라서, 도1의 전자 장치(1000)에 대하여 상술된 설명은 도3의 전자 장치(3000)에도 적용될 수 있다. 예를 들어, 호스트(3200), 써드-파티 장치(3400), 및 스토리지 장치(3600)는 도1의 호스트(1200), 써드-파티 장치(1400), 및 스토리지 장치(1600)와 각각 대응될 수 있다.
도어벨 레지스터들(3620) 중에서 적어도 하나의 도어벨 레지스터는 써드-파티 장치(3400)와의 커맨드 큐 베이스 인터페이스를 위해 할당될 수 있다. 예를 들어, 도어벨 레지스터들(3622)은 호스트(3200)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되었고, 도어벨 레지스터들(3624)은 써드-파티 장치(3400)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되었다.
도어벨 레지스터들(3624)은 써드-파티 장치(3400)와의 커맨드 큐 베이스 인터페이스 동작만을 위해 할당된 전용 레지스터들이다. 따라서, 호스트(3200)와 스토리지 장치(3600) 사이의 커맨드 큐 베이스 인터페이스 동작을 위해 도어벨 레지스터들(3624)이 사용될 수 없다. 스토리지 장치(3600)는 도어벨 레지스터들(3624)을 통해 써드-파티 장치(3400)와의 커맨드 큐 베이스 인터페이스 동작을 수행할 수 있다.
일 실시 예에 따라, 호스트(3200)가 스토리지 장치(3600)에게 할당을 요청하는 도어벨 레지스터들의 개수는 스토리지 장치(3600)에서 최대로 생성될 수 있는 도어벨 레지스터들(3620)의 개수보다 적게 결정될 수 있다. 이를 위해, 호스트(3200) 상의 드라이버(예를 들어, NVMe 드라이버)가 수정될 수 있다. 다만, 호스트(3200)의 드라이버 수정을 통해서 호스트(3200)가 스토리지 장치(3600)에 할당을 요청하는 도어벨 레지스터들의 개수가 고정되면, 전자 장치(3000)의 전체적인 인터페이스 동작의 성능이 저하될 수 있다. 예를 들어, 스토리지 장치(3600)와 써드-파티 장치(3400) 사이에 커맨드 큐 베이스 인터페이스 동작이 필요 없는 경우(예를 들어, 써드-파티 장치(3400)가 스토리지 장치(3600)와의 피어-투-피어 통신을 사용하지 않는 경우)에는 호스트(3200)와 스토리지 장치(3600) 사이에 수행되는 인터페이스 동작의 성능이 불필요하게 저하될 수 있다.
일 실시 예에 따라, 스토리지 장치(3600)는 도어벨 레지스터들의 할당을 위한 인에이블(Enable) 신호(또는, 초기화 커맨드)를 외부로부터 수신할 수 있다. 예를 들어, 인에이블 신호는 컨트롤러(3640)에 의해 수신될 수 있다. 일 실시 예에 따른 스토리지 장치(3600)는, 호스트(3200), 써드-파티 장치(3400), 및 다른 외부 장치(미도시) 중 적어도 하나로부터 도어벨 레지스터의 할당과 관련된 인에이블 신호를 수신할 수 있다. 예를 들어, 스토리지 장치(3600)는 써드-파티 장치(3400)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되는 도어벨 레지스터들의 개수를 결정하기 위한 인에이블 신호를 써드-파티 장치(3400)로부터 수신할 수 있다. 인에이블 신호를 수신한 스토리지 장치(3600)는 도어벨 레지스터들(3620) 중에서 적어도 하나를 써드-파티 장치(3400)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당할 수 있다.
일 실시 예에 따라, 스토리지 장치(3600)는 써드-파티 장치(3400)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되는 적어도 하나의 도어벨 레지스터의 개수를 관리하기 위한 제어 레지스터를 포함할 수 있다. 예를 들어, 제어 레지스터는 컨트롤러(3640)에 포함될 수 있다. 스토리지 장치(3600)는 제어 레지스터에 기록된 개수 정보에 기초하여, 써드-파티 장치(3400)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되는 적어도 하나의 도어벨 레지스터의 개수를 결정할 수 있다.
일 실시 예에 따라, 호스트(3200)와 써드-파티 장치(3400)는 메모리(3660) 상의 동일한 영역(예를 들어, 동일한 LBA(Logical Block Address)의 영역)에 접근할 수 있다. 메모리(3660)는 적어도 하나의 비-휘발성 메모리(non-volatile memory)를 포함할 수 있다. 예를 들어, 써드-파티 장치(3400)가 GPU이고, 호스트(3200)가 GPU를 사용하는 어플리케이션(예를 들어, GPGPU(General-Purpose computing on Graphics Processing Units) Application)을 실행하고 있는 CPU인 경우, 스토리지 장치(3600)는 CPU로부터 GPU 에 입력될 파일을 수신하여 메모리(3660)에 저장할 수 있다. 스토리지 장치(3600)는 GPU로부터의 요청에 응답하여, 저장된 파일을 메모리(3660)로부터 GPU 로 출력할 수 있다.
다만, 메모리(3660) 상의 동일한 영역으로 호스트(3200)와 써드-파티 장치(3400)가 동시에 접근하는 경우, 데이터의 일관성(Consistency)가 손상될 수 있다. 예를 들어, CPU 가 메모리(3660) 상의 LBA0 의 어드레스를 갖는 영역에 데이터를 쓰기 요청함과 동시에, 써드-파티 장치(3400)가 동일한 영역(어드레스 : LBA0)에 데이터에 대한 읽기 및 쓰기 요청을 하는 경우, 메모리(3660)에 저장된 데이터의 일관성이 보장될 수 없다.
이러한 경우, 스토리지 장치(3600)는 호스트(3200) 및/또는 써드-파티 장치(3400)에게 데이터가 손상되었음을 알릴 수 있다. 스토리지 장치(3600)는 데이터의 일관성에 대한 손상 여부를 판단하고, 호스트(3200)나 써드-파티 장치(3400)에게 판단 결과를 전달할 수 있다. 예를 들어, 컨트롤러(3640)는 일정 기간 동안 요청 받거나 수행된 요청들을 검사하여 데이터가 손상되었을 가능성이 있는지 판단하고, 판단 결과를 호스트(3200)나 써드-파티 장치(3400)에게 전달할 수 있다. 데이터의 손상 여부에 대한 판단 결과는, 스토리지 장치(3600)가 커맨드를 처리한 후에 컴플리션 큐에 커맨드의 수행이 완료되었음을 기록하는 단계(도2의 S5참조) 또는 커맨드를 처리한 후에 인터럽트 신호를 발생시키는 단계(도2의 S6참조)에서 호스트(3200)나 써드-파티 장치(3400)에게 전달될 수 있으나 이에 제한되지 않는다.
도4는 일 실시 예에 따른 전자 장치의 블록도를 나타낸다.
스토리지 장치(4600)의 도어벨 레지스터들(4620) 중에서 써드-파티 장치(4400)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되는 도어벨 레지스터들의 개수는 다양하게 조절될 수 있다.
일 실시 예에 따라, 스토리지 장치(4600) 내의 모든 도어벨 레지스터들(4620)이 호스트(4200)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당될 수 있다. 이러한 실시 예는, 스토리지 장치(4600)와 써드-파티 장치(4400) 사이에 커맨드 큐 베이스 인터페이스 동작이 수행될 필요가 없는 경우(예를 들어, 써드-파티 장치(4400)가 스토리지 장치(4600)와의 피어-투-피어 통신을 사용하지 않는 경우)에 유용할 수 있다.
다른 실시 예에 따라, 스토리지 장치(4600) 내의 모든 도어벨 레지스터들(4620)이 써드-파티 장치(4400)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당될 수 있다. 이러한 실시 예는, 스토리지 장치(4600)와 호스트(4200) 사이에 인터페이스 동작이 수행될 필요가 없는 경우에 유용할 수 있다.
다른 실시 예에 따라, 스토리지 장치(4600) 내의 도어벨 레지스터들(4620) 중 일부는 호스트(4200)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되고, 나머지는 써드-파티 장치(4400)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당될 수 있다. 이러한 실시 예는 도3을 참조하여 상술하였다.
상술한 도어벨 레지스터들(4620)의 할당 동작은 하나의 호스트(4600) 내의 복수의 어플리케이션들 또는 작업들에 대한 인터페이스 동작에도 적용될 수 있다. 예를 들어, 도어벨 레지스터들(4620) 중 일부는 호스트(4600)의 일반적인 어플리케이션의 수행에 대한 커맨드 큐 베이스 인터페이스 동작을 위해 할당되고, 나머지는 호스트(4600)의 특수한 어플리케이션의 수행에 대한 커맨드 큐 베이스 인터페이스 동작을 위해 할당될 수 있다. 특수한 어플리케이션은 예를 들어, 특수한 커맨드를 사용하거나 기준QoS(Quality of Service)가 반드시 요구되는 어플리케이션을 의미할 수 있다. 따라서, 스토리지 장치(4600)와 써드-파티 장치(4400) 사이에 커맨드 큐 베이스 인터페이스 동작이 수행될 필요가 없는 경우에도, 도어벨 레지스터들(4620)은 호스트(4600) 내의 복수의 어플리케이션들 또는 작업들에 따라 복수의 그룹들로 관리될 수 있다.
도 5는 일 실시 예에 따라 각 인터페이스 동작에 독립적으로 적용되는 관리 정책을 나타내는 개념도이다.
전자 장치(5000)는 복수의 코어들을 포함하는 호스트(5200), 복수의 써드-파티 장치들(5400), 및 커맨드 큐 베이스 인터페이스에 기초하여 호스트(5200) 및 복수의 써드-파티 장치들(5400)과 통신하는 스토리지 장치(5600)를 포함할 수 있다.
도어벨 레지스터들(5800) 중에서 도어벨 레지스터들(5840)은 호스트(5200)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되었고, 도어벨 레지스터들(5860)은 복수의 써드-파티 장치들(5400)과의 커맨드 큐 베이스 인터페이스 동작을 위해 할당되었다.
스토리지 장치(5600)는 도어벨 레지스터들(5840)을 통해 호스트(5200)의 복수의 코어들로부터 요청되는 커맨드들을 수행할 수 있다. 예를 들어, 도어벨 레지스터(5841)는 코어#1로부터 생성되는 큐 페어를 관리할 수 있고, 도어벨 레지스터(5842)는 코어#2로부터 생성되는 큐 페어를 관리할 수 있다.
스토리지 장치(5600)는 도어벨 레지스터들(5860)을 통해 복수의 써드-파티 장치들(5400)로부터 요청되는 커맨드들을 수행할 수 있다. 예를 들어, 도어벨 레지스터(5861)는 써드-파티 장치#1로부터 생성되는 큐 페어를 관리할 수 있고, 도어벨 레지스터(5862)는 써드-파티 장치#2로부터 생성되는 큐 페어를 관리할 수 있다.
전자 장치(5000)는 스토리지 장치(5600)와 호스트(5200) 사이의 커맨드 큐 베이스 인터페이스 동작과 스토리지 장치(5600)와 복수의 써드-파티 장치들(5400) 사이의 커맨드 큐 베이스 인터페이스 동작에 서로 다른 관리 정책(Administration Policy)을 적용할 수 있다.
관리 정책이란, 마스터 장치(예를 들어, 호스트(5200)의 코어들이나 복수의 써드-파티 장치들(5400))들로부터 커맨드를 페치하여 처리하는 순서를 결정하기 위한 방식을 의미할 수 있다. 또는, 관리 정책이란 커맨드 큐 베이스 인터페이스 동작에 적용되는 제한 조건(restrictive condition)을 의미할 수 있다.
일 실시 예에 따라, 스토리지 장치(5600)가 호스트(5200)의 복수의 코어들(코어#1, 코어#2, … , 코어#n)로부터 커맨드를 페치하여 처리하는 순서와 복수의 써드-파티 장치들(써드-파티 장치#1, 써드-파티 장치#2, … , 써드-파티 장치#n)(5400)로부터 커맨드를 페치하여 처리하는 순서는 독립적으로 결정될 수 있다.
예를 들어, 스토리지 장치(5600)가 호스트(5200)의 복수의 코어들(코어#1, 코어#2, … , 코어#n)에 의해 생성된 큐 페어들로부터 커맨드를 페치하여 처리하는 순서는 라운드-로빈(Round-Robin) 방식에 기초하여 결정될 수 있다.
그러나, 스토리지 장치(5600)가 복수의 써드-파티 장치들(5400)에 의해 생성된 큐 페어들로부터 커맨드를 페치하여 처리하는 순서는 복수의 써드-파티 장치들(5400) 각각의 우선 순위 또는 특성에 기초하여 결정될 수 있다. 또는, 스토리지 장치(5600)가 복수의 써드-파티 장치들에 의해 생성된 큐 페어들로부터 커맨드를 페치하여 처리하는 순서는 미리 정해진 특정 패턴에 기초하여 결정될 수 있다.
일 실시 예에 따라, 스토리지 장치(5600)와 호스트(5200) 사이의 커맨드 큐 베이스 인터페이스 동작과 스토리지 장치(5600)와 복수의 써드-파티 장치들(5400) 사이의 커맨드 큐 베이스 인터페이스 동작에는 커맨드 처리의 효율성을 위해 상이한 제한 조건들이 적용될 수 있다.
예를 들어, 스토리지 장치(5600)와 복수의 써드-파티 장치들(5400) 사이의 커맨드 큐 베이스 인터페이스 동작 시에 전송 가능한 데이터의 크기는 스토리지 장치(5600)와 호스트(5200) 사이의 커맨드 큐 베이스 인터페이스 동작 시에 전송 가능한 데이터의 크기보다 클 수 있다. 즉, 스토리지 장치(5600)와 복수의 써드-파티 장치들(5400) 사이의 커맨드 큐 베이스 인터페이스 동작에는 대용량 데이터의 전송(예를 들어, 대용량MDTS(Large Maximum Data Transfer Size))이 허용될 수 있다.
또한, 스토리지 장치(5600)와 복수의 써드-파티 장치들(5400) 사이의 커맨드 큐 베이스 인터페이스 동작 시에 사용되는 물리적 영역 페이지(Physical Region Page, PRP)와 분산 수집 리스트(Scatter/Gather List, SGL)는 스토리지 장치(5600)와 호스트(5200) 사이의 커맨드 큐 베이스 인터페이스 동작 시에 사용되는 그것과 상이할 수 있다.
도6은 일 실시 예에 따른 전자 장치가 데이터를 로드하는 동작을 설명하기 위한 도면이다.
도1내지 도5를 참조하여 상술한 바와 같이, 스토리지 장치(6600)는 버스를 통해 호스트(6200) 및 써드-파티 장치(6400)와 연결될 수 있다. 써드-파티 장치(6400)는 커맨드 큐 베이스 인터페이스 방식(예를 들어, NVMe 프로토콜)을 사용하여, 스토리지 장치(6600) 내의 비-휘발성 메모리(6660)에 호스트(6200)의 개입 없이 직접 접근할 수 있다. 이를 위해, 스토리지 장치(6600)의 복수의 도어벨 레지스터들 중에서 적어도 하나의 도어벨 레지스터가 써드-파티 장치(6400)와의 인터페이스를 위해 할당될 수 있음은 상술하였다.
일 실시 예에 따른 스토리지 장치(6600)는 써드-파티 장치(6400)로부터, 스토리지 장치(6600) 상의 버퍼 메모리(6640)에 데이터를 로드(Load)하도록 지시하는 커맨드(이하, 로드 커맨드)를 수신할 수 있다. 로드 커맨드는, 써드-파티 장치(6400) 내에 데이터를 저장할 수 있는 공간이 매우 작은 경우, 써드-파티 장치(6400)에 의해 접근(예를 들어, 메모리 어드레싱(addressing))할 수 있는 외부 영역에 필요한 데이터가 로드되도록 할 수 있다. 따라서, 써드-파티 장치(6400)는 외부 영역에 접근함으로써, 데이터를 가공하는 것이 가능하다.
일 실시 예에 따른 버퍼 메모리(6640)는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), SDRAM(Synchronous DRAM), MRAM(Magnetic Random Access Memory), PRAM(Phase-change Random Access Memory)를 포함할 수 있으나 이에 제한되지 않는다. 예를 들어, 버퍼 메모리(6640)는 스토리지 장치(6600)의 컨트롤러(미도시)에 포함될 수 있다.
로드 커맨드를 수신한 스토리지 장치(6600)는 비-휘발성 메모리(6660)로부터 요청된 데이터를 읽어와 버퍼 메모리(6640)에 로드하는 동작을 수행할 수 있다. 즉, 로드 커맨드를 수신한 스토리지 장치(6600)는 요청된 데이터를 비-휘발성 메모리(6660)로부터 읽고, 데이터를 써드-파티 장치(6400)에 전달하는 대신 버퍼 메모리(6640) 내의 부분 영역(6644)에 저장할 수 있다.
도2를 참조하여 상술한 바와 같이, 로드 커맨드는, 로드 커맨드의 서브미션(또는 입력)을 위한 서브미션 큐와 로드 커맨드의 처리 결과의 기록을 위한 컴플리션 큐로 구성된 큐 페어에 기초하여 수행될 수 있다. 써드-파티 장치(6400)와의 인터페이스를 위해 할당된 적어도 하나의 도어벨 레지스터(미도시)는 로드 커맨드의 수행을 위한 서브미션 큐와 컴플리션 큐를 관리하도록 구성될 수 있다. 예를 들어, 도어벨 레지스터는 서브미션 큐의 테일 포인터와 컴플리션 큐의 헤드 포인터를 관리하도록 구성될 수 있다. 써드-파티 장치(6400)와 스토리지 장치(6600)가 로드 커맨드를 수행하는 동작은 도2를 참조하여 상술한 바와 동일하다.
일 실시 예에 따른 스토리지 장치(6600)는 데이터가 저장되는 부분 영역(6644)을 결정할 수 있다. 로드 커맨드의 처리는, 데이터가 부분 영역(6644)에 저장되고, 부분 영역(6644)의 어드레스 정보를 써드-파티 장치(6400)에 전달함으로써 완료될 수 있다. 일 실시 예에 따른 부분 영역(6644)의 어드레스 정보는 커맨드 큐 베이스 인터페이스 동작이 수행되는 동안에 써드-파티 장치(6400)로 전달될 수 있다.
예를 들어, 스토리지 장치(6600)가 로드 커맨드를 처리한 후에 컴플리션 큐에 커맨드의 수행이 완료되었음을 기록하는 단계(도2의 S5 참조)에서, 컴플리션 큐 엔트리에 부분 영역(6644)의 어드레스 정보가 포함될 수 있다.
예를 들어, 스토리지 장치(6600)가 로드 커맨드를 처리한 후에 인터럽트 신호를 발생시키는 단계(도2의 S6 참조)에서, 인터럽트 신호에 부분 영역(6644)의 어드레스 정보가 포함될 수 있다.
예를 들어, 로드 커맨드가 서브미션 될 때 사용되는 물리적 영역 페이지(PRP)와 분산 수집 리스트(SGL)에 데이터가 최종적으로 저장되는 위치가 버퍼 메모리(6640)로서 기록될 수 있다.
다른 실시 예에 따라, 스토리지 장치(6600)는 써드-파티 장치(6400)로부터 요청된 데이터를 버퍼 메모리(6640)에 로드하지 않고, 비-휘발성 메모리(6660) 상에 데이터가 저장된 영역의 물리적 주소를 논리적 주소로 변환하여 변환된 논리적 주소를 써드-파티 장치(6400)에 전달할 수 있다. 물리적 주소를 논리적 주소로 변환하기 위해, 물리적 주소와 논리적 주소의 대응 관계를 나타내는 맵핑 정보가 사용될 수 있다. 예를 들어, 맵핑 정보는 스토리지 장치(6600)의 컨트롤러(미도시)에서 관리될 수 있다.
도 7은 일 실시 예에 따른 전자 장치를 포함하는 전자 시스템의 예시적인 구성을 나타내는 블록도이다.
전자 시스템(10000)은 메인 프로세서(11010), 써드-파티 프로세서(11500), 워킹 메모리(12000), 스토리지 장치(13000), 통신 블록(14000), 유저 인터페이스(15000), 및 버스(16000)를 포함할 수 있다. 예로서, 전자 시스템(10000)은 데스크톱(Desktop) 컴퓨터, 랩톱(Laptop) 컴퓨터, 태블릿(Tablet) 컴퓨터, 스마트폰, 웨어러블(Wearable) 장치, 비디오 게임기(Video Game Console), 워크스테이션(Workstation), 서버(Server), 전기 자동차 등과 같은 전자 장치들 중 하나일 수 있다. 일 실시 예에 따른 전자 시스템(10000)은 도1내지 도6을 참조하여 상술한 전자 장치 중 어느 하나를 포함할 수 있다. 예를 들어, 전자 시스템(10000)은 도3의 전자 장치(3000)를 포함할 수 있으나 이에 제한되지 않는다.
메인 프로세서(11010)는 전자 시스템(10000)의 전반적인 동작들을 제어할 수 있다. 메인 프로세서(11010)는 다양한 종류의 산술 연산들 및/또는 논리 연산들을 처리할 수 있다. 이를 위해, 메인 프로세서(11010)는 전용(Special-purpose) 회로(예컨대, FPGA(Field Programmable Gate Array), ASICs(Application Specific Integrated Circuits) 등)를 포함할 수 있다. 예로서, 메인 프로세서(11010)는 하나 이상의 프로세서 코어를 포함할 수 있고, 범용 프로세서, 전용 프로세서, 또는 어플리케이션 프로세서(Application Processor)로 구현될 수 있다. 메인 프로세서(11010)는 커맨드 큐 베이스 인터페이스(예를 들어, NVMe 프로토콜)에 기초하여 스토리지 장치(13000)와 통신할 수 있다.
써드-파티 프로세서(11500)는 스토리지 장치(13000)에 직접 메모리 접근 방식에 기초하여 데이터를 쓰거나 스토리지 장치(13000)로부터 데이터를 읽을 수 있다. 따라서, 써드-파티 프로세서(11500)가 스토리지 장치(13000)에 접근하기 위해, 메인 프로세서(11010)의 개입이나 간섭이 요구되지 않는다. 일 실시 예에 따라, 써드-파티 프로세서(11500)는 스토리지 장치(13000)와 피어-투-피어 통신을 수행할 수 있다. 예를 들어, 써드-파티 프로세서(11500)와 스토리지 장치(13000) 사이에 PCIe 버스에 기반한 피어-투-피어 통신이 수행될 수 있다.
예를 들어, 써드-파티 프로세서(11500)는 직접 메모리 접근 방식을 통해 스토리지 장치(13000)로부터 입력 데이터를 획득하는 GPU 이거나, CPU 오프로딩을 사용하여 연산을 가속화할 수 있는 하드웨어 가속기일 수 있다. 써드-파티 프로세서(11500)는 커맨드 큐 베이스 인터페이스(예를 들어, NVMe 프로토콜)에 기초하여 스토리지 장치(13000)와 통신할 수 있다.
워킹 메모리(12000)는 전자 시스템(10000)의 동작에 이용되는 데이터를 저장할 수 있다. 예로서, 워킹 메모리(12000)는 메인 프로세서(11010)에 의해 처리된 또는 처리될 데이터를 일시적으로 저장할 수 있다. 예로서, 워킹 메모리(12000)는 DRAM(Dynamic RAM), SDRAM(Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM(Phase-change RAM), MRAM(Magneto-resistive RAM), ReRAM(Resistive RAM), FRAM(Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
스토리지 장치(13000)는 적어도 하나의 메모리 장치 및 컨트롤러를 포함할 수 있다. 스토리지 장치(13000)의 메모리 장치는 전력 공급에 관계없이 데이터를 저장할 수 있다. 예를 들어, 스토리지 장치(13000)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 비휘발성 메모리를 포함할 수 있다. 예를 들어, 스토리지 장치(13000)는 SSD(Solid State Drive), 카드 스토리지, 임베디드(Embedded) 스토리지 등과 같은 스토리지 매체를 포함할 수 있다.
스토리지 장치(13000)는 커맨드 큐 베이스 인터페이스(예를 들어, NVMe 프로토콜)에 기초하여 메인 프로세서(11010) 또는 써드-파티 프로세서(11500)와 통신할 수 있다. 스토리지 장치(13000)는 메인 프로세서(11010) 또는 써드-파티 프로세서(11500)에 의해 생성된 커맨드 큐들을 관리하는 복수의 도어벨 레지스터들을 포함할 수 있다. 복수의 도어벨 레지스터들 중 적어도 하나의 도어벨 레지스터는 써드-파티 프로세서(11500)와의 커맨드 큐 베이스 인터페이스 동작을 위해 할당될 수 있다.
통신 블록(14000)은 전자 시스템(10000)의 외부 장치/시스템과 통신할 수 있다. 예를 들어, 통신 블록(14000)은 LTE(Long Term Evolution), WIMAX(Worldwide Interoperability for Microwave Acess), GSM(Global System for Mobile communications), CDMA(Code Division Multiple Access), Bluetooth, NFC(Near Field Communication), Wi-Fi(Wireless Fidelity), RFID(Radio Frequency Identification) 등과 같은 다양한 무선 통신 규약 중 적어도 하나, 및/또는 TCP/IP(Transfer Control Protocol/Internet Protocol), USB(Universal Serial Bus), Firewire 등과 같은 다양한 유선 통신 규약 중 적어도 하나를 지원할 수 있다.
유저 인터페이스(15000)는 사용자와 전자 시스템(10000) 사이의 통신을 중재할 수 있다. 예로서, 유저 인터페이스(15000)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 카메라, 마이크, 자이로스코프 센서, 진동 센서 등과 같은 입력 인터페이스를 포함할 수 있다. 예로서, 유저 인터페이스(15000)는 LCD(Liquid Crystal Display) 장치, LED(Light Emitting Diode) 표시 장치, OLED(Organic LED) 표시 장치, AMOLED(Active Matrix OLED) 표시 장치, 스피커, 모터 등과 같은 출력 인터페이스를 포함할 수 있다.
버스(16000)는 전자 시스템(10000)의 구성 요소들 사이에서 통신 경로를 제공할 수 있다. 전자 시스템(10000)의 구성 요소들은 버스(16000)의 버스 포맷에 기초하여 서로 데이터를 교환할 수 있다. 예를 들어, 버스 포맷은 USB, SCSI(Small Computer System Interface), PCIe(Peripheral Component Interconnect Express), M-PCIe(Mobile PCIe), ATA(Advanced Technology Attachment), PATA(Parallel ATA), SATA(Serial ATA), SAS(Serial Attached SCSI), IDE(Integrated Drive Electronics), EIDE(Enhanced IDE), NVMe(Nonvolatile Memory Express), UFS(Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상을 포함할 수 있다.
위 설명들은 본 발명을 구현하기 위한 예시적인 구성들 및 동작들을 제공하도록 의도된다. 본 발명의 기술 사상은 위에서 설명된 실시 예들뿐만 아니라, 위 실시 예들을 단순하게 변경하거나 수정하여 얻어질 수 있는 구현들도 포함할 것이다. 또한, 본 발명의 기술 사상은 위에서 설명된 실시 예들을 앞으로 용이하게 변경하거나 수정하여 달성될 수 있는 구현들도 포함할 것이다.

Claims (10)

  1. 복수의 도어벨 레지스터들을 포함하는 스토리지 장치;
    제1 커맨드 큐 및 상기 제1 커맨드 큐에 대응하는 제1 포인터들을 사용하여 상기 스토리지 장치와 제1 인터페이스 동작을 수행하기 위한 호스트; 및
    제2 커맨드 큐 및 상기 제2 커맨드 큐에 대응하는 제2 포인터들을 사용하여 상기 호스트의 개입 없이 상기 스토리지 장치와 제2 인터페이스 동작을 수행하기 위한 써드-파티 장치를 포함하고,
    상기 제1 포인터들은 상기 복수의 도어벨 레지스터들 중 제1 도어벨 레지스터에 저장되고, 상기 제2 포인터들은 상기 복수의 도어벨 레지스터들 중 제2 도어벨 레지스터에 저장되고,
    적어도 상기 제2 도어벨 레지스터는 상기 써드-파티 장치의 동작들만을 위한 하나 이상의 전용 레지스터들 중 하나로 할당되는 전자 장치.
  2. 제1항에 있어서,
    상기 스토리지 장치는 컨트롤러를 포함하고,
    상기 컨트롤러는 인에이블 신호를 수신하고, 상기 인에이블 신호를 기반으로상기 하나 이상의 전용 레지스터들로 할당할 상기 복수의 도어벨 레지스터들의 개수를 결정하도록 구성되는 전자 장치.
  3. 제1항에 있어서,
    상기 제1 및 제2 커맨드 큐들은 서브미션 큐와 컴플리션 큐를 포함하는 큐 페어(queue pair)인 전자 장치.
  4. 제3항에 있어서,
    상기 복수의 도어벨 레지스터들 각각은, 상기 서브미션 큐의 테일을 가리키는 포인터와 상기 컴플리션 큐의 헤드를 가리키는 포인터를 저장하도록 구성되는 전자 장치.
  5. 제1항에 있어서,
    상기 써드-파티 장치는 복수의 써드-파티 장치들 중 제1 써드-파티 장치이고, 상기 복수의 써드-파티 장치들은 상기 전자 장치에 포함되고, 적어도 상기 제1 써드-파티 장치에 추가하여 제2 써드-파티 장치를 포함하고,
    상기 제2 써드-파티 장치는 상기 호스트의 개입 없이 상기 스토리지 장치와 커맨드 큐에 기초한 인터페이스 동작을 수행하고,
    상기 스토리지 장치의 컨트롤러는 상기 스토리지 장치와 연결된 상기 제1 써드-파티 장치 및 상기 제2 써드-파티 장치로부터 커맨드들을 페치하여 처리하는 순서는, 상기 제1 써드-파티 장치 및 상기 제2 써드-파티 장치 각각의 우선 순위 또는 특성에 기초하여 결정되는 전자 장치.
  6. 제1항에 있어서,
    상기 제2 인터페이스 동작에는, 상기 제1 인터페이스 동작에 적용되는 제한 조건과 다른 제한 조건이 적용되는 전자 장치.
  7. 제1항에 있어서,
    상기 스토리지 장치는 비-휘발성 메모리 및 버퍼 메모리를 더 포함하고,
    상기 스토리지 장치의 컨트롤러는 상기 써드-파티 장치로부터 요청된 데이터를 상기 비-휘발성 메모리로부터 읽고, 상기 읽힌 데이터를 상기 버퍼 메모리에 저장하도록 구성되는 전자 장치.
  8. 제7항에 있어서,
    상기 스토리지 장치의 상기 컨트롤러는, 상기 버퍼 메모리 상에서 상기 읽힌 데이터가 저장된 부분 영역의 어드레스 정보를 상기 써드-파티 장치로 전달하도록 구성되는 전자 장치.
  9. 호스트 및 써드-파티 장치와 통신하는 스토리지 장치에 있어서,
    비-휘발성 메모리; 및
    상기 비-휘발성 메모리에 데이터를 쓰거나 상기 비-휘발성 메모리로부터 데이터를 읽기 위한 동작을 관리하도록 구성되는 컨트롤러를 포함하고,
    상기 컨트롤러는, 복수의 도어벨 레지스터들을 포함하고, 상기 복수의 도어벨 레지스터들 중 적어도 하나는 상기 써드-파티 장치와의 인터페이스 동작을 위해 할당되고,
    상기 써드-파티 장치와의 상기 인터페이스 동작은 커맨드 큐 및 상기 커맨드 큐에 대응하는 포인터들에 기초하여 상기 호스트의 개입 없이 수행되고,
    상기 포인터들은 상기 복수의 도어벨 레지스터들 중 상기 적어도 하나에 저장되고, 상기 복수의 도어벨 레지스터들 중 상기 적어도 하나는 상기 써드-파티 장치의 동작들만을 위한 하나 이상의 전용 레지스터들 중 하나로 할당되는 스토리지 장치.
  10. 제9항에 있어서,
    상기 컨트롤러는, 인에이블 신호를 수신하고, 상기 인에이블 신호를 기반으로 상기 써드-파티 장치와의 동작들만을 위한 상기 하나 이상의 전용 레지스터들로 할당할 상기 복수의 도어벨 레지스터들의 개수를 결정하도록 구성되는 스토리지 장치.
KR1020170163369A 2017-11-30 2017-11-30 스토리지 장치 및 스토리지 장치를 포함하는 전자 장치 KR102446733B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170163369A KR102446733B1 (ko) 2017-11-30 2017-11-30 스토리지 장치 및 스토리지 장치를 포함하는 전자 장치
US16/028,791 US10742737B2 (en) 2017-11-30 2018-07-06 Storage device and electronic device including the same
CN201811439438.4A CN110032332B (zh) 2017-11-30 2018-11-28 存储设备和包括存储设备的电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170163369A KR102446733B1 (ko) 2017-11-30 2017-11-30 스토리지 장치 및 스토리지 장치를 포함하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20190064083A KR20190064083A (ko) 2019-06-10
KR102446733B1 true KR102446733B1 (ko) 2022-09-23

Family

ID=66634612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170163369A KR102446733B1 (ko) 2017-11-30 2017-11-30 스토리지 장치 및 스토리지 장치를 포함하는 전자 장치

Country Status (3)

Country Link
US (1) US10742737B2 (ko)
KR (1) KR102446733B1 (ko)
CN (1) CN110032332B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940910B1 (en) 2023-03-20 2024-03-26 Metisx Co., Ltd. Byte-addressable device and computing system including same

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10901733B1 (en) 2019-07-01 2021-01-26 Western Digital Technologies, Inc. Open channel vector command execution
US10901624B1 (en) 2019-07-01 2021-01-26 Western Digital Technologies, Inc. Dummy host command generation for supporting higher maximum data transfer sizes (MDTS)
CN110659122A (zh) * 2019-07-31 2020-01-07 杭州阿姆科技有限公司 一种ssd中断实现方法及装置
US11311800B2 (en) 2019-08-09 2022-04-26 Sony Interactive Entertainment LLC Systems implementing high-speed data communication fabric for cloud gaming data storage and retrieval
CN111221476B (zh) * 2020-01-08 2022-03-29 深圳忆联信息系统有限公司 提升ssd性能的前端命令处理方法、装置、计算机设备及存储介质
US11789634B2 (en) 2020-07-28 2023-10-17 Samsung Electronics Co., Ltd. Systems and methods for processing copy commands
US11733918B2 (en) * 2020-07-28 2023-08-22 Samsung Electronics Co., Ltd. Systems and methods for processing commands for storage devices
EP4184304A4 (en) * 2020-07-31 2023-09-13 Huawei Technologies Co., Ltd. PROCESSOR, UFS CONTROL METHOD AND COMPUTER SYSTEM
KR20220045342A (ko) 2020-10-05 2022-04-12 에스케이하이닉스 주식회사 호스트 장치, 데이터 저장 장치, 데이터 처리 시스템 및 데이터 처리 방법
KR20220118004A (ko) 2021-02-18 2022-08-25 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작 방법
US11461052B1 (en) * 2021-04-08 2022-10-04 Western Digital Technologies, Inc. Storage system with dual submission queue doorbell registers and method for use in a multi-tenant system
US11934684B2 (en) 2021-12-14 2024-03-19 Western Digital Technologies, Inc. Maximum data transfer size per tenant and command type

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6745263B2 (en) * 2002-03-06 2004-06-01 Hewlett-Packard Development Company, L.P. Automated multiple data unit transfers between a host device and a storage medium
US8706942B2 (en) 2004-12-29 2014-04-22 Intel Corporation Direct memory access (DMA) address translation between peer-to-peer input/output (I/O) devices
US7302512B1 (en) 2005-12-09 2007-11-27 Nvidia Corporation Interrupt steering in computing devices to effectuate peer-to-peer communications between device controllers and coprocessors
US8250281B2 (en) * 2008-10-15 2012-08-21 International Business Machines Corporation Data communications through a host fibre channel adapter
KR101042423B1 (ko) * 2009-02-20 2011-06-16 한국태양유전(주) 트랜스포머의 소음개선구조
JP5414057B2 (ja) * 2009-05-22 2014-02-12 ルネサスエレクトロニクス株式会社 マイクロコンピュータ
KR101491484B1 (ko) 2010-06-18 2015-02-10 엘에스아이 코포레이션 스케일러블 스토리지 디바이스들
US8588228B1 (en) * 2010-08-16 2013-11-19 Pmc-Sierra Us, Inc. Nonvolatile memory controller with host controller interface for retrieving and dispatching nonvolatile memory commands in a distributed manner
US8516032B2 (en) * 2010-09-28 2013-08-20 Microsoft Corporation Performing computations in a distributed infrastructure
KR101184828B1 (ko) * 2011-01-04 2012-09-20 현대모비스 주식회사 다이오드 모듈
EP2761482B1 (en) 2011-09-30 2016-11-30 Intel Corporation Direct i/o access for system co-processors
EP2741456B1 (en) 2012-10-27 2016-01-13 Huawei Technologies Co., Ltd. Method, device and system for achieving message transmission of pcie switch network
JP5976608B2 (ja) * 2012-10-30 2016-08-23 株式会社東芝 メモリデバイス
TWI493455B (zh) * 2013-07-02 2015-07-21 Phison Electronics Corp 命令佇列管理方法、記憶體控制器及記憶體儲存裝置
CN104281413B (zh) * 2013-07-10 2017-10-20 群联电子股份有限公司 命令队列管理方法、存储器控制器及存储器储存装置
US9304690B2 (en) * 2014-05-07 2016-04-05 HGST Netherlands B.V. System and method for peer-to-peer PCIe storage transfers
KR102238652B1 (ko) * 2014-11-12 2021-04-09 삼성전자주식회사 데이터 저장 장치, 이의 작동 방법, 및 이를 포함하는 데이터 처리 시스템의 작동 방법
KR20160118836A (ko) * 2015-04-03 2016-10-12 에스케이하이닉스 주식회사 호스트 커맨드 큐를 포함하는 메모리 컨트롤러 및 그것의 동작 방법
KR102403489B1 (ko) 2015-07-10 2022-05-27 삼성전자주식회사 비휘발성 메모리 익스프레스 컨트롤러에 의한 입출력 큐 관리 방법
KR20170032502A (ko) * 2015-09-14 2017-03-23 삼성전자주식회사 스토리지 장치 및 그것의 인터럽트 발생 방법
US10275160B2 (en) 2015-12-21 2019-04-30 Intel Corporation Method and apparatus to enable individual non volatile memory express (NVME) input/output (IO) Queues on differing network addresses of an NVME controller
US10423568B2 (en) * 2015-12-21 2019-09-24 Microsemi Solutions (U.S.), Inc. Apparatus and method for transferring data and commands in a memory management environment
US11194735B2 (en) * 2017-09-29 2021-12-07 Intel Corporation Technologies for flexible virtual function queue assignment

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Agostini et al.,(2017.05.14.) 1부.*
미국공개특허 제2010-0095080호(2010.04.15.) 1부.*
미국공개특허 제2012-0079234호(2012.03.29.) 1부.*
미국공개특허 제2016-0210062호(2016.07.21.) 1부.*
일본공개특허 제2011-008760호(2011.01.13.) 1부.*
한국공개특허 제10-2017-0032502호(2017.03.23.) 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940910B1 (en) 2023-03-20 2024-03-26 Metisx Co., Ltd. Byte-addressable device and computing system including same

Also Published As

Publication number Publication date
CN110032332B (zh) 2024-02-02
CN110032332A (zh) 2019-07-19
US10742737B2 (en) 2020-08-11
KR20190064083A (ko) 2019-06-10
US20190166201A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
KR102446733B1 (ko) 스토리지 장치 및 스토리지 장치를 포함하는 전자 장치
US9557922B2 (en) System and method for peer-to-peer PCIe storage transfers
US9734085B2 (en) DMA transmission method and system thereof
US9395921B2 (en) Writing data using DMA by specifying a buffer address and a flash memory address
TWI750243B (zh) 非揮發性記憶體儲存裝置
KR102384759B1 (ko) 호스트 메모리 버퍼를 사용하기 위해 호스트 장치와 속성 정보를 공유하는 스토리지 장치 및 그것을 포함하는 전자 장치
KR102395477B1 (ko) 호스트 메모리에 대한 메모리 액세스를 스케쥴링하는 장치 컨트롤러, 및 이를 포함하는 저장 장치
TW201714090A (zh) 記憶體裝置、記憶體定址方法與包括有形儲存媒體的物品
US11372782B2 (en) Computing system for reducing latency between serially connected electronic devices
US20190146926A1 (en) Storage device and operating method of storage device
KR20180092715A (ko) 동작들의 횟수에 기초하여 복제된 데이터를 관리하는 스토리지 장치
KR20190130831A (ko) 컨트롤러 및 이를 포함하는 메모리 시스템
US10783033B2 (en) Device and method for accessing in-band memory using data protection
US9971549B2 (en) Method of operating a memory device
US10853255B2 (en) Apparatus and method of optimizing memory transactions to persistent memory using an architectural data mover
US11775451B2 (en) Computing system for reducing latency between serially connected electronic devices
US10922239B2 (en) Device for performing iterator operation in database
US20210224209A1 (en) Computing system for transmitting completion early between serially connected electronic devices
US20220137998A1 (en) Storage virtualization device supporting virtual machine, operation method thereof, and operation method of system having the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right