KR20240080913A - 스토리지 장치 및 그 동작 방법 - Google Patents

스토리지 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20240080913A
KR20240080913A KR1020220164695A KR20220164695A KR20240080913A KR 20240080913 A KR20240080913 A KR 20240080913A KR 1020220164695 A KR1020220164695 A KR 1020220164695A KR 20220164695 A KR20220164695 A KR 20220164695A KR 20240080913 A KR20240080913 A KR 20240080913A
Authority
KR
South Korea
Prior art keywords
embedding
memory cell
memory
embedding vectors
storage device
Prior art date
Application number
KR1020220164695A
Other languages
English (en)
Inventor
이석민
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020220164695A priority Critical patent/KR20240080913A/ko
Priority to US18/323,507 priority patent/US20240177751A1/en
Publication of KR20240080913A publication Critical patent/KR20240080913A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1078—Data input circuits, e.g. write amplifiers, data input buffers, data input registers, data input level conversion circuits
    • G11C7/1096—Write circuits, e.g. I/O line write drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1051—Data output circuits, e.g. read-out amplifiers, data output buffers, data output registers, data output level conversion circuits
    • G11C7/1063—Control signal output circuits, e.g. status or busy flags, feedback command signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1078—Data input circuits, e.g. write amplifiers, data input buffers, data input registers, data input level conversion circuits
    • G11C7/109—Control signal input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1028—Power efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Read Only Memory (AREA)

Abstract

본 기술은 전자 장치에 관한 것으로, 본 기술에 따른, 임베딩 연산의 성능을 향상시키고, 에너지 소모를 줄일 수 있는 스토리지 장치는, 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단하고, 상기 예상 액세스 빈도가 높은 순서를 기초로 상기 복수의 임베딩 벡터들을 복수의 임베딩 벡터 그룹들로 분할하는 임베딩 벡터 관리부 및 각각 상기 복수의 임베딩 벡터 그룹들 중 어느 하나의 임베딩 벡터 그룹을 저장하는 복수의 메모리 셀 어레이들을 포함한다.

Description

스토리지 장치 및 그 동작 방법{STORAGE DEVICE AND OPERATING METHOD THEREOF}
본 발명은 전자 장치에 관한 것으로, 보다 구체적으로 본 발명은 스토리지 장치 및 그 동작 방법에 관한 것이다.
스토리지 장치는 컴퓨터나 스마트폰 등과 같은 호스트 장치의 제어에 따라 데이터를 저장하는 장치이다. 스토리지 장치는 데이터를 저장하는 메모리 장치와 메모리 장치를 제어하는 메모리 컨트롤러를 포함할 수 있다. 메모리 장치는 휘발성 메모리 장치 (Volatile Memory)와 비휘발성 메모리 장치 (Non Volatile Memory)로 구분될 수 있다.
휘발성 메모리 장치는 전원이 공급되는 동안에만 데이터를 저장하고, 전원 공급이 차단되면 저장된 데이터가 소멸되는 메모리 장치일 수 있다. 휘발성 메모리 장치에는 정적 랜덤 액세스 메모리 (Static Random Access Memory; SRAM), 동적 랜덤 액세스 메모리 (Dynamic Random Access Memory; DRAM) 등이 포함될 수 있다.
비휘발성 메모리 장치는 전원이 차단되어도 데이터가 소멸되지 않는 메모리 장치로서, 롬(Read Only Memory; ROM), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM) 및 플래시 메모리(Flash Memory) 등이 있다.
본 발명의 실시 예는 임베딩 연산의 성능을 향상시키고, 에너지 소모를 줄일 수 있는 스토리지 장치 및 그 동작 방법을 제공한다.
본 발명의 실시 예에 따른 스토리지 장치는, 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단하고, 상기 예상 액세스 빈도가 높은 순서를 기초로 상기 복수의 임베딩 벡터들을 복수의 임베딩 벡터 그룹들로 분할하는 임베딩 벡터 관리부 및 각각 상기 복수의 임베딩 벡터 그룹들 중 어느 하나의 임베딩 벡터 그룹에 포함된 임베딩 벡터들을 저장하는 복수의 메모리 셀 어레이들을 포함한다.
본 발명의 실시 예에 따른 스토리지 장치의 동작 방법은, 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단하는 단계, 상기 복수의 임베딩 벡터들 중 상기 예상 액세스 빈도가 상대적으로 높은 상위 임베딩 벡터들을 제1 메모리 셀 어레이에 저장하는 단계 및 상기 복수의 임베딩 벡터들 중 상기 상위 임베딩 벡터들을 제외한 나머지 임베딩 벡터들을 제2 메모리 셀 어레이에 저장하는 단계를 포함한다.
본 발명의 실시 예에 따른 메모리 장치는, 복수의 임베딩 벡터들 각각의 예상 액세스 빈도가 높은 순서에 따라 그룹화된 복수의 임베딩 벡터 그룹들을 저장하는 복수의 메모리 셀 어레이들 및 상기 복수의 메모리 셀 어레이들로부터 출력된 출력 데이터를 연산한 결과 데이터를 출력하는 연산 회로를 포함한다.
본 기술에 따르면, 임베딩 연산의 성능을 향상시키고, 에너지 소모를 줄일 수 있는 스토리지 장치 및 그 동작 방법이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 스토리지 장치를 설명하기 위한 도면이다.
도 2는 도 1의 메모리 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 메모리 셀 어레이 및 연산 회로를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단하는 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 복수의 임베딩 벡터들을 복수의 임베딩 벡터 그룹들로 분할하는 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 복수의 임베딩 벡터 그룹들을 복수의 메모리 셀 어레이들에 저장하는 예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 임베딩 벡터 그룹에 포함된 임베딩 벡터들을 메모리 셀 어레이에 저장하는 예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 스토리지 장치의 동작 방법의 일 예를 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 스토리지 장치의 동작 방법의 다른 예를 설명하기 위한 순서도이다.
도 10은 도 1의 메모리 컨트롤러를 설명하기 위한 도면이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시 예에 따른 스토리지 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 스토리지 장치(50)는 메모리 장치(100) 및 메모리 장치(100)의 동작을 제어하는 메모리 컨트롤러(200)를 포함할 수 있다. 스토리지 장치(50)는 휴대폰, 스마트폰, MP3 플레이어, 랩탑 컴퓨터, 데스크탑 컴퓨터, 게임기, TV, 테블릿 PC 또는 차량용 인포테인먼트(in-vehicle infotainment) 시스템 등과 같은 호스트(300)의 제어에 따라 데이터를 저장하는 장치일 수 있다.
스토리지 장치(50)는 호스트(300)와의 통신 방식인 호스트 인터페이스에 따라서 다양한 종류의 스토리지 장치들 중 어느 하나로 제조될 수 있다. 예를 들면, 스토리지 장치(50)는 SSD, MMC, eMMC, RS-MMC, micro-MMC 형태의 멀티 미디어 카드(multimedia card), SD, mini-SD, micro-SD 형태의 시큐어 디지털(secure digital) 카드, USB(universal serial bus) 저장 장치, UFS(universal flash storage) 장치, PCMCIA(personal computer memory card international association) 카드 형태의 저장 장치, PCI(peripheral component interconnection) 카드 형태의 저장 장치, PCI-E(PCI express) 카드 형태의 저장 장치, CF(compact flash) 카드, 스마트 미디어(smart media) 카드, 메모리 스틱(memory stick) 등과 같은 다양한 종류의 저장 장치들 중 어느 하나로 구성될 수 있다.
스토리지 장치(50)는 다양한 종류의 패키지(package) 형태들 중 어느 하나로 제조될 수 있다. 예를 들면, 스토리지 장치(50)는 POP(package on package), SIP(system in package), SOC(system on chip), MCP(multi-chip package), COB(chip on board), WFP(wafer-level fabricated package), WSP(wafer-level stack package) 등과 같은 다양한 종류의 패키지 형태들 중 어느 하나로 제조될 수 있다.
일 실시 예에서, 스토리지 장치(50) 및 호스트(300)는 추천 시스템을 제공하기 위한 일 구성일 수 있다. 이때, 추천 시스템은 사용자의 정보를 기반으로 사용자가 관심을 가질만한 아이템(예를 들어, 영화, 음악, 뉴스, 책, 상품 등)을 추천하는 것일 수 있다. 일 실시 예에서, 컴퓨팅 시스템는 머신러닝(machine learning) 또는 딥러닝(deep learning) 기반의 추천 모델을 이용하여 추천 시스템을 제공할 수 있다. 이때, 추천 모델은 복수의 학습 데이터 셋을 이용하여 학습되는 학습 모델일 수 있다.
추천 시스템은 메모리 집약적인(memory-intensive) 임베딩 연산을 수행하므로, 대역폭(bandwidth) 문제를 발생시킬 수 있고, 많은 양의 서비스 데이터가 요구되므로 메모리의 용량이 부족한 문제가 발생할 수 있다. 따라서, 임베딩 연산을 효율적으로 수행하기 위해 스토리지 장치(50)가 이용될 수 있다.
메모리 장치(100)는 데이터를 저장할 수 있다. 메모리 장치(100)는 메모리 컨트롤러(200)의 제어에 응답하여 동작한다.
일 실시 예에서, 메모리 장치(100)는 데이터를 저장하는 복수의 메모리 셀들을 포함하는 복수의 메모리 셀 어레이들(110-1~110-n) 및 연산 회로(120)를 포함할 수 있다.
메모리 셀들은 각각 하나의 데이터 비트를 저장하는 싱글 레벨 셀(Single Level Cell; SLC), 두 개의 데이터 비트들을 저장하는 멀티 레벨 셀(Multi Level Cell; MLC), 세 개의 데이터 비트들을 저장하는 트리플 레벨 셀(Triple Level Cell; TLC) 또는 네 개의 데이터 비트를 저장할 수 있는 쿼드 레벨 셀(Quad Level Cell; QLC)로 구성될 수 있다. 복수의 메모리 셀들은 불휘발성 메모리 셀들일 수 있다. 복수의 메모리 셀들 중 동일 워드라인에 연결된 메모리 셀들은 하나의 물리 페이지로 정의될 수 있다. 즉, 복수의 메모리 셀 어레이들(110-1~110-n)은 다수의 물리 페이지들을 포함할 수 있다.
복수의 메모리 셀 어레이들(110-1~110-n)은 복수의 메모리 블록들(미도시)을 포함할 수 있다. 각 메모리 블록은 복수의 메모리 셀들을 포함할 수 있다. 하나의 메모리 블록은 복수의 페이지들을 포함할 수 있다. 실시 예에서, 페이지는 메모리 장치(100)에 데이터를 저장하거나, 메모리 장치(100)에 저장된 데이터를 리드하는 단위일 수 있다. 메모리 블록은 데이터를 지우는 단위일 수 있다.
일 실시 예에서, 복수의 메모리 셀 어레이들(110-1~110-n)은 복수의 임베딩 벡터들(embedding vector)을 저장할 수 있다.
임베딩 벡터는 복수의 학습 데이터 셋을 이용한 임베딩 학습을 통해 획득된 데이터일 수 있다. 예를 들어, 복수의 임베딩 벡터들은 복수의 데이터들을 n-차원(dimension)의 벡터 형식으로 나타낸 데이터일 수 있다. 이때, 복수의 데이터들은 카테고리로 분류 가능한 범주형 데이터일 수 있다. 예를 들어, 범주형 데이터는 추천 시스템에서의 아이템일 수 있다. 즉, 임베딩 벡터는 아이템을 벡터 형식으로 나타낸 데이터일 수 있다. 범주형 데이터는 임베딩 알고리즘을 이용하여 자연어를 상호 유사성을 가지는 벡터 형태로 수치화될 수 있다. 예를 들어, 벡터는 '(3, 5)', '(0.1, -0.5, 2, 1.2)' 와 같이 여러 개의 정수 혹은 부동 소수로 이루어진 수집합일 수 있다. 임베딩 벡터의 기울기 및 임베팅 벡터의 형태 등의 벡터 값이 유사할 수록 의미론적으로 유사한 의미의 단어일 수 있다.
일 실시 예에서, 복수의 메모리 셀들은 복수의 임베딩 벡터들에 포함된 구성 요소 데이터들을 저장할 수 있다. 이때, 구성 요소 데이터는 가중치 데이터로 지칭될 수 있다.
연산 회로(120)는 덧셈 연산, 곱 연산, 곱셈 및 누적(Multiply And Accumulate, MAC) 연산 등과 같은 수학적 연산을 수행할 수 있다. 예를 들어, 연산 회로(120)는 수학적 연산을 수행하기 위한 컴퓨팅 유닛을 포함할 수 있다.
일 실시 예에서, 메모리 장치(100)는 Computing in memory(CIM), Analog computing in memory(ACIM), Processing in memory(PIM) 등이 될 수 있다.
한편, 도 1에 도시된 실시 예에서, 연산 회로(120)가 메모리 장치(100)의 일 구성인 것으로 도시되어 있으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 연산 회로(120)는 메모리 장치(100)와 서로 별개의 독립적인 장치인 것으로 구현될 수 있다.
실시 예에서, 메모리 장치(100)는 DDR SDRAM(Double Data Rate Synchronous Dynamic Random Access Memory), LPDDR4(Low Power Double Data Rate4) SDRAM, GDDR(Graphics Double Data Rate) SDRAM, LPDDR(Low Power DDR), RDRAM(Rambus Dynamic Random Access Memory), 낸드 플래시 메모리(NAND flash memory), 수직형 낸드 플래시 메모리(Vertical NAND flash memory), 노아 플래시 메모리(NOR flash memory), 저항성 램(resistive random access memory: RRAM), 상변화 메모리(phase-change random access memory: PRAM), 자기저항 메모리(magnetoresistive random access memory: MRAM), 강유전체 메모리(ferroelectric random access memory: FRAM), 스핀주입 자화반전 메모리(spin transfer torque random access memory: STT-RAM) 등이 될 수 있다. 본 명세서에서는 설명의 편의를 위해, 메모리 장치(100)가 낸드 플래시 메모리인 경우를 가정하여 설명한다.
메모리 장치(100)는 메모리 컨트롤러(200)로부터 커맨드(CMD) 및 어드레스(ADDR)를 수신하고, 복수의 메모리 셀 어레이들(110-1~110-n) 중 어드레스에 의해 선택된 영역을 액세스하도록 구성된다. 메모리 장치(100)는 어드레스(ADDR)에 의해 선택된 영역에 대해 커맨드(CMD)가 지시하는 동작을 수행할 수 있다. 예를 들면, 메모리 장치(100)는 쓰기 동작 (프로그램 동작), 리드 동작 및 소거 동작을 수행할 수 있다. 쓰기 동작 시에, 메모리 장치(100)는 어드레스(ADDR)에 의해 선택된 영역에 데이터를 프로그램 할 것이다. 리드 동작 시에, 메모리 장치(100)는 어드레스(ADDR)에 의해 선택된 영역으로부터 데이터를 읽을 것이다. 소거 동작 시에, 메모리 장치(100)는 어드레스(ADDR)에 의해 선택된 영역에 저장된 데이터를 소거할 것이다.
메모리 컨트롤러(200)는 스토리지 장치(50)의 전반적인 동작을 제어할 수 있다.
스토리지 장치(50)에 전원이 인가되면, 메모리 컨트롤러(200)는 펌웨어(firmware, FW)를 실행할 수 있다. 메모리 장치(100)가 플래시 메모리 장치인 경우, 펌웨어(FW)는 호스트(300)와의 통신을 제어하는 호스트 인터페이스 레이어(Host Interface Layer, HIL), 호스트(300)와 메모리 장치(100) 간의 통신을 제어하는 플래시 변환 레이어(Flash Translation Layer, FTL) 및 메모리 장치(100)와의 통신을 제어하는 플래시 인터페이스 레이어(Flash Interface Layer, FIL)를 포함할 수 있다.
실시 예에서, 메모리 컨트롤러(200)는 호스트(300)로부터 데이터와 논리 블록 어드레스(Logical Block Address, LBA)를 입력 받고, 논리 블록 어드레스를 메모리 장치(100)에 포함된 데이터가 저장될 메모리 셀들의 주소를 나타내는 물리 블록 어드레스(Physical Block Address, PBA)로 변환할 수 있다. 본 명세서에서 논리 블록 어드레스(LBA)와 “논리 어드레스” 또는 “논리적 어드레스”는 같은 의미로 사용될 수 있다. 본 명세서에서 물리 블록 어드레스(PBA)와 “물리 어드레스” 또는 “물리적 어드레스”는 같은 의미로 사용될 수 있다.
메모리 컨트롤러(200)는 호스트(300)의 요청(request)에 따라 쓰기 동작, 리드 동작 또는 소거 동작 등을 수행하도록 메모리 장치(100)를 제어할 수 있다. 쓰기 동작 시, 메모리 컨트롤러(200)는 쓰기 커맨드, 물리 블록 어드레스 및 데이터를 메모리 장치(100)에 제공할 수 있다. 리드 동작 시, 메모리 컨트롤러(200)는 리드 커맨드 및 물리 블록 어드레스를 메모리 장치(100)에 제공할 수 있다. 소거 동작 시, 메모리 컨트롤러(200)는 소거 커맨드 및 물리 블록 어드레스를 메모리 장치(100)에 제공할 수 있다.
일 실시 예에서, 메모리 컨트롤러(200)는 채널을 통해 메모리 장치(100)와 연결될 수 있다. 예를 들어, 메모리 컨트롤러(200)는 채널을 통해 메모리 장치(100)로 커맨드 및 어드레스를 제공함으로써, 쓰기 동작, 리드 동작 또는 소거 동작 등을 수행하도록 메모리 장치(100)를 제어할 수 있다.
실시 예에서, 메모리 컨트롤러(200)는 호스트(300)로부터의 요청과 무관하게 자체적으로 커맨드, 어드레스 및 데이터를 생성하고, 메모리 장치(100)에 전송할 수 있다. 예를 들면, 메모리 컨트롤러(200)는 웨어 레벨링(wear leveling), 리드 리클레임(read reclaim), 가비지 컬렉션(garbage collection)등을 수행하는데 수반되는 리드 동작 및 쓰기 동작들을 수행하기 위한 커맨드, 어드레스 및 데이터를 메모리 장치(100)로 제공할 수 있다.
실시 예에서, 메모리 컨트롤러(200)가 적어도 둘 이상의 메모리 장치(100)들을 제어할 수 있다. 이 경우, 메모리 컨트롤러(200)는 동작 성능의 향상을 위해 메모리 장치(100)들을 인터리빙 방식에 따라 제어할 수 있다. 인터리빙 방식은 적어도 둘 이상의 메모리 장치(100)들에 대한 동작이 중첩되도록 제어하는 방식일 수 있다.
메모리 컨트롤러(200)는 임베딩 벡터 관리부(210) 및 임베딩 연산 제어부(220)를 포함할 수 있다.
일 실시 예에서, 임베딩 벡터 관리부(210)는 복수의 메모리 셀 어레이들(110-1~110-n)에 저장될 임베딩 벡터들을 관리할 수 있다. 예를 들어, 임베딩 벡터 관리부(210)는 액세스될 확률이 높은 임베딩 벡터들을 동일한 메모리 셀 어레이에 저장하도록 메모리 장치(100)를 제어할 수 있다. 또한, 임베딩 벡터 관리부(210)는 액세스될 확률이 낮은 임베딩 벡터들을 동일한 메모리 셀 어레이에 저장하도록 메모리 장치를 제어할 수 있다. 즉, 임베딩 벡터 관리부(210)는 예상되는 액세스 빈도가 비슷한 임베딩 벡터들을 동일한 메모리 셀 어레이에 저장시킴으로써, 메모리 장치(100)의 임베딩 연산은 효율적으로 수행될 수 있다.
또한, 임베딩 벡터 관리부(210)는 복수의 임베딩 벡터들이 액세스될 확률을 예측하기 위해 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단할 수 있다. 이때, 예상 액세스 빈도는 임베딩 벡터가 임베딩 연산에 이용되는 빈도일 수 있다. 구체적으로, 예상 액세스 빈도는 임베딩 벡터가 저장된 행 라인의 메모리 셀들에 저장된 데이터가 리드되는 빈도를 나타낼 수 있다. 예를 들어, 임베딩 벡터 관리부는 학습 데이터 셋을 이용한 학습 과정에서 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단할 수 있다. 예상 액세스 빈도를 판단하는 예는 후술할 도 4를 참조하여 자세하게 설명하도록 한다.
일 실시 예에서, 임베딩 연산 제어부(220)는 복수의 임베딩 벡터들을 이용한 임베딩 연산을 제어할 수 있다. 예를 들어, 임베딩 연산 제어부(220)는 메모리 장치(100)로 커맨드 및 어드레스를 제공함으로써, 임베딩 연산을 수행하도록 메모리 장치(100)를 제어할 수 있다.
호스트(300)는 USB (Universal Serial Bus), SATA (Serial AT Attachment), SAS (Serial Attached SCSI), HSIC (High Speed Interchip), SCSI (Small Computer System Interface), PCI (Peripheral Component Interconnection), PCIe (PCI express), NVMe (NonVolatile Memory express), UFS (Universal Flash Storage), SD (Secure Digital), MMC (MultiMedia Card), eMMC (embedded MMC), DIMM (Dual In-line Memory Module), RDIMM (Registered DIMM), LRDIMM (Load Reduced DIMM) 등과 같은 다양한 통신 방식들 중 적어도 하나를 이용하여 스토리지 장치(50)와 통신할 수 있다.
도 2는 도 1의 메모리 장치를 설명하기 위한 도면이다.
도 2를 참조하면, 메모리 장치(100)는 복수의 메모리 셀 어레이들(110-1~110-n), 연산 회로(120), 전압 생성부(130), 어드레스 디코더(140), 입출력 회로(150) 및 제어 로직(160)을 포함할 수 있다.
복수의 메모리 셀 어레이들(110-1~110-n)은 행 라인들(RL)을 통해 어드레스 디코더(140)에 연결된다. 복수의 메모리 셀 어레이들(110-1~110-n)은 열 라인들(CL)을 통해 연산 회로(120) 및 입출력 회로(150)에 연결될 수 있다. 실시 예에서, 행 라인들(RL)은 워드라인들, 소스 선택 라인들, 드레인 선택 라인들을 포함할 수 있다. 실시 예에서, 열 라인들(CL)은 비트라인들을 포함할 수 있다.
일 실시 예에서, 복수의 메모리 셀 어레이들(110-1~110-n)은 복수의 임베딩 벡터들 각각의 예상 액세스 빈도가 높은 순서에 따라 그룹화된 복수의 임베딩 벡터 그룹들을 저장할 수 있다.
연산 회로(120)는 복수의 메모리 셀 어레이들(110-1~110-n)로부터 출력된 출력 데이터를 연산한 결과 데이터를 출력할 수 있다. 이때, 결과 데이터는 입출력 회로(150)로 출력될 수 있다.
실시 예에서, 전압 생성부(130), 어드레스 디코더(140) 및 입출력 회로(150)는 주변 회로(peripheral circuit)로 통칭될 수 있다. 주변 회로는 제어 로직(160)의 제어에 따라 복수의 메모리 셀 어레이들(110-1~110-n)을 구동할 수 있다. 주변 회로는 쓰기 동작, 리드 동작 및 소거 동작을 수행하도록 복수의 메모리 셀 어레이들(110-1~110-n)을 구동할 수 있다.
전압 생성부(130)는 메모리 장치(100)에 공급되는 외부 전원 전압을 이용하여 복수의 동작 전압들을 발생하도록 구성된다. 전압 생성부(130)는 제어 로직(160)의 제어에 응답하여 동작한다.
실시 예로서, 전압 생성부(130)는 외부 전원 전압을 레귤레이팅하여 내부 전원 전압을 생성할 수 있다. 전압 생성부(130)에서 생성된 내부 전원 전압은 메모리 장치(100)의 동작 전압으로서 사용된다.
실시 예로서, 전압 생성부(130)는 외부 전원 전압 또는 내부 전원 전압을 이용하여 복수의 동작 전압들을 생성할 수 있다. 전압 생성부(130)는 메모리 장치(100)에서 요구되는 다양한 전압들을 생성하도록 구성될 수 있다. 예를 들어, 전압 생성부(130)는 복수의 소거 전압들, 복수의 프로그램 전압들, 복수의 패스 전압들, 복수의 선택 읽기 전압들, 복수의 비선택 읽기 전압들을 생성할 수 있다.
전압 생성부(130)는 다양한 전압 레벨들을 갖는 복수의 동작 전압들을 생성하기 위해서, 내부 전원 전압을 수신하는 복수의 펌핑 커패시터들을 포함하고, 제어 로직(160)의 제어에 응답하여 복수의 펌핑 커패시터들을 선택적으로 활성화하여 복수의 동작 전압들을 생성할 것이다.
생성된 복수의 동작 전압들은 어드레스 디코더(140)에 의해 복수의 메모리 셀 어레이들(110-1~110-n)에 공급될 수 있다.
어드레스 디코더(140)는 행 라인들(RL)을 통해 복수의 메모리 셀 어레이들(110-1~110-n)에 연결된다. 어드레스 디코더(140)는 제어 로직(160)의 제어에 응답하여 동작하도록 구성된다. 어드레스 디코더(140)는 제어 로직(160)으로부터 어드레스(ADDR)를 수신할 수 있다. 어드레스 디코더(140)는 수신된 어드레스(ADDR) 중 어레이 어드레스를 디코딩할 수 있다. 어드레스 디코더(140)는 디코딩된 어레이 어드레스에 따라 복수의 메모리 셀 어레이들(110-1~110-n) 중 적어도 하나의 메모리 셀 어레이를 선택한다. 어드레스 디코더(140)는 수신된 어드레스(ADDR) 중 로우 어드레스를 디코딩할 수 있다. 어드레스 디코더(140)는 디코딩된 로우 어드레스에 따라 선택된 메모리 셀 어레이의 워드라인들 중 적어도 하나의 워드라인을 선택할 수 있다. 실시 예에서, 어드레스 디코더(140)는 수신된 어드레스(ADDR) 중 컬럼 어드레스를 디코딩할 수 있다. 어드레스 디코더(140)는 디코딩된 컬럼 어드레스에 따라 연산 회로(120)와 복수의 메모리 셀 어레이들(110-1~110-n)을 연결할 수 있다. 또한, 어드레스 디코더(140)는 디코딩된 컬럼 어드레스에 따라 입출력 회로(150)와 복수의 메모리 셀 어레이들(110-1~110-n)을 연결할 수 있다.
본 발명의 실시 예에 따르면, 리드 동작 시에, 어드레스 디코더(140)는 선택된 워드라인에 리드 전압을 인가하고, 비선택된 워드라인들에 리드 전압보다 높은 레벨의 리드 패스 전압을 인가할 수 있다.
예시적으로, 어드레스 디코더(140)는 로우 디코더, 컬럼 디코더, 어드레스 버퍼 등과 같은 구성 요소들을 포함할 수 있다.
입출력 회로(150)는 복수의 페이지 버퍼들을 포함할 수 있다. 복수의 페이지 버퍼들은 비트 라인들을 통해 복수의 메모리 셀 어레이들(110-1~110-n) 및 연산 회로(120)에 연결될 수 있다. 쓰기 동작 시, 복수의 페이지 버퍼들에 저장된 데이터에 따라 선택된 메모리 셀들에 데이터가 저장될 수 있다.
리드 동작 시, 선택된 메모리 셀들에 저장된 데이터가 비트라인들을 통해서 센싱되고, 센싱된 데이터는 페이지 버퍼들에 저장될 수 있다.
또한, 연산 동작 시, 연산 회로의 연산을 통해 획득된 결과 데이터가 비트라인들을 통해서 출력되고, 출력된 결과 데이터는 페이지 버퍼들에 저장될 수 있다.
제어 로직(160)은 연산 회로(120), 전압 생성부(130), 어드레스 디코더(140) 및 입출력 회로(150)를 제어할 수 있다. 제어 로직(160)은 외부 장치로부터 전달되는 커맨드(CMD)에 응답하여 동작할 수 있다. 제어 로직(160)은 커맨드(CMD) 및 어드레스(ADDR)에 응답하여 여러 가지 신호를 생성하여 주변 회로들을 제어할 수 있다.
일 실시 예에서, 메모리 장치(100)는 컴퓨팅 인-메모리(Computing In-Memory) 회로(170)를 포함할 수 있다. 컴퓨팅 인-메모리 회로(170)는 복수의 메모리 셀 어레이들(110-1~110-n) 및 연산 회로(120)로 구성될 수 있다. 다만, 실시 예에 따라, 컴퓨팅 인-메모리 회로(170)는 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들을 더 포함할 수 있다. 컴퓨팅 인-메모리 회로(170)는 인-메모리 컴퓨팅 회로로 지칭될 수 있다.
컴퓨팅 인-메모리 회로(170)는 임베딩 연산, MAC(Multiply-Accumulate)　연산 등과 같이 아날로그 방식으로 수행되는 연산 동작을 수행할 수 있다.
일 실시 예에서, 컴퓨팅 인-메모리 회로(170)는 임베딩 연산 제어부(220)의 제어에 따라 임베딩 연산을 수행할 수 있다. 예를 들어, 복수의 메모리 셀 어레이들(110-1~110-n)에 포함된 각 메모리 셀은 저장된 데이터에 대응되는 컨턱턴스(Conductance)를 가질 수 있다. 행 라인들(RL)을 통해 복수의 입력 전압들이 입력되면, 옴(Ohm)의 법칙에 따라 I = V x G의 크기를 갖는 전류가 각 메모리 셀을 통해 출력될 수 있다. 이때, 복수의 입력 전압들은 액세스하려는 적어도 하나 이상의 임베딩 벡터들이 저장된 메모리 셀 어레이와 연결된 행 라인들(RL)을 통해 입력될 수 있다. 이후, 키르히호프(Kirchhoff) 법칙에 따라 하나의 열 라인(CL)을 따라 배치되는 메모리 셀들로부터 출력된 전류들은 서로 합쳐지므로, 열 라인들(CL)을 따라 전류 합이 출력될 수 있다. 이때, 전류 합은 아날로그 방식으로 수행된 연산 동작의 결과 값에 대응될 수 있다. 이후, 연산 회로(120)는 복수의 메모리 셀 어레이들(110-1~110-n)로부터 출력된 전류 합을 내부 구성 요소들을 통해 처리하여 임베딩 연산의 결과 데이터를 출력할 수 있다.
한편, 임베딩 벡터마다 액세스될 확률이 다르므로 각 임베딩 벡터는 서로 다른 시간 지역성(temporal locality)을 가질 수 있다. 따라서, 각 임베딩 벡터의 시간 지역성을 고려하지 않고 임베딩 벡터들을 복수의 메모리 셀 어레이들(110-1~110-n)에 저장하면, 임베딩 연산 시 비효율적인 메모리 액세스가 발생할 수 있다. 예를 들어, 높은 액세스 빈도를 갖는 임베딩 벡터들이 서로 다른 메모리 셀 어레이들에 저장되어 있으면, 임베딩 연산 시 여러 메모리 셀 어레이에 액세스해야하기 때문에 에너지 비효율적인 문제가 발생할 수 있다.
따라서, 본 발명의 일 실시 예에 따르면, 예상 액세스 빈도가 높은 순서를 기초로 복수의 임베딩 벡터들을 복수의 임베딩 벡터 그룹들로 분할한 뒤 복수의 메모리 셀 어레이들(110-1~110-n)에 저장함으로써, 시간 지역성을 고려한 효율적인 임베딩 연산을 수행할 수 있다. 또한, 임베딩 연산 시 소요되는 에너지가 줄어들고, 연산의 결과 데이터의 크기가 줄어들어 메모리 공간의 크기가 줄어들 수 있다.
도 3은 본 발명의 일 실시 예에 따른 메모리 셀 어레이 및 연산 회로를 설명하기 위한 도면이다.
도 3에 도시된 메모리 셀 어레이(110-1)는 도 2의 복수의 메모리 셀 어레이들(110-1~110-n) 중 어느 하나의 메모리 셀 어레이(110-1)를 나타낼 수 있다. 따라서, 도 3을 참조하여 설명되는 메모리 셀 어레이(110-1)에 대한 예시들은 복수의 메모리 셀 어레이들(110-1~110-n)에도 적용될 수 있다.
도 3을 참조하면, 메모리 셀 어레이(110-1)는 복수의 행 라인들, 복수의 열 라인들 및 복수의 메모리 셀들(MC)을 포함할 수 있다.
복수의 메모리 셀들은 복수의 행 라인들 및 복수의 열 라인들과 연결될 수 있다. 구체적으로, 복수의 메모리 셀들은 복수의 행 라인들 및 복수의 열 라인들 사이의 교차점에 위치할 수 있다.
일 실시 예세서, 복수의 메모리 셀들은 여러 논리 값을 나타내고 여러 비트의 데이터를 저장할 수 있다. 이때, 데이터는 학습 데이터 셋을 이용하여 획득된 가중치 데이터들일 수 있다. 예를 들어, 가중치 데이터들은 복수의 임베딩 벡터들에 포함된 구성 요소 데이터들을 포함할 수 있다. 가중치 데이터의 변경은 메모리 셀에 연결된 열 라인 및 행 라인에 전압을 인가함으로써 수행될 수 있다.
일 실시 예에서, 메모리 셀 어레이(110-1)는 복수의 행 라인들을 통해 입력 데이터를 입력받을 수 있다. 이때, 입력 데이터는 각 행 라인에 입력되는 복수의 입력 전압들을 포함할 수 있다. 또한, 입력 데이터는 싱글 비트로 구성될 수 있다.
일 실시 예에서, 메모리 셀 어레이(110-1)는 복수의 열 라인들을 통해 입력 데이터와 메모리 셀들에 저장된 데이터에 따른 출력 데이터를 출력할 수 있다. 출력 데이터는 각 열 라인을 통해 출력되는 복수의 출력 전류들을 포함할 수 있다. 출력 데이터는 연산 회로(120)로 출력될 수 있다.
한편, 도 3에서는 복수의 행 라인들의 개수가 N개이고, 복수의 열 라인들의 개수가 M개인 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니다. 복수의 행 라인들 및 복수의 열 라인들의 개수는 실시 예에 따라 다양하게 설정될 수 있다.
일 실시 예에서, 연산 회로(120)는 아날로그 디지털 컨버터(analog-digital converter, ADC)(121), 가산-감산기(Adder-Subtractor)(122) 및 누산기(Accumulator)(123)를 포함할 수 있다.
아날로그 디지털 컨버터(121)는 메모리 셀 어레이(110-1)로부터 출력된 출력 데이터를 아날로그 형태에서 디지털 형태로 변환할 수 있다.
가산/감산기(122)는 각 열 라인을 통해 출력되는 전류 합들을 가산하거나 감산하여 최종 전류 합을 출력할 수 있다.
누산기(123)는 복수의 메모리 셀 어레이들(110-1~110-n)로부터 출력된 최종 전류 합들을 누산하여 임베딩 연산의 결과인 결과 데이터를 출력할 수 있다.
일 실시 예에서, 복수의 메모리 셀 어레이들(110-1~110-n)은 하나의 연산 회로(120)를 공유할 수 있다. 즉, 복수의 메모리 셀 어레이들(110-1~110-n)은 아날로그 디지털 컨버터(121), 가산/감산기(122) 및 누산기(123)를 공유할 수 있다.
다만, 상술한 예와 달리, 복수의 메모리 셀 어레이들(110-1~110-n)은 각각 별도의 아날로그 디지털 컨버터(121), 가산/감산기(122) 및 누산기(123)와 연결될 수도 있다.
도 4는 본 발명의 일 실시 예에 따른 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단하는 예를 설명하기 위한 도면이다.
도 4를 참조하면, 임베딩 벡터 관리부(210)는 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단할 수 있다. 이때, 학습 데이터 셋은 추천 시스템에 이용되는 추천 모델을 학습시키기 위해 사용되는 데이터일 수 있다.
일 실시 예에서, 학습 데이터 셋은 사용자-아이템 상호작용(user-item interaction) 데이터(410)를 포함할 수 있다. 사용자-아이템 상호작용 데이터(410)는 복수의 사용자들 및 복수의 임베딩 벡터들 각각에 대응되는 복수의 아이템들(Item 1~Item z) 사이의 상호작용 데이터일 수 있다. 예를 들어, 사용자-아이템 상호작용 데이터는 사용자들이 각 아이템과 상호작용한 기록들을 포함할 수 있다.
일 실시 예에서, 임베딩 벡터 관리부(210)는 사용자-아이템 상호작용 데이터(410)를 기초로 아이템 별 상호작용 횟수를 나타내는 데이터(420)를 생성할 수 있다. 예를 들어, 임베딩 벡터 관리부(210)는 다양한 고유값 개수 산출(Count Unique Values) 알고리즘을 통해 사용자-아이템 상호작용 데이터(410)로부터 아이템 별 상호작용 횟수를 나타내는 데이터(420)를 생성할 수 있다.
일 실시 예에서, 임베딩 벡터 관리부(210)는 추천 모델의 학습 과정에서 아이템 별 상호작용 횟수를 나타내는 데이터(420)를 생성할 수 있다.
일 실시 예에서, 임베딩 벡터 관리부(210)는 아이템 별 상호작용 횟수를 나타내는 데이터(420)를 기초로 임베딩 벡터 별 예상 액세스 빈도를 나타내는 데이터(430)를 생성할 수 있다. 예를 들어, 임베딩 벡터 관리부(210)는 복수의 아이템들(Item 1~Item z) 각각이 복수의 사용자들과 상호작용한 횟수를 기초로 복수의 임베딩 벡터들(Embedding Vector 1~ Embedding Vector z) 각각의 예상 액세스 빈도를 판단할 수 있다. 구체적으로, 임베딩 벡터 관리부(210)는 아이템 별 상호작용 횟수를 각 아이템에 대응되는 임베딩 벡터 별 예상 액세스 빈도로 판단할 수 있다.
도시되지 않았지만, 임베딩 벡터 관리부(210)는 예상 액세스 빈도의 내림차순을 기준으로 임베딩 벡터 별 예상 액세스 빈도를 나타내는 데이터(430)를 정렬할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 복수의 임베딩 벡터들을 복수의 임베딩 벡터 그룹들로 분할하는 예를 설명하기 위한 도면이다.
도 5를 참조하면, 임베딩 벡터 관리부(210)는 예상 액세스 빈도가 높은 순서를 기초로 복수의 임베딩 벡터들(Embedding Vector 1~ Embedding Vector z)을 복수의 임베딩 벡터 그룹들(Group 1~Group n)로 분할할 수 있다.
일 실시 예에서, 임베딩 벡터 관리부(210)는 예상 액세스 빈도가 높은 순서대로 기 설정된 개수마다 복수의 임베딩 벡터들(Embedding Vector 1~ Embedding Vector z)을 그룹화할 수 있다.
일 실시 예에서, 임베딩 벡터 관리부(210)는 복수의 임베딩 벡터 그룹들(Group 1~Group n)이 복수의 행 라인들의 개수와 동일한 개수의 임베딩 벡터들을 포함하도록 복수의 임베딩 벡터들(Embedding Vector 1~ Embedding Vector z)을 그룹화할 수 있다.
예를 들어, 복수의 메모리 셀 어레이들이 N개의 행 라인들을 포함하면, 임베딩 벡터 관리부(210)는 예상 액세스 빈도가 높은 순서대로 N개의 임베딩 벡터들마다 하나의 임베딩 벡터 그룹으로 그룹화할 수 있다. 임베딩 벡터 1(Embedding Vector 1)이 복수의 임베딩 벡터들(Embedding Vector 1~ Embedding Vector z) 중 예상 액세스 빈도가 가장 높으면, 임베딩 벡터 1(Embedding Vector 1)은 임베딩 벡터 그룹 1(Group 1)에 포함될 수 있다. 또한, 임베딩 벡터 i(Embedding Vector i)가 복수의 임베딩 벡터들(Embedding Vector 1~ Embedding Vector z) 중 임베딩 벡터 1(Embedding Vector 1) 다음으로 예상 액세스 빈도가 높으면, 임베딩 벡터 i(Embedding Vector i)는 임베딩 벡터 그룹 1(Group 1)에 포함될 수 있다. 임베딩 벡터 그룹 1(Group 1)에 N개의 임베딩 벡터들이 포함되면, 임베딩 벡터 그룹 1(Group 1)에 포함되지 않은 나머지 임베딩 벡터들 중 예상 액세스 빈도가 가장 높은 임베딩 벡터 3(Embedding Vector 3)은 임베딩 벡터 그룹 2(Group 2)에 포함될 수 있다. 임베딩 벡터 관리부(210)는 상술한 그룹화 방식을 통해 복수의 임베딩 벡터들(Embedding Vector 1~ Embedding Vector z)을 복수의 임베딩 벡터 그룹들(Group 1~Group n)로 분할할 수 있다. 실시 에에 따라, 마지막 임베딩 벡터 그룹 n(Group n)에 포함된 임베딩 벡터의 개수는 복수의 행 라인들의 개수와 동일하지 않을 수 있다.
도 6은 본 발명의 일 실시 예에 따른 복수의 임베딩 벡터 그룹들을 복수의 메모리 셀 어레이들에 저장하는 예를 설명하기 위한 도면이다.
도 6을 참조하면, 임베딩 벡터 관리부(210)는 복수의 임베딩 벡터 그룹들(Group 1~Group n)을 복수의 메모리 셀 어레이들(110-1~110-n)에 저장하도록 메모리 장치(100)를 제어할 수 있다.
예를 들어, 복수의 메모리 셀 어레이들(110-1~110-n)은 각각 복수의 임베딩 벡터 그룹들(Group 1~Group n) 중 어느 하나의 임베딩 벡터 그룹에 포함된 임베딩 벡터들을 저장할 수 있다. 이때, 복수의 메모리 셀 어레이들(110-1~110-n)은 서로 다른 임베딩 벡터 그룹에 포함된 임베딩 벡터들을 저장할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 임베딩 벡터 그룹에 포함된 임베딩 벡터들을 메모리 셀 어레이에 저장하는 예를 설명하기 위한 도면이다.
도 7에 도시된 메모리 셀 어레이(110-1)는 도 2의 복수의 메모리 셀 어레이들(110-1~110-n) 중 어느 하나의 메모리 셀 어레이(110-1)를 나타낼 수 있다. 따라서, 도 7을 참조하여 설명되는 메모리 셀 어레이(110-1)에 대한 예시들은 복수의 메모리 셀 어레이들(110-1~110-n)에도 적용될 수 있다.
도 7을 참조하면, 복수의 메모리 셀들(MC)은 복수의 임베딩 벡터들에 포함된 구성 요소 데이터들을 저장할 수 있다.
예를 들어, 메모리 셀 어레이(110-1)에 임베딩 벡터 그룹 1(Group 1)에 포함된 임베딩 벡터들이 저장되면, 메모리 셀 어레이(110-1)의 각 행 라인에는 임베딩 벡터 그룹 1(Group 1)에 포함된 임베딩 벡터들 중 하나의 임베딩 벡터가 할당될 수 있다. 제1 행 라인(RL_1)에는 임베딩 벡터 1(Embedding Vector 1)이 할당되고, 제1 행 라인(RL_1)에 연결된 메모리 셀들은 임베딩 벡터 1(Embedding Vector 1)에 포함된 구성 요소 데이터들을 저장할 수 있다. 또한, 제2 행 라인(RL_2)에는 임베딩 벡터 i(Embedding Vector i)가 할당되고, 제2 행 라인(RL_2)에 연결된 메모리 셀들은 임베딩 벡터 i(Embedding Vector i)에 포함된 구성 요소 데이터들을 저장할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 스토리지 장치의 동작 방법의 일 예를 설명하기 위한 순서도이다.
도 8에 도시된 방법은 예를 들어, 도 1에 도시된 스토리지 장치(50)에 의해 수행될 수 있다.
도 8을 참조하면, 단계 S801에서, 스토리지 장치(50)는 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단할 수 있다.
단계 S803에서, 스토리지 장치(50)는 예상 액세스 빈도가 높은 순서를 기초로 복수의 임베딩 벡터들을 복수의 임베딩 벡터 그룹들로 분할할 수 있다.
단계 S805에서, 스토리지 장치(50)는 복수의 임베딩 벡터 그룹들 중 어느 하나의 임베딩 벡터 그룹에 포함된 임베딩 벡터들을 복수의 메모리 셀 어레이들에 저장할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 스토리지 장치의 동작 방법의 다른 예를 설명하기 위한 순서도이다.
도 9에 도시된 방법은 예를 들어, 도 1에 도시된 스토리지 장치(50)에 의해 수행될 수 있다. 또한, 도 9에 도시된 방법은 도 8에 도시된 방법과 달리 별도의 그룹화 동작을 수행하지 않고 예상 액세스 빈도를 기초로 곧바로 복수의 임베딩 벡터들을 복수의 메모리 셀 어레이들에 저장하는 방법을 나타낸다.
도 9를 참조하면, 단계 S901에서, 스토리지 장치(50)는 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단할 수 있다.
단계 S903에서, 스토리지 장치(50)는 복수의 임베딩 벡터들 중 예상 액세스 빈도가 상대적으로 높은 상위 임베딩 벡터들을 제1 메모리 셀 어레이에 저장할 수 있다. 이때, 상위 임베딩 벡터들은 제1 메모리 셀 어레이에 포함된 복수의 행 라인들의 개수와 동일한 개수의 임베딩 벡터들을 포함할 수 있다.
단계 S905에서, 스토리지 장치(50)는 복수의 임베딩 벡터들 중 상위 임베딩 벡터들을 제외한 나머지 임베딩 벡터들을 제2 메모리 셀 어레이에 저장할 수 있다.
도 10은 도 1의 메모리 컨트롤러를 설명하기 위한 도면이다.
도 1 및 도 10을 참조하면, 메모리 컨트롤러(1000)는 프로세서(1010), RAM(1020), 에러 정정 회로(1030), ROM(1040), 호스트 인터페이스(1050), 및 플래시 인터페이스(1060)를 포함할 수 있다.
프로세서(1010)는 메모리 컨트롤러(1000)의 제반 동작을 제어할 수 있다. 일 실시 예에서, 도 1의 임베딩 벡터 관리부(210) 및 임베딩 연산 제어부(220)는 프로세서(1010)의 일 구성으로 구현될 수 있다. 따라서, 프로세서(1010)는 도 1을 참조하여 설명된 임베딩 벡터 관리부(210) 및 임베딩 연산 제어부(220)의 동작들을 동일하게 수행할 수 있다.
예를 들어, 프로세서(1010)는 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단할 수 있다. 프로세서(1010)는 예상 액세스 빈도를 기초로 복수의 임베딩 벡터들을 복수의 임베딩 벡터 그룹들로 분할할 수 있다. 프로세서(1010)는 복수의 임베딩 벡터 그룹들을 복수의 메모리 셀 어레이들(110-1~110-n)에 저장하도록 메모리 장치(100)를 제어할 수 있다. 또한, 프로세서(1010)는 커맨드 및 어드레스를 메모리 장치(100)로 제공함으로써, 메모리 장치(100)의 임베딩 연산을 제어할 수 있다.
RAM(1020)은 메모리 컨트롤러(1000)의 버퍼 메모리, 캐시 메모리, 동작 메모리 등으로 사용될 수 있다.
에러 정정 회로(1030)는 에러 정정을 수행할 수 있다. 에러 정정 회로(1030)는 플래시 인터페이스(1060)를 통해 메모리 장치(100)에 기입될 데이터에 기반하여 에러 정정 인코딩(ECC encoding)을 수행할 수 있다. 에러 정정 인코딩된 데이터는 플래시 인터페이스(1060)를 통해 메모리 장치(100)로 전달될 수 있다. 에러 정정 회로(1030)는 메모리 장치(100)로부터 플래시 인터페이스(1060)를 통해 수신되는 데이터에 대해 에러 정정 디코딩(ECC decoding)을 수행할 수 있다. 예시적으로, 에러 정정 회로(1030)는 플래시 인터페이스(1060)의 구성 요소로서 플래시 인터페이스(1060)에 포함될 수 있다.
ROM(1040)은 메모리 컨트롤러(1000)가 동작하는데 요구되는 다양한 정보들을 펌웨어 형태로 저장할 수 있다.
메모리 컨트롤러(1000)는 호스트 인터페이스(1050)를 통해 외부 장치(예를 들어, 호스트(300), 애플리케이션 프로세서 등)와 통신할 수 있다.
메모리 컨트롤러(1000)는 플래시 인터페이스(1060)를 통해 메모리 장치(100)와 통신할 수 있다. 메모리 컨트롤러(1000)는 플래시 인터페이스(1060)를 통해 커맨드, 어드레스, 및 제어 신호 등을 메모리 장치(100)로 전송할 수 있고, 데이터를 수신할 수 있다. 예시적으로, 플래시 인터페이스(1060)는 낸드 인터페이스(NAND Interface)를 포함할 수 있다.
50: 스토리지 장치
100: 메모리 장치
200: 메모리 컨트롤러
210: 임베딩 벡터 관리부
220: 임베딩 연산 제어부
300: 호스트

Claims (19)

  1. 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단하고, 상기 예상 액세스 빈도가 높은 순서를 기초로 상기 복수의 임베딩 벡터들을 복수의 임베딩 벡터 그룹들로 분할하는 임베딩 벡터 관리부; 및
    각각 상기 복수의 임베딩 벡터 그룹들 중 어느 하나의 임베딩 벡터 그룹에 포함된 임베딩 벡터들을 저장하는 복수의 메모리 셀 어레이들;을 포함하는, 스토리지 장치.
  2. 제1 항에 있어서, 상기 학습 데이터 셋은,
    복수의 사용자들 및 상기 복수의 임베딩 벡터들 각각에 대응되는 복수의 아이템들 사이의 상호작용(interaction) 데이터를 포함하는, 스토리지 장치.
  3. 제2 항에 있어서, 상기 임베딩 벡터 관리부는,
    상기 복수의 아이템들 각각이 상기 복수의 사용자들과 상호작용한 횟수를 기초로 상기 예상 액세스 빈도를 판단하는, 스토리지 장치.
  4. 제1 항에 있어서, 상기 임베딩 벡터 관리부는,
    상기 예상 액세스 빈도가 높은 순서대로 기 설정된 개수마다 상기 복수의 임베딩 벡터들을 그룹화하는, 스토리지 장치.
  5. 제1 항에 있어서, 상기 복수의 메모리 셀 어레이들은,
    복수의 행 라인들;
    복수의 열 라인들; 및
    상기 복수의 행 라인들 및 상기 복수의 열 라인들과 연결되고, 상기 복수의 임베딩 벡터들에 포함된 구성 요소 데이터들을 저장하는 복수의 메모리 셀들;을 포함하는, 스토리지 장치.
  6. 제5 항에 있어서, 상기 임베딩 벡터 관리부는,
    상기 복수의 임베딩 벡터 그룹들이 상기 복수의 행 라인들의 개수와 동일한 개수의 임베딩 벡터들을 포함하도록 상기 복수의 임베딩 벡터들을 그룹화하는, 스토리지 장치.
  7. 제5 항에 있어서, 상기 복수의 메모리 셀 어레이들은,
    상기 복수의 행 라인들을 통해 복수의 입력 전압들을 입력받고, 상기 복수의 입력 전압들 및 상기 저장된 구성 요소 데이터들을 기초로 아날로그 방식의 연산 동작을 수행하고, 상기 복수의 열 라인들을 통해 상기 연산 동작의 결과 값을 출력하는, 스토리지 장치.
  8. 제7 항에 있어서, 상기 아날로그 방식의 연산 동작은,
    상기 복수의 입력 전압들에 의해 상기 구성 요소 데이터들이 저장된 상기 복수의 메모리 셀들로부터 전류들이 출력되고, 상기 복수의 열 라인들 각각에서 상기 복수의 열 라인들 각각에 배치된 메모리 셀들로부터 출력된 전류들의 합이 출력되는 동작인, 스토리지 장치.
  9. 제7 항에 있어서,
    상기 연산 동작의 결과 값을 처리하여 임베딩 연산의 결과 데이터를 출력하는 연산 회로;를 더 포함하는, 스토리지 장치.
  10. 학습 데이터 셋을 기초로 복수의 임베딩 벡터들 각각의 예상 액세스 빈도를 판단하는 단계;
    상기 복수의 임베딩 벡터들 중 상기 예상 액세스 빈도가 상대적으로 높은 상위 임베딩 벡터들을 제1 메모리 셀 어레이에 저장하는 단계; 및
    상기 복수의 임베딩 벡터들 중 상기 상위 임베딩 벡터들을 제외한 나머지 임베딩 벡터들을 제2 메모리 셀 어레이에 저장하는 단계;를 포함하는, 스토리지 장치의 동작 방법.
  11. 제10 항에 있어서, 상기 학습 데이터 셋은,
    복수의 사용자들 및 상기 복수의 임베딩 벡터들 각각에 대응되는 복수의 아이템들 사이의 상호작용(interaction) 데이터를 포함하는, 스토리지 장치의 동작 방법.
  12. 제11 항에 있어서, 상기 판단하는 단계는,
    상기 복수의 아이템들 각각이 상기 복수의 사용자들과 상호작용한 횟수를 기초로 상기 예상 액세스 빈도를 판단하는, 스토리지 장치의 동작 방법.
  13. 제10 항에 있어서, 상기 상위 임베딩 벡터들은,
    상기 제1 메모리 셀 어레이에 포함된 복수의 행 라인들의 개수와 동일한 개수의 임베딩 벡터들을 포함하는, 스토리지 장치의 동작 방법.
  14. 제10 항에 있어서,
    상기 제1 메모리 셀 어레이 및 상기 제2 메모리 셀 어레이 중 액세스하려는 적어도 하나 이상의 임베딩 벡터가 저장된 특정 메모리 셀 어레이에 연결된 복수의 행 라인들을 통해 복수의 입력 전압들을 입력하는 단계;
    상기 복수의 입력 전압들 및 상기 특정 메모리 셀 어레이에 저장된 임베딩 벡터들에 포함된 구성 요소 데이터들을 기초로 아날로그 방식의 연산 동작을 수행하는 단계; 및
    상기 특정 메모리 셀 어레이에 연결된 복수의 열 라인들을 통해 상기 연산 동작의 결과 값을 출력하는 단계;를 더 포함하는, 스토리지 장치의 동작 방법.
  15. 복수의 임베딩 벡터들 각각의 예상 액세스 빈도가 높은 순서에 따라 그룹화된 복수의 임베딩 벡터 그룹들을 저장하는 복수의 메모리 셀 어레이들; 및
    상기 복수의 메모리 셀 어레이들로부터 출력된 출력 데이터를 연산한 결과 데이터를 출력하는 연산 회로;를 포함하는, 메모리 장치.
  16. 제15 항에 있어서, 상기 예상 액세스 빈도는,
    상기 복수의 임베딩 벡터들 각각에 대응되는 복수의 아이템들 각각이 복수의 사용자들과 상호작용한 횟수를 기초로 판단되는, 메모리 장치.
  17. 제15 항에 있어서, 상기 복수의 메모리 셀 어레이들은,
    복수의 행 라인들;
    복수의 열 라인들; 및
    상기 복수의 행 라인들 및 상기 복수의 열 라인들과 연결되고, 상기 복수의 임베딩 벡터들에 포함된 구성 요소 데이터들을 저장하는 복수의 메모리 셀들을 포함하는, 메모리 장치.
  18. 제17 항에 있어서, 상기 복수의 임베딩 벡터 그룹들은,
    상기 복수의 행 라인들의 개수와 동일한 개수의 임베딩 벡터들을 포함하는, 메모리 장치.
  19. 제17 항에 있어서, 상기 연산 회로는,
    상기 출력된 출력 데이터를 아날로그 형태에서 디지털 형태로 변환하는 아날로그 디지털 컨버터;
    상기 복수의 열 라인들 각각을 통해 출력되는 전류 합들을 가산하거나 감산하여 최종 전류 합들을 출력하는 가산/감산기; 및
    상기 최종 전류 합들을 누산하여 임베딩 연산의 결과인 상기 결과 데이터를 출력하는 누산기;를 포함하는, 메모리 장치.
KR1020220164695A 2022-11-30 2022-11-30 스토리지 장치 및 그 동작 방법 KR20240080913A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220164695A KR20240080913A (ko) 2022-11-30 2022-11-30 스토리지 장치 및 그 동작 방법
US18/323,507 US20240177751A1 (en) 2022-11-30 2023-05-25 Storage device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220164695A KR20240080913A (ko) 2022-11-30 2022-11-30 스토리지 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20240080913A true KR20240080913A (ko) 2024-06-07

Family

ID=91192126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220164695A KR20240080913A (ko) 2022-11-30 2022-11-30 스토리지 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US20240177751A1 (ko)
KR (1) KR20240080913A (ko)

Also Published As

Publication number Publication date
US20240177751A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
US10509602B2 (en) Data storage device and operating method thereof
US11573742B2 (en) Dynamic data placement for collision avoidance among concurrent write streams
US11989125B2 (en) Storage device and operating method of memory controller
US9575661B2 (en) Nonvolatile memory systems configured to use deduplication and methods of controlling the same
US10067873B2 (en) Data storage device and operating method thereof
CN112905502A (zh) 存储装置及其操作方法
CN115080458A (zh) 在存储器子系统中高速缓存逻辑到物理映射信息
CN115145838A (zh) 在与非存储器中存储逻辑到物理映射
CN113093990B (zh) 存储器子系统处的数据块切换
US20220197540A1 (en) Storage device and method of operating the same
US11720490B2 (en) Managing host input/output in a memory system executing a table flush
US20220138127A1 (en) Parallel iterator for machine learning frameworks
US11397676B2 (en) Computer program product and method and apparatus for managing garbage collection process
US20230129363A1 (en) Memory overlay using a host memory buffer
KR20240080913A (ko) 스토리지 장치 및 그 동작 방법
US11562776B2 (en) Performing read operations on grouped memory cells
US11861208B2 (en) Performing data operations on grouped memory cells
US11922011B2 (en) Virtual management unit scheme for two-pass programming in a memory sub-system
US11734168B2 (en) Storage device and operating method thereof
US12093564B2 (en) Partition command queues for a memory device
US20240220143A1 (en) Method for managing virtual zone
US20240028219A1 (en) Memory controller and memory system including the same
US20230066863A1 (en) Redundancy metadata media management at a memory sub-system
KR20240008590A (ko) 저장 장치 및 그 동작 방법
CN115729459A (zh) 管理存储器子系统中的页地址和分区号的分布