KR102664213B1 - 인-메모리 프리페칭을 수행하는 메모리 장치 및 이를 포함하는 시스템 - Google Patents
인-메모리 프리페칭을 수행하는 메모리 장치 및 이를 포함하는 시스템 Download PDFInfo
- Publication number
- KR102664213B1 KR102664213B1 KR1020180119527A KR20180119527A KR102664213B1 KR 102664213 B1 KR102664213 B1 KR 102664213B1 KR 1020180119527 A KR1020180119527 A KR 1020180119527A KR 20180119527 A KR20180119527 A KR 20180119527A KR 102664213 B1 KR102664213 B1 KR 102664213B1
- Authority
- KR
- South Korea
- Prior art keywords
- memory
- elements
- target
- data
- array
- Prior art date
Links
- 239000004065 semiconductor Substances 0.000 claims description 78
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000003491 array Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 229910052710 silicon Inorganic materials 0.000 claims description 3
- 239000010703 silicon Substances 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 16
- 101100402619 Amanita bisporigera MSD4 gene Proteins 0.000 description 9
- 101150018041 msd1 gene Proteins 0.000 description 9
- 239000000872 buffer Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000001788 irregular Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 201000007664 Branchio-oculo-facial syndrome Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
- G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0877—Cache access modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0658—Controller construction arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30098—Register arrangements
- G06F9/30101—Special purpose registers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C8/00—Arrangements for selecting an address in a digital store
- G11C8/06—Address interface arrangements, e.g. address buffers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1016—Performance improvement
- G06F2212/1021—Hit rate improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1016—Performance improvement
- G06F2212/1024—Latency reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/6022—Using a prefetch buffer or dedicated prefetch cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/6026—Prefetching based on access pattern detection, e.g. stride based prefetch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/6028—Prefetching based on hints or prefetch instructions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Human Computer Interaction (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
메모리 장치는 메모리 셀 어레이, 정보 레지스터 및 프리페치 회로를 포함한다. 상기 메모리 셀 어레이는 제1 데이터의 원소들 중 유효 원소들을 순차적으로 포함하는 유효 데이터 어레이, 상기 유효 원소들에 각각 상응하는 위치 정보들을 나타내는 위치 원소들을 순차적으로 포함하는 베이스 어레이 및 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들을 순차적으로 포함하는 타겟 데이터 어레이를 저장한다. 정보 레지스터는 상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함하는 간접 메모리 액세스 정보를 저장한다. 상기 프리페치 회로는 상기 간접 메모리 액세스 정보에 기초하여 상기 메모리 셀 어레이로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치한다. 메모리 장치는 메모리 콘트롤러로부터 제공되는 간접 메모리 액세스 정보에 기초하여 간접 메모리 액세스를 수행함으로써 인-메모리 프리페칭의 정확도 및 효율을 향상시킨다.
Description
본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 인-메모리 프리페칭을 수행하는 메모리 장치 및 이를 포함하는 시스템에 관한 것이다.
희소 행렬 벡터 곱셈(SpMV, Sparse matrix vector multiplication)과 같은 희소 데이터 연산의 간접 메모리 액세스(indirect memory access)는 희소 데이터 연산의 성능 저하의 주 요인이다. 간접 메모리 액세스와 같은 불규칙적인 메모리 액세스의 경우에는, 인접성(locality)을 고려하는 기존의 스트라이드(stride) 또는 스트리밍(streaming) 프리페칭으로부터 연산 속도 증가의 효과를 얻을 수 없기 때문이다. 희소 데이터 연산의 가속을 위해 간접 메모리 액세스 패턴을 고려하는 소프트웨어 또는 하드웨어 프리페칭 방법이 제안되었으나, 간접 메모리 액세스의 탐지 및 예측에 지나친 대역폭을 소비하거나, 잘못된 탐지 및 예측으로 인하여 불필요한 데이터를 읽어오는데 대역폭을 낭비하는 문제를 가지고 있었다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 간접 메모리 액세스의 효율성을 향상하기 위한 메모리 장치 및 이를 포함하는 시스템을 제공하는 것이다.
또한 본 발명의 일 목적은, 간접 메모리 액세스를 통한 프로세싱-인-메모리의 효율성을 향상하기 위한 메모리 장치 및 이를 포함하는 시스템을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 메모리 장치는 메모리 셀 어레이, 정보 레지스터 및 프리페치 회로를 포함한다.
상기 메모리 셀 어레이는 제1 데이터의 원소들 중 유효 원소들을 순차적으로 포함하는 유효 데이터 어레이, 상기 유효 원소들에 각각 상응하는 위치 정보들을 나타내는 위치 원소들을 순차적으로 포함하는 베이스 어레이 및 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들을 순차적으로 포함하는 타겟 데이터 어레이를 저장한다.
상기 정보 레지스터는 상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함하는 간접 메모리 액세스 정보를 저장한다.
상기 프리페치 회로는 상기 간접 메모리 액세스 정보에 기초하여 상기 메모리 셀 어레이로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 적층형 메모리 장치는, 수직 방향으로 적층되는 복수의 메모리 반도체 다이들, 상기 메모리 반도체 다이들을 전기적으로 연결하는 실리콘 관통 전극들, 정보 레지스터 및 프리페치 회로를 포함한다.
상기 복수의 메모리 반도체 다이들에는 제1 데이터의 원소들 중 유효 원소들을 순차적으로 포함하는 유효 데이터 어레이, 상기 유효 원소들에 각각 상응하는 위치 정보들을 나타내는 위치 원소들을 순차적으로 포함하는 베이스 어레이 및 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들을 순차적으로 포함하는 타겟 데이터 어레이를 저장하는 메모리 셀 어레이들이 형성된다. 상기 정보 레지스터는 상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함하는 간접 메모리 액세스 정보를 저장한다. 상기 프리페치 회로는 간접 메모리 액세스 정보에 기초하여 상기 메모리 셀 어레이로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 시스템은 메모리 장치 및 상기 메모리 장치의 액세스를 제어하는 메모리 콘트롤러를 포함하는 호스트 장치를 포함한다. 상기 메모리 장치는 메모리 셀 어레이, 정보 레지스터 및 프리페치 회로를 포함한다. 메모리 셀 어레이는 전술한 바와 같은 유효 데이터 어레이, 베이스 어레이 및 타겟 데이터 어레이를 저장한다. 상기 정보 레지스터는 상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함하는 간접 메모리 액세스 정보를 저장한다. 상기 프리페치 회로는 상기 간접 메모리 액세스 정보에 기초하여 상기 메모리 셀 어레이로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치한다.
본 발명의 실시예들에 따른 메모리 장치 및 시스템은 메모리 콘트롤러로부터 제공되는 간접 메모리 액세스 정보에 기초하여 간접 메모리 액세스를 수행함으로써 인-메모리 프리페칭의 정확도 및 효율을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 메모리 장치 및 시스템은 간접 메모리 액세스를 위한 데이터 배치를 병렬화하고 메모리 내부의 대역폭을 활용하여 간접 메모리 액세스의 지연을 단축하고 인-메모리 프리페칭의 속도를 증가시킬 수 있다.
또한, 본 발명의 실시예들에 따른 메모리 장치 및 시스템은 상기 인-메모리 프리페칭을 이용하여 프로세싱-인 메모리를 수행함으로써 희소 데이터 연산을 효율적으로 수행할 수 있다.
도 1은 본 발명의 실시예들에 따른 메모리 장치를 포함하는 메모리 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 메모리 장치의 제어 방법을 나타내는 순서도이다.
도 3은 희소 행렬 벡터 곱셈의 일 예를 나타내는 도면이다.
도 4a 및 4b는 도 3의 희소 행렬 벡터 곱셈에 상응하는 데이터 어레이들을 나타내는 도면들이다.
도 5는 본 발명의 실시예들에 따른 메모리 장치를 나타내는 도면이다.
도 6a, 6b 및 6c는 본 발명의 실시예들에 따른 인-메모리 프리페칭을 위한 간접 메모리 액세스 정보의 실시예들을 나타내는 도면들이다.
도 7은 본 발명의 실시예들에 따른 간접 메모리 액세스를 위한 데이터 병렬 배치를 나타내는 도면이다.
도 8은 본 발명의 실시예들에 따른 메모리 장치에 포함되는 프리페치 회로를 나타내는 도면이다.
도 9는 본 발명의 실시예들에 따른 메모리 장치를 포함하는 시스템을 나타내는 블록도이다.
도 10은 본 발명의 실시예들에 따른 메모리 장치에 포함되는 프로세싱-인 메모리를 위한 연산 유닛의 일 실시예를 나타내는 도면이다.
도 11 및 12는 본 발명의 실시예들에 따른 적층형 메모리 장치를 포함하는 시스템을 나타내는 분리 사시도들이다.
도 13 및 도 14는 본 발명의 실시예들에 따른 적층형 메모리 장치의 패키징 구조를 나타내는 도면들이다.
도 15는 본 발명의 실시예들에 따른 적층형 메모리 장치의 구조를 나타내는 도면이다.
도 16은 본 발명의 실시예들에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 메모리 장치의 제어 방법을 나타내는 순서도이다.
도 3은 희소 행렬 벡터 곱셈의 일 예를 나타내는 도면이다.
도 4a 및 4b는 도 3의 희소 행렬 벡터 곱셈에 상응하는 데이터 어레이들을 나타내는 도면들이다.
도 5는 본 발명의 실시예들에 따른 메모리 장치를 나타내는 도면이다.
도 6a, 6b 및 6c는 본 발명의 실시예들에 따른 인-메모리 프리페칭을 위한 간접 메모리 액세스 정보의 실시예들을 나타내는 도면들이다.
도 7은 본 발명의 실시예들에 따른 간접 메모리 액세스를 위한 데이터 병렬 배치를 나타내는 도면이다.
도 8은 본 발명의 실시예들에 따른 메모리 장치에 포함되는 프리페치 회로를 나타내는 도면이다.
도 9는 본 발명의 실시예들에 따른 메모리 장치를 포함하는 시스템을 나타내는 블록도이다.
도 10은 본 발명의 실시예들에 따른 메모리 장치에 포함되는 프로세싱-인 메모리를 위한 연산 유닛의 일 실시예를 나타내는 도면이다.
도 11 및 12는 본 발명의 실시예들에 따른 적층형 메모리 장치를 포함하는 시스템을 나타내는 분리 사시도들이다.
도 13 및 도 14는 본 발명의 실시예들에 따른 적층형 메모리 장치의 패키징 구조를 나타내는 도면들이다.
도 15는 본 발명의 실시예들에 따른 적층형 메모리 장치의 구조를 나타내는 도면이다.
도 16은 본 발명의 실시예들에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 메모리 장치를 포함하는 메모리 시스템을 나타내는 블록도이다.
도 1을 참조하면, 메모리 시스템(10)은 메모리 콘트롤러(20) 및 적어도 하나의 반도체 메모리 장치(30)를 포함할 수 있다.
메모리 콘트롤러(Memory Controller)(20)는 메모리 시스템(Memory System)(10)의 동작을 전반적으로 제어하며, 외부의 호스트와 반도체 메모리 장치(30) 사이의 전반적인 데이터 교환을 제어한다. 예컨대, 메모리 콘트롤러(20)는 호스트의 요청에 따라 반도체 메모리 장치(30)를 제어하여 데이터를 기입하거나(write) 데이터를 독출한다(read). 또한, 메모리 콘트롤러(20)는 반도체 메모리 장치(10)를 제어하기 위한 동작 코맨드(command)들을 인가하여, 반도체 메모리 장치(30)의 동작을 제어한다.
실시예에 따라, 반도체 메모리 장치(30)는 동적 메모리 셀들을 구비하는 DRAM(dynamic random access), DDR4(double data rate 4) SDRAM(synchronous DRAM) 또는 LPDDR4(low power DDR4) SDRAM, LPDDR5 SDRAM일 수 있다.
메모리 콘트롤러(20)는 반도체 메모리 장치(30)에 클록 신호(CLK), 코맨드(CMD) 및 어드레스(ADDR)를 전송하고, 반도체 메모리 장치(30)와 데이터(DQ)를 주고받을 수 있다. 또한, 메모리 콘트롤러(20)는 호스트의 요청에 따라 후술하는 간접 메모리 액세스 정보(IMAI)를 반도체 메모리 장치(30)에 제공할 수 있다. 간접 메모리 액세스 정보(IMAI)는 별개의 제어 신호로서 반도체 메모리 장치(30)에 제공될 수도 있고, 반도체 메모리 장치(30)의 모드 레지스터의 값을 설정하기 위한 모드 레지스터 기입 코맨드를 통하여 반도체 메모리 장치(30)에 제공될 수도 있다.
반도체 메모리 장치(30)는 메모리 셀 어레이(MC)(40), 정보 레지스터(IREG)(100) 및 프리페치 회로(PFC)를 포함할 수 있다.
메모리 셀 어레이(40)는 데이터(DQ)가 저장되는 복수의 메모리 셀들을 포함한다. 상기 메모리 셀들은 복수의 메모리 뱅크들로 그룹화될 수 있고, 상기 각각의 메모리 뱅크는 복수의 데이터 블록들을 포함할 수 있다.
메모리 셀 어레이(40)에는 메모리 콘트롤러(20)의 제어에 따라서 유효 데이터 어레이, 베이스 어레이 및 타겟 데이터 어레이가 저장될 수 있다. 상기 유효 데이터 어레이는 제1 데이터의 원소들 중 유효 원소들을 순차적으로 포함한다. 베이스 어레이는 상기 유효 원소들에 각각 상응하는 위치 정보들을 나타내는 위치 원소들을 순차적으로 포함한다. 상기 타겟 데이터 어레이는 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들을 순차적으로 포함한다. 유효 데이터 어레이, 베이스 어레이 및 타겟 데이터 어레이에 대해서는 도3, 4a 및 4b를 참조하여 후술한다.
정보 레지스터(100)는 메모리 콘트롤러(20)로부터 제공되는 간접 메모리 액세스 정보(IMAI)를 저장한다. 간접 메모리 액세스 정보(IMAI)는 적어도 상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함한다. 메모리 콘트롤러(20)로부터 제공되는 간접 메모리 액세스 정보(IMAI)에 대해서는 도 6a, 6b, 6c 및 7을 참조하여 후술한다.
프리페치 회로(200)는 정보 레지스터(100)에 저장된 간접 메모리 액세스 정보(IMAI)에 기초하여 메모리 셀 어레이(40)로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치한다.
메모리 액세스를 가속하는 대표적인 방법이 프리페칭 (prefetching)인데, 종래의 프리페칭은 스트리밍 또는 스트라이드 방식으로서 인접한 메모리 영역을 한꺼번에 읽어 들임으로써 나중에 읽어올 필요성을 제거하게 된다. 이러한 종래의 프리페칭은 공간 인접성(spatial locality)을 가정하고 인접 데이터를 한꺼번에 읽어 오는 방식이라서, 불규칙 액세스를 발생시키는 간접 메모리 액세스에는 거의 효과가 없고 오히려 프리페칭으로 메모리 대역폭만 소비할 수 있다.
따라서 인접성이 아닌 간접 메모리 액세스를 고려한 새로운 프리페칭 방법이 필요하며, 해당 기술은 간접 메모리 액세스를 탐지하고, 이후 액세스될 간접 메모리 주소를 예측하여, 해당 주소로부터 데이터를 읽어 들이는 방식이다.
이 때 프리페칭으로 인해 타 메모리 액세스가 지연되지 않게 프리페칭 비용을 최소화하여야 한다. 따라서 탐지 및 예측의 정확도와 프리페칭 연산 자체의 최적화가 매우 중요하다. 우선 잘못된 탐지와 예측으로 불필요한 데이터를 읽어오는데 대역폭을 낭비하거나 정확한 프리페칭이라고 해도 그 자체가 상당한 대역폭을 소비한다면, 프리페칭 효과를 감소시킬 뿐 아니라 다른 워크로드 수행도 지연시켜서 전체 시스템 성능을 떨어뜨릴 수 있기 때문이다.
간접 메모리 접근 지연을 최소화하기 위한 프리페칭은 크게 소프트웨어 프리페칭과 하드웨어 프리페칭 두 가지로 구분될 수 있다.
소프트웨어 프리페칭은 간접 메모리 액세스의 탐지 및 예측의 정확도에 초점을 두고, 하드웨어 액세스보다는 소프트웨어 액세스가 정확도에 강점이 있다는 점에 착안한다. 즉, 호스트 장치에 의해 실행되는 애플리케이션의 워크로드 내용을 전혀 모르는 하드웨어에 비해, 소프트웨어는 소스 코드 검사를 통해 간접 메모리 액세스가 언제 일어날지, 메모리의 어디를 액세스하게 될지 좀 더 쉽고 정확하고 저비용으로 예측할 수 있기 때문이다. 예를 들어, 컴파일러가 소스 코드를 살펴보면서 간접 메모리 액세스 코드를 만나게 되면, 해당 코드 앞에 프리페칭 명령어를 삽입할 수 있다. 삽입된 프리페칭 명령어에 의해 데이터가 프리페칭되면 이후 수행되는 연산에서는 이미 읽어 들인 값을 사용하면 되므로 간접 메모리 액세스로 인한 지연이 사라지게 된다.
그러나, 이러한 소프트웨어 프리페칭도 프리페칭 비용 최소화 문제는 해결하지 못한다. 하드웨어 프리페칭보다는 용이하게 수행될 수 있더라도, 자동 코드 분석을 통해 간접 메모리 액세스를 100% 탐지하는 것은 쉬운 작업이 아니다. 탐지되지 못한 간접 메모리 액세스나 잘못된 탐지도 존재할 수 있다. 또한 탐지된 코드마다 프리페칭 명령어를 삽입하는 방식은 명령어 개수를 크게 증가시키게 된다.
이러한 소프트웨어 프리페칭의 단점을 고려하여 하드웨어 프리페칭이 고려될 수 있다. 예를 들어, 간접 메모리 액세스에 관한 정보를 알아내기 위해 프리페치 테이블 액세스 직후에 발생하는 캐시 미스(cache miss)를 감시함으로써 추후의 캐시 미스를 예측할 수 있다. 이러한 감시와 예측을 통하여 프리페치할 데이터의 주소를 계산하여 프리페칭을 수행할 수 있다.
그러나, 이러한 방식의 하드웨어 프리페칭 또한 정확도 및 비용 문제를 피할 수는 없다. 하드웨어는 워크로드 별 실행 컨텍스트(context)를 전혀 알지 못하므로, 전술한 바와 같이 프리페치 테이블 액세스 직후에 발생하는 캐시 미스를 간접 메모리 액세스라고 가정하는데, 이렇게 부족한 정보로는 탐지 및 예측의 정확도를 높이기 어려우므로, 간접 메모리 액세스로 오인하여 불필요한 프리페칭을 발생시키는 상황도 발생하게 된다.
이에 반해, 본 발명의 실시예들에 따른 메모리 장치 및 시스템은 메모리 콘트롤러로부터 제공되는 간접 메모리 액세스 정보에 기초하여 간접 메모리 액세스를 수행함으로써 인-메모리 프리페칭의 정확도 및 효율을 향상시킬 수 있다.
도 2는 본 발명의 실시예들에 따른 메모리 장치의 제어 방법을 나타내는 순서도이다.
도 1 및 2를 참조하면, 메모리 콘트롤러(20)로부터 제공되는 유효 데이터 어레이, 베이스 어레이 및 타겟 데이터 어레이를 메모리 장치(30)의 메모리 셀 어레이(40)에 저장한다(S100). 상기 유효 데이터 어레이는 제1 데이터의 원소들 중 유효 원소들을 순차적으로 포함한다. 베이스 어레이는 상기 유효 원소들에 각각 상응하는 위치 정보들을 나타내는 위치 원소들을 순차적으로 포함한다. 상기 타겟 데이터 어레이는 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들을 순차적으로 포함한다.
메모리 콘트롤러(20)부터 메모리 장치(30)로 상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함하는 간접 메모리 액세스 정보(IMAI)를 제공한다(S200). 메모리 장치(30)는 제공된 간접 메모리 액세스 정보(IMAI)를 정보 레지스터(100)에 저장한다(S300). 간접 메모리 액세스 정보(IMAI)는 적어도 상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함한다.
프리페치 회로(200)는 간접 메모리 액세스 정보(IMAI)에 기초하여 메모리 셀 어레이(40)로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치한다(S400). 정보 레지스터(100) 및 프리페치 회로(200)는 메모리 장치(30) 내에 포함되고, 프리페치 회로(200)를 이용하여 메모리 콘트롤러(20)로부터 제공되는 간접 메모리 액세스 정보(IMAI)에 기초하여 인-메모리 프리페칭을 효율적으로 수행할 수 있다.
이하, 도 3, 4a 및 4b를 참조하여 본 발명의 실시예들에 따른 간접 메모리 액세스를 위한 프리페칭이 적용될 수 있는 일 예로서 희소 행렬 벡터 곱셈에 대해 설명한다.
도 3은 희소 행렬 벡터 곱셈의 일 예를 나타내는 도면이고, 도 4a 및 4b는 도 3의 희소 행렬 벡터 곱셈에 상응하는 데이터 어레이들을 나타내는 도면들이다.
도 3의 왼쪽에는 하나의 희소 행렬(sparse matrix)(SM)이 오른쪽에는 하나의 열 벡터(column vector)(CV)가 도시되어 있다. 도 4a에는 도 3의 희소 행렬(SM)에 상응하는 유효 데이터 어레이(AA) 및 베이스 어레이(BA)가 도시되어 있고, 도 4b에는 도 3의 열 벡터(CV)에 상응하는 타겟 데이터 어레이가 도시되어 있다. 도 3에는 희소 행렬과 열 벡터의 곱셈 연산이 예시되어 있으나, 행 벡터와 희소 행렬의 곱셈 연산, 희소 행렬과 다른 행렬의 곱셈 연산 등에 대해서도 후술하는 설명이 적용될 수 있음을 이해할 수 있을 것이다.
고성능 컴퓨팅(high-performance computing), 머신 러닝(machine learning), 딥 러닝(deep learning), 그래프 분석(graph analytics)에 공통되는 주요 워크로드 중 하나가 희소 데이터 연산(sparse data operation)이다.
예를 들어, 기계 공학, 열 전달, 유체 역학 등의 공학 분석에 널리 사용되는 유한 요소 시뮬레이션(finite element simulation), 글자 및 음성처럼 시간에 따라 변하는 데이터를 처리하는 순환 신경망 (RNN, recurrent neural network), 웹 문서의 상대적 중요도에 따라 가중치를 부여하는 페이지 랭크(page rank) 등의 알고리즘의 주요 연산이 바로 희소 데이터 연산이다. 여기서 희소 데이터란 도3의 희소 행렬(sparse matrix)(SM)과 같이 전체 원소들 중 극히 일부가 유효 값을 가지는 데이터를 말한다.
일반적으로 희소 데이터는 저장 공간 효율을 위해 유효 값들, 즉 유효 원소들(valid elements)만을 저장하게 된다. 도 3의 희소 행렬(SM)을 보면, 5*10 행렬의 총 50개 원소들 중에 7개만 유효 원소들이다. 이 경우, 전체 원소들을 저장하는 것은 비효율적이기 때문에, 희소 데이터 처리 애플리케이션들은 유효 원소들과 관련 정보만을 저장함으로써 저장 공간을 절약한다. 즉, 도 4a에 도시된 바와 같이 희소 행렬(SM)의 50개의 원소들 중 유효 원소들 중 유효 원소들(A(1)~A(7))을 순차적으로 포함하는 유효 데이터 어레이(AA) 및 유효 원소들(A(1)~A(7))에 각각 상응하는 위치 정보들을 나타내는 위치 원소들(B(1)~B(7))을순차적으로 포함하는 베이스 어레이(BA)만을 저장하게 된다.
희소 행렬에 행해지는 주 연산은 도 3에 도시된 바와 같이 벡터와의 곱인 희소 행렬 벡터 곱셈(SpMV, sparse matrix vector multiplication)인데, 이 경우 행렬 원소(즉 유효 원소)와 곱해지는 벡터 원소(즉 타겟 원소)의 위치는 행렬 원소의 열 위치에 의해 정해지며, 이를 간접 메모리 접근이라 부른다.
도 3의 SpMV에서 액세스되는 열벡터(CV)의 벡터 원소들을 살펴보면, 희소 행렬(SM)의 첫 번째 행에 대서는 7 * 1 + (-2.5) * 5가 되어, 열 벡터(CV)의 첫 번째와 여덟 번째 원소를 읽어오게 된다. 또한, 희소 행렬(SM)의 두 번째 행에 대해서는 (-5) * (-5)가 되어 벡터의 네 번째 원소를 읽어오게 된다.
정리하자면, 희소 행렬(SM)의 유효 원소들만 저장하면서 각 행렬 원소의 열 위치가 도4a에 도시된 바와 같이 1, 8, 4, 2, 1, 3, 8로 불규칙해지고, 곱해야 할 벡터 원소의 위치는 이러한 열 위치에 의해 정해지므로 벡터 원소는 무작위로 액세스된다.
이를 일반화하여, 희소 행렬의 유효 원소들만 저장한 배열을 유효 데이터 어레이(AA), 희소 행렬의 유효 원소들에 대응되는 위치 정보 또는 열 정보를 저장한 배열을 베이스 어레이(BA), 벡터 원소들을 저장한 배열을 타겟 데이터 어레이(TA)라고 하면 도 3, 4a 및 4b의 예에서는 AA= {A(1), A(2), A(3), A(4), A(5), A(6), A(7)}={7, -2.5, -5, 3, -6, 37, 9}, BA = {B(1), B(2), B(3), B(4), B(5), B(6), B(7)}={1, 8, 4, 2, 1, 3, 8}, TA = {T(1), T(2), T(3), T(4), T(5), T(6), T(7), T(8), T(9), T(10)}={1, 32, 4, -5, 8, 7, 13, 5, 43, -7}이 된다. SpMV는 A[i] * T[B[i]](여기서, i=1~7)로 표현할 수 있고, 이 식에서 T[B[i]]가 간접 메모리 접근을 일으키는 연산이다.
메모리 액세스를 가속하는 대표적인 방법이 프리페칭 (prefetching)인데, 종래 프리페칭은 스트리밍 또는 스트라이드 방식으로서, 인접한 메모리 영역을 한꺼번에 읽어 들임으로써 나중에 읽어올 필요성을 제거하게 된다.
SpMV에서 A[i] * T[B[i]] 연산 수행 시, A[i]들은 순차 접근이므로 종래 프리페칭 방식이 효과를 발휘하게 된다. 문제는 T[B[i]]인데, 희소 행렬의 유효 원소들만 저장하면서 B[i]들이 비연속적이 되므로, 이에 따라 T[B[i]]들의 어드레스들도 불규칙하게 된다.
도 3, 4a 및 4b의 예를 들면, BA = {1, 8, 4, 2, 1, 3, 8}이므로, 필요한 열벡터(CV)의 원소들, 즉 타겟 원소들은 T[1], T[8], T[4], T[2], T[1], T[3], T[8]이 되어 불규칙적인 액세스를 발생시킨다. 이러한 불규칙적인 메모리 액세스에 대해서는 종래의 프리페칭이 거의 효과를 발휘하지 못해서, 필요한 시점마다 타겟 원소를 읽어 들이게 되므로 상당한 메모리 지연이 발생하고, 이러한 지연은 SpMV 성능 저하로 이어지게 된다.
본 발명의 실시예들에 따라 이러한 간접 메모리 액세스에서 타겟 원소들을 메모리 장치 내에서 효율적으로 프리페칭함으로써 SpMV의 성능을 향상시킬 수 있다.
도 5는 본 발명의 실시예들에 따른 메모리 장치를 나타내는 도면이다.
도 5를 참조하여, 메모리집적 회로의 일 예로서 디램(DRAM)에 대해 설명하지만, 본 발명의 실시예들에 따른 적층형 메모리 장치는, 디램(DRAM), 티램(TRAM) 및 에스램(SRAM)과 같은 휘발성 메모리 아키텍쳐들, 또는 롬(ROM), 플래시 메모리, 에프램(FRAM), 엠램(MRAM), 피램(PRAM) 등과 같은 비-휘발성 메모리 아키텍쳐들을 포함하는 다양한 메모리 아키텍쳐로 구현될 수 있다.
도 5를 참조하면, 메모리 장치(400) 또는 메모리 집적 회로는 제어 로직(410), 어드레스 레지스터(420), 뱅크 제어 로직(430), 로우 어드레스 멀티플렉서(440), 컬럼 어드레스 래치(450), 로우 디코더(460), 컬럼 디코더(470), 메모리 셀 어레이(480), 센스 앰프부(485), 입출력 게이팅 회로(490), 데이터 입출력 버퍼(495), 리프레쉬 카운터(445), 정보 레지스터(IREG)(100) 및 프리페치 회로(PFC)(200)를 포함할 수 있다.
메모리 셀 어레이(480)는 복수의 뱅크 어레이들(480a~480h)을 포함할 수 있다. 로우 디코더(460)는 복수의 뱅크 어레이들(480a~480h)에 각각 연결된 복수의 뱅크 로우 디코더들(460a~460h)을 포함하고, 컬럼 디코더(470)는 복수의 뱅크 어레이들(480a~480h)에 각각 연결된 복수의 컬럼 디코더들(470a~470h)을 포함하며, 센스 앰프부(485)는 복수의 뱅크 어레이들(480a~480h)에 각각 연결된 복수의 센스 앰프들(485a~485h)을 포함할 수 있다.
어드레스 레지스터(420)는 메모리 컨트롤러로부터 뱅크 어드레스(BANK_ADDR), 로우 어드레스(ROW_ADDR) 및 컬럼 어드레스(COL_ADDR)를 포함하는 어드레스 신호(ADD)를 수신할 수 있다. 어드레스 레지스터(420)는 수신된 뱅크 어드레스(BANK_ADDR)를 뱅크 제어 로직(430)에 제공하고, 수신된 로우 어드레스(ROW_ADDR)를 로우 어드레스 멀티플렉서(440)에 제공하며, 수신된 컬럼 어드레스(COL_ADDR)를 컬럼 어드레스 래치(450)에 제공할 수 있다.
뱅크 제어 로직(430)은 뱅크 어드레스(BANK_ADDR)에 응답하여 뱅크 제어 신호들을 생성할 수 있다. 상기 뱅크 제어 신호들에 응답하여, 복수의 뱅크 로우 디코더들(460a~460h) 중 뱅크 어드레스(BANK_ADDR)에 상응하는 뱅크 로우 디코더가 활성화되고, 복수의 뱅크 컬럼 디코더들(470a~470h) 중 뱅크 어드레스(BANK_ADDR)에 상응하는 뱅크 컬럼 디코더가 활성화될 수 있다.
로우 어드레스 멀티플렉서(440)는 어드레스 레지스터(220)로부터 로우 어드레스(ROW_ADDR)를 수신하고, 리프레쉬 카운터(445)로부터 리프레쉬 로우 어드레스(REF_ADDR)를 수신하고, 프리차지 회로(200)로부터 타겟 어드레스(TADDR)를 수신할 수 있다. 로우 어드레스 멀티플렉서(440)는 로우 어드레스(ROW_ADDR), 리프레쉬 로우 어드레스(REF_ADDR) 또는 타겟 어드레스(TADDR)를 로우 어드레스(RA)로서 선택적으로 출력할 수 있다. 로우 어드레스 멀티플렉서(440)로부터 출력된 로우 어드레스(RA)는 뱅크 로우 디코더들(460a~460h)에 각각 인가될 수 있다.
뱅크 로우 디코더들(460a~460h) 중 뱅크 제어 로직(430)에 의해 활성화된 뱅크 로우 디코더는 로우 어드레스 멀티플렉서(440)로부터 출력된 로우 어드레스(RA)를 디코딩하여 상기 로우 어드레스에 상응하는 워드 라인을 활성화할 수 있다. 예를 들어, 상기 활성화된 뱅크 로우 디코더는 로우 어드레스에 상응하는 워드 라인에 워드 라인 구동 전압을 인가할 수 있다.
컬럼 어드레스 래치(450)는 어드레스 레지스터(420)로부터 컬럼 어드레스(COL_ADDR)를 수신하고, 수신된 컬럼 어드레스(COL_ADDR)를 일시적으로 저장할 수 있다. 또한, 컬럼 어드레스 래치(450)는, 버스트 모드(burst mode)에서, 수신된 컬럼 어드레스(COL_ADDR)를 점진적으로 증가시킬 수 있다. 컬럼 어드레스 래치(450)는 일시적으로 저장된 또는 점진적으로 증가된 컬럼 어드레스(COL_ADDR)를 뱅크 컬럼 디코더들(470a~470h)에 각각 인가할 수 있다.
뱅크 컬럼 디코더들(470a~470h) 중 뱅크 제어 로직(430)에 의해 활성화된 뱅크 컬럼 디코더는 입출력 게이팅 회로(490)를 통하여 뱅크 어드레스(BANK_ADDR) 및 컬럼 어드레스(COL_ADDR)에 상응하는 센스 앰프를 활성화시킬 수 있다.
입출력 게이팅 회로(490)는 입출력 데이터를 게이팅하는 회로들과 함께, 입력 데이터 마스크 로직, 뱅크 어레이들(480a~480h)로부터 출력된 데이터를 저장하기 위한 독출 데이터 래치들, 및 뱅크 어레이들(480a~480h)에 데이터를 기입하기 위한 기입 드라이버들을 포함할 수 있다.
뱅크 어레이들(480a~480h) 중 하나의 뱅크 어레이에서 독출될 데이터(DQ)는 상기 하나의 뱅크 어레이에 상응하는 센스 앰프에 의해 감지되고, 상기 독출 데이터 래치들에 저장될 수 있다. 상기 독출 데이터 래치들에 저장된 데이터(DQ)는 데이터 입출력 버퍼(495)를 통하여 메모리 컨트롤러에 제공될 수 있다. 뱅크 어레이들(480a~480h) 중 하나의 뱅크 어레이에 기입될 데이터(DQ)는 상기 메모리 컨트롤러로부터 데이터 입출력 버퍼(495)에 제공될 수 있다. 데이터 입출력 버퍼(495)에 제공된 데이터(DQ)는 상기 기입 드라이버들을 통하여 상기 하나의 뱅크 어레이에 기입될 수 있다.
제어 로직(410)은 반도체 메모리 영역(400)의 동작을 제어할 수 있다. 제어 로직(410)은 반도체 메모리 영역(400)에 기입 동작 또는 독출 동작이 수행되도록 제어 신호들을 생성할 수 있다. 제어 로직(410)은 메모리 컨트롤러로부터 수신되는 커맨드(CMD)를 디코딩하는 커맨드 디코더(411) 및 반도체 메모리 영역(400)의 동작 모드를 설정하기 위한 모드 레지스터 세트(MRS: mode register set)(412)를 포함할 수 있다. 예를 들어, 커맨드 디코더(411)는 기입 인에이블 신호, 로우 어드레스 스트로브 신호, 컬럼 어드레스 스트로브 신호, 칩 선택 신호 등을 디코딩하여 커맨드(CMD)에 상응하는 상기 제어 신호들을 생성할 수 있다.
정보 레지스터(100)는 메모리 콘트롤러(20)로부터 제공되는 간접 메모리 액세스 정보(IMAI)를 저장한다. 간접 메모리 액세스 정보(IMAI)는 적어도 타겟 데이터 어레이(TA)의 시작 어드레스(TSADD) 및 타겟 원소들의 각각의 데이터 크기를 나타내는 단위 사이즈(TSZ)를 포함한다. 실시예에 따라서, 간접 메모리 액세스 정보(IMAI)는 베이스 어레이(BA)의 시작 어드레스(BSADD), 베이스 어레이(BA)에 포함되는 위치 원소들의 단위 사이즈(BSZ), 상기 위치 원소들의 전체 개수(NT) 및 동시에 독출되는 위치 원소들의 독출 개수(NR)를 더 포함할 수 있다. 이러한 간접 메모리 액세스 정보(IMAI)의 이용에 대해서는 후술한다.
프리페치 회로(200)는 정보 레지스터(100)에 저장된 간접 메모리 액세스 정보(IMAI)에 기초하여 메모리 셀 어레이(480)로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치한다. 일 실시예에서, 간접 메모리 액세스 정보(IMAI) 중에서 타겟 데이터 어레이(TA)의 시작 어드레스(TSADD) 및 타겟 원소들의 단위 사이즈(TSZ)는 타겟 어드레스(TADDR)의 계산을 위해 프리페치 회로(200)에 제공될 수 있고, 다른 정보들(BSADD, BSZ, NT, NR)은 메모리 장치(400)의 전반적인 동작을 제어하는 제어 로직(410)에 제공될 수 있다. 실시예에 따라서, 메모리 액세스 정보(IMAI)의 다른 정보들(BSADD, BSZ, NT, NR)은 모드 레지스터 세트(412)에 저장될 수 있다.
도 6a, 6b 및 6c는 본 발명의 실시예들에 따른 인-메모리 프리페칭을 위한 간접 메모리 액세스 정보의 실시예들을 나타내는 도면들이다.
도 6a를 참조하면, 간접 메모리 액세스 정보(IMAI1)는 타겟 데이터 어레이(TA)의 시작 어드레스(TSADD) 및 타겟 데이터 어레이(TA)에 포함되는 타겟 원소들의 단위 사이즈(TSZ)를 포함할 수 있다. 일 실시예에서, 간접 메모리 액세스 정보(IMAI1)는 전술한 유효 데이터 어레이(AA), 베이스 어레이(BA) 및 타겟 데이터 어레이(TA)의 쓰기 동작이 수행된 직후에 메모리 콘트롤러로부터 제공될 수 있다. 다른 실시예에서, 간접 메모리 액세스 정보(IMAI1)는 간접 메모리 액세스의 수행을 알리는 코맨드 또는 모드 신호와 함께 메모리 콘트롤러로부터 제공될 수 있다. 도 8을 참조하여 후술하는 바와 같이, 프리페치 회로(200)는 타겟 데이터 어레이(TA)의 시작 어드레스(TSADD) 및 타겟 원소들의 단위 사이즈(TSZ)를 이용하여 타겟 어드레스(TADDR)를 계산할 수 있다.
도 6b를 참조하면, 간접 메모리 액세스 정보(IMAI1)는 타겟 데이터 어레이(TA)의 시작 어드레스(TSADD), 타겟 데이터 어레이(TA)에 포함되는 타겟 원소들의 단위 사이즈(TSZ), 베이스 어레이(BA)의 시작 어드레스(BSADD), 베이스 어레이(BA)에 포함되는 위치 원소들의 단위 사이즈(BSZ), 상기 위치 원소들의 전체 개수(NT) 및 동시에 독출되는 위치 원소들의 독출 개수(NR)를 포함할 수 있다.
도 6c를 참조하면, 간접 메모리 액세스 정보(IMAI1)는 타겟 데이터 어레이(TA)의 시작 어드레스(TSADD), 타겟 데이터 어레이(TA)에 포함되는 타겟 원소들의 단위 사이즈(TSZ), 유효 데이터 어레이(AA)의 시작 어드레스(ASADD), 유효 데이터 어레이(AA)에 포함되는 유효 원소들의 단위 사이즈(ASZ), 베이스 어레이(BA)의 시작 어드레스(BSADD), 베이스 어레이(BA)에 포함되는 위치 원소들의 단위 사이즈(BSZ), 상기 위치 원소들의 전체 개수(NT) 및 동시에 독출되는 위치 원소들의 독출 개수(NR)를 포함할 수 있다.
후술하는 바와 같이, 도 6a, 6b 및 6c에 도시된 정보들(TSADD, TSZ, ASADD, ASZ, BSADD, BSZ, NT, NR)은 어드레스의 계산, 반복적인 프리페칭 동작의 제어를 위해 이용될 수 있다.
도 7은 본 발명의 실시예들에 따른 간접 메모리 액세스를 위한 데이터 병렬 배치를 나타내는 도면이다.
일반적으로 메모리 장치는 복수의 메모리 뱅크들을 포함할 수 있고, 도 7에는 예시적으로 3개의 메모리 뱅크들(MBK1, MBK2, MBK3)만이 도시되어 있다.
도 7을 참조하면, 유효 데이터 어레이(AA), 베이스 어레이(BA) 및 타겟 데이터 어레이(TA)는 각각 서로 다른 메모리 뱅크들에 저장될 수 있다. 예를 들어, 유효 데이터 어레이(AA)는 제1 메모리 뱅크(MBK1)에 저장되고, 베이스 어레이(BA)는 제2 메모리 뱅크(MBK2)에 저장되고 및 타겟 데이터 어레이(TA)는 제3 메모리 뱅크(MBK3)에 저장될 수 있다.
유효 데이터 어레이(AA)는 제1 데이터의 원소들 중 유효 원소들(A(i))(i는 자연수)을 순차적으로 포함한다. 베이스 어레이(BA)는 유효 원소들(A(i))에 각각 상응하는 위치 정보들을 나타내는 위치 원소들((B(i))을 순차적으로 포함한다. 타겟 데이터 어레이(TA)는 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들(T(i))을 순차적으로 포함한다. 도 3, 4a 및 4b를 참조하여 전술한 바와 같이, 상기 제1 데이터는 희소 행렬이고 상기 제2 데이터는 벡터일 수 있다. 이 때, 베이스 어레이(BA)의 위치 원소들((Bi))은 유효 원소들(A(i))의 열 위치들에 해당한다.
일반적으로 서로 다른 메모리 뱅크들에 대한 연속적인 액세스들에 대한 지연은 동일한 메모리 뱅크들에 대한 연속적인 액세스들에 대한 지연보다 작다. 다시 말해, 서로 다른 메모리 뱅크들 또는 서로 다른 메모리 뱅크 그룹들로부터는 거의 동시에 데이터를 읽어올 수 있다. 이와 같이, 유효 데이터 어레이(AA), 베이스 어레이(BA) 및 타겟 데이터 어레이(TA)는 각각 서로 다른 메모리 뱅크들에 저장함으로써, 메모리 액세스 및 프리페칭 속도를 증가시킬 수 있다.
전술한 간접 메모리 액세스 정보(IMAI)는 상응하는 데이터의 어드레스 계산에 이용될 수 있다. 예를 들어, 유효 데이터 어레이(AA)에 포함된 k번째 유효 원소(A(k))의 어드레스가 ADDR{A(k)}일 때, k번째 유효 원소(A(k))에 상응하는 베이스 어레이(BA)의 k번째 위치 원소((B(k))는 수학식 1 및 2와 같이 계산될 수 있다.
[수학식 1]
ADDR{A(k)}=ASADD+AOFS=ASADD+(k-1)*ASZ
(k-1)=(ADDR{A(k)}-ASADD)/ASZ
[수학식 2]
BDDR{B(k)}=BSADD+BOFS=BSADD+(k-1)*BSZ
=BSADD+(ADDR{A(k)}-ASADD)*BSZ/ASZ
결과적으로, k번째 유효 원소(A(k)), 유효 데이터 어레이(AA)의 시작 어드레스(ASADD), 베이스 어레이(BA)의 시작 어드레스(BSADD), 각 유효 원소의 단위 사이즈(ASZ) 및 각 위치 원소의 단위 사이즈(BSZ)가 주어지면 k번째 위치 원소의 어드레스(BDDR{B(k)})를 구할 수 있다.
이 경우, 메모리 콘트롤러로부터 메모리 장치로 k번째 유효 원소(A(k))의 어드레스(ADDR{A(k)})만 제공되어도 이에 상응하는 k번째 위치 원소(B(k))의 어드레스(ADDR{B(k)})를 메모리 장치의 내부에서 계산하여 k번째 위치 원소(B(k))를 독출할 수 있다. 따라서, 일부 어드레스의 제공에 필요한 지연을 제거하여 프리페칭 및 프로세싱-인 메모리의 속도를 더욱 증가시킬 수 있다. 타겟 데이터 어레이(TA)의 시작 어드레스 및 타겟 원소의 단위 사이즈(TSZ)를 이용한 타겟 어드레스의 계산에 대해서는 도 8을 참조하여 후술한다.
도 8은 본 발명의 실시예들에 따른 메모리 장치에 포함되는 프리페치 회로를 나타내는 도면이다.
도 8을 참조하면, 프리페치 회로(200)는 산술 연산 회로(210), 타겟 어드레스 레지스터(TAREG)(220) 및 타겟 데이터 레지스터(TDREG)(230)를 포함할 수 있다. 도 8에는 편의상 데이터 흐름을 나타내기 위해 정보 레지스터(IREG)(100), 베이스 어레이(BA)가 저장되는 하나의 메모리 뱅크(MBKB) 및 타겟 데이터 어레이(TA)가 저장되는 하나의 메모리 뱅크(MBKT)가 함께 도시되어 있다.
산술 연산 회로(210)는 메모리 뱅크(MBKB)로부터 독출된 위치 원소들(B(i)), 정보 레지스터(100)로부터 제공되는 타겟 데이터 어레이(TA)의 시작 어드레스(TSADD) 및 타겟 원소들의 단위 사이즈(TSZ)에 기초하여 독출된 위치 원소들(B(i))에 각각 상응하는 타겟 원소들(T(i))의 타겟 어드레스들(TADDR{T(i)})을 계산한다.
상기 계산된 타겟 어드레스들(TADDR{T(i)})은 타겟 어드레스 레지스터(220)에 저장되고 메모리 뱅크(MBKT)의 액세스를 위해 제공된다. 타겟 어드레스들(TADDR{T(i)})에 기초하여 타겟 원소들(T(i))이 메모리 뱅크(MBKT)로부터 독출되어 타겟 데이터 레지스터(230)에 저장될 수 있다.
산술 연산 회로(210)는 하기의 수학식 3에 의해 타겟 어드레스들을 계산할 수 있다.
[수학식 3]
TADDR{T(i)}=TSADD+TSZ*(B(i)-1)
수학식 3에서 T(i)는 상기 타겟 데이터 어레이의 i번째 타겟 원소를 나타내고, TADDR{T(i)}는 상기 i번째 타겟 원소의 어드레스를 나타내고, TSADD는 상기 타겟 데이터 어레이의 시작 어드레스를 나타내고, TSZ는 상기 타겟 원소들의 단위 사이즈를 나타내고, B(i)는 상기 베이스 어레이의 i번째 위치 원소를 나타낸다.
수학식 3의 계산에서 곱셈은 쉬프터(shifter)를 이용하여 수행될 수 있다. 타겟 원소 하나의 크기는 2의 지수일 것이므로, 굳이 연산 비용이 비싼 곱셈기 대신에 쉬프터를 이용할 수 있다. 결과적으로 후술하는 산술 연산기(AU)는 하나의 쉬프터와 하나의 덧셈기로 구현될 수 있다.
간접 메모리 액세스 지연을 최소화하기 위한 프리페칭에 있어서, 프리페칭 비용을 최소화하기 위해서는 간접 메모리 액세스에 대한 탐지 및 예측의 정확도 및 프리페칭 연산을 최적화하는 일이 반드시 필요하다.
본 발명은 이 두 가지 문제를 해결할 수 있는 하드웨어 방식의 인-메모리 프리페칭에 관한 것으로서, 이는 프리페칭을 위한 추가 대역폭을 확보하기 위해서이다. 전술한 바와 같이, 프리페칭 비용 최소화는 프리페칭으로 인해 다른 메모리 액세스가 지연되지 않도록 하기 위함인데, 이를 실현할 수 있는 가장 직관적이고 효과적인 방법이 프리페칭 자체의 대역폭을 확보하는 것이기 때문이다.
메모리 대역폭 확대는 외부 대역폭 확대와 내부 대역폭 확대가 있는데, 외부 대역폭은 확대한다고 하더라도 워크로드가 확대된 대역폭에 맞게 최적화하면 추가 대역폭은 확보할 수 없을 것이므로 내부 대역폭 확보가 타당하다. 따라서 본 발명의 실시예들은 프리페칭을 위한 대역폭 확보를 위해, 인-메모리 하드웨어 프리페칭을 제안한다.
본 발명의 실시예들에 따른 인-메모리 하드웨어 프리페칭은, 먼저 탐지 및 예측 정확도를 높이기 위해, 호스트 장치의 요청에 따라서 메모리 콘트롤러가 메모리 장치로 간접 메모리 액세스 정보(IMAI)를 직접 전달하도록 한다. 간접 액세스되는 메모리를 프리페칭 하기 위해서는 베이스 어레이(BA) 및 타겟 데이터 어레이(TA)에 대한 정보가 필요하다.
일 실시예에서, 메모리 콘트롤러는 간접 메모리 액세스가 필요할 때마다 별도 명령어를 통해 이러한 정보를 전달할 수 있다. 전술한 바와 같이, 베이스 어레이(BA)에 대해서는 베이스 어레이(BA)의 시작 어드레스(BSADD), 베이스 어레이(BA)에 포함되는 위치 원소들의 단위 사이즈(BSZ), 상기 위치 원소들의 전체 개수(NT) 및 동시에 독출되는 위치 원소들의 독출 개수(NR)가 포함될 수 있고, 타겟 데이터 어레이(TA)에 대해서는 타겟 데이터 어레이(TA)의 시작 어드레스(TSADD) 및 타겟 원소들의 각각의 데이터 크기를 나타내는 단위 사이즈(TSZ)가 포함될 수 있다.
본 발명의 실시예들에 따라서 간접 메모리 액세스가 시작되는 시점 전에 간접 메모리 액세스 정보(IMAI)가 전달되므로, 기존 프리페칭 방법과는 달리 예측 및 탐지 자체, 혹은 간접 메모리 접근 오인으로 인해 과도한 대역폭을 소비하는 일은 일어나지 않게 된다.
프리페칭 연산을 최적화하기 위해, 본 발명의 실시예들에 따라서 간접 메모리 액세스의 주소 계산의 병렬화(SIMD, single instruction multiple data)가 수행될 수 있다. 이를 위하여, 도 8에 도시된 바와 같이, 산술 연산 회로(210)는 메모리 셀 어레이로부터 동시에 독출된 NR개의(NR은 2 이상의 자연수) 위치 원소들에 기초하여 NR개의 타겟 어드레스들을 병렬적으로 제공하는 NR개의 산술 연산기(AU, arithmetic unit)들을 포함할 수 있다.
상기 위치 원소들의 개수가 NT인(NT는 2 이상의 자연수) 경우, 상기 NR개의 산술 연산기들(AU)은 NT/NR 회만큼 어드레스 계산을 반복적으로 수행하여 NT개의 타겟 어드레스들을 제공할 수 있다.
도 8에는 설명 및 도시의 편의상 4개의 산술 연산기들(AU)을 도시하였으나, 산술 연산기들(AU)의 개수는 이에 한정되지 않는다.
4개의 산술 연산기들(AU)은 메모리 뱅크(MBKB)로부터 독출된 베이스 어레이(BA)의 4개의 위치 원소들(B(k)~B(k+3))을 병렬적으로 수신하여 동시에 수학식 3의 계산을 통하여 4개의 타겟 어드레스들(TADDR{T(k)}~ TADDR{T(k+3)})을 병렬적으로 제공할 수 있다.
이후, 그 다음 4개의 위치 원소들(B(k+4)~B(k+7))에 대한 주소 계산 및 타겟 원소들의 독출이 수행될 수 있고, 이러한 동작은 NT/NR번 반복적으로 수행되어 NT개의 모든 위치 원소들에 상응하는 타겟 원소들이 순차적으로 프리페칭될 수 있다. 상기 설명한 주소 계산 및 타겟 원소 독출은 레지스터들(220, 230)을 이용하여 파이프라인 방식으로 수행될 수 있다. 이전의 타겟 원소 독출 및 다음의 주소 계산은 동시에 또는 중첩적으로 수행될 수 있다. 이와 같은 병렬적 동작 및 파이프라인 동작을 통하여 전체 프리페칭 시간을 더욱 감소할 수 있다.
일 실시예에서, 타겟 데이터 레지스터(230)는 에스램(SRAM, static random access memory)로 구현될 수 있다. 전술한 과정을 통해 간접 메모리 액세스 정보(IMAI) 및 타겟 어드레스(TADDR)와 같은 중간 데이터 (intermediate data, 연산 과정에서 사용 또는 생성되고 저장할 필요가 없는 데이터)의 외부 전송 없이, 연산(예를 들어, SpMV)에 사용되는 타겟 원소(예를 들어, SpMV의 벡터 원소)만이 에스램에 저장되고 메모리 외부에서는 빠른 에스램 접근을 통해 연산 시간을 더욱 줄일 수 있다.
도 9는 본 발명의 실시예들에 따른 메모리 장치를 포함하는 시스템을 나타내는 블록도이다.
도 9를 참조하면, 시스템(11)은 호스트 장치(50) 및 반도체 메모리 장치(30)를 포함할 수 있다. 호스트 장치(50)는 프로세서(미도시), 메모리 콘트롤러(20) 및 캐시 메모리(CCM)(51)를 포함할 수 있다. 메모리 콘트롤러(20)는 호스트 장치(50)의 외부에 별개의 구성으로서 구현될 수도 있다. 반도체 메모리 장치(30)는 메모리 셀 어레이(MC)(40), 정보 레지스터(IREG)(100), 프리페치 회로(PFC)(200) 및 연산 회로(PIMC)(300)를 포함할 수 있다. 이하, 도 1과 중복되는 설명은 생략한다.
도 8을 참조하여 전술한 바와 같이, 프리페치 회로(200)의 타겟 데이터 레지스터(230)는 액세스 속도가 빠른 에스램과 같은 메모리로 구현될 수 있다. 일 실시예에서, 메모리 콘트롤러(20)는 호스트 장치(50)의 요청에 따라서 타겟 데이터 레지스터(230)에 프리페치된 타겟 원소들을 메모리 장치(30)로부터 호스트 장치(50)의 캐시 메모리(51)로 로딩할 수 있다. 다른 실시예에서, 상기 호스트 장치(50)는 타겟 데이터 레지스터(230)를 캐시 메모리로 이용할 수 있다. 이 경우, 타겟 데이터 레지스터(230)는 호스트 장치(50) 내에 구비된 캐시 메모리(51)보다 낮은 캐시 레벨을 가질 수 있다.
연산 회로(300)는 제1 데이터 및 제2 데이터에 기초하여 프로세싱-인-메모리(PIM, processing in memory)를 수행하여 연산 결과 데이터를 제공할 수 있다. 전술한 바와 같이 상기 제1 데이터는 희소 행렬이고 상기 제2 데이터는 벡터이며, 상기 연산 회로(300)는, 희소 행렬 벡터 곱셈(sparse matrix vector multiplication)을 프로세싱-인 메모리로서 수행할 수 있다.
도 10은 본 발명의 실시예들에 따른 메모리 장치에 포함되는 프로세싱-인 메모리를 위한 연산 유닛의 일 실시예를 나타내는 도면이다. 도 9의 연산 회로(300)는 도 10에 도시된 바와 같은 연산 유닛(500)을 복수 개 포함하여 병렬적인 연산을 수행할 수 있다.
도 10을 참조하면, 각 연산 유닛(500)은 곱셈부(520) 및 누적부(540)를 포함할 수 있다.
곱셈부(523)는 버퍼들(521, 522)과 곱셈기(523)를 포함하고 제1 데이터에 해당하는 유효 데이터 어레이(AA)의 유효 원소들 및 제2 데이터에 해당하는 타겟 데이터 어레이(TA)의 타겟 원소들을 각각 곱하여 출력한다.
누적부(540)는 덧셈기(541)와 버퍼(542)를 포함하고, 곱셈부(520)의 출력을 누적하여 연산 결과 데이터(DRi)를 제공한다. 누적부(540)는 리셋 신호(RST)에 응답하여 초기화될 수 있고, 출력 제어 신호(OUTEN)에 응답하여 연산 결과 데이터(DRi)를 출력할 수 있다.
이러한 연산 유닛들(500)을 이용하여 전술한 바와 같은 SpMV와 같은 연산을 효율적으로 수행할 수 있다.
도 11 및 12는 본 발명의 실시예들에 따른 적층형 메모리 장치를 포함하는 시스템을 나타내는 분리 사시도들이다.
도 11을 참조하면, 시스템(800)은 적층형 메모리 장치(1000) 및 호스트 장치(2000)를 포함할 수 있다.
적층형 메모리 장치(1000)는 수직으로 적층된 적어도 하나의 베이스 반도체 다이(base semiconductor die) 또는 로직 반도체 다이(logic semiconductor die)(1010) 및 복수의 메모리 반도체 다이(memory semiconductor die)들(1070, 1080)을 포함할 수 있다. 도 11에는 하나의 로직 반도체 다이 및 두 개의 메모리 반도체 다이들을 도시하였으나, 두 개 이상의 로직 반도체 다이들 및 한 개 또는 세 개 이상의 메모리 반도체 다이들이 적층 구조에 포함될 수 있다. 또한 도 11에는 로직 반도체 다이(1010)가 메모리 반도체 다이들(1070, 1080)과 함께 수직으로 적층되는 실시예를 도시하였으나, 도 13을 참조하여 후술하는 바와 같이, 로직 반도체 다이(1010)를 제외한 메모리 반도체 다이들(1070, 1080)만이 함께 수직으로 적층되고, 로직 반도체 다이(1010)는 인터포저 또는 베이스 기판을 통하여 적층된 메모리 반도체 다이들(1070, 1080)과 전기적으로 연결될 수도 있다.
로직 반도체 다이(1010)는 메모리 인터페이스(MIF)(1020) 및 메모리 반도체 다이들(1070, 1080)에 형성된 메모리 집적 회로들(1071, 1081)의 접근을 가능하게 하기 위한 로직을 포함한다. 이러한 로직은 메모리 제어부(CTRL)(1030), 글로벌 버퍼(GBF)(1040) 및 데이터 트랜스폼 로직(DTL)(1050)을 포함할 수 있다.
메모리 인터페이스(1020)는 인터커넥트 장치(12)를 통하여 호스트 장치(2000)와 같은 외부 장치와의 교신을 수행한다. 메모리 제어부(1030)는 적층형 메모리 장치(1000)의 전반적인 동작을 제어한다. 데이터 트랜스폼 로직(1050)은 메모리 반도체 다이들(1070, 1080)과 교신되는 데이터 또는 메모리 인터페이스(1020)를 통해 교신되는 데이터에 대한 연산을 수행할 수 있다. 예를 들어, 데이터 트랜스폼 로직(1050)은 맥스 풀링(max pooling), ReLU (rectified linear unit), 채널 단위 덧셈(channel-wise addition) 등의 연산을 수행할 수 있다.
메모리 반도체 다이들(1070, 1080)은 메모리 집적 회로들(MEM)(1071, 1081)을 각각 포함할 수 있다. 메모리 반도체 다이들(1070, 1080) 중 적어도 하나의 메모리 반도체 다이(1080)는 전술한 바와 같은 프로세싱-인 메모리를 수행하기 위한 연산 회로(300)를 포함하는 연산 반도체 다이에 해당할 수 있다. 연산 반도체 다이(1080)는 전술한 바와 같은 인-메모리 하드웨어 프리페칭을 수행하기 위한 정보 레지스터(100) 및 프리페치 회로(200)를 포함할 수 있다.
도 12의 시스템(801)은 도 11의 시스템(800)과 실질적으로 동일하므로 중복되는 설명은 생략한다. 도 12를 참조하면, 전술한 바와 같은 프로세싱-인 메모리를 수행하기 위한 연산 회로(300) 및 전술한 바와 같은 인-메모리 하드웨어 프리페칭을 수행하기 위한 정보 레지스터(100), 프리페치 회로(200) 및 계산 회로(300)는 로직 반도체 다이(1010)에 포함될 수 있다.
메모리 대역폭과 지연시간(latency or delay time)은 많은 프로세스 시스템들에서 중요한 성능 병목(performance bottleneck)의 원인이 된다. 메모리용량을 늘리기 위해 메모리 칩의 패키지 내부에 적층된 반도체 다이들(semiconductor dies)은 실리콘 관통 전극 또는 기판 관통 전극(TSV, through-silicon via 또는 through-substrate via)을 통해 전기적으로 연결된다. 이러한 적층 기술을 통해 메모리 장치의 용량을 증가하면서도 대역폭과 지연시간의 패널티를 억제할 수 있다.
외부 장치의 적층형 메모리 장치에 대한 각각의 액세스(access)는 적층된 반도체 다이들 사이에서의 데이터 교신을 요구하며, 외부 장치와 적층형 메모리 장치 사이의 디바이스간(inter-device) 대역폭과 지연시간의 페널티가 각 액세스 당 두 번 발생한다. 따라서 외부 장치가 수행하는 데이터 프로세스가 적층형 메모리 장치로의 다중 액세스를 요구할 때 이러한 대역폭과 지연시간은 시스템의 프로세스 효율과 전력 소모량에 현저한 영향을 미친다.
본 발명의 실시예들에 따른 적층형 메모리 장치 및 이를 포함하는 시스템은, 메모리 집약적(memory-intensive) 또는 데이터 집약적(data-intensive)인 데이터 프로세스를 로직 반도체 다이 및/또는 메모리 반도체 다이 내에 배치된 정보 레지스터, 프리차지 회로 및 연산 회로를 이용하여 수행함으로써 데이터의 프로세스 및 액세스(기입 및 독출)를 효율적으로 통합하여 지연시간 및 전력 소모를 감소할 수 있다.
도 11 및 12를 참조하여, 정보 레지스터(100), 프리페치 회로(200) 및 연산 회로(300)의 배치를 예시하였으나, 이에 한정되는 것은 아니다. 실시예에 따라서, 정보 레지스터(100) 및 프리페치 회로(200)는 메모리 반도체 다이(1070, 1080)에 배치되고 연산 회로(300)는 로직 반도체 다이(1010)에 배치될 수도 있다.
도 13 및 도 14는 본 발명의 실시예들에 따른 적층형 메모리 장치의 패키징 구조를 나타내는 도면들이다.
도 13을 참조하면, 메모리 칩(2001)은 인터포저(interposer)(ITP) 및 인터포저(ITP) 위에 실장되는 적층형 메모리 장치를 포함한다. 적층형 메모리 장치는 로직 반도체 다이(LSD) 및 복수의 메모리 반도체 다이들(MSD1~MSD4)을 포함한다.
도 14를 참조하면, 메모리 칩(2002)은 베이스 기판(base substrate)(BSUB) 및 베이스 기판(BSUB) 위에 실장되는 적층형 메모리 장치를 포함한다. 적층형 메모리 장치는 로직 반도체 다이(LSD) 및 복수의 메모리 반도체 다이들(MSD1~MSD4)을 포함한다.
도 13에는 로직 반도체 다이(LSD)를 제외한 메모리 반도체 다이들(MSD1~MSD4)만이 함께 수직으로 적층되고, 로직 반도체 다이(LSD)는 인터포저(ITP) 또는 베이스 기판(BSUB)을 통하여 적층된 메모리 반도체 다이들(MSD1~MSD4)과 전기적으로 연결되는 구조가 도시되어 있다. 반면에 도 14에는 로직 반도체 다이(LSD)는 메모리 반도체 다이들(MSD1~MSD4)과 함께 수직으로 적층되는 구조가 도시되어 있다.
메모리 반도체 다이들(MSD1~MSD4)의 하나 이상은 전술한 정보 레지스터(IREG) 및 프리페치 회로(PFC)를 포함할 수 있다. 한편 도면에 도시하지는 않았으나, 전술한 연산 회로들은 메모리 반도체 다이들(MSD1~MSD4) 및/또는 로직 반도체 다이(LSD)에 포함될 수 있다.
베이스 기판(BSUB)은 인터포저(ITP)를 포함하는 것으로 간주한다. 베이스 기판(BSUB)은 인쇄 회로 기판(PCB: printed circuit board)일 수 있다. 베이스 기판(BSUB)의 하면에는 외부 연결 부재, 예컨대 도전성 범프(BMP)가 형성될 수 있고, 베이스 기판(BSUB)의 상면에도 내부 연결 부재, 예컨대 도전성 범프(BMP)가 형성될 수 있다. 도 13의 실시예에서는 로직 반도체 다이(LDS)와 메모리 반도체 다이들(MSD1~MSD4)은 인터포저(ITP)에 형성된 도전 라인 패턴을 통하여 서로 전기적으로 연결될 수도 있다. 이와 같이 적층된 반도체 다이들(LSD, MSD1~MSD4)은 밀봉 부재(RSN)를 이용하여 패키징될 수 있다.
도 15는 본 발명의 실시예들에 따른 적층형 메모리 장치의 구조를 나타내는 도면이다.
도 15에는 고 대역폭 메모리의 구조의 일 예가 도시되어 있다. 도 15를 참조하면, 고 대역폭 메모리(HBM, high bandwidth memory)(1100)는 복수의 DRAM 반도체 다이들(1120, 1130, 1140, 1150)이 적층된 구조를 포함할 수 있다.
고 대역폭 메모리는 채널이라 칭하는 복수의 독립된 인터페이스들을 통하여 상기 적층된 구조의 고 대역폭 동작에 최적화될 수 있다. HBM 표준에 따라서 각각의 DRAM 스택은 최대 8개의 채널까지 지원할 수 있다. 도 15에는 4개의 DRAM 반도체 다이들이 적층되고 각각의 DRAM 반도체 다이가 2개의 채널(CHANNEL0, CHANNEL1)을 지원하는 예가 도시되어 있다. 각각의반도체 다이는 상기 적층 구조에 추가적인 커패시티(capacity) 및 추가적인 채널을 제공할 수 있다. 각각의 채널은 DRAM 뱅크들의 독립된 세트에 대한 액세스를 제공한다. 하나의 채널로부터의 리퀘스트는 다른 채널에 부착된 데이터를 액세스하지 못한다. 채널들은 독립적으로 클록킹되고 서로 동기화될 필요가 없다.
고 대역폭 메모리(1100)는 스택 구조의 하부에 위치하고 신호의 재분배 및 다른 기능들을 제공하는 버퍼 다이 또는 인터페이스 다이(1110)를 선택적으로 포함할 수 있다. DRAM 반도체 다이들(1120, 1130, 1140, 1150)에 통상적으로 구현되는 기능들이 이러한 인터페이스 다이(1110)에구현될 수 있다.
DRAM 반도체 다이들(1120, 1130, 1140, 1150)의 적어도 하나는 본 발명의 실시예들에 따른 인-메모리 하드웨어 프리페칭을 수행하기 위한 정보 레지스터(IREG)(100) 및 프리페치 회로(PFC)(200)를 포함할 수 있다.
도 16은 본 발명의 실시예들에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 16을 참조하면, 컴퓨팅 시스템(4000)은 프로세서(4100), 입출력 허브(4200), 입출력 콘트롤러 허브(4300), 적어도 하나의 메모리 모듈(4400) 및 그래픽 카드(4500)를 포함한다.
프로세서(4100)는 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다. 예를 들어, 프로세서(4100)는 마이크로프로세서 또는 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(4100)는 메모리 모듈(1340)의 동작을 제어하는 메모리 콘트롤러(4110)를 포함할 수 있다. 메모리 모듈(4400)은 메모리 콘트롤러(4110)로부터 제공된 데이터를 저장하는 복수의 메모리 장치들을 포함한다. 메모리 모듈(4400)의 메모리 장치들 중 적어도 하나는 본 발명의 실시예들에 따른 인-메모리 하드웨어 프리페칭을 수행하기 위한 정보 레지스터(IREG)(4450) 및 프리페치 회로(PFC)(4460)를 포함할 수 있다.
입출력 허브(4200)는 그래픽 카드(4500)와 같은 장치들과 프로세서(4100) 사이의 데이터 전송을 관리할 수 있다. 그래픽 카드(4500)는 AGP 또는 PCIe를 통하여 입출력 허브(4200)와 연결될 수 있다. 그래픽 카드(4500)는 영상을 표시하기 위한 디스플레이 장치(미도시)를 제어할 수 있다. 입출력 콘트롤러 허브(4300)는 다양한 시스템 인터페이스들이 효율적으로 동작하도록 데이터 버퍼링 및 인터페이스 중재를 수행할 수 있다. 입출력 콘트롤러 허브(4300)는 내부 버스를 통하여 입출력 허브(4200)와 연결될 수 있다. 예를 들어, 입출력 허브(4200)와 입출력 콘트롤러 허브(4300)는 다이렉트 미디어 인터페이스(Direct Media Interface; DMI), 허브 인터페이스, 엔터프라이즈 사우스브릿지 인터페이스(Enterprise Southbridge Interface; ESI), PCIe 등을 통하여 연결될 수 있다.
이와 같이, 본 발명의 실시예들에 따른 메모리 장치 및 시스템은 메모리 콘트롤러로부터 제공되는 간접 메모리 액세스 정보에 기초하여 간접 메모리 액세스를 수행함으로써 인-메모리 프리페칭의 정확도 및 효율을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 메모리 장치 및 시스템은 간접 메모리 액세스를 위한 데이터 배치를 병렬화하고 메모리 내부의 대역폭을 활용하여 간접 메모리 액세스의 지연을 단축하고 인-메모리 프리페칭의 속도를 증가시킬 수 있다.
또한, 본 발명의 실시예들에 따른 메모리 장치 및 시스템은 상기 인-메모리 프리페칭을 이용하여 프로세싱-인 메모리를 수행함으로써 희소 데이터 연산을 효율적으로 수행할 수 있다.
본 발명의 실시예들은 메모리 장치 및 이를 포함하는 시스템에 유용하게 이용될 수 있다. 특히 본 발명의 실시예들은 메모리 카드, 솔리드 스테이트 드라이브(Solid State Drive; SSD), 임베디드 멀티미디어 카드(eMMC, embedded multimedia card), 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular phone), 스마트폰(smart phone), MP3 플레이어, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things;) 기기, IoE(internet of everything:) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
Claims (20)
- 제1 데이터의 원소들 중 유효 원소들을 순차적으로 포함하는 유효 데이터 어레이, 상기 유효 원소들에 각각 상응하는 위치 정보들을 나타내는 위치 원소들을 순차적으로 포함하는 베이스 어레이 및 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들을 순차적으로 포함하는 타겟 데이터 어레이를 저장하는 메모리 셀 어레이;
상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함하는 간접 메모리 액세스 정보를 저장하는 정보 레지스터; 및
상기 간접 메모리 액세스 정보에 기초하여 상기 메모리 셀 어레이로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치하는 프리페치 회로를 포함하고,
상기 제1 데이터는 희소 행렬이고 상기 제2 데이터는 벡터이고,
상기 간접 메모리 액세스 정보는 동시에 독출되는 위치 원소들의 독출 개수를 더 포함하는 메모리 장치. - 제1 항에 있어서,
상기 간접 메모리 액세스 정보는 외부의 메모리 콘트롤러로부터 상기 메모리 장치로 제공되는 것을 특징으로 하는 메모리 장치. - 삭제
- 제1 항에 있어서,
상기 메모리 셀 어레이는 복수의 메모리 뱅크들을 포함하고,
상기 유효 데이터 어레이, 상기 베이스 어레이 및 상기 타겟 데이터 어레이는 각각 서로 다른 메모리 뱅크들에 저장되는 것을 특징으로 하는 메모리 장치. - 제1 항에 있어서,
상기 프리페치 회로는,
상기 독출된 위치 원소들, 상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈에 기초하여 상기 독출된 위치 원소들에 각각 상응하는 타겟 원소들의 타겟 어드레스들을 계산하는 산술 연산 회로;
상기 계산된 타겟 어드레스들을 저장하는 타겟 어드레스 레지스터; 및
상기 메모리 셀 어레이의 상기 타겟 어드레스들로부터 독출된 상기 타겟 원소들을 저장하는 타겟 데이터 레지스터를 포함하는 것을 특징으로 하는 메모리 장치. - 제5 항에 있어서,
상기 산술 연산 회로는 하기의 수학식에 의해 상기 타겟 어드레스들을 계산하는 것을 특징으로 하는 메모리 장치.
TADDR{T(i)}=TSADD+TSZ*(B(i)-1)
상기 수학식에서 T(i)는 상기 타겟 데이터 어레이의 i번째 타겟 원소를 나타내고, TADDR{T(i)}는 상기 i번째 타겟 원소의 타겟 어드레스를 나타내고, TSADD는 상기 타겟 데이터 어레이의 시작 어드레스를 나타내고, TSZ는 상기 타겟 원소들의 단위 사이즈를 나타내고, B(i)는 상기 베이스 어레이의 i번째 위치 원소를 나타냄. - 제5 항에 있어서,
상기 산술 연산 회로는,
상기 메모리 셀 어레이로부터 동시에 독출된 NR개의(NR은 2 이상의 자연수) 위치 원소들에 기초하여 NR개의 타겟 어드레스들을 병렬적으로 제공하는 NR개의 산술 연산기들을 포함하는 것을 특징으로 하는 메모리 장치. - 제7 항에 있어서,
상기 위치 원소들의 개수가 NT인(NT는 2 이상의 자연수) 경우, 상기 NR개의 산술 연산기들은 NT/NR 회만큼 어드레스 계산을 반복적으로 수행하여 NT개의 타겟 어드레스들을 제공하는 것을 특징으로 하는 메모리 장치. - 제5 항에 있어서,
상기 타겟 데이터 레지스터는 에스램(SRAM, static random access memory)으로 구현되는 것을 특징으로 하는 메모리 장치. - 제1 항에 있어서,
상기 간접 메모리 액세스 정보는 상기 베이스 어레이의 시작 어드레스, 상기 위치 원소들의 단위 사이즈 및 상기 위치 원소들의 전체 개수를 더 포함하는 것을 특징으로 하는 메모리 장치. - 제1 항에 있어서,
상기 제1 데이터 및 상기 제2 데이터에 기초하여 프로세싱-인-메모리(PIM, processing in memory)를 수행하여 연산 결과 데이터를 제공하는 연산 회로를 더 포함하는 것을 특징으로 하는 메모리 장치. - 제11 항에 있어서,
상기 연산 회로는, 희소 행렬 벡터 곱셈(sparse matrix vector multiplication)을 수행하는 것을 특징으로 하는 메모리 장치. - 제1 데이터의 원소들 중 유효 원소들을 순차적으로 포함하는 유효 데이터 어레이, 상기 유효 원소들에 각각 상응하는 위치 정보들을 나타내는 위치 원소들을 순차적으로 포함하는 베이스 어레이 및 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들을 순차적으로 포함하는 타겟 데이터 어레이를 저장하는 메모리 셀 어레이들이 형성되고 수직 방향으로 적층되는 복수의 메모리 반도체 다이들;
상기 메모리 반도체 다이들을 전기적으로 연결하는 실리콘 관통 전극들;
상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함하는 간접 메모리 액세스 정보를 저장하는 정보 레지스터; 및
상기 간접 메모리 액세스 정보에 기초하여 상기 메모리 셀 어레이로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치하는 프리페치 회로를 포함하고,
상기 제1 데이터는 희소 행렬이고 상기 제2 데이터는 벡터이고,
상기 간접 메모리 액세스 정보는 동시에 독출되는 위치 원소들의 독출 개수를 더 포함하는 적층형 메모리 장치. - 제13 항에 있어서,
상기 프리페치 회로는 상기 유효 데이터 어레이, 상기 베이스 어레이 및 상기 타겟 데이터 어레이를 저장하는 메모리 셀 어레이와 동일한 메모리 반도체 다이에 함께 형성되는 것을 특징으로 하는 적층형 메모리 장치. - 제13 항에 있어서,
상기 복수의 메모리 반도체 다이들에 대한 액세스를 제어하는 로직 반도체 다이를 더 포함하고,
상기 프리페치 회로는 상기 로직 반도체 다이에 형성되는 것을 특징으로 하는 적층형 메모리 장치. - 제13 항에 있어서,
상기 간접 메모리 액세스 정보는 외부의 메모리 콘트롤러로부터 상기 메모리 장치로 제공되는 것을 특징으로 하는 적층형 메모리 장치. - 제13 항에 있어서,
상기 프리페치 회로는,
상기 메모리 셀 어레이로부터 동시에 독출된 NR개의(NR은 2 이상의 자연수) 위치 원소들에 기초하여 NR개의 타겟 어드레스들을 병렬적으로 제공하는 것을 특징으로 하는 적층형 메모리 장치. - 메모리 장치; 및
상기 메모리 장치의 액세스를 제어하는 메모리 콘트롤러를 포함하는 호스트 장치를 포함하고,
상기 메모리 장치는,
제1 데이터의 원소들 중 유효 원소들을 순차적으로 포함하는 유효 데이터 어레이, 상기 유효 원소들에 각각 상응하는 위치 정보들을 나타내는 위치 원소들을 순차적으로 포함하는 베이스 어레이 및 상기 위치 정보들에 각각 상응하는 제2 데이터의 타겟 원소들을 순차적으로 포함하는 타겟 데이터 어레이를 저장하는 메모리 셀 어레이;
상기 타겟 데이터 어레이의 시작 어드레스 및 상기 타겟 원소들의 단위 사이즈를 포함하는 간접 메모리 액세스 정보를 저장하는 정보 레지스터; 및
상기 간접 메모리 액세스 정보에 기초하여 상기 메모리 셀 어레이로부터 독출된 위치 원소들에 각각 상응하는 타겟 원소들을 프리페치하는 프리페치 회로를 포함하고,
상기 메모리 셀 어레이는 복수의 메모리 뱅크들을 포함하고,
상기 메모리 콘트롤러는, 상기 유효 데이터 어레이, 상기 베이스 어레이 및 상기 타겟 데이터 어레이를 각각 서로 다른 메모리 뱅크들에 저장하는 시스템. - 삭제
- 제18 항에 있어서,
상기 메모리 콘트롤러는 상기 간접 메모리 액세스 정보를 상기 메모리 장치에 제공하고,
상기 메모리 장치는 상기 메모리 콘트롤러로부터 제공된 상기 간접 메모리 액세스 정보를 상기 정보 레지스터에 저장하는 것을 특징으로 하는 시스템.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180119527A KR102664213B1 (ko) | 2018-10-08 | 2018-10-08 | 인-메모리 프리페칭을 수행하는 메모리 장치 및 이를 포함하는 시스템 |
| US16/406,304 US11221953B2 (en) | 2018-10-08 | 2019-05-08 | Memory device performing in-memory prefetching and system including the same |
| EP19190815.1A EP3637265B1 (en) | 2018-10-08 | 2019-08-08 | Memory device performing in-memory prefetching and system including the same |
| CN201910742115.0A CN111009268A (zh) | 2018-10-08 | 2019-08-12 | 执行存储器内预取的存储器设备和包括存储器设备的系统 |
| SG10201908441VA SG10201908441VA (en) | 2018-10-08 | 2019-09-12 | Memory device performing in-memory prefetching and system including the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180119527A KR102664213B1 (ko) | 2018-10-08 | 2018-10-08 | 인-메모리 프리페칭을 수행하는 메모리 장치 및 이를 포함하는 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200039930A KR20200039930A (ko) | 2020-04-17 |
| KR102664213B1 true KR102664213B1 (ko) | 2024-05-08 |
Family
ID=67658594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180119527A KR102664213B1 (ko) | 2018-10-08 | 2018-10-08 | 인-메모리 프리페칭을 수행하는 메모리 장치 및 이를 포함하는 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11221953B2 (ko) |
| EP (1) | EP3637265B1 (ko) |
| KR (1) | KR102664213B1 (ko) |
| CN (1) | CN111009268A (ko) |
| SG (1) | SG10201908441VA (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210357154A1 (en) * | 2019-09-23 | 2021-11-18 | SK Hynix Inc. | Processing-in-memory (pim) devices |
| US20200135259A1 (en) * | 2019-12-23 | 2020-04-30 | Intel Corporation | High bandwidth dram memory with wide prefetch |
| KR20210093127A (ko) * | 2020-01-17 | 2021-07-27 | 에스케이하이닉스 주식회사 | Aim 장치 |
| US11900161B2 (en) * | 2020-03-24 | 2024-02-13 | Advanced Micro Devices, Inc. | Memory allocation for processing-in-memory operations |
| US20220019407A1 (en) * | 2020-07-14 | 2022-01-20 | Taiwan Semiconductor Manufacturing Company, Ltd. | In-memory computation circuit and method |
| KR20220049396A (ko) | 2020-10-14 | 2022-04-21 | 삼성전자주식회사 | 간접 어드레싱을 위한 시스템, 장치 및 방법 |
| US20220206685A1 (en) * | 2020-12-31 | 2022-06-30 | Advanced Micro Devices, Inc. | Reusing remote registers in processing in memory |
| KR20220101518A (ko) * | 2021-01-11 | 2022-07-19 | 에스케이하이닉스 주식회사 | 곱셈-누산 회로 및 이를 포함하는 프로세싱-인-메모리 장치 |
| CN115469800A (zh) | 2021-06-10 | 2022-12-13 | 三星电子株式会社 | 数据处理系统以及用于访问异构存储器系统的方法 |
| KR102430982B1 (ko) * | 2021-06-10 | 2022-08-11 | 삼성전자주식회사 | 프로세싱부를 포함하는 이종 메모리 시스템을 억세스하는 데이터 처리 시스템 및 방법 |
| US20230205539A1 (en) * | 2021-12-29 | 2023-06-29 | Advanced Micro Devices, Inc. | Iommu collocated resource manager |
| KR20240009812A (ko) * | 2022-07-14 | 2024-01-23 | 삼성전자주식회사 | 프리페치 기능을 지원하는 스토리지 모듈 및 그것의 동작 방법 |
| US20240143199A1 (en) * | 2022-11-01 | 2024-05-02 | Advanced Micro Devices, Inc. | Sparse Matrix Operations Using Processing-in-Memory |
| CN118295960B (zh) * | 2024-06-03 | 2024-09-03 | 芯方舟(上海)集成电路有限公司 | 一种算力芯片及其设计方法、制造方法及算力芯片系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070283105A1 (en) | 2006-06-05 | 2007-12-06 | Sun Microsystems, Inc. | Method and system for identifying multi-block indirect memory access chains |
| US20150088954A1 (en) | 2011-04-26 | 2015-03-26 | Jason D. Bakos | System and Method for Sparse Matrix Vector Multiplication Processing |
| US20150178200A1 (en) | 2006-05-10 | 2015-06-25 | Intel Corporation | Scatter-gather intelligent memory architecture for unstructured streaming data on multiprocessor systems |
| US20160188337A1 (en) | 2014-12-27 | 2016-06-30 | Intel Corporation | Hardware apparatuses and methods to prefetch a multidimensional block of elements from a multimensional array |
| US20160188476A1 (en) | 2014-12-24 | 2016-06-30 | Intel Corporation | Hardware prefetcher for indirect access patterns |
| US20180173437A1 (en) | 2016-12-19 | 2018-06-21 | Intel Corporation | Memory-to-memory instructions to accelerate sparse-matrix by dense-vector and sparse-vector by dense-vector multiplication |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2625277B2 (ja) | 1991-05-20 | 1997-07-02 | 富士通株式会社 | メモリアクセス装置 |
| US5964867A (en) | 1997-11-26 | 1999-10-12 | Digital Equipment Corporation | Method for inserting memory prefetch operations based on measured latencies in a program optimizer |
| US7366882B2 (en) * | 2001-05-10 | 2008-04-29 | Zohair Sahraoui | Address calculation unit for an object oriented processor having differentiation circuitry for selectively operating micro-instructions |
| US7734895B1 (en) | 2005-04-28 | 2010-06-08 | Massachusetts Institute Of Technology | Configuring sets of processor cores for processing instructions |
| US8209488B2 (en) | 2008-02-01 | 2012-06-26 | International Business Machines Corporation | Techniques for prediction-based indirect data prefetching |
| US7539844B1 (en) | 2008-06-24 | 2009-05-26 | International Business Machines Corporation | Prefetching indirect array accesses |
| US9201848B2 (en) * | 2012-07-27 | 2015-12-01 | The United States Of America As Represented By The Secretary Of The Air Force | Floating point matrix multiplication co-processor |
| US20140181415A1 (en) | 2012-12-21 | 2014-06-26 | Advanced Micro Devices, Inc. | Prefetching functionality on a logic die stacked with memory |
| US20150067273A1 (en) * | 2013-08-30 | 2015-03-05 | Microsoft Corporation | Computation hardware with high-bandwidth memory interface |
| US10996959B2 (en) * | 2015-01-08 | 2021-05-04 | Technion Research And Development Foundation Ltd. | Hybrid processor |
| US20170083338A1 (en) | 2015-09-19 | 2017-03-23 | Microsoft Technology Licensing, Llc | Prefetching associated with predicated load instructions |
| US20170091103A1 (en) * | 2015-09-25 | 2017-03-30 | Mikhail Smelyanskiy | Instruction and Logic for Indirect Accesses |
-
2018
- 2018-10-08 KR KR1020180119527A patent/KR102664213B1/ko active IP Right Grant
-
2019
- 2019-05-08 US US16/406,304 patent/US11221953B2/en active Active
- 2019-08-08 EP EP19190815.1A patent/EP3637265B1/en active Active
- 2019-08-12 CN CN201910742115.0A patent/CN111009268A/zh active Pending
- 2019-09-12 SG SG10201908441VA patent/SG10201908441VA/en unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150178200A1 (en) | 2006-05-10 | 2015-06-25 | Intel Corporation | Scatter-gather intelligent memory architecture for unstructured streaming data on multiprocessor systems |
| US20070283105A1 (en) | 2006-06-05 | 2007-12-06 | Sun Microsystems, Inc. | Method and system for identifying multi-block indirect memory access chains |
| US20150088954A1 (en) | 2011-04-26 | 2015-03-26 | Jason D. Bakos | System and Method for Sparse Matrix Vector Multiplication Processing |
| US20160188476A1 (en) | 2014-12-24 | 2016-06-30 | Intel Corporation | Hardware prefetcher for indirect access patterns |
| US20160188337A1 (en) | 2014-12-27 | 2016-06-30 | Intel Corporation | Hardware apparatuses and methods to prefetch a multidimensional block of elements from a multimensional array |
| US20180173437A1 (en) | 2016-12-19 | 2018-06-21 | Intel Corporation | Memory-to-memory instructions to accelerate sparse-matrix by dense-vector and sparse-vector by dense-vector multiplication |
Also Published As
| Publication number | Publication date |
|---|---|
| US11221953B2 (en) | 2022-01-11 |
| EP3637265A1 (en) | 2020-04-15 |
| KR20200039930A (ko) | 2020-04-17 |
| CN111009268A (zh) | 2020-04-14 |
| SG10201908441VA (en) | 2020-05-28 |
| US20200110705A1 (en) | 2020-04-09 |
| EP3637265B1 (en) | 2021-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102664213B1 (ko) | 인-메모리 프리페칭을 수행하는 메모리 장치 및 이를 포함하는 시스템 | |
| US11640955B2 (en) | Method and device for controlling operation using temperature deviation in multi-chip | |
| US20240028207A1 (en) | Near-memory compute module | |
| US20210248094A1 (en) | Quasi-volatile system-level memory | |
| KR102518095B1 (ko) | 스토리지 장치 및 시스템 | |
| JP6373559B2 (ja) | メモリ装置及びメモリ装置の動作方法 | |
| KR102453542B1 (ko) | 스킵 연산 모드를 지원하는 메모리 장치 및 그 동작 방법 | |
| KR20170027125A (ko) | 컴퓨팅 시스템 및 컴퓨팅 시스템에서 연산들을 처리하는 방법 | |
| US20180115496A1 (en) | Mechanisms to improve data locality for distributed gpus | |
| TWI668703B (zh) | 具有可程式化緩衝器及快取大小的記憶體協定 | |
| CN114153373A (zh) | 用于执行存储器设备内的数据操作的存储器系统及其操作方法 | |
| EP4060505A1 (en) | Techniques for near data acceleration for a multi-core architecture | |
| JP2021034052A (ja) | 異種メモリを有するメモリシステム、これを含むコンピュータシステム及びそのデータ管理方法 | |
| JP2021043975A (ja) | インターフェース回路並びにメモリ装置及びその動作方法 | |
| JP2018152112A (ja) | メモリ装置及びメモリ装置の動作方法 | |
| US11281397B2 (en) | Stacked memory device performing function-in-memory (FIM) operation and method of operating the same | |
| US20240086292A1 (en) | System and method for in-memory computation | |
| EP4375840A1 (en) | Memory controller, electronic system including the same and method of controlling memory access | |
| KR20210113099A (ko) | 조정 가능한 기능-인-메모리 컴퓨팅 시스템 | |
| US20230013611A1 (en) | Memory device for performing in-memory processing | |
| KR20220032366A (ko) | 가변적인 모드 설정을 수행하는 메모리 장치 및 그 동작방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |