KR101887797B1 - 메모리 내 가벼운 일관성 - Google Patents

메모리 내 가벼운 일관성 Download PDF

Info

Publication number
KR101887797B1
KR101887797B1 KR1020167034167A KR20167034167A KR101887797B1 KR 101887797 B1 KR101887797 B1 KR 101887797B1 KR 1020167034167 A KR1020167034167 A KR 1020167034167A KR 20167034167 A KR20167034167 A KR 20167034167A KR 101887797 B1 KR101887797 B1 KR 101887797B1
Authority
KR
South Korea
Prior art keywords
memory
die
state information
information
logic
Prior art date
Application number
KR1020167034167A
Other languages
English (en)
Other versions
KR20170002570A (ko
Inventor
리차드 씨. 머피
Original Assignee
마이크론 테크놀로지, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크론 테크놀로지, 인크. filed Critical 마이크론 테크놀로지, 인크.
Publication of KR20170002570A publication Critical patent/KR20170002570A/ko
Application granted granted Critical
Publication of KR101887797B1 publication Critical patent/KR101887797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0817—Cache consistency protocols using directory methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0284—Multiple user address space allocation, e.g. using different base addresses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1072—Decentralised address translation, e.g. in distributed shared memory systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/025—Geometric lay-out considerations of storage- and peripheral-blocks in a semiconductor storage device
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C8/00—Arrangements for selecting an address in a digital store
    • G11C8/12—Group selection circuits, e.g. for memory block selection, chip selection, array selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0817—Cache consistency protocols using directory methods
    • G06F12/0824—Distributed directories, e.g. linked lists of caches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084—Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1032—Reliability improvement, data loss prevention, degraded operation etc
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1048—Scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/25—Using a specific main memory architecture
    • G06F2212/251—Local memory within processor subsystem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/30—Providing cache or TLB in specific location of a processing system
    • G06F2212/304—In main memory subsystem
    • G06F2212/3042—In main memory subsystem being part of a memory device, e.g. cache DRAM

Abstract

시스템은 복수의 호스트 프로세서 및 호스트 프로세서들을 위해 분산 공유 메모리로서 구성되는 복수의 HMC 디바이스를 포함한다. HMC 디바이스는 제2 메모리 다이의 상부 상에 배치된 적어도 제1 메모리 다이를 포함하는 복수의 집적 회로 메모리 다이로서, 메모리 다이의 메모리의 적어도 부분은 메모리 일관성 디렉토리의 적어도 부분을 포함하도록 매핑되는, 상기 복수의 집적 회로 메모리 다이; 및 적어도 하나의 제2 디바이스에 의해 복수의 메모리 다이의 메모리에의 3-차원(3-D) 액세스를 관리하도록 구성된 적어도 하나의 메모리 제어기, 및 복수의 메모리 다이의 메모리에 저장된 데이터에 대한 메모리 일관성 상태 정보를 결정하도록, 메모리에의 액세스에 관한 정보를 전달하도록, 그리고 전달된 상기 정보에 메모리 일관성 정보를 포함시키도록 구성된 로직 회로를 포함하는 로직 베이스 다이를 포함한다.

Description

메모리 내 가벼운 일관성{IN-MEMORY LIGHTWEIGHT COHERENCY}
관련 출원들
본 미국 특허 출원은 2014년 5월 8일에 출원된, 미국 가 출원 제61/990,199호의 우선권 혜택을 주장하며, 이의 내용이 그 전체가 참조로 통합된다.
멀티-프로세서 시스템들은 하나보다 많은 프로세서가 동일한 데이터 연산들을 수행할 수 있게 하는 공유 메모리를 포함할 수 있다. 공유 메모리에의 액세스는 느릴 수 있고 시스템 지연으로 이어질 수 있다. 메모리 액세스 시간을 개선하기 위해, 멀티-프로세서 공유 메모리 시스템들은 비교적 작으나 빠른 액세스 캐시 메모리를 포함할 수 있다. 캐시 메모리는 프로세서들에 의해 빈번하게 액세스될 수 있는 데이터의 복사본을 저장한다. 캐싱된 데이터의 정확성을 유지하기 위해, 캐시 일관성 프로토콜이 추구된다. 캐시 일관성 프로토콜은 데이터가 데이터의 다수의 복사본의 존재에 불구하고 모든 프로세서에 걸쳐 정확하다는 것을 보장하기 위해 프로세서들에 의해 캐싱된 데이터에의 액세스에 규칙들을 부과한다. 그러나, 캐시 일관성 프로토콜들은 귀중한 시스템 대역폭을 소모하고 데이터 액세스에 대한 불규칙한 지연을 초래할 수 있다. 본 발명자들은 멀티-프로세서 공유 메모리 시스템들에서의 개선된 데이터 관리에 대한 필요를 인식했다.
도 1은 본 발명의 몇몇 실시예를 실시하기 위해 사용될 수 있는 바와 같은, 하이브리드 메모리 큐브의 표현을 예시한다.
도 2는 본 발명의 몇몇 실시예를 실시하기 위해 사용될 수 있는 바와 같은, 하이브리드 메모리 큐브의 사분면을 예시하는 블록도이다.
도 3은 본 발명의 몇몇 실시예를 실시하기 위해 사용될 수 있는 바와 같은, 하이브리드 메모리 큐브들에 대한 4개의 가능한 디바이스 토폴로지의 블록도들을 도시한다.
도 4는 본 발명의 몇몇 실시예를 실시하기 위해 사용될 수 있는 바와 같은, 일관성 디렉토리 메모리 포맷의 예를 도시한다.
도 5는 본 발명의 몇몇 실시예를 실시하기 위해 사용될 수 있는 바와 같은, HMC 디바이스들로 구현되는 컴퓨터 시스템의 예의 블록도를 도시한다.
도 6은 컴퓨터 시스템을 동작시키는 방법의 예의 흐름도를 도시한다.
도 7은 컴퓨터 시스템을 동작시키는 방법의 다른 예의 흐름도를 도시한다.
본 발명의 예시적인 실시예들의 다음 상세한 설명에서, 도면들 및 예시들을 통해 본 발명의 구체적 예시적인 실시예들이 참조된다. 이들 예는 당해 기술분야의 통상의 기술자들이 본 발명을 실시할 수 있게 충분히 상세하게 설명되며, 본 발명이 다양한 목적 또는 실시예에 어떻게 적용될 수 있는지를 예시하는 역할을 한다. 본 발명의 다른 실시예들이 존재하고 본 발명의 범위 내에 있으며, 논리적, 기계적, 전기적, 및 다른 변경들이 본 발명의 대상 또는 범위에서 벗어나지 않고 이루어질 수 있다. 그러나, 여기에 설명된 본 발명의 다양한 실시예의 피처들 또는 제한들이 통합되는 예시적인 실시예들에 있어서 필수적인 피처들 또는 제한들은 본 발명의 다른 실시예들을 또는 본 발명을 전체로서 제한하지 않으며, 본 발명, 그것의 요소들, 연산, 및 적용에 대한 임의의 언급은 본 발명을 전체로서 제한하지 않고 단지 이들 예시적인 실시예를 정의하는 역할을 한다. 따라서, 다음 상세한 설명은 본 발명의 다양한 실시예의 범위를 제한하지 않으며, 이는 단지 첨부된 청구항들에 의해 정의된다.
종래 컴퓨터 시스템들에서, 메모리는 로우들 및 컬럼들로 2-차원적으로 조직된다. 메모리 액세스 지연을 개선하기 위한 노력들은 고 대역폭 인터페이스를 이용하는 더블 데이터 레이트 유형 3(DDR3; double data rate type three) 또는 DDR4의 개발을 포함해왔다. DDR3 및 DDR4는 전통적인 로우/컬럼 접근법을 사용한다.
도 1은 하이브리드 메모리 큐브(105)(HMC)의 표현을 예시한다. HMC는 집적 회로(IC) 메모리 다이(110)를 적층하고 IC 다이의 상부 및 하부 양자 상에의 액세스를 가능하게 하는 실리콘 관통 비아(TSV; through silicon via) 구조들(미도시)을 사용하여 다이를 상호 접속시킴으로써 3차원을 포함한다. TSV 제조 기술들은 3-차원 다이들을 구성하기 위해 다수의 다이 계층의 상호 접속을 가능하게 한다. 다수의 다이 계층을 상호 접속시킬 수 있는 능력은 메모리 저장 계층 및 하나 이상의 로직 계층의 조합을 갖는 메모리 디바이스를 구축하는 것을 가능하게 한다. 이러한 방식으로, 디바이스는 단일 전자 디바이스 패키지에서의 물리적 메모리 저장 및 논리적 메모리 트랜잭션 프로세싱을 제공한다. 도 1에 도시된 배열체는 개념이고 반드시 실제 다이 레이아웃을 나타내는 것은 아니다.
HMC(예를 들어, 하이브리드 메모리 큐브 사양 버전 1.0에 명시된 바와 같은)는 디바이스당 320GB/s까지의 이용가능 대역폭 용량을 갖는 매우 소형의, 전력 효율적인 패키지를 제공할 수 있다. HMC 디바이스는 설계를 위한 계층적 및 병렬적 접근법을 통해 고 대역폭이 가능하다. 디바이스 계층이 로직 계층들에 걸쳐 수직적으로 존재하고 하드웨어 병렬 관계가 소정의 다이 계층에 걸쳐 존재한다. HMC 내에서, 메모리는 보울트들(vaults)로 조직된다. 각 보울트(120)는 실리콘-관통 비아들을 사용하여 다이 내 메모리 계층들의 각각에 수직적으로 걸친다. 도 1의 간략화된 예에서, HMC는 각 보울트가 로직 베이스 다이 계층(115) 또는 로직 베이스를 갖는 16개의 보울트로 조직된다.
도 2는 HMC(205)의 사분면을 예시하는 블록도이다. HMC의 4개의 보울트는 각 보울트(220)가 다수의 메모리 계층을 포함한 상태로 도시된다. 로직 베이스 계층(215)은 다수의 구성요소를 포함한다. 예를 들어, 각 보울트는 보울트에 대한 모든 메모리 참조 연산을 관리하는 로직 베이스에 메모리 제어기를 갖는다. 메모리 제어기들은 3D 저장 계층들에의 유연한 액세스를 제공한다. 3D 층상화 접근법은 메모리 트랜잭션들이 타겟 저장 어레이 내 뱅크들에 걸칠 뿐만 아니라, 병렬 저장 어레이들에 걸쳐 병렬로 존재하는 것을 가능하게 한다. 로직 베이스 계층(215)은 설명되는 기능들을 구현하기 위한 하나 이상의 프로세서를 포함할 수 있으며, HMC는 프로세서 인 메모리(PIM; processor in memory) 디바이스일 수 있다.
로직 베이스 계층(215)은 트랜잭션 로직 및 내부 라우팅 뿐만 아니라 HMC 디바이스에의 외부 링크 액세스 양자를 제공한다. 외부 I/O 링크들은 4개 또는 8개의 논리적 링크에 의해 제공된다. 각 링크는 16개 또는 8개의 직렬 I/O, 또는 SERDES, 양방향 링크의 그룹을 포함할 수 있다. 4개의 링크 디바이스는 10Gbps, 12.5Gbps 및 15Gbps로 동작할 수 있는 능력을 갖는다. 8개의 링크 디바이스는 10Gbps로 동작할 수 있는 능력을 갖는다. 내부적으로, 링크들은 각 수직적 메모리 저장 유닛을 제어하는 트랜잭션들을 로직 디바이스들로 향하게 하기 위해 라우팅 로직에 접속된다. 도 2의 예에서, 라우팅 로직은 크로스 바 스위칭 로직을 포함한다.
HMC 링크 구조는 디바이스들을 호스트들(프로세서들) 또는 다른 HMC 디바이스들 양자에 접속시킬 수 있는 능력을 지원한다. 이러한 연쇄 개념은 링크 구조 및 패킷화된 트랜잭션 프로토콜들을 동요하게 하지 않으면서 단일 디바이스보다 큰 용량을 필요로 하는 메모리 서브시스템들의 구성을 가능하게 한다. 링크들은 다수의 토폴로지의 호스트 디바이스 링크들 또는 패스-스루 링크들로서 구성될 수 있다.
도 3은 베이스 4-링크 HMC 구성에 기초한 4개의 가능한 디바이스 토폴로지의 블록도들을 도시한다. HMC 메모리 디바이스들(305)은 전통적인 네트워크 토폴로지 이를테면 메시(mech), 토러스(torus) 또는 크로스바(crossbar)로 구성될 수 있다. 다수의 HMC 디바이스들을 연쇄하는 것은 호스트가 이용가능한 총 메모리 용량을 증가시킨다.
도 2로 돌아가, 보울트에 대한 로직 베이스 계층은 각 독립된 보울트에 대한 DIMM 제어기 유닛과 유사하다. 도 2의 예에서, 보울트 로직 블록들(225) 및 그것들의 각각의 보울트 저장 유닛들(220)은 사분 유닛들로 조직될 수 있다. 각 사분 유닛은 4개의 보울트 유닛을 나타낸다. 각 사분 유닛은 가장 가까운 물리 링크 블록과 대략 연관된다. 이러한 방식으로, 호스트 디바이스들은 요청 패킷들을 연관된 사분 유닛이 요청된 보울트에 물리적으로 가장 가까운 링크들로 논리적으로 전송함으로써 HMC 디바이스의 로직 베이스 계층을 통해 지연을 최소화할 수 있는 능력을 갖는다.
타겟 메모리 보울트 내에서, 메모리 저장소는 전통적인 개념의 뱅크들 및 동적 랜덤 액세스 메모리들(DRAM들)로 분할될 수 있다. 적층된 메모리 계층들을 통한 수직적 액세스(vertical access)는 적절한 메모리 뱅크를 선택하는 것과 유사하다. 하측 뱅크들은 하측 다이 계층들에 구성될 수 있는 한편 수직 상승은 후속 뱅크들을 선택한다. 뱅크 계층 내에서, DRAM은 전통적으로 로우들 및 컬럼들을 사용하여 조직될 수 있다. 보울트 제어기는 DRAM을 각각이 16-바이트를 어드레싱하는 1 메가비트(1 Mb) 블록들로 분할한다. 타겟 뱅크에 대한 판독 또는 기록 요청들은 각 컬럼 인출당 32-바이트로 수행될 수 있다.
멀티-호스트 멀티-HMC 시스템에 대해, 호스트 디바이스들 및 HMC 디바이스들 간 밴드 내 통신은 패킷화된 포맷을 사용하여 수행된다. 이러한 패킷화된 포맷은 세 개의 주요 패킷 분류: 요청 패킷들, 응답 패킷들, 및 흐름 제어 패킷들을 포함할 수 있다. 패킷들은 단일 16-바이트 흐름 단위, 또는 FLIT의 배수로서 구성될 수 있다. 최대 패킷 크기는 9 FLIT, 또는 144 바이트를 포함한다. 최소 16-바이트(1 FLIT) 패킷은 패킷 헤더 및 패킷 테일을 포함한다. 메모리 페이로드 크기에 불구하고 메모리 판독 요청 패킷들은 단지 패킷 헤더, 테일, 및 각각의 물리적 메모리 어드레스만을 필요로 할 수 있다. 따라서, 판독 요청들은 단일 FLIT을 사용하여 구성될 수 있다. 그러나, 기록 요청들 및 원자 요청 패킷들은 또한 각각, 기록 및 판독-수정-기록 연산들을 위해 요청된 입력 데이터도 포함한다. 따라서, 이들 요청 유형은 2 FLIT 내지 9 FLIT의 패킷 폭들을 가질 수 있다.
HMC 시스템 구현예는 다수의 패킷 렌더링 지점을 가질 수 있다. 보조 디바이스들 행의 도착 패킷들은 로컬 보울트 액세스를 기다려 그것들을 통과할 수 있다. 로컬 보울트들은 또한 각각의 보울트 뱅크들로 그리고 이들로부터 대역폭을 가장 효율적으로 사용하기 위해 대기 패킷들을 재순서화할 수도 있다. 그러나, 주어진 HMC 구현예에 존재하는 재순서화 지점들은 특정 링크로부터 보울트 내 특정 뱅크로의 패킷들의 스트림의 순서를 유지한다. 이는 뒤에 메모리 판독 요청들이 따르는 메모리 기록 요청들이 정확한 및 결정론적 메모리 거동을 전달함을 보장한다.
이전에 설명된 바와 같이, HMC는 고 대역폭 디바이스를 제공한다. 그러나, 현재 시스템 상호 접속 사양들은 통상적으로 주 메모리가 고 대역폭 디바이스들 이를테면 HMC에 기초하는 시스템들에서 적절한 균형을 유지하는데 필요한 충분한 기능, 유연성 및 성능이 부족하다. 예를 들어, 시스템 아키텍처는 시스템 온 칩(SoC) 및 로컬 메모리 사이에 초당 수백 기가바이트의 대역폭을 유지하기 위해 하나 이상의 HMC를 포함할 수 있으나, 시스템 아키텍처는 이러한 이용가능한 대역폭의 단지 일부(예를 들어, 10분의 1)를 갖는 시스템 상호 접속부를 제공할 수 있다. 그 결과는 매우 불균형한 시스템일 수 있다.
또한, 시스템 상호 접속부에 접속되는 프로세서들이 캐시 일관성 메커니즘들을 제공하는 경우, 별개의 로직 블록들이 공유 메모리 및 캐시 메모리 서브시스템들 양자에서의 병렬성 및 정확성을 유지하기에 충분한 대역폭 및 기능을 제공하기 위해 시스템에 추가되어야 할 수 있다. 이는 상이한 지연도를 갖는 복합 프로토콜 사양들 및 주변 로직 블록들의 복합 세트와의 프로세서 상호 접속, 메모리 상호 접속, 및 시스템 상호 접속를 초래한다.
비효율적인 캐시 일관성은 특히 다수의 실행 스레드(또는 태스크)가 다수의 SoC 디바이스 또는 소켓에 분산되는 애플리케이션들에 관련된다. 코어 SoC 또는 프로세서가 기능적 데이터 캐싱을 지원하는 경우, SoC 소켓들 간 캐시 일관성 메커니즘은 시스템 상호 접속부 상에서 이용가능한 대역폭보다 자릿수가 더 클 수 있는 로컬 메모리 대역폭을 지원해야 한다. 다시, 그 결과는 매우 불균형한 시스템이다.
시스템 레벨 지연을 개선하기 위한 접근법은 실질적으로 고 대역폭 메모리 디바이스들의 대역폭을 갖는 메모리 일관성 서브시스템을 제공하는 것이다. 이를 제공하기 위한 하나의 방법은 하나 이상의 HMC 디바이스를 사용하여 시스템 메모리 일관성을 구현하는 것이다. HMC가 인- 사이투 원자 메모리 연산들을 실행할 수 있는 능력을 가지기 때문에, HMC는 고 대역폭 및 저 지연 메모리 일관성 메커니즘을 제공하도록 확장될 수 있다.
종래 시스템에서, 캐시 일관성을 위한 하나의 접근법은 디렉토리-기반 캐시 일관성 프로토콜을 사용하는 것이다. 일관성 디렉토리는 프로세서가 주 메모리로부터 그것의 캐시로 엔트리를 로딩하는 허가를 구하는 필터로서의 역할을 한다. 엔트리가 변경될 때 디렉토리는 해당 엔트리를 갖는 다른 캐시들을 업데이트하거나 또는 무효화한다. 디렉토리-기반 캐시 일관성은 상태를 캐시 라인들에 부여하는 "디렉토리"의 유지를 포함한다. 모든 캐시 라인에 캐시 라인의 상태의 최종 결정권자로서 "홈 노드(home node)"가 부여될 수 있다. 홈 노드는 어드레스 공간을 소유하고 캐시 라인 수정을 허가한다. 디렉토리는 메타데이터를 프로세싱하기 위해 호스트들 중에 자격 및 디렉토리-기반 프로토콜을 부여한 후 점 대 점 통신을 사용한다.
프로세서들은 통상적으로 디렉토리의 상당량의 캐시 라인 상태 정보를 저장하고, 캐시 메타데이터를 판독하고 캐시 라인의 상태를 결정하기 위해 고속 캐시 메모리 액세스를 필요로 한다. 캐시 메모리 제어기는 어떤 호스트가 캐시 라인을 체크 아웃했는지를 추적한다. 이러한 구성에서, 캐시 디렉토리들 자체는 최종 레벨 캐시들 또는 메모리 제어기들에 유지되는 복합 및 많은 전력을 필요로 하는 데이터 구조들을 생성하여 (보통 완전히 연관되어) 캐싱되어야 한다. 이들 데이터 구조는 보통 온-칩에 맞지 않고 큰 대칭형 멀티프로세서(SMP) 구성들을 위해 DRAM에 의해 뒷받침되어야 한다.
그것의 물리적 메모리 저장장치의 계층적 특성으로 인해, HMC 디바이스는 전통적인 뱅크드 DRAM 디바이스들(예를 들어, DDR3 또는 DDR4 디바이스들)과 상이한 물리적 어드레싱 및 인터리브 모델을 갖는다. HMC 디바이스들에 대한 물리적 어드레스들은 보울트, 뱅크, 및 어드레스 비트들을 포함하는 34-비트 필드로 인코딩된다. 4개의 링크 디바이스를 갖는 구현예는 필드의 하측 32-비트를 이용하고, 8개의 링크 디바이스를 갖는 구현예는 필드의 하측 33-비트를 이용한다.
DDR3 또는 DDR4 디바이스들에 반해, HMC 디바이스는 추상화된 메모리 저장장치 인터페이스를 저렴하게 구현할 수 있다. 예를 들어, DDR 유형의 디바이스에 대해, 프로세서가 어드레스에 액세스하려고 할 때, 현실 또는 실제 물리적 어드레스가 버스 상에 배치되고 액세스된다. HMC 프로토콜에서, 물리적 어드레스는 그것이 HMC에 이를 때 상이한 메모리 어드레스로 재-매핑될 수 있다. 그에 따라, HMC에 대해, 기록되는 실제 메모리 위치의 어떠한 보장도 없다. 추가적으로, HMC는 설정된 시간에 응답을 생성하도록 요구되지 않는다.
이러한 HMC의 어드레스 재-매핑 능력은 디렉토리-기반 메모리 일관성을 구현하기 위해 활용될 수 있다. 디렉토리 메모리 일관성에 대한 지원을 제공하기 위해, HMC의 베이스 로직 계층은 "캐시 라인" 또는 관련 메모리 워드로 주어진 메모리 블록의 위치를 추상화하도록 구성될 수 있다. 그에 따라, 메모리 일관성 디렉토리는 HMC 저장 보울트들 내에 저장될 수 있다. 이는 동일한 HMC 프로토콜을 사용하여 전통적인 메모리 트래픽 및 캐시 일관성 트래픽 양자를 관리하기 위한 방법론을 제공하고; 그렇게 함으로써 로컬 메모리 데이터 액세스 및 시스템 메모리 데이터 액세스에 획일성을 제공한다.
도 4는 일관성 디렉토리 메모리 포맷의 예를 도시한다. HMC의 다이렉트 메모리 공간은 베이스 물리적 어드레스 필드에 포함되는 물리적 어드레스들 면에서 설명될 수 있다. 도시된 예에서, 34 비트까지의 물리적 어드레스 저장이 이용가능하다. 베이스 물리적 어드레스는 메모리 연산에 대한 타겟으로서의 역할을 하고 보울트, 뱅크, 및 DRAM 어드레스 비트들을 포함할 수 있다. 어드레스 확장 큐브 ID(CUB) 필드는 메모리 워드를 지지하는 메모리가 존재하는 HMC 디바이스를 나타낸다. 디렉토리 비트들 필드는 메모리 워드가 캐시 라인인 것처럼 메모리 워드의 상태 정보를 유지하기 위해 메모리 일관성 비트들을 제공한다. 메모리 일관성 디렉토리가 MESI 일관성 프로토콜을 사용하는 경우, 디렉토리 비트들은 수정 비트, 배타 비트, 공유 비트, 및 무효 비트를 포함한다. 캐시 라인으로서 데이터 워드에 액세스하는 것은 베이스 물리적 어드레스 플러스 CUB 오프셋과 연관된 메모리 워드에 액세스함으로써 수행될 수 있다. 데이터 엔트리가 8 바이트를 포함하는 경우, 단일 8GB HMC 디바이스는 10억 병렬의 디렉토리 엔트리를 지원할 수 있다.
메모리 일관성이 이러한 방식으로 조직되면, 조회 및 수정 연산들이 HMC 원자 메모리 연산들을 사용하여 메모리 상에서 수행될 수 있다. 디렉토리 이변성은 디렉토리와 상호 작용하기 위해 HMC에 고유한 트랜잭션 프로토콜들을 사용하는 동안 유지된다. 이는 메모리 액세스들의 유형들을 보다 획일적으로 만든다.
디렉토리 엔트리들에의 액세스는 원자 요청을 사용하여 수행될 수 있다. 원자 요청들은 (요청 어드레스 필드에 의해 액세스되는 바와 같이) DRAM으로부터 16 바이트의 데이터를 판독하는 것, (또한 요청 패킷에 포함되는) 16-바이트 피연산자의 사용을 통해 데이터 연산을 수행하는 것, 및 그 다음 DRAM에서의 동일한 위치에 다시 결과들을 기록하는 것을 수반한다. 판독-업데이트-기록 시퀀스는 원자적으로 발생하며, 이는 다른 어떠한 요청도 원자 요청의 기록이 완료할 때까지 동일한 뱅크에 액세스할 수 없음을 의미한다. 원자 요청들은 그것들이 요청 패킷에 16-바이트 데이터를 가진다는 점에서 16-바이트 기록 요청과 유사하며, 기록 응답은 리턴될 수 있거나 리턴되지 않을 수 있다(요청이 포스티드(posted) 요청인지 또는 논-포스티드 요청인지에 따라). 원자 연산에서 기인하는 데이터는 응답 명령에서 리턴되지 않는다. 디렉토리 엔트리들에 대한 수정들은 원자 메모리 연산들, 이를테면 예를 들어 HMC 프로토콜의 ADD 즉시 요청 명령을 사용하여 수행될 수 있다. 디렉토리 엔트리들에 대한 조회들은 또한 원자 메모리 연산들, 이를테면 예를 들어 타겟 즉시 값이 제로인 ADD 즉시 요청 명령을 사용하여 수행될 수 있다.
도 5는 HMC-기반 메모리 일관성 디렉토리를 포함하도록 HMC 디바이스들로 구현되는 컴퓨터 시스템(500)의 예의 블록도를 도시한다. 시스템은 복수의 호스트 프로세서를 포함한다. 프로세서들은 SoC들로서 구현될 수 있으며 각 프로세서가 SoC 소켓(502)에 의해 표기된다. 본 예는 4개의 프로세서를 도시하나 시스템은 다른 수의 프로세서를 포함하는데 유연하다.
시스템은 또한 호스트 프로세서들을 위해 분산 공유 메모리로서 구성되는 복수의 HMC 디바이스를 포함한다. HMC 디바이스들 중 몇몇은 종단점 디바이스들로서 사용되고, 몇몇 HMC 디바이스는 허브 디바이스들로서 사용된다. 허브 디바이스들은 시스템 내 통신을 제공하기 위해 패스 스루 통신 능력을 제공할 수 있다.
메모리가 3-차원적으로 배열되는 메모리 다이를 갖는 HMC 디바이스들로 구현된다고 고려하면, 공유 메모리는 3D 메모리 액세스를 위해 구성된다. HMC 디바이스(505)의 메모리 다이의 메모리의 적어도 부분은 메모리 일관성 디렉토리의 적어도 부분을 포함하도록 매핑된다. 이는 종래 캐시 일관성 데이터 또는 메타데이터가 메모리 워드가 존재하는 메모리에 저장될 수 있음을 시사한다. HMC 디바이스의 로직 베이스 다이는 적어도 하나의 제2 디바이스, 이를테면 예를 들어 프로세서 또는 다른 HMC 디바이스에 의해 HMC 디바이스 메모리에의 3-차원(3D) 액세스를 관리하는 적어도 하나의 메모리 제어기를 포함한다. 로직 베이스 다이는 또한 복수의 메모리 다이의 메모리에 저장된 데이터에 대한 메모리 일관성 프로토콜을 구현하는 로직 회로를 포함한다.
일관성 디렉토리가 HMC 디바이스들에 저장되기 때문에, HMC 디바이스 그 자체가 그 자체의 데이터에 대한 홈 노드로서의 역할을 할 수 있다. 메모리 일관성 상태 정보가 데이터와 함께 저장될 수 있다. 로직 베이스 계층은 메모리 일관성 상태 정보가 데이터를 별개의 캐시에 저장하지 않고 프로세서들 중에 전달될 수 있게 한다. 데이터가 저장되면 공유 메모리는 기본적으로 캐시 라인이다. 추가적으로, 메모리 일관성이 HMC 디바이스들에 의해 구현된다고 고려하면, 메모리 일관성 상태 정보를 유지하는 것과 연관된 프로세싱 오버헤드가 프로세서들에서 제거된다.
이전에 설명된 바와 같이, 멀티-호스트 멀티-HMC 시스템에 대해, 호스트 디바이스들 및 HMC 디바이스들 간 I/O 통신은 패킷화된 포맷을 사용하여 수행된다. 메모리 일관성 프로토콜은 이러한 I/O 프로토콜에 포함될 수 있다. 패킷화된 정보는 메모리 일관성 상태 정보를 포함할 수 있다. 몇몇 예에서, 메모리 일관성 상태 정보는 도 4의 예에서와 같은 어드레스 정보에 포함될 수 있다. I/O 프로토콜에 메모리 일관성 프로토콜을 포함시키는 것은 양 기능을 통합된 효율적인 통신 시스템으로 조합한다. 이는 로컬 메모리 요청들 및 시스템 메모리 요청들의 지연을 최소화하고 로컬 및 시스템 인터페이스들 간 프로토콜 변환들을 제거한다.
상태 정보는 프로세서가 메모리 워드에 데이터를 안전하게 기록할 수 있는지, 메모리 워드가 현재 유효한 데이터를 유지하는지를 결정하며, 메모리 워드가 메모리 워드에 대한 판독들 및 기록들이 가능한 상태로 어떻게 변이될 수 있는지를 결정한다. 몇몇 예에서, HMC 디바이스의 로직 회로는 MSI 캐시 일관성 프로토콜을 구현하고 메모리 다이의 메모리의 워드에 대한 "수정" 상태 정보, "공유" 상태 정보, 및 "무효" 상태 정보를 결정하고, 상태 정보를 메모리 다이의 메모리의 워드에 관련하여 저장한다. 특정한 변형예들에서, 수정 상태 정보, 공유 상태 정보, 및 무효 상태 정보는 각각, 수정 비트, 공유 비트, 및 무효 비트를 포함한다. 특정한 예들에서, HMC 디바이스의 로직 회로는 배타 상태 정보를 결정하는 MESI 캐시를 구현한다. 특정한 예들에서, HMC 디바이스의 로직 회로는 메모리 다이의 메모리의 워드에 대한 소유 상태 정보를 결정하는 MOSI 캐시를 구현한다. 로직 회로는 배타 상태 정보 및 소유 상태 중 하나 또는 양자를 공유 메모리 데이터의 워드에 관련하여 저장한다. 몇몇 예에서, 허브 HMC 디바이스는 패킷화된 메시지에 라우팅 정보를 추가한다. 라우팅 정보는 메모리 일관성 상태 정보를 결정하기 위해 사용될 수 있다(예를 들어, 수신 HMC 디바이스에 의해).
몇몇 예에 따르면, "체크-아웃/체크-인" 메커니즘이 특정한 메모리 워드를 업데이트하려는 프로세서들에 의해 사용된다. 이 경우, 프로세서는 메모리 위치(X)에의 배타적 액세스를 요청한다. 액세스가 메모리 워드가 존재하는 HMC 디바이스에 의해 승인된다면, 메모리 워드는 "체크 아웃"으로 마킹될 수 있다(디바이스 상의 작은 연관 테이블에 또는 메모리에서의 상태의 추가 비트로서 중 어느 하나). 데이터가 프로세서에 의해 다시 체크 인될 때, HMC 디바이스는 데이터가 업데이트됨을 추정한다. 따라서 메모리 워드 그 자체가 프로세서에 의해 다시 기록(또는 "플러싱")될 것이며 메모리에서의 공간은 추가 상태 정보(예를 들어, 메모리 워드를 체크 아웃한 디바이스를 나타내는 상태 정보)를 저장하기 위해 재사용될 수 있다. 메모리 워드(X)에 대한 추가 요청들은 정보의 양 부분을 조합하는 응답(예를 들어, 캐시 라인이 프로세서(P)에 의해 체크 아웃된다는 상태 정보)을 HMC 디바이스로부터 수신할 수 있다. 그 다음 디렉토리-기반 일관성 프로토콜은 메모리 일관성 상태 업데이트들을 사용함으로써 진행된다(예를 들어, 프로세서(P)가 메모리 콘텐츠를 플러싱할 것을 요청받을 수 있는 등). 프로세서(P)가 새로운 데이터를 다시 홈 노드(메모리 워드의 HMC 디바이스)로 플러싱할 때, 메모리 워드는 체크 인될 수 있고 상태 정보가 클리어된다.
몇몇 예에서, HMC 디바이스는 타겟 메모리 워드에 대한 특정한 상태 요청에 응답한다. 예를 들어, 타겟 HMC 디바이스는 메모리 워드에의 배타적 액세스를 위한 요청(예를 들어, 배타 상태를 위한 요청)을 프로세서로부터 수신할 수 있다. HMC 디바이스의 로직 회로는 메모리 워드에 대한 상태 정보의 판독을 개시할 수 있다. 상태 정보가 제2 디바이스가 이미 메모리 워드의 배타적 액세스 및 소유를 가짐을 표시하는 경우, 로직 회로는 메모리 워드를 무효화하고 소유 디바이스로부터 무효의 확인을 기다릴 수 있다. 확인이 수신될 때, HMC 디바이스는 원래의 요청 디바이스에의 배타적 액세스를 허가할 수 있다.
도 6은 컴퓨터 시스템, 이를테면 도 5에 도시된 예시적인 시스템을 동작시키는 방법(600)의 예의 흐름도를 도시한다. 605에서, 컴퓨터 시스템의 분산 공유 메모리에의 액세스는 이를테면 HMC 프로토콜에 의해 관리된다. 공유 메모리는 3-차원 액세스를 위해 구성되며, 하나 이상의 HMC 디바이스를 포함한다.
610에서, 메모리 일관성 상태 정보는 메모리 일관성 디렉토리로서 분산 공유 메모리에 저장된다. 몇몇 예에서, 메모리 일관성 디렉토리는 컴퓨터 시스템의 다수의 HMC 디바이스에 걸쳐 분산된다.
615에서, 패킷화된 정보를 전달하는 것이 컴퓨팅 시스템의 복수의 프로세서 및 공유 메모리 사이에서 전달되며, 620에서 캐시 일관성 상태 정보가 전달된 패킷화된 정보에 포함된다. 몇몇 예에서, 620 캐시 일관성 상태 정보는 컴퓨터 시스템의 프로세서들 사이에서 점 대 점으로 전달된다.
여기에 설명된 예시적인 시스템들 및 방법들은 종래 멀티-프로세서 분산 공유 메모리 시스템에 걸쳐 몇몇 이점을 제공한다. HMC 디바이스들에 의해 제공되는 고 대역폭은 고 대역폭 메모리 및 고 대역폭 시스템 상호 접속부를 야기한다. 시스템 아키텍처에서의 HMC 디바이스들의 분산은 로컬 메모리들 간 그리고 HMC 디바이스들과 상호 접속되는 다른 시스템 레벨 메모리들 간 대역폭 및 시스템 지연 특성들의 균형을 맞춘다. 메모리 일관성 프로토콜을 시스템 I/O 프로토콜로 통합하는 것은 로컬 메모리들 간 그리고 시스템 레벨 메모리들 간 메모리 요청들의 원자성을 유지하는 하나의 획일적인 프로토콜을 제공한다. 획일적인 프로토콜은 로컬 메모리 액세스 및 시스템-레벨 메모리 액세스 간 프로토콜 변환들을 감소 및 제거함으로써, 그리고 로컬 메모리 액세스 및 시스템-레벨 메모리 액세스 양자에 대해 효율적인 HMC 패킷 사양을 사용함으로써 지연을 최소화한다. SoC 설계는 메모리 일관성 디렉토리의 유지를 분담함으로써 그리고 SoC에 의한 일관성 디렉토리 조회들을 간략화함으로써 간략화된다.
캐시 일관성을 위한 다른 접근법은 스누핑 프로토콜(snooping protocol)을 사용하는 것이다. 스누핑 프로토콜에서, 컴퓨터 시스템의 프로세서들은 프로세서들 중에 점 대 점 통신을 제공할 수 있는 메모리 일관성 인터페이스를 사용하여 송신되는 메모리 트래픽을 모니터링한다. 디렉토리-기반 접근법에 반해, 프로세서들은 상태 정보를 결정하기 위해 디렉토리에 액세스함으로써 보다는 일관성 인터페이스를 통한 통신들로부터 상태 정보를 추적한다. MSI 스누핑 프로토콜에 대해, 메모리 일관성 인터페이스는 특정한 캐시 라인이 수정 상태인지, 공유 상태인지, 또는 무효 상태인지를 브로드캐스팅하여, 캐시 메모리들 및 프로세서들이 공유 복사본들의 상태를 그에 따라 업데이트할 수 있게 한다. 예를 들어, 캐시 라인을 수정할 때, 시스템에서의 캐시 라인의 다른 복사본들은 일관성 데이터가 유지될 수 있도록 무효화되어야 한다.
컴퓨터 시스템의 HMC 디바이스들은 이를테면 메모리 일관성 브로드캐스트 프로토콜을 시스템의 I/O 프로토콜로 통합함으로써, 프로세서들로부터 스누핑 기능들을 분담하도록 구성될 수 있다. 메모리 워드들(또는 스누핑)의 상태을 추적하는 HMC 디바이스는 임의의 종래 캐시 메모리가 공유 캐시 라인들에 대한 요청들에 응답하는 것처럼 공유 메모리 워드들에 대한 요청들에 응답할 수 있다.
예를 들어, HMC 디바이스의 보울트에 대한 로직 베이스 계층은 그것의 디바이스에 존재하는 메모리 워드에 대한 상태 정보를 결정하는 로직 회로를 포함할 수 있다. 판독 액세스가 메모리 워드에 주어질 때, 로직 베이스 계층의 로직 회로는 요청자에게 배타적 액세스를 허가하기 위해 해당 메모리 워드에 대한 상태 정보를 "배타"로 설정할 수 있다. 상태 정보는 판독 액세스에 대한 패킷화된 응답으로 리턴될 수 있다. 다른 HMC 디바이스들은 패킷화된 통지에 포함되는 상태 정보를 추적할 수 있다(예를 들어, 확장된 HMC 프로토콜을 사용함으로써). 컴퓨터 시스템에서의 몇몇 HMC 디바이스(예를 들어, 허브 HMC 디바이스들)는 패킷 라우팅을 가능하게 하기 위한 패스-스루 링크들을 포함한다. 패스-스루 링크들은 응답 패킷들에 전달되는 상태 정보를 추적하기 위해 사용될 수 있다. 종단점 이를테면 HMC 호스트 링크 또는 프로세서는 비-수정 요청을 메모리 워드에 송신함으로써 메모리 워드의 소유자로부터의 상태 정보에 대해 질의할 수 있다. 상태 정보는 비-수정 요청에 대해 패킷화된 응답 통지로 리턴될 수 있고 다른 HMC 디바이스들은 응답 패킷으로부터 상태 정보를 검출할 수 있다.
도 7은 컴퓨터 시스템을 동작시키는 방법(700)의 다른 예의 흐름도를 도시한다. 컴퓨터 시스템은 공유 메모리로서 구성되는 복수의 HMC 디바이스를 포함한다. 705에서, 컴퓨터 시스템의 분산 공유 메모리에의 액세스가 관리된다(예를 들어, 확장된 HMC 프로토콜을 사용하여). 710에서, 분산 공유 메모리는 메모리 액세스에 기인하여 메모리 일관성 상태 정보를 결정한다. 몇몇 예에서, 공유 메모리는 다수의 HMC 디바이스에 걸쳐 분산되고 메모리 일관성 상태 정보는 HMC 디바이스들을 사용하여 결정된다.
715에서, 패킷화된 정보는 컴퓨팅 시스템의 복수의 프로세서 및 공유 메모리 종단점 중에 전달된다. 메모리 일관성 상태 정보는 전달된 패킷화된 정보에 포함된다. 몇몇 예에서, 패킷화된 정보는 확장된 HMC 프로토콜을 사용하여 전달된다. 720에서, 브로드캐스트 메모리 일관성 상태 정보는 공유 메모리 종단점들을 사용하여 추적 또는 스누핑된다.
스누핑된 무효 및 라이트백은 데이터의 일관성 복사본들이 메모리에 유지될 수 있게 할 수 있고 시스템 프로토콜의 전반적인 간략화를 야기할 수 있다. 프로토콜의 메모리 인터페이스의 패킷화된 통지로의 통합은 응답 에이전트들(또는 응답 종단점들)의 수를 증가시킬 수 있을 뿐 아니라, HMC 디바이스들의 고 대역폭은 또한 보다 빠르고 보다 확장가능한 응답들을 잠재적으로 가능하게 할 수 있다.
특정한 실시예들이 여기에서 예시 및 설명되었지만, 해당 기술분야에서의 통상의 기술자들에 의해 동일한 목적들을 달성하는 임의의 배열이 도시된 특정한 실시예들에 대해 대체될 수 있다는 것을 인식할 것이다.
예를 들어, 상기 설명은 특히 HMC 디바이스들을 나타낸다. 그러나, HMC 디바이스들은 설명된 실시예들의 이점을 취하도록 컴퓨터 시스템을 구현하는 단지 하나의 예시적인 예이다. 해당 기술분야에서의 통상의 기술자는 본 명세서를 판독 시, 실시예들이 다른 디바이스들로 구현되는 컴퓨터 시스템들에 적용될 수 있음을 이해할 수 있다. 예를 들어, 실시예들은 프로세서-인 메모리(PIM) 디바이스들 및 DRAM들 중 하나 또는 양자로 구현될 수 있다. PIM 디바이스는 메모리에 단단히 결합되는 하나 이상의 프로세서를 나타낸다. 때때로, PIM 디바이스의 하나 이상의 프로세서는 메모리 디바이스들과 동일한 IC에 포함된다. PIM 디바이스는 또한 PIM 디바이스 또는 디바이스들의 메모리에 저장된 데이터에 대한 메모리 일관성 프로토콜을 구현하기 위한 로직 회로를 포함할 수 있다.
본 문서에서, 단수 표현의 용어들은 특허 문서들에서 공통적인 바와 같이, "적어도 하나" 또는 "하나 이상"의 임의의 다른 사례들 또는 사용들과 별도로, 하나 또는 하나보다 많은을 포함하기 위해 사용된다. 본 문서에서, 용어 "또는"은 비배타적인 것을 나타내기 위해 사용되며, 따라서 "A 또는 B"는 다르게 표시되지 않는 한, "A이나 B는 아님," "B이나 A는 아님," 그리고 "A 및 B"를 포함하게 된다. 첨부된 청구항들에서, 용어들 "포함하는" 및 "여기서"는 각각의 용어들 "망라하는" 및 "그 점에서"와의 쉽고 분명한 동의어들로서 사용된다. 또한, 다음 청구항들에서, 용어들 "포함하는" 및 "망라하는"은 개방형, 즉, 청구항에서의 용어가 여전히 해당 청구항의 범위 내에 있는 것으로 간주된 후 나열되는 것들에 더하여 요소들을 포함하는 시스템, 디바이스, 물품, 또는 프로세스이다. 또한, 다음 청구항들에서, 용어들 "제1," "제2," 및 "제3" 등은 단지 라벨들로서 사용되며, 그것들의 객체들에 수치적 요건들을 부과하는 것으로 의도되지 않는다.
본 출원은 여기에 설명된 본 발명의 예시적인 실시예들의 임의의 각색들 또는 변형들을 커버하는 것으로 의도된다. 본 발명은 단지 청구항들 및 이의 등가물들의 전체 범위에 의해서만 제한되는 것으로 의도된다.

Claims (21)

  1. 컴퓨팅 시스템으로서,
    복수의 호스트 프로세서;
    시스템 공유 메모리를 구현하고 제2 메모리 다이의 상부 상에 배치된 적어도 제1 메모리 다이를 포함하는 복수의 집적 회로 메모리 다이로서, 상기 메모리 다이의 메모리의 적어도 일부는 메모리 일관성 디렉토리의 적어도 일부를 포함하도록 매핑되는, 상기 복수의 집적 회로 메모리 다이; 및
    적어도 상기 제1 메모리 다이 및 상기 제2 메모리 다이와 패키징되는 로직 베이스 다이(logic base die)로서, 적어도 하나의 제2 디바이스에 의해 상기 복수의 메모리 다이의 메모리에의 3-차원(3-D) 액세스를 관리하도록 구성된 적어도 하나의 메모리 제어기, 및 상기 복수의 메모리 다이의 메모리에 저장된 데이터에 대한 메모리 일관성 상태 정보를 결정하도록 그리고 상기 메모리 일관성 상태 정보에 액세스하기 위한 원자 메모리 요청(atomic memory request)에 응답하여 송신되는 패킷화된 입력/출력(I/O) 프로토콜의 패킷화된 메시지에 상기 메모리 일관성 상태 정보를 포함시키도록 구성된 로직 회로를 포함하는, 상기 로직 베이스 다이
    를 포함하는 컴퓨팅 시스템.
  2. 청구항 1에 있어서, 복수의 적층 메모리 디바이스(stacked memory devices)를 포함하되, 각각의 적층 메모리 디바이스는 적어도 상기 제1 메모리 다이, 상기 제2 메모리 다이, 및 상기 로직 베이스 다이를 포함하는, 컴퓨팅 시스템.
  3. 청구항 2에 있어서, 적층 메모리 디바이스의 상기 로직 회로는 상기 패킷화된 I/O 프로토콜을 사용하여 상기 메모리 일관성 상태 정보를 브로드캐스팅하도록 구성되는, 컴퓨팅 시스템.
  4. 청구항 3에 있어서, 적층 메모리 디바이스의 상기 로직 회로는 패킷화된 정보를 상기 패킷화된 I/O 프로토콜의 부분으로서 라우팅하도록 그리고 상기 패킷화된 정보에 포함되는 메모리 일관성 상태 정보를 검출하도록 구성되는, 컴퓨팅 시스템.
  5. 청구항 2에 있어서, 적층 메모리 디바이스의 상기 로직 회로는 상기 메모리 다이의 메모리의 워드에 대한 수정 상태 정보, 공유 상태 정보, 및 무효 상태 정보를 결정하도록 그리고 상기 상태 정보를 상기 메모리 다이의 메모리의 상기 워드에 관련하여 저장하도록 구성되는, 컴퓨팅 시스템.
  6. 청구항 2에 있어서, 적층 메모리 디바이스의 상기 로직 회로는 상기 메모리 다이의 메모리의 워드에 대한 배타 상태 정보, 및 소유 상태 정보 중 적어도 하나를 결정하도록 그리고 상기 상태 정보를 공유 메모리 데이터의 상기 워드에 관련하여 저장하도록 구성되는, 컴퓨팅 시스템.
  7. 청구항 2에 있어서, 허브 적층 메모리 디바이스로서 구성되는 적어도 하나의 적층 메모리 디바이스를 포함하되, 상기 허브 적층 메모리 디바이스의 로직 회로는 라우팅 정보를 패킷화된 메시지에 추가하고 상기 패킷화된 메시지에서 메모리 일관성 상태 정보를 검출하는, 컴퓨팅 시스템.
  8. 청구항 2에 있어서, 적층 메모리 디바이스의 상기 로직 베이스 다이의 상기 메모리 제어기는 적어도 하나의 프로세서에 의해 그리고 다른 적층 메모리 디바이스에 의해 상기 메모리 다이의 메모리에의 3D 액세스를 관리하도록 구성되는, 컴퓨팅 시스템.
  9. 청구항 2에 있어서, 적층 메모리 디바이스의 상기 메모리 다이는 복수의 보울트(vault)로서 배열되는 메모리를 포함하고, 상기 로직 베이스 다이는 상기 메모리 다이의 각 보울트에 대한 메모리 제어기를 포함하는, 컴퓨팅 시스템.
  10. 청구항 1 내지 9 중 어느 한 항에 있어서, 상기 복수의 호스트 프로세서는 시스템-온-칩(SoC; system-on-chip) 프로세서들인, 컴퓨팅 시스템.
  11. 컴퓨팅 시스템을 동작시키는 방법으로서,
    상기 컴퓨팅 시스템의 분산 공유 메모리에의 액세스를 관리하는 단계 - 상기 공유 메모리는 3차원 액세스를 위해 구성됨 -;
    상기 분산 공유 메모리에 의해, 메모리 액세스에 기인하여 메모리 일관성 상태 정보를 결정하는 단계;
    상기 컴퓨팅 시스템의 복수의 프로세서들 및 공유 메모리 종단점들 간에 패킷화된 정보를 전달하는 단계 - 상기 분산 공유 메모리는 상기 메모리 일관성 상태 정보에 액세스하기 위한 원자 메모리 요청에 응답하여 송신되는 패킷화된 메시지에 상기 메모리 일관성 상태 정보를 포함시킴 -; 및
    상기 공유 메모리 종단점들을 사용하여 상기 메모리 일관성 상태 정보를 추적하는 단계
    를 포함하는, 방법.
  12. 청구항 11에 있어서, 상기 공유 메모리 종단점들을 사용하여 상기 메모리 일관성 상태 정보를 추적하는 단계는 상기 공유 메모리를 포함하는 적층 메모리 디바이스들을 사용하여 상기 메모리 일관성 상태 정보를 추적하는 단계를 포함하는, 방법.
  13. 청구항 11에 있어서, 상기 메모리 일관성 상태 정보를 공유 메모리 데이터 워드와 함께 저장하는 단계를 포함하는, 방법.
  14. 청구항 11에 있어서, 상기 공유 메모리에 대한 적어도 하나의 메모리 제어기를 포함하는 로직 베이스 계층을 사용하여 상기 메모리 일관성 상태 정보를 수정하는 단계를 포함하는, 방법.
  15. 청구항 11 내지 14 중 어느 한 항에 있어서, 상기 공유 메모리에 메모리 일관성 상태 정보를 저장하는 단계는 수정 비트, 공유 비트, 및 무효 비트를 공유 메모리 데이터 워드와 함께 저장하는 단계를 포함하는, 방법.
  16. 단일 전자 디바이스 패키지의 전자 디바이스로서,
    제2 메모리 다이의 상부 상에 배치된 적어도 제1 메모리 다이를 포함하는 복수의 집적 회로 메모리 다이로서, 상기 메모리 다이의 메모리의 적어도 일부는 메모리 일관성 디렉토리의 적어도 일부를 포함하도록 매핑되는, 상기 복수의 집적 회로 메모리 다이; 및
    상기 복수의 집적 회로 메모리 다이와 패키징되는 로직 베이스 다이로서, 적어도 하나의 제2 디바이스에 의해 상기 복수의 메모리 다이의 메모리에의 3-차원(3-D) 액세스를 관리하도록 구성된 적어도 하나의 메모리 제어기, 및 상기 복수의 메모리 다이의 메모리에 저장된 데이터에 대한 메모리 일관성 상태 정보를 결정하도록 그리고 상기 메모리 일관성 상태 정보에 액세스하기 위한 원자 메모리 요청에 응답하여 송신되는 패킷화된 입력/출력(I/O) 프로토콜의 패킷화된 메시지에 상기 메모리 일관성 상태 정보를 포함시키도록 구성된 로직 회로를 포함하는, 상기 로직 베이스 다이
    를 포함하는, 전자 디바이스.
  17. 청구항 16에 있어서, 상기 전자 디바이스는 적층 메모리 디바이스인, 전자 디바이스.
  18. 청구항 17에 있어서, 상기 로직 베이스 다이의 상기 로직 회로는 상기 패킷화된 I/O 프로토콜을 사용하여 상기 메모리 일관성 상태 정보를 브로드캐스팅하도록 구성되는, 전자 디바이스.
  19. 청구항 18에 있어서, 상기 로직 베이스 다이의 상기 로직 회로는 상기 I/O 프로토콜의 부분으로서 패킷화된 정보를 라우팅하도록 그리고 상기 패킷화된 정보에 포함되는 메모리 일관성 상태 정보를 검출하도록 구성되는, 전자 디바이스.
  20. 청구항 17에 있어서, 상기 로직 베이스 다이의 상기 로직 회로는 상기 메모리 다이의 메모리의 워드에 대한 수정 상태 정보, 공유 상태 정보, 및 무효 상태 정보를 결정하도록 그리고 상기 메모리 다이의 메모리의 상기 워드와 연관하여 상기 상태 정보를 저장하도록 구성되는, 전자 디바이스.
  21. 청구항 16 내지 20 중 어느 한 항에 있어서, 상기 로직 베이스 다이의 상기 로직 회로는 상기 메모리 다이의 메모리의 워드에 대한 배타 상태 정보, 및 소유 상태 정보 중 적어도 하나를 결정하도록 그리고 공유 메모리 데이터의 상기 워드와 연관하여 상기 상태 정보를 저장하도록 구성되는, 전자 디바이스.
KR1020167034167A 2014-05-08 2015-05-07 메모리 내 가벼운 일관성 KR101887797B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461990199P 2014-05-08 2014-05-08
US61/990,199 2014-05-08
PCT/US2015/029705 WO2015171905A1 (en) 2014-05-08 2015-05-07 In-memory lightweight coherency

Publications (2)

Publication Number Publication Date
KR20170002570A KR20170002570A (ko) 2017-01-06
KR101887797B1 true KR101887797B1 (ko) 2018-09-10

Family

ID=54368407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167034167A KR101887797B1 (ko) 2014-05-08 2015-05-07 메모리 내 가벼운 일관성

Country Status (6)

Country Link
US (2) US10825496B2 (ko)
EP (1) EP3140749B1 (ko)
KR (1) KR101887797B1 (ko)
CN (1) CN106415522B (ko)
TW (2) TWI719662B (ko)
WO (1) WO2015171905A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825496B2 (en) 2014-05-08 2020-11-03 Micron Technology, Inc. In-memory lightweight memory coherence protocol

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158667B2 (en) 2013-03-04 2015-10-13 Micron Technology, Inc. Apparatuses and methods for performing logical operations using sensing circuitry
US8964496B2 (en) 2013-07-26 2015-02-24 Micron Technology, Inc. Apparatuses and methods for performing compare operations using sensing circuitry
US8971124B1 (en) 2013-08-08 2015-03-03 Micron Technology, Inc. Apparatuses and methods for performing logical operations using sensing circuitry
US9153305B2 (en) 2013-08-30 2015-10-06 Micron Technology, Inc. Independently addressable memory array address spaces
US9019785B2 (en) 2013-09-19 2015-04-28 Micron Technology, Inc. Data shifting via a number of isolation devices
US9449675B2 (en) 2013-10-31 2016-09-20 Micron Technology, Inc. Apparatuses and methods for identifying an extremum value stored in an array of memory cells
US9430191B2 (en) 2013-11-08 2016-08-30 Micron Technology, Inc. Division operations for memory
US9934856B2 (en) 2014-03-31 2018-04-03 Micron Technology, Inc. Apparatuses and methods for comparing data patterns in memory
US9786335B2 (en) 2014-06-05 2017-10-10 Micron Technology, Inc. Apparatuses and methods for performing logical operations using sensing circuitry
US9704540B2 (en) 2014-06-05 2017-07-11 Micron Technology, Inc. Apparatuses and methods for parity determination using sensing circuitry
US9711207B2 (en) 2014-06-05 2017-07-18 Micron Technology, Inc. Performing logical operations using sensing circuitry
US9779019B2 (en) 2014-06-05 2017-10-03 Micron Technology, Inc. Data storage layout
US9711206B2 (en) 2014-06-05 2017-07-18 Micron Technology, Inc. Performing logical operations using sensing circuitry
US9449674B2 (en) 2014-06-05 2016-09-20 Micron Technology, Inc. Performing logical operations using sensing circuitry
US9496023B2 (en) 2014-06-05 2016-11-15 Micron Technology, Inc. Comparison operations on logical representations of values in memory
US10074407B2 (en) 2014-06-05 2018-09-11 Micron Technology, Inc. Apparatuses and methods for performing invert operations using sensing circuitry
US9910787B2 (en) 2014-06-05 2018-03-06 Micron Technology, Inc. Virtual address table
US9830999B2 (en) 2014-06-05 2017-11-28 Micron Technology, Inc. Comparison operations in memory
US9455020B2 (en) 2014-06-05 2016-09-27 Micron Technology, Inc. Apparatuses and methods for performing an exclusive or operation using sensing circuitry
US9898252B2 (en) 2014-09-03 2018-02-20 Micron Technology, Inc. Multiplication operations in memory
US9847110B2 (en) 2014-09-03 2017-12-19 Micron Technology, Inc. Apparatuses and methods for storing a data value in multiple columns of an array corresponding to digits of a vector
US9740607B2 (en) 2014-09-03 2017-08-22 Micron Technology, Inc. Swap operations in memory
US9589602B2 (en) 2014-09-03 2017-03-07 Micron Technology, Inc. Comparison operations in memory
US9904515B2 (en) 2014-09-03 2018-02-27 Micron Technology, Inc. Multiplication operations in memory
US10068652B2 (en) 2014-09-03 2018-09-04 Micron Technology, Inc. Apparatuses and methods for determining population count
US9747961B2 (en) 2014-09-03 2017-08-29 Micron Technology, Inc. Division operations in memory
US9940026B2 (en) 2014-10-03 2018-04-10 Micron Technology, Inc. Multidimensional contiguous memory allocation
US9836218B2 (en) 2014-10-03 2017-12-05 Micron Technology, Inc. Computing reduction and prefix sum operations in memory
US10163467B2 (en) 2014-10-16 2018-12-25 Micron Technology, Inc. Multiple endianness compatibility
US10147480B2 (en) 2014-10-24 2018-12-04 Micron Technology, Inc. Sort operation in memory
US9779784B2 (en) 2014-10-29 2017-10-03 Micron Technology, Inc. Apparatuses and methods for performing logical operations using sensing circuitry
US9747960B2 (en) 2014-12-01 2017-08-29 Micron Technology, Inc. Apparatuses and methods for converting a mask to an index
US10073635B2 (en) 2014-12-01 2018-09-11 Micron Technology, Inc. Multiple endianness compatibility
US10032493B2 (en) 2015-01-07 2018-07-24 Micron Technology, Inc. Longest element length determination in memory
US10061590B2 (en) 2015-01-07 2018-08-28 Micron Technology, Inc. Generating and executing a control flow
US9583163B2 (en) 2015-02-03 2017-02-28 Micron Technology, Inc. Loop structure for operations in memory
CN107408404B (zh) 2015-02-06 2021-02-12 美光科技公司 用于存储器装置的设备及方法以作为程序指令的存储
WO2016126472A1 (en) 2015-02-06 2016-08-11 Micron Technology, Inc. Apparatuses and methods for scatter and gather
WO2016126474A1 (en) 2015-02-06 2016-08-11 Micron Technology, Inc. Apparatuses and methods for parallel writing to multiple memory device locations
US10522212B2 (en) 2015-03-10 2019-12-31 Micron Technology, Inc. Apparatuses and methods for shift decisions
US9741399B2 (en) 2015-03-11 2017-08-22 Micron Technology, Inc. Data shift by elements of a vector in memory
US9898253B2 (en) 2015-03-11 2018-02-20 Micron Technology, Inc. Division operations on variable length elements in memory
CN107430874B (zh) 2015-03-12 2021-02-02 美光科技公司 用于数据移动的设备及方法
US10146537B2 (en) 2015-03-13 2018-12-04 Micron Technology, Inc. Vector population count determination in memory
US10049054B2 (en) 2015-04-01 2018-08-14 Micron Technology, Inc. Virtual register file
US10140104B2 (en) 2015-04-14 2018-11-27 Micron Technology, Inc. Target architecture determination
US9959923B2 (en) 2015-04-16 2018-05-01 Micron Technology, Inc. Apparatuses and methods to reverse data stored in memory
US10073786B2 (en) 2015-05-28 2018-09-11 Micron Technology, Inc. Apparatuses and methods for compute enabled cache
US9704541B2 (en) 2015-06-12 2017-07-11 Micron Technology, Inc. Simulating access lines
US9921777B2 (en) 2015-06-22 2018-03-20 Micron Technology, Inc. Apparatuses and methods for data transfer from sensing circuitry to a controller
US9996479B2 (en) 2015-08-17 2018-06-12 Micron Technology, Inc. Encryption of executables in computational memory
US9905276B2 (en) 2015-12-21 2018-02-27 Micron Technology, Inc. Control of sensing components in association with performing operations
US9952925B2 (en) 2016-01-06 2018-04-24 Micron Technology, Inc. Error code calculation on sensing circuitry
US10048888B2 (en) 2016-02-10 2018-08-14 Micron Technology, Inc. Apparatuses and methods for partitioned parallel data movement
US9892767B2 (en) 2016-02-12 2018-02-13 Micron Technology, Inc. Data gathering in memory
US9971541B2 (en) 2016-02-17 2018-05-15 Micron Technology, Inc. Apparatuses and methods for data movement
US9899070B2 (en) 2016-02-19 2018-02-20 Micron Technology, Inc. Modified decode for corner turn
US10956439B2 (en) 2016-02-19 2021-03-23 Micron Technology, Inc. Data transfer with a bit vector operation device
US9697876B1 (en) 2016-03-01 2017-07-04 Micron Technology, Inc. Vertical bit vector shift in memory
US9997232B2 (en) 2016-03-10 2018-06-12 Micron Technology, Inc. Processing in memory (PIM) capable memory device having sensing circuitry performing logic operations
US10262721B2 (en) 2016-03-10 2019-04-16 Micron Technology, Inc. Apparatuses and methods for cache invalidate
US10379772B2 (en) 2016-03-16 2019-08-13 Micron Technology, Inc. Apparatuses and methods for operations using compressed and decompressed data
US9910637B2 (en) 2016-03-17 2018-03-06 Micron Technology, Inc. Signed division in memory
US10120740B2 (en) 2016-03-22 2018-11-06 Micron Technology, Inc. Apparatus and methods for debugging on a memory device
US11074988B2 (en) 2016-03-22 2021-07-27 Micron Technology, Inc. Apparatus and methods for debugging on a host and memory device
US10388393B2 (en) 2016-03-22 2019-08-20 Micron Technology, Inc. Apparatus and methods for debugging on a host and memory device
US10977033B2 (en) 2016-03-25 2021-04-13 Micron Technology, Inc. Mask patterns generated in memory from seed vectors
US10474581B2 (en) 2016-03-25 2019-11-12 Micron Technology, Inc. Apparatuses and methods for cache operations
US10430244B2 (en) 2016-03-28 2019-10-01 Micron Technology, Inc. Apparatuses and methods to determine timing of operations
US10074416B2 (en) 2016-03-28 2018-09-11 Micron Technology, Inc. Apparatuses and methods for data movement
US10453502B2 (en) 2016-04-04 2019-10-22 Micron Technology, Inc. Memory bank power coordination including concurrently performing a memory operation in a selected number of memory regions
US10607665B2 (en) 2016-04-07 2020-03-31 Micron Technology, Inc. Span mask generation
US9818459B2 (en) 2016-04-19 2017-11-14 Micron Technology, Inc. Invert operations using sensing circuitry
US10153008B2 (en) 2016-04-20 2018-12-11 Micron Technology, Inc. Apparatuses and methods for performing corner turn operations using sensing circuitry
US9659605B1 (en) 2016-04-20 2017-05-23 Micron Technology, Inc. Apparatuses and methods for performing corner turn operations using sensing circuitry
US10042608B2 (en) 2016-05-11 2018-08-07 Micron Technology, Inc. Signed division in memory
US9659610B1 (en) 2016-05-18 2017-05-23 Micron Technology, Inc. Apparatuses and methods for shifting data
US10503641B2 (en) 2016-05-31 2019-12-10 Advanced Micro Devices, Inc. Cache coherence for processing in memory
US10049707B2 (en) 2016-06-03 2018-08-14 Micron Technology, Inc. Shifting data
US10387046B2 (en) 2016-06-22 2019-08-20 Micron Technology, Inc. Bank to bank data transfer
US10037785B2 (en) 2016-07-08 2018-07-31 Micron Technology, Inc. Scan chain operation in sensing circuitry
US10388360B2 (en) 2016-07-19 2019-08-20 Micron Technology, Inc. Utilization of data stored in an edge section of an array
US10387299B2 (en) 2016-07-20 2019-08-20 Micron Technology, Inc. Apparatuses and methods for transferring data
US10733089B2 (en) 2016-07-20 2020-08-04 Micron Technology, Inc. Apparatuses and methods for write address tracking
US9767864B1 (en) 2016-07-21 2017-09-19 Micron Technology, Inc. Apparatuses and methods for storing a data value in a sensing circuitry element
US9972367B2 (en) 2016-07-21 2018-05-15 Micron Technology, Inc. Shifting data in sensing circuitry
US10303632B2 (en) 2016-07-26 2019-05-28 Micron Technology, Inc. Accessing status information
US10468087B2 (en) 2016-07-28 2019-11-05 Micron Technology, Inc. Apparatuses and methods for operations in a self-refresh state
US9990181B2 (en) 2016-08-03 2018-06-05 Micron Technology, Inc. Apparatuses and methods for random number generation
US11029951B2 (en) 2016-08-15 2021-06-08 Micron Technology, Inc. Smallest or largest value element determination
US10606587B2 (en) 2016-08-24 2020-03-31 Micron Technology, Inc. Apparatus and methods related to microcode instructions indicating instruction types
US10466928B2 (en) 2016-09-15 2019-11-05 Micron Technology, Inc. Updating a register in memory
US10387058B2 (en) 2016-09-29 2019-08-20 Micron Technology, Inc. Apparatuses and methods to change data category values
US10014034B2 (en) 2016-10-06 2018-07-03 Micron Technology, Inc. Shifting data in sensing circuitry
US10529409B2 (en) 2016-10-13 2020-01-07 Micron Technology, Inc. Apparatuses and methods to perform logical operations using sensing circuitry
US9805772B1 (en) 2016-10-20 2017-10-31 Micron Technology, Inc. Apparatuses and methods to selectively perform logical operations
CN207637499U (zh) 2016-11-08 2018-07-20 美光科技公司 用于形成在存储器单元阵列上方的计算组件的设备
US10423353B2 (en) 2016-11-11 2019-09-24 Micron Technology, Inc. Apparatuses and methods for memory alignment
US9761300B1 (en) 2016-11-22 2017-09-12 Micron Technology, Inc. Data shift apparatuses and methods
US10402340B2 (en) 2017-02-21 2019-09-03 Micron Technology, Inc. Memory array page table walk
US10268389B2 (en) 2017-02-22 2019-04-23 Micron Technology, Inc. Apparatuses and methods for in-memory operations
US10403352B2 (en) 2017-02-22 2019-09-03 Micron Technology, Inc. Apparatuses and methods for compute in data path
US10838899B2 (en) 2017-03-21 2020-11-17 Micron Technology, Inc. Apparatuses and methods for in-memory data switching networks
US10185674B2 (en) 2017-03-22 2019-01-22 Micron Technology, Inc. Apparatus and methods for in data path compute operations
US11222260B2 (en) 2017-03-22 2022-01-11 Micron Technology, Inc. Apparatuses and methods for operating neural networks
US10049721B1 (en) 2017-03-27 2018-08-14 Micron Technology, Inc. Apparatuses and methods for in-memory operations
US10637685B2 (en) 2017-03-29 2020-04-28 Fungible, Inc. Non-blocking any-to-any data center network having multiplexed packet spraying within access node groups
CN110710139A (zh) 2017-03-29 2020-01-17 芬基波尔有限责任公司 具有光置换器的无阻塞全网状数据中心网络
CN110731070A (zh) 2017-03-29 2020-01-24 芬基波尔有限责任公司 通过多个交替数据路径进行分组喷射的无阻塞的任意到任意数据中心网络
US10565112B2 (en) 2017-04-10 2020-02-18 Fungible, Inc. Relay consistent memory management in a multiple processor system
US10043570B1 (en) 2017-04-17 2018-08-07 Micron Technology, Inc. Signed element compare in memory
US10147467B2 (en) 2017-04-17 2018-12-04 Micron Technology, Inc. Element value comparison in memory
US9997212B1 (en) 2017-04-24 2018-06-12 Micron Technology, Inc. Accessing data in memory
US10942843B2 (en) 2017-04-25 2021-03-09 Micron Technology, Inc. Storing data elements of different lengths in respective adjacent rows or columns according to memory shapes
US10236038B2 (en) 2017-05-15 2019-03-19 Micron Technology, Inc. Bank to bank data transfer
US10068664B1 (en) 2017-05-19 2018-09-04 Micron Technology, Inc. Column repair in memory
US10013197B1 (en) 2017-06-01 2018-07-03 Micron Technology, Inc. Shift skip
US10152271B1 (en) 2017-06-07 2018-12-11 Micron Technology, Inc. Data replication
US10262701B2 (en) 2017-06-07 2019-04-16 Micron Technology, Inc. Data transfer between subarrays in memory
US10318168B2 (en) 2017-06-19 2019-06-11 Micron Technology, Inc. Apparatuses and methods for simultaneous in data path compute operations
CN117348976A (zh) 2017-07-10 2024-01-05 微软技术许可有限责任公司 用于流处理的数据处理单元
WO2019014265A1 (en) 2017-07-10 2019-01-17 Fungible, Inc. DATA PROCESSING UNIT FOR CALCULATION NODES AND STORAGE NODES
US10467159B2 (en) * 2017-07-14 2019-11-05 Arm Limited Memory node controller
US10613989B2 (en) 2017-07-14 2020-04-07 Arm Limited Fast address translation for virtual machines
US10565126B2 (en) 2017-07-14 2020-02-18 Arm Limited Method and apparatus for two-layer copy-on-write
US10489304B2 (en) 2017-07-14 2019-11-26 Arm Limited Memory address translation
US10534719B2 (en) 2017-07-14 2020-01-14 Arm Limited Memory system for a data processing network
US10353826B2 (en) 2017-07-14 2019-07-16 Arm Limited Method and apparatus for fast context cloning in a data processing system
US10592424B2 (en) 2017-07-14 2020-03-17 Arm Limited Range-based memory system
US10162005B1 (en) 2017-08-09 2018-12-25 Micron Technology, Inc. Scan chain operations
US10534553B2 (en) 2017-08-30 2020-01-14 Micron Technology, Inc. Memory array accessibility
US10741239B2 (en) 2017-08-31 2020-08-11 Micron Technology, Inc. Processing in memory device including a row address strobe manager
US10416927B2 (en) 2017-08-31 2019-09-17 Micron Technology, Inc. Processing in memory
US10346092B2 (en) 2017-08-31 2019-07-09 Micron Technology, Inc. Apparatuses and methods for in-memory operations using timing circuitry
US10474600B2 (en) 2017-09-14 2019-11-12 Samsung Electronics Co., Ltd. Heterogeneous accelerator for highly efficient learning systems
WO2019068013A1 (en) 2017-09-29 2019-04-04 Fungible, Inc. FABRIC CONTROL PROTOCOL FOR DATA CENTER NETWORKS WITH PACKAGING OF PACKETS ON MULTIPLE ALTERNATIVE DATA PATHWAYS
WO2019068017A1 (en) 2017-09-29 2019-04-04 Fungible, Inc. RESILIENT NETWORK COMMUNICATION USING SELECTIVE PULVER FLOW SPRAY BY MULTIPATH PATH
US10409739B2 (en) 2017-10-24 2019-09-10 Micron Technology, Inc. Command selection policy
US10841245B2 (en) 2017-11-21 2020-11-17 Fungible, Inc. Work unit stack data structures in multiple core processor system for stream data processing
US10522210B2 (en) 2017-12-14 2019-12-31 Micron Technology, Inc. Apparatuses and methods for subarray addressing
US10332586B1 (en) 2017-12-19 2019-06-25 Micron Technology, Inc. Apparatuses and methods for subrow addressing
US10614875B2 (en) 2018-01-30 2020-04-07 Micron Technology, Inc. Logical operations using memory cells
US11194477B2 (en) 2018-01-31 2021-12-07 Micron Technology, Inc. Determination of a match between data values stored by three or more arrays
US10437557B2 (en) 2018-01-31 2019-10-08 Micron Technology, Inc. Determination of a match between data values stored by several arrays
US10540288B2 (en) 2018-02-02 2020-01-21 Fungible, Inc. Efficient work unit processing in a multicore system
US10725696B2 (en) 2018-04-12 2020-07-28 Micron Technology, Inc. Command selection policy with read priority
US10440341B1 (en) 2018-06-07 2019-10-08 Micron Technology, Inc. Image processor formed in an array of memory cells
US10884850B2 (en) 2018-07-24 2021-01-05 Arm Limited Fault tolerant memory system
US11175915B2 (en) 2018-10-10 2021-11-16 Micron Technology, Inc. Vector registers implemented in memory
US10769071B2 (en) 2018-10-10 2020-09-08 Micron Technology, Inc. Coherent memory access
US10483978B1 (en) 2018-10-16 2019-11-19 Micron Technology, Inc. Memory device processing
US10929175B2 (en) 2018-11-21 2021-02-23 Fungible, Inc. Service chaining hardware accelerators within a data stream processing integrated circuit
US11184446B2 (en) 2018-12-05 2021-11-23 Micron Technology, Inc. Methods and apparatus for incentivizing participation in fog networks
CN109785905B (zh) * 2018-12-18 2021-07-23 中国科学院计算技术研究所 一种面向基因比对算法的加速装置
US10867655B1 (en) 2019-07-08 2020-12-15 Micron Technology, Inc. Methods and apparatus for dynamically adjusting performance of partitioned memory
US11360768B2 (en) 2019-08-14 2022-06-14 Micron Technolgy, Inc. Bit string operations in memory
US10957681B1 (en) * 2019-08-28 2021-03-23 Micron Technology, Inc. Integrated assemblies comprising sense-amplifier-circuitry and wordline-driver-circuitry under memory cells of a memory array
US11449577B2 (en) 2019-11-20 2022-09-20 Micron Technology, Inc. Methods and apparatus for performing video processing matrix operations within a memory array
US11853385B2 (en) 2019-12-05 2023-12-26 Micron Technology, Inc. Methods and apparatus for performing diversity matrix operations within a memory array
US11227641B1 (en) 2020-07-21 2022-01-18 Micron Technology, Inc. Arithmetic operations in memory
CN114038490B (zh) * 2021-10-14 2023-07-04 西安紫光国芯半导体有限公司 基于三维异质集成的一致性链路存储芯片
CN114627908A (zh) * 2022-02-28 2022-06-14 西安紫光国芯半导体有限公司 基于3d-ic的存储架构

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090147557A1 (en) 2006-10-05 2009-06-11 Vesa Lahtinen 3d chip arrangement including memory manager
US20130138892A1 (en) * 2011-11-30 2013-05-30 Gabriel H. Loh Dram cache with tags and data jointly stored in physical rows

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561622A (en) * 1993-09-13 1996-10-01 International Business Machines Corporation Integrated memory cube structure
US6415364B1 (en) * 1997-12-31 2002-07-02 Unisys Corporation High-speed memory storage unit for a multiprocessor system having integrated directory and data storage subsystems
US6944719B2 (en) * 2002-05-15 2005-09-13 Broadcom Corp. Scalable cache coherent distributed shared memory processing system
US20060129709A1 (en) * 2004-12-09 2006-06-15 International Business Machines Corporation Multipurpose scalable server communication link
US7376796B2 (en) 2005-11-01 2008-05-20 Network Appliance, Inc. Lightweight coherency control protocol for clustered storage system
JP4790386B2 (ja) 2005-11-18 2011-10-12 エルピーダメモリ株式会社 積層メモリ
CN102918649B (zh) 2010-06-30 2015-12-16 国际商业机器公司 磁性随机存取存储器设备和生产磁性随机存取存储器设备的方法
KR20140028618A (ko) 2012-08-29 2014-03-10 삼성전자주식회사 쓰기 페일을 줄이는 메모리 장치, 이를 포함하는 메모리 시스템 및 그 쓰기 방법
JP5752741B2 (ja) 2012-09-26 2015-07-22 富士フイルム株式会社 多層基板および半導体パッケージ
US9170948B2 (en) * 2012-12-23 2015-10-27 Advanced Micro Devices, Inc. Cache coherency using die-stacked memory device with logic die
KR20150132099A (ko) * 2013-03-20 2015-11-25 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 서로 다른 계층 레벨의 메모리 노드를 가진 메모리 시스템에서의 데이터 캐싱
US9952975B2 (en) * 2013-04-30 2018-04-24 Hewlett Packard Enterprise Development Lp Memory network to route memory traffic and I/O traffic
KR101887797B1 (ko) 2014-05-08 2018-09-10 마이크론 테크놀로지, 인크. 메모리 내 가벼운 일관성

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090147557A1 (en) 2006-10-05 2009-06-11 Vesa Lahtinen 3d chip arrangement including memory manager
US20130138892A1 (en) * 2011-11-30 2013-05-30 Gabriel H. Loh Dram cache with tags and data jointly stored in physical rows

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825496B2 (en) 2014-05-08 2020-11-03 Micron Technology, Inc. In-memory lightweight memory coherence protocol
US11908546B2 (en) 2014-05-08 2024-02-20 Micron Technology, Inc. In-memory lightweight memory coherence protocol

Also Published As

Publication number Publication date
EP3140749B1 (en) 2021-01-13
WO2015171905A1 (en) 2015-11-12
US20150325272A1 (en) 2015-11-12
TW202024920A (zh) 2020-07-01
EP3140749A1 (en) 2017-03-15
KR20170002570A (ko) 2017-01-06
TWI706247B (zh) 2020-10-01
US20210125649A1 (en) 2021-04-29
TW201612753A (en) 2016-04-01
US11908546B2 (en) 2024-02-20
CN106415522B (zh) 2020-07-21
CN106415522A (zh) 2017-02-15
EP3140749A4 (en) 2018-01-10
US10825496B2 (en) 2020-11-03
TWI719662B (zh) 2021-02-21

Similar Documents

Publication Publication Date Title
KR101887797B1 (ko) 메모리 내 가벼운 일관성
US11741012B2 (en) Stacked memory device system interconnect directory-based cache coherence methodology
US9792210B2 (en) Region probe filter for distributed memory system
JP3722415B2 (ja) 効率的なバス機構及びコヒーレンス制御を有する繰り返しチップ構造を有するスケーラブル共用メモリ・マルチプロセッサ・コンピュータ・システム
US10503641B2 (en) Cache coherence for processing in memory
JP2540517B2 (ja) 階層キヤツシユメモリ装置および方法
US20080086601A1 (en) Hierarchical cache coherence directory structure
US10042762B2 (en) Light-weight cache coherence for data processors with limited data sharing
US7321956B2 (en) Method and apparatus for directory-based coherence with distributed directory management utilizing prefetch caches
US7363432B2 (en) Method and apparatus for directory-based coherence with distributed directory management
US6775742B2 (en) Memory device storing data and directory information thereon, and method for providing the directory information and the data in the memory device
US11954033B1 (en) Page rinsing scheme to keep a directory page in an exclusive state in a single complex
US20240134795A1 (en) Page rinsing scheme to keep a directory page in an exclusive state in a single complex
WO2024086437A1 (en) Page rinsing scheme to keep a directory page in an exclusive state in.a single complex

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant